系统阐述机器学习的基本理论、算法和实现。每章配有基于Python的实验，方便读者编程实现。书后附有丰富的彩色插图，引导读者对理论的理解。配套提供电子课件、微课视频、习题答案、教学大纲、源代码、试卷。

本书系统阐述了机器学习的基本理论、算法和实现。全书共11章：第1章着重介绍了机器学习的基本知识；第2章介绍了样本数据预处理和提取的传统算法（如PCA和LDA），并增加了流形学习和稀疏表征等理论；第3~8章系统介绍了传统机器学习算法，如监督学习（贝叶斯、近邻、线性模型、非线性模型和集成学习）和非监督学习（聚类）；第9、10章分别介绍了概率图模型和人工神经网络的基本理论；第11章着重讲述了强化学习的基本理论和算法。本书针对理论难点，插入了可视化图，引导读者对理论的理解；每章配有习题，以便指导读者深入地进行学习。每章还配有基于Python的实验，便于工程类读者快速将理论转化为实践应用，也方便学术型读者编程实现。本书既可作为高等院校本科和研究生人工智能、控制工程、信息处理和智能制造等相关专业的课程教材，也可作为信息系统开发和大数据分析人员的技术参考书。

胡晓，广州大学教授，从事电子信息、电气工程、自动化等相关专业的本科教学，曾主持广东省教育厅教研改革项目1项，发表教研论文3篇。曾三次获 ;最受学生欢迎老师和三次 ;教学优秀一等奖，于2009年获得;南粤优秀教师。从事类脑机器视觉类脑机器学习、机器视觉和智能控制等相关领域研究，主持国家和广东省自然科学基金项目各1项，广东省科技计划项目1项和广州市资助科研项目2项。在Pattern Recognition等期刊SCI检索和人工智能国际会议(AAAI_20)发表学术论文9篇。获省科技进步奖三等奖1项。 目前为Transactions on Image Processing等国际期刊审稿。

前言第1章基本知识11什么是机器学习111属性112标注12机器学习的分类121监督与无监督学习122分类与回归13模型评估131分类模型评估132回归模型评估14优化141损失函数142目标函数143最小二乘法144梯度下降法145梯度修正146学习率调整15小结与拓展实验一：模型评价函数编程实验习题参考文献第2章表征学习21表征学习的目的22数据预处理23主成分分析231目标函数232基于主成分分析表征学习模型233人脸PCA表征学习24线性鉴别分析241类内散布矩阵和类间散布矩阵242类可判别性测度243LDA原理244人脸的LDA表征学习25多维缩放26流形学习261流形262等度量映射263局部线性嵌入27随机近邻嵌入271基本随机近邻嵌入272t分布随机近邻嵌入28稀疏表征281压缩感知282重构算法283字典学习284压缩感知在人脸识别中的应用29小结与拓展实验二：表征学习实验习题参考文献第3章贝叶斯分类器31贝叶斯基本概念32贝叶斯决策准则33高斯混合模型34未知概率密度函数估计341极大似然估计342极大后验概率估计343期望极大算法35朴素贝叶斯36拉普拉斯平滑37小结与拓展实验三：贝叶斯分类器实验习题第4章近邻分类器41近邻规则42加权近邻分类器43近邻分类器加速策略431移除消极样本432构建搜索树433部分维度距离计算44小结与拓展实验四：近邻分类器实验习题参考文献第5章线性模型51二类线性模型52Lasso回归521Lasso回归求解522坐标轴下降法53逻辑回归54支持向量机541线性可分支持向量机542近似线性可分支持向量机55多类线性模型551基本策略552Softmax回归56类不平衡问题561阈值移动562数据再平衡57小结与拓展实验五：线性模型实验习题参考文献第6章非线性模型61二次判别分析62核方法621希尔伯特空间622核函数623常用核函数624核函数的应用63小结与拓展实验六：非线性模型实验习题参考文献第7章集成学习71集成学习理论依据72集成学习机制73决策树731什么是决策树732ID3和C45733分类回归树734剪枝74随机森林75自适应助推751学习过程752基本原理76小结与拓展实验七：集成学习实验习题参考文献第8章聚类81聚类基本理论811聚类的性质812相似性测度813类簇中心814聚类算法评价指标82K均值聚类83层次聚类831凝聚筑巢832平衡迭代削减层次聚类84密度聚类841DBSCAN842高斯混合聚类85小结与拓展实验八：聚类实验习题参考文献第9章概率图模型91联合概率92概率有向图模型921基本概念922有向分离923贝叶斯网络924隐马尔可夫模型93概率无向图模型931条件独立性932团和势函数933条件随机场934马尔可夫随机场在图像处理中的应用935条件随机场在自然语言处理中的应用94因子图与和积算法941因子图942置信传播95小结与拓展实验九：概率图模型实验习题参考文献第10章人工神经网络101神经元及其基本模型102激活函数1021饱和激活函数1022校正线性单元1023swish激活函数1024其他激活函数103感知机1031参数学习1032感知机的异或难题104前馈神经网络1041前馈神经网络模型1042三层前向神经网络实现异或门1043反向传播算法105卷积神经网络1051互相关和卷积1052卷积神经网络架构1053卷积神经网络残差反向传播106简单卷积神经网络1061LeNet_51062AlexNet1063VGGNet1064Inception1065ResNet107小结与拓展实验十：人工神经网络实验习题参考文献第11章强化学习111强化学习概述1111基本概念1112策略评估和策略控制1113强化学习分类112表格强化学习1121蒙特卡洛1122动态规划1123时序差分学习113深度强化学习1131深度Q网络(DQN)1132Dueling 网络114小结与拓展实验十一：强化学习实验习题参考文献

机器学习已经广泛应用于现代制造业、农业、交通、航空航天和通信等领域，给产业部门生产和管理赋予了智能化，极大地提高了生产力，是新质生产力的基本理论。机器学习在人们日常消费中也得到了广泛应用，改善了人民的生活质量。目前，大部分国内高等院校相关专业都开设了机器学习或相关课程。国内也涌现了许多相关优秀教材，这些教材大体可分为两类。其中，一类教材理论层次较深，通常要求读者具有一定的数学理论基础，较适合于有数学、计算机或控制工程专业背景的读者；另一类则是注重实践开发，此类教材理论介绍不多，适合于毕业后从事工程开发的普通高校和专科院校的学生。在国内在读研究生群体中，即便硕士阶段所学专业是计算机、人工智能和控制工程等专业，由于并不具备学习机器学习所需要的相关基础知识，他们可能在学习阶段没有时间补充相关基础知识，这就需要一本层次介于上述两类教材之间的;机器学习教材。为适应国内大量普通高等院校学生的需要，编者撰写本书旨在将理论和实践结合，将抽象理论形象化，以便更多读者能够学习并会应用。本书对理论有一定的推导，并且配有丰富的插图（部分图片彩色印刷，请见书后插页），阅读时不需要较深的数学理论，非数学、计算机或控制工程专业读者也可以选购阅读。书中所介绍的实验都是在PyCharm环境下调试运行通过的，建议读者具备一定的Python编程基础。本书提供知识点视频，可通过扫描书中二维码观看视频。本书每章配备一个实验，所有实验由在读研究生张洪涛、姬广毅和朱铭津上机验证并录制视频。书中很多插图由胡沁夏绘制。本书可作为相关专业本科生或研究生的课程教材，每章后附有习题。建议本科生授课课时64学时（包括16学时实验），研究生授课课时32学时（学生根据研究兴趣选择完成）。本书得到了广州大学研究生优秀教材资助，诚表感谢！感谢父母的谆谆教导和培养、妻子的支持和儿子的期望！本书在编写过程中参考了国内外一些优秀书籍，在此表示诚挚的谢意！由于时间仓促和编者水平有限，书中难免存在错误和不妥之处，恳请读者谅解并提出宝贵意见。