前言

机器学习与智能感知是当前计算机与自动化领域的热门方向，也是未来的主要研究方向之一。各行各业都会应用机器学习方法解决问题。作者结合长期的科研经验完成本书。机器学习算法大多与线性代数和矩阵相关，在此认为读者已经掌握基础的数学知识。本书介绍了机器学习的主要原理和方法，以及最新进展，内容包括机器学习的发展史、决策树学习、PAC模型、贝叶斯学习、支持向量机、AdaBoost、压缩感知、子空间、神经网络与深度学习、调制压缩神经网络、批量白化技术、正交权重矩阵和强化学习。

本书在介绍其余书籍所涉及的基本知识的基础上，加入了许多前沿的算法和原理，希望读者不仅可以学习这些基础知识，更希望这些知识对读者的研究方向有所启发。基于此，我们在编写本书过程中做了两方面工作： 一方面，从易于读者学习的角度逐步讲解诸如决策树学习、贝叶斯学习、支持向量机、压缩感知以及深度学习等知识，本书重点强调实用性，在书中加入了大量的例子来实现算法，使得读者可以在学习示例的基础上学习算法和理论；另一方面，本书每章都是比较独立的一个整体，不仅包括传统的理论和方法，也融入了作者的一些算法和最近比较流行的机器学习理论，读者从中可以知道机器学习的新方向和新进展。

本书对最新的机器学习领域的成果进行了介绍，并对作者多年来的研究成果进行了总结。由于作者在分类器设计、人脸识别、视频理解、掌纹识别、工业场景图像检测方面进行了多年的研究并积累了丰富的经验，因此本书对该领域的研究人员具有一定的启发作用。

丁嵘撰写了随机森林部分，并对相关章节进行了修订。黄雷撰写了深度学习中的批量白化技术以及正交权重矩阵章节，并对其他部分章节进行了修订。王田修订了调制压缩神经网络部分，概述了神经网络模型压缩方法，对全书进行了修订。张宝昌撰写了其余章节内容，并负责统稿工作。感谢王润琪、李宏、刘旭辉、刘博钰、耿书鹏、段晓玥、鲍宇翔和杨予光等对本书后期整理所做的大量工作。

由于时间仓促和能力有限，书中难免有纰漏，希望广大读者批评指正。

作者2022年11月

目录

第1章机器学习的发展史1

引言1

1.1机器学习1

1.1.1机器学习的定义和研究意义1

1.1.2机器学习的发展史3

1.1.3机器学习系统的基本结构4

1.1.4机器学习的分类5

1.1.5目前研究领域9

1.2统计模式识别问题9

1.2.1机器学习问题的表示10

1.2.2经验风险最小化11

1.2.3复杂性与推广能力12

1.3统计机器学习理论的核心内容13

1.3.1学习过程一致性的条件13

1.3.2推广性的界13

1.3.3结构风险最小化15

1.4解耦因果学习16

1.4.1因果学习17

1.4.2相关工作18

1.4.3解耦因果学习方法与应用18

1.5总结21

课后习题21

第2章决策树学习22

引言22

2.1决策树学习概述22

2.1.1决策树23

2.1.2性质24

2.1.3应用24

2.1.4学习24

2.2决策树设计25

2.2.1决策树的特点25

2.2.2决策树的生成25

2.3总结30

课后习题30

第3章PAC模型31

引言31

3.1基本的PAC模型31

3.1.1PAC简介31

3.1.2基本概念31

3.1.3问题框架32

3.2PAC模型样本复杂度分析33

3.2.1有限空间样本复杂度33

3.2.2无限空间样本复杂度34

3.3VC维计算35

3.4总结36

课后习题36

第4章贝叶斯学习37

引言37

4.1贝叶斯学习37

4.1.1贝叶斯公式37

4.1.2最小误差决策38

4.1.3正态密度38

4.1.4最大似然估计39

4.2朴素贝叶斯原理及应用40

4.2.1贝叶斯最佳假设原理40

4.2.2基于朴素贝叶斯的文本分类器40

4.3HMM（隐马尔可夫模型）及应用43

4.3.1马尔可夫性43

4.3.2马尔可夫链44

4.3.3转移概率矩阵44

4.3.4HMM（隐马尔可夫模型）及应用44

4.4总结48

课后习题49

第5章支持向量机50

引言50

5.1支持向量机概述50

5.1.1margin最大化50

5.1.2支持向量机优化51

5.2支持向量机的实例55

5.3支持向量机的实现算法55

5.4多类支持向量机57

5.5总结58

课后习题58

第6章AdaBoost59

引言59

6.1AdaBoost与目标检测59

6.1.1AdaBoost算法59

6.1.2AdaBoost训练61

6.1.3AdaBoost实例62

6.2具有强鲁棒性的实时目标检测63

6.2.1Haarlike矩形特征选取63

6.2.2积分图63

6.2.3训练结果64

6.2.4级联64

6.3随机森林65

6.3.1原理阐述66

6.3.2算法详解66

6.3.3算法分析67

6.4总结67

课后习题68

第7章压缩感知69

引言69

7.1压缩感知理论框架69

7.2压缩感知的基本理论及核心问题70

7.2.1压缩感知的数学模型70

7.2.2信号的稀疏表示70

7.2.3信号的观测矩阵71

7.2.4信号的重构算法72

7.3压缩感知的应用72

7.3.1应用72

7.3.2人脸识别73

7.4总结74

课后习题75

第8章子空间76

引言76

8.1基于主成分分析的特征提取76

8.2数学模型78

8.3主成分的数学上的计算78

8.3.1两个线性代数的结论78

8.3.2基于协方差矩阵的特征值分解79

8.3.3主成分分析的步骤80

8.4主成分分析的性质80

8.5基于主成分分析的人脸识别方法81

8.6总结82

课后习题82

第9章神经网络与深度学习83

引言83

9.1神经网络及其主要算法83

9.1.1前馈神经网络83

9.1.2感知器83

9.1.3反向传播算法85

9.2深度学习87

9.2.1深度学习算法基础与网络模型87

9.2.2深度学习算法原理88

9.2.3卷积神经网络算法原理91

9.3深度学习网络模型94

9.3.1深度学习网络架构94

9.3.2网络模型优化95

9.3.3代表性的网络模型97

9.4总结102

课后习题102

第10章调制压缩神经网络103

引言103

10.1神经网络模型压缩概述103

10.1.1量化与二值化104

10.1.2剪枝与共享104

10.2调制压缩神经网络106

10.3损失函数107

10.4前向卷积108

10.4.1重构卷积核108

10.4.2调制网络的前向卷积过程109

10.5调制卷积神经网络模型的梯度反传110

10.6MCN网络的实验验证112

10.6.1模型收敛效率114

10.6.2模型时间分析114

10.6.3实验结果114

课后习题115

第11章批量白化技术116

引言116

11.1批量标准化技术116

11.2批量白化方法117

11.2.1随机坐标交换问题117

11.2.2ZCA白化119

11.3批量白化模块121

11.4分析和讨论123

11.4.1提高模型的条件情况123

11.4.2近似的动态等距性124

11.5总结124

课后习题125

第12章正交权重矩阵126

引言126

12.1多个依赖的Stiefel流优化126

12.2正交权重矩阵的特性127

12.2.1稳定激活值的分布127

12.2.2规整化神经网络127

12.3正交权重标准化技术128

12.3.1设计正交变换128

12.3.2反向传播129

12.3.3正交线性模块130

12.4实验与分析131

12.4.1求解多个依赖的Stiefel流优化问题方法比较131

12.4.2多层感知机实验133

12.4.3ImageNet 2012大规模图像数据分类实验134

12.5总结135

课后习题135

第13章强化学习136

引言136

13.1AlphaGo技术136

13.2强化学习概述139

13.3强化学习过程140

13.3.1马尔可夫性140

13.3.2奖励141

13.3.3估价函数141

13.3.4动态规划141

13.3.5蒙特卡罗方法142

13.3.6时序差分学习143

13.4Q学习算法144

13.4.1Q学习算法介绍144

13.4.2奖励145

13.4.3Q学习算法的改进147

13.5程序实现148

课后习题151

参考文献152