本书系统地讲解了机器学习的理论与方法，内容主要包括EM算法和高斯混合模型、主题模型、采样与非参数贝叶斯方法、聚类分析、支持向量机、概率无向图模型、概率有向图模型、矩阵与张量分解、多层感知机与卷积神经网络、序列神经网络，以及强化学习。本书旨在使读者了解机器学习的发展过程，理解和掌握机器学习的基本原理、方法与主要应用。本书内容丰富，着重于讲解机器学习理论的推导与证明，并通过实例进行方法分析与比较；本书强调机器学习的系统性、完整性、方法的时效性，可读性强；同时，作为新形态教材，本书配备了大量的数字化资源，可以实现线上线下学习的无缝衔接。

　　本书既可以作为国内各高等学校、科研院所本科生、研究生的教材，也可供国内外从事机器学习研究和工程应用的人员使用。

前言

第1章　绪论  1

1.1　机器学习的定义  1

1.2　机器学习的发展历史  2

1.3　机器学习的分类  5

1.3.1　基于学习系统的反馈分类  5

1.3.2　基于所获取知识的表示形式分类  6

1.3.3　基于应用领域分类  7

1.3.4　综合分类  7

1.4　性能度量  9

1.4.1　数据集  9

1.4.2　误差  10

1.4.3　过拟合与欠拟合  10

1.4.4　评估方法  10

1.4.5　性能度量  11

本章小结  16

习题  17

参考文献  17

第2章　EM算法和高斯混合模型  19

2.1　EM算法  19

2.1.1　极大似然估计  19

2.1.2　EM算法的引入  20

2.1.3　EM算法的推导  21

2.1.4　EM算法的步骤  23

2.1.5　EM算法的收敛性  24

2.2　高斯混合模型  25

2.2.1　单高斯模型  25

2.2.2　高斯混合模型  26

2.2.3　GMM参数估计  27

本章小结  29

习题  29

参考文献  29

第3章　主题模型  31

3.1　传统的主题模型  31

3.1.1　VSM  31

3.1.2　LSI模型  32

3.2　概率主题模型  33

3.2.1　LDA主题模型  33

3.2.2　HDP-LDA主题模型  40

3.3　具有Zipf定律性质的主题模型  44

3.3.1　PY过程  45

3.3.2　PHTM主题模型  46

3.4　PHTM推理算法  48

本章小结  51

习题  51

参考文献  52

第4章　采样与非参数贝叶斯方法  54

4.1　单个随机变量采样  54

4.1.1　通过逆累积分布函数采样  55

4.1.2　拒绝采样（Rejection Sampling）  56

4.1.3　重要性采样（Importance Sampling）  57

4.2　序列随机变量采样与马尔可夫链蒙特卡罗  58

4.2.1　MH算法  59

4.2.2　吉布斯采样  60

4.2.3　切片采样（Slice Sampling）  60

4.3　非参数贝叶斯与狄利克雷过程  61

4.3.1　非参数贝叶斯  61

4.3.2　狄利克雷过程  62

4.4　狄利克雷过程的构造方式  63

4.4.1　波利亚坛子过程  63

4.4.2　折棍子过程  64

4.4.3　中国餐馆过程  66

本章小结  68

习题  68

参考文献  69

第5章　聚类分析  70

5.1　数据相似性度量  70

5.2　经典聚类算法  75

5.2.1　划分方法  75

5.2.2　层次聚类  75

5.2.3　基于密度的聚类  76

5.2.4　基于网格的方法  77

5.2.5　基于模型的方法  78

5.3　k-means、k中心点方法及其改进方法  79

5.3.1　k-means  79

5.3.2　k中心点  80

5.3.3　核k-means  81

5.3.4　EM聚类  84

5.3.5　基于随机搜索应用于大型应用的聚类算法CLARANS  87

5.4　谱聚类  88

5.4.1　相似图  89

5.4.2　拉普拉斯矩阵  89

5.4.3　谱聚类算法  91

5.5　基于约束的聚类  92

5.5.1　含有障碍物的对象聚类  93

5.5.2　用户约束的聚类分析  93

5.5.3　半监督聚类分析  94

5.6　在线聚类  94

5.7　聚类与降维  95

本章小结  97

习题  97

参考文献  98

第6章　支持向量机  100

6.1　统计学习理论  100

6.1.1　经验风险最小化  100

6.1.2　VC维  101

6.1.3　结构风险最小化  102

6.2　支持向量机的基本原理  103

6.3　支持向量机分类器  104

6.3.1　线性支持向量机分类器  104

6.3.2　非线性可分的支持向量机分类器  107

6.3.3　一类分类  109

6.3.4　多类分类  110

6.4　核函数  113

6.4.1　核函数的定义  114

6.4.2　核函数的构造  114

6.4.3　几种常用的核函数  116

6.5　支持向量回归机  117

6.6　支持向量机的应用实例  120

6.6.1　图像分类  120

6.6.2　其他应用  124

本章小结  124

习题  125

参考文献  125

第7章　概率无向图模型  127

7.1　概率无向图模型  127

7.2　对数线性模型  129

7.2.1　逻辑斯蒂回归模型  129

7.2.2　最大熵模型  132

7.2.3　马尔可夫随机场  137

7.3　条件随机场  137

7.3.1　模型  137

7.3.2　条件随机场的关键问题  139

本章小结  143

习题  143

参考文献  143

第8章　概率有向图模型  145

8.1　概率有向图模型  145

8.2　贝叶斯网络  146

8.2.1　贝叶斯定理  147

8.2.2　有向分离  148

8.2.3　贝叶斯网络构造  150

8.2.4　贝叶斯网络学习  150

8.3　隐马尔可夫模型  162

8.3.1　隐马尔可夫模型描述  162

8.3.2　隐马尔可夫模型的三个基本问题  164

本章小结  171

习题  172

参考文献  172

第9章　矩阵与张量分解  174

9.1　等值与低秩矩阵分解  174

9.2　非负矩阵分解  176

9.3　矩阵分解与推荐系统  180

9.4　张量分解  181

9.5　非负张量分解  185

本章小结  187

习题  187

参考文献  189

第10章　多层感知机与卷积神经网络  190

10.1　感知机  190

10.2?多层感知机  193

10.2.1　误差反传算法  193

10.2.2　多层感知机的优势和局限性  197

10.2.3　误差反传算法的改进  198

10.3?卷积神经网络  203

10.3.1　卷积神经网络的生物学基础  203

10.3.2　卷积的基本操作  204

10.3.3　典型卷积神经网络  209

10.3.4　卷积神经网络的训练技巧  215

本章小结  217

习题  217

参考文献  218

第11章　序列神经网络  220

11.1?循环神经网络结构  220

11.2　循环神经网络的训练  222

11.2.1　损失函数  222

11.2.2　时间反向传播算法  222

11.2.3　梯度消失与梯度爆炸  224

11.3　双向循环神经网络与深度循环神经网络  225

11.4　长短期记忆网络  225

11.4.1　LSTM记忆单元  226

11.4.2　LSTM记忆方式  228

11.5　门控循环单元  229

11.6　Transformer  230

11.6.1　Transformer模型架构  230

11.6.2　多头自注意力机制  231

11.6.3　前馈神经网络  233

11.6.4　位置编码  233

本章小结  234

习题  234

参考文献  234

第12章　强化学习  236

12.1　强化学习模型及基本要素  236

12.1.1?强化学习模型  236

12.1.2　强化学习基本要素  238

12.2?马尔可夫决策过程  239

12.2.1　马尔可夫过程  239

12.2.2　马尔可夫决策过程  239

12.3　部分可观测的马尔可夫决策过程  242

12.4　模型已知的强化学习  244

12.4.1　线性规划  244

12.4.2　策略迭代  245

12.4.3?值迭代  246

12.4.4　广义策略迭代  247

12.5　模型未知的强化学习  248

12.5.1　蒙特卡罗方法  248

12.5.2　时间差分法  252

12.5.3?Q学习与SARSA学习  253

12.5.4　Actor-Critic学习  256

12.6　基于逼近方法的强化学习  257

12.6.1　值函数逼近的TD学习  257

12.6.2　近似值迭代方法  259

12.6.3　近似策略迭代  261

12.7?深度强化学习  261

12.7.1　深度Q学习（Deep Q-learning）  261

12.7.2　深度双Q学习  264

12.7.3　异步深度Q学习  265

12.8　其他深度强化学习  266

本章小结  266

习题  266

参考文献  267