内容简介

本书详细介绍了人工智能领域涉及的数学基础，对于每个问题尽可能给出足够详尽的证明过程，以帮助读者深入理解智能算法的原理。本书内容涉及线性代数、高等数学、概率论、最优化等多个数学分支内的重要知识点。采用公式推导、图表示例、应用举例相结合的方式，以翔实的语言、全新的视角，帮助读者理解其中的关键知识点。

全书共分为10章: 第1章、第3章、第4章详细介绍与人工智能算法相关的向量与矩阵分析、函数与泛函分析、概率与数理统计的数学基础。第2章介绍可用于评定不同待观测样本相似程度的度量方法。第5章重点介绍人工智能领域涉及的信息论知识。第6章结合实例介绍线性分析与卷积的数学基础。第7章详细介绍与模型正则化及范数相关的数学基础知识。第8章介绍目标函数最优化相关数学知识。第9章重点介绍核函数映射相关内容。第10章介绍数据驱动人工智能模型性能评价与度量相关知识。

本书适合人工智能专业的学生、对人工智能感兴趣的学者、正在从事人工智能应用开发的工程师，以及其他想深入了解智能算法行之有效原因的读者参考阅读。

编辑推荐

1.证明详尽、推导清晰

对于涉及到的数学结论，本书采用简单、易于理解的方式，给出详尽的证明过程。

2.结合实例、基础为主

为了便于理解，结合代表性人工智能算法实例，讲述对应数学知识点。

3.知识全面、深入浅出

本书内容涵盖线性代数、高等数学、概率论、最优化等多个数学分支内的重要知识点。采用公式推导、图表示例、应用举例相结合的方式，以详实的语言、全新的视角，帮助读者理解其中的关键知识点。

目录

第1章特征向量与矩阵分析1

1.1标量1

1.2特征向量与特征空间2

1.2.1特征空间的正交性3

1.2.2特征向量的大小与方向3

1.3向量转置4

1.4向量加法4

1.5向量乘法5

1.5.1向量数乘5

1.5.2向量内积6

1.5.3向量外积8

1.5.4分量乘法8

1.6向量的线性相关性9

1.7矩阵分析与人工智能9

1.8矩阵转置11

1.9矩阵加法12

1.10矩阵乘法13

1.10.1矩阵数乘13

1.10.2矩阵内积14

1.10.3矩阵内积的外积展开15

1.10.4元素乘法15

1.11矩阵的特征值与特征向量16

1.12矩阵的秩17

1.12.1初等变换18

1.12.2初等矩阵19

1.13矩阵的逆19

1.14矩阵的分块操作22

1.15矩阵的迹24

1.16矩阵分解26

1.16.1LU分解26

1.16.2特征分解27

1.16.3奇异值分解29

1.17二次型与正定矩阵30

1.18张量32

小结32

习题33

参考文献34

第2章相似性度量35

2.1相似性度量的重要性35

2.2相似性度量的多样性36

2.3闵氏距离37

2.3.1曼哈顿距离38

2.3.2欧氏距离39

2.3.3切比雪夫距离39

2.3.4曼切转换39

2.4马氏距离40

2.4.1维度相关问题41

2.4.2独立化处理41

2.4.3与欧氏距离的关系42

2.5余弦距离43

2.5.1夹角余弦43

2.5.2距离度量44

2.6汉明距离44

2.6.1严格定义44

2.6.2松弛定义45

2.7杰卡德距离45

2.7.1严格定义45

2.7.2松弛定义45

2.8皮尔森距离46

2.8.1相关系数46

2.8.2距离度量47

2.8.3局限性47

2.9斯皮尔曼距离48

2.9.1相关系数48

2.9.2距离度量49

2.10肯德尔距离50

2.10.1相关系数50

2.10.2距离度量51

小结52

习题52

参考文献53

第3章函数与泛函分析55

3.1集合55

3.1.1定义与表示56

3.1.2元素特性56

3.1.3集合运算57

3.1.4凸集分离定理58

3.2区间60

3.2.1定义与表示60

3.2.2元素特性61

3.2.3区间算术61

3.3函数映射62

3.3.1自变量与因变量63

3.3.2多元函数63

3.3.3复合函数64

3.3.4连续性、单调性、奇偶性65

3.3.5函数凸性与极值66

3.3.6激活函数68

3.4导数69

3.4.1函数可导与泰勒展开69

3.4.2求导法则72

3.4.3偏导数与雅可比矩阵73

3.4.4方向导数与梯度76

3.4.5Hessian矩阵与函数凸性77

3.4.6凸函数成立条件78

3.4.7散度79

3.5微积分79

3.5.1微分79

3.5.2密切圆与曲率81

3.5.3不定积分81

3.5.4定积分82

3.6泛函数分析83

3.6.1基函数与函数内积84

3.6.2特征值与特征函数84

3.6.3线性空间与线性映射85

3.6.4对偶空间与对偶基85

3.6.5希尔伯特空间86

小结87

习题88

参考文献89

第4章条件概率与贝叶斯90

4.1事件与概率90

4.1.1随机试验90

4.1.2样本空间90

4.1.3随机事件91

4.1.4概率91

4.1.5条件概率92

4.1.6事件独立性92

4.1.7全概率93

4.2随机变量及其概率分布93

4.2.1随机变量93

4.2.2概率分布94

4.2.3独立同分布94

4.3样本统计量95

4.3.1均值95

4.3.2样本方差96

4.3.3期望96

4.3.4概率方差97

4.3.5协方差97

4.3.6协方差矩阵98

4.4常见的概率分布98

4.4.1二项分布98

4.4.2泊松分布99

4.4.3指数分布与伽马分布99

4.4.4贝塔分布100

4.4.5高斯分布及其变形100

4.4.6其他分布103

4.5贝叶斯决策103

4.5.1离散型贝叶斯公式103

4.5.2连续型贝叶斯公式104

4.5.3最小错误率贝叶斯决策105

4.5.4最小风险贝叶斯决策107

4.5.5朴素贝叶斯分类108

4.6参数估计109

4.6.1估计量与估计值109

4.6.2点估计与区间估计109

4.6.3置信区间与水平110

4.6.4估计量的评价110

4.6.5矩估计111

4.6.6最小二乘估计112

4.6.7最大似然估计112

4.6.8最大后验概率估计114

4.6.9贝叶斯估计与共轭分布114

4.7假设检验116

4.7.1原假设与备择假设116

4.7.2弃真与取伪116

4.7.3显著性水平与pvalue117

4.7.4双侧检验与单侧检验118

4.7.5代表性检验统计量与方法118

小结118

习题119

参考文献120

第5章信息论与熵121

5.1人工智能与信息论121

5.2特征编码122

5.2.1直接编码122

5.2.2Onehot编码123

5.2.3Dummy编码123

5.3压缩编码124

5.3.1聚类124

5.3.2特征降维124

5.3.3特征选择125

5.3.4稀疏编码126

5.3.5压缩感知127

5.4决策编码127

5.4.1假设空间128

5.4.2版本空间128

5.4.3决策平面128

5.4.4纠错输出码128

5.5决策解码129

5.5.1聚类129

5.5.2线性分类130

5.5.3纠错输出码130

5.5.4特征降维130

5.6自编码130

5.6.1恒等变换130

5.6.2欠完备自编码131

5.6.3稀疏自编码131

5.6.4收缩自编码器131

5.7不确定性与熵132

5.7.1定义与性质132

5.7.2联合熵133

5.7.3条件熵134

5.7.4交叉熵与损失函数135

5.7.5相对熵与KL散度136

5.8互信息136

5.8.1定义与性质137

5.8.2点互信息138

5.8.3与熵的关系138

小结139

习题140

参考文献141

第6章线性分析与卷积142

6.1线性分析142

6.1.1线性运算142

6.1.2线性空间142

6.1.3线性空间基143

6.1.4线性映射与变换143

6.1.5线性映射的矩阵表达144

6.1.6坐标变换144

6.2线性判别145

6.2.1判别函数145

6.2.2判别分析146

6.2.3非线性问题147

6.3卷积148

6.3.1定义148

6.3.2两个例子150

6.3.3性质151

6.3.4边界填充152

6.3.5步长153

6.3.6与线性变换的关系154

6.3.7几种特殊应用154

6.4池化154

6.4.1定义155

6.4.2作用与意义155

6.4.3与卷积的关系155

6.5反卷积156

6.5.1作用与意义156

6.5.2与线性变换的关系156

6.5.3卷积表示157

小结158

习题158

参考文献159

第7章正则化与范数160

7.1过拟合问题与正则化160

7.1.1泛化能力161

7.1.2过拟合与欠拟合161

7.1.3假设空间与归纳偏好161

7.1.4无免费午餐定理162

7.2硬正则化164

7.2.1数据归一化、标准化164

7.2.2提前终止训练166

7.2.3权值共享166

7.2.4池化167

7.2.5随机失效167

7.2.6集成学习168

7.2.7支持向量机169

7.3软正则化170

7.3.1损失函数170

7.3.2期望风险171

7.3.3经验风险172

7.3.4置信风险173

7.3.5VC维与置信风险173

7.3.6目标函数与支持向量机174

7.4范数正则化175

7.4.1定义与性质175

7.4.2向量范数175

7.4.3矩阵范数176

7.4.4关联关系178

小结178

习题179

参考文献179

……