机器学习是当前解决很多人工智能问题的核心技术，自2012年以来，深度学习的出现带来了人工智能复兴。本书是机器学习和深度学习领域的入门与提高教材，紧密结合工程实践与应用，系统、深入地讲述机器学习与深度学习的主流方法与理论。全书由23章组成，共分为三大部分。第1～3章为第一部分，介绍机器学习的基本原理、所需的数学知识（包括微积分、线性代数、最优化方法和概率论），以及机器学习中的核心概念。第4～22章为第二部分，是本书的主体，介绍各种常用的有监督学习算法、无监督学习算法、半监督学习算法和强化学习算法。对于每种算法，从原理与推导、工程实现和应用3个方面进行介绍，对于大多数算法，都配有实验程序。第23章为第三部分，介绍机器学习和深度学习算法实际应用时面临的问题，并给出典型的解决方案。

本书理论推导与证明详细、深入，结构清晰，详细地讲述主要算法的原理与细节，让读者不仅知其然，还知其所以然，真正理解算法、学会使用算法。对于计算机、人工智能及相关专业的本科生和研究生，这是一本适合入门与系统学习的教材；对于从事人工智能和机器学习产品研发的工程技术人员，本书也具有很强的参考价值。

致力于研发机器学习与深度学习、计算机视觉框架，SIGAI创始人。2009年毕业于清华大学计算机系，获硕士学位，研究方向为机器学习、计算机视觉，发表论文数篇。曾就职于百度公司，任高级软件工程师和项目经理；zmodo/meshare，任CTO与平台研发中心负责人。在机器学习、计算机视觉方向有丰富的学术研究与产品研发经验。

全面系统地讲述了深度学习、机器学习的主要算法，包括有监督学习，无监督学习，强化学习的54种算法。对算法的思想，推导与证明，实现要点有清晰透彻的阐述 对机器学习、深度学习算法在计算机视觉，自然语言处理，语音识别等领域的应用有详细的介绍 配有20个实验程序，包含18份源代码，帮助读者正确的掌握算法与开源库的使用 配有25个讲解视频，对复杂、难以理解的知识点有清晰透彻的讲解

第一部分基本概念与数学知识

第1章机器学习简介3

1.1机器学习是什么3

1.1.1一个简单的例子3

1.1.2为什么需要机器学习5

1.2典型应用7

1.2.1语音识别7

1.2.2人脸检测8

1.2.3人机对弈9

1.2.4机器翻译10

1.2.5自动驾驶11

1.3发展历程11

1.3.1历史成就11

1.3.2当前进展12

1.4关于本书13

参考文献13

第2章数学知识15

2.1微积分和线性代数15

2.1.1导数15

2.1.2向量与矩阵17

2.1.3偏导数与梯度19

2.1.4雅可比矩阵20

2.1.5Hessian矩阵21

2.1.6泰勒展开22

2.1.7行列式22

2.1.8特征值与特征向量23

2.1.9奇异值分解24

2.1.10二次型24

2.1.11向量与矩阵求导24

2.2最优化方法25

〖1〗

〖2〗机器学习——原理、算法与应用

〖1〗

目录

2.2.1梯度下降法25

2.2.2牛顿法26

2.2.3坐标下降法27

2.2.4拉格朗日乘数法28

2.2.5凸优化28

2.2.6拉格朗日对偶32

2.2.7KKT条件34

2.2.8拟牛顿法35

2.2.9面临的问题36

2.3概率论37

2.3.1随机事件与概率37

2.3.2条件概率37

2.3.3随机变量38

2.3.4数学期望与方差39

2.3.5随机向量39

2.3.6最大似然估计40

参考文献41

第3章基本概念42

3.1算法分类42

3.1.1监督信号42

3.1.2分类问题与回归问题43

3.1.3判别模型与生成模型45

3.1.4强化学习45

3.2模型评价指标46

3.2.1精度与召回率46

3.2.2ROC曲线46

3.2.3混淆矩阵48

3.2.4交叉验证48

3.3模型选择48

3.3.1过拟合与欠拟合48

3.3.2偏差与方差分解49

3.3.3正则化50

参考文献52

第二部分主要的机器学习算法与理论

第4章贝叶斯分类器55

4.1贝叶斯决策55

4.2朴素贝叶斯分类器56

4.2.1离散型特征56

4.2.2连续型特征57

4.3正态贝叶斯分类器57

4.3.1训练算法57

4.3.2预测算法58

4.4实验程序59

4.5应用61

参考文献61

第5章决策树62

5.1树形决策过程62

5.2分类与回归树63

5.3训练算法64

5.3.1递归分裂过程64

5.3.2寻找最佳分裂64

5.3.3叶子节点值的设定67

5.3.4属性缺失问题67

5.3.5剪枝算法68

5.3.6训练算法的流程69

5.3.7计算变量的重要性70

5.4实验程序70

5.5应用71

参考文献71

第6章k近邻算法72

6.1基本概念72

6.2预测算法72

6.3距离定义73

6.3.1常用距离定义74

6.3.2距离度量学习74

6.4实验程序75

6.5应用76

参考文献76

……