张旭东，清华大学电子工程系长聘教授，博士生导师，主要研究方向为信号处理和机器学习。先后承担国家、省部级和国际合作项目数十项，在IEEE、IET、ACM等重要刊物和NIPS、AAAI、ICASSP、SIGIR等重要会议上发表学术论文150余篇，出版著作5部。获得Elsevier的引用奖（The Most Cited Paper Award）和IET国际雷达年会论文奖，两次获得清华大学教学成果一等奖，3次获得清华大学优秀教材奖。

机器学习具有多学科交叉的特点，是当前学术界和工业界均关注的热点领域，其应用范围十分广泛，已经成为一种解决诸多问题的有效工具。本书以理工科高年级本科生和低年级研究生的基础知识为立足点，以面向工程应用为目标，是一本综合性的机器学习教程。

本书既反映机器学习的基础知识和经典方法，又重视深度学习和强化学习的知识内容，使读者不仅能在机器学习领域打下坚实的基础，同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。本书的主要内容包括：

 机器学习理论概述；

 机器学习的统计与优化基础；

 基本回归与分类学习算法；

 支持向量机；

 决策树与集成学习；

 无监督学习算法；

 神经网络与深度学习；

 深度学习专题（GAN、Transformer等）；

 强化学习与深度强化学习。

教学资源

 微课视频

 教学大纲

 教学课件

 习题解答

　　《机器学习导论/高等学校电子信息类专业系列教材》对机器学习的基础知识和基本算法进行了详细的介绍，对广泛应用的经典算法（如线性回归、逻辑回归、朴素贝叶斯、支持向量机、决策树和集成学习等）进行了深入的分析，并讨论了无监督学习的基本方法。用5章对深度学习和深度强化学习进行了相当全面的叙述，不仅深入地讨论了反向传播算法、多层感知机、卷积神经网络、循环神经网络和长短期记忆网络等深度神经网络的核心知识和结构，对于一些发展中的专题（如生成对抗网络和Transformer等）也给予了一定深度的介绍。对于强化学习，不仅介绍了经典表格方法，也较详细地讨论了深度强化学习。
　　《机器学习导论/高等学校电子信息类专业系列教材》对于基础和前沿、经典方法和热门技术尽可能平衡，使读者不仅能在机器学习领域打下一个良好的基础，同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。
　　《机器学习导论/高等学校电子信息类专业系列教材》是一本面向大学理工科和管理类各专业的宽口径、综合性的机器学习教材，可供高年级本科生和研究生使用，也可帮助科技人员、工程师和程序员自学机器学习的原理和算法。
　　机器学习具有多学科交叉的特点，是当前学术界和工业界均关注的热点领域，其应用范围十分广泛，已经成为一种解决诸多问题的有效工具。
　　《机器学习导论/高等学校电子信息类专业系列教材》以理工科高年级本科生和低年级研究生的基础知识为立足点，以面向工程应用为目标，是一本综合性的机器学习教程。
　　《机器学习导论/高等学校电子信息类专业系列教材》既反映机器学习的基础知识和经典方法，又重视深度学习和强化学习的知识内容，使读者不仅能在机器学习领域打下坚实的基础，同时也可以利用所学知识解决遇到的实际问题并进入学科前沿。

第1章机器学习概述

1.1什么是机器学习

1.2机器学习的分类

1.2.1基本分类

1.2.2监督学习及其功能分类

1.3构建机器学习系统

1.3.1机器学习的基本元素

1.3.2机器学习的一些基本概念

1.3.3机器学习模型的性能评估

1.4通过简单示例理解机器学习

1.4.1一个简单的回归示例

1.4.2一个简单的分类示例

1.5训练、验证与测试

1.6深度学习简介

1.7本章小结

习题

第2章统计与优化基础

2.1概率基础

2.1.1离散随机变量 

2.1.2连续随机变量 

2.1.3随机变量的基本特征

2.1.4随机特征的蒙特卡洛逼近

2.2概率实例

2.2.1离散随机变量示例

2.2.2高斯分布

2.2.3指数族

2.2.4混合高斯过程

2.2.5马尔可夫过程

2.3最大似然估计

2.4贝叶斯估计——最大后验估计

2.5随机变量的熵特征

2.5.1熵的定义和基本性质

2.5.2KL散度、互信息和负熵

2.6非参数方法

2.7优化技术概述

2.7.1基本优化算法

2.7.2拉格朗日方法

2.8本章小结

习题

第3章贝叶斯决策

3.1机器学习中的决策

3.2分类的决策

3.2.1加权错误率准则

3.2.2拒绝判决

3.3回归的决策

3.4高斯情况下的分类决策

3.4.1相同协方差矩阵情况的二分类

3.4.2不同协方差矩阵情况的二分类

3.4.3多分类情况

3.5KNN方法

*3.6概率图模型概述

3.6.1贝叶斯网络

3.6.2无向图模型

3.6.3图模型的学习与推断

3.7本章小结

习题

第4章基本回归算法

4.1线性回归

4.1.1基本线性回归

4.1.2线性回归的递推学习

4.1.3正则化线性回归

4.1.4多输出线性回归

*4.2稀疏线性回归Lasso

4.2.1Lasso的循环坐标下降算法

4.2.2Lasso的LAR算法

4.3线性基函数回归

*4.4奇异值分解

4.5回归学习的误差分解

4.6本章小结

习题

第5章基本分类学习

5.1基本分类问题

5.2线性判别函数模型

5.2.1Fisher线性判别分析

*5.2.2感知机

5.3逻辑回归

5.3.1二分类问题的逻辑回归

5.3.2多分类问题的逻辑回归

5.4朴素贝叶斯方法

*5.5机器学习理论简介

5.5.1假设空间有限时的泛化误差界

5.5.2假设空间无限时的泛化误差界

5.6本章小结

习题

第6章支持向量机与核函数方法

6.1线性支持向量机

6.1.1不等式约束的优化

6.1.2线性可分情况的SVM

6.1.3不可分情况的SVM

6.1.4合页损失函数

6.1.5SVM用于多分类问题

6.2非线性支持向量机

6.2.1SVM分类算法小结

*6.2.2SMO算法

6.3支持向量回归

*6.4核函数方法

6.5本章小结

习题

第7章决策树

7.1基本决策树算法

7.1.1决策树的基本结构

7.1.2信息增益和ID3算法

7.1.3信息增益率和C4.5算法

7.2CART算法

7.2.1分类树

7.2.2回归树

7.3决策树的一些实际问题

7.3.1连续数值变量

7.3.2正则化和剪枝技术

7.3.3缺失属性的训练样本问题

7.4本章小结

习题

第8章集成学习

8.1Bagging和随机森林

8.1.1自助采样和Bagging算法

8.1.2随机森林算法

8.2提升和AdaBoost算法

8.2.1AdaBoost算法介绍

*8.2.2AdaBoost算法分析

8.3提升树算法

8.3.1加法模型和提升树

8.3.2梯度提升树

8.4本章小结

习题

第9章神经网络与深度学习之一： 基础

9.1神经网络的基本结构

9.1.1神经元结构

9.1.2多层神经网络解决异或问题

9.1.3多层感知机

9.1.4神经网络的逼近定理

9.2神经网络的目标函数和优化

9.2.1神经网络的目标函数

9.2.2神经网络的优化

9.3误差反向传播算法

9.3.1反向传播算法的推导

9.3.2反向传播算法的向量形式

9.3.3反向传播算法的扩展

9.4神经网络学习中的一些问题

9.4.1初始化

9.4.2正则化

9.4.3几类等价正则化技术

9.5本章小结

习题

第10章神经网络与深度学习之二： 结构

10.1卷积神经网络

10.1.1卷积运算及其物理意义

10.1.2基本CNN的结构

10.1.3CNN的参数学习

*10.1.4卷积的一些扩展结构

*10.1.5CNN示例介绍

10.2循环神经网络

10.2.1基本RNN

10.2.2RNN的计算和训练

*10.2.3长短期记忆模型

*10.2.4门控循环单元

10.3本章小结

习题

第11章神经网络与深度学习之三： 技术和应用

11.1深度学习中的优化算法

11.1.1小批量SGD算法

11.1.2动量SGD算法

11.1.3自适应学习率算法

11.2深度学习训练的正则化技术

11.2.1Dropout技术

11.2.2批归一化

*11.2.3层归一化

*11.3对抗训练

*11.4自编码器

11.4.1自编码器的基本结构

11.4.2自编码器的一些扩展

*11.5生成对抗网络

*11.6注意力机制和Transformer

11.6.1注意力机制

11.6.2序列到序列模型

11.6.3Transformer

11.7本章小结

第12章聚类和EM算法

12.1聚类算法

12.1.1K均值聚类算法

12.1.2DBSCAN聚类算法

12.1.3其他度量和聚类算法

12.2EM算法

12.2.1EM算法的隐变量形式

12.2.2独立同分布情况

*12.2.3EM算法扩展到MAP估计

*12.2.4通过KL散度对EM算法的解释

12.3基于EM算法的高斯混合模型参数估计

12.3.1GMM参数估计

12.3.2GMM的软聚类

12.4本章小结

习题

第13章降维和连续隐变量学习

13.1主分量分析

13.1.1主分量分析原理

13.1.2广义Hebb算法

*13.2样本向量的白化和正交化

13.2.1样本向量的白化

13.2.2向量集的正交化

*13.3独立分量分析

13.3.1独立分量分析的原理和目标函数

13.3.2不动点算法FastICA

13.3.3自然梯度算法

13.3.4仿真实验举例

13.4本章小结

习题

第14章强化学习之一： 经典方法

14.1强化学习的基本问题

14.2马尔可夫决策过程

14.2.1MDP的定义

14.2.2贝尔曼方程

14.2.3最优策略

14.2.4强化学习的类型

14.2.5探索与利用

14.3动态规划

14.3.1策略迭代方法

14.3.2值函数迭代方法

14.4强化学习的蒙特卡洛方法

14.4.1MC部分策略评估

14.4.2MC策略改进

14.4.3在轨策略和离轨策略

14.5强化学习的时序差分方法

14.5.1基本时序差分学习和Sarsa算法

14.5.2离轨策略和Q学习

14.5.3DP、MC和TD算法的简单比较

*14.5.4多步时序差分学习和资格迹算法

*14.6多臂赌博机

14.7本章小结

习题

第15章强化学习之二： 深度强化学习

15.1强化学习的值函数逼近

15.1.1基本线性值函数逼近

*15.1.2线性值函数逼近的最小二乘策略迭代算法

15.1.3深度Q网络

15.2策略梯度方法

15.2.1MC策略梯度算法Reinforce

15.2.2行动器评判器方法

*15.3连续动作确定性策略梯度方法

15.3.1DPG算法

15.3.2DDPG算法

15.3.3连续动作DRL的一些进展概述

15.4本章小结

习题

附录A课程的实践型作业实例

A.1第1次实践作业

A.2第2次实践作业

A.3第3次实践作业

附录B函数对向量和矩阵的求导

术语表

参考文献

　　机器学习已经成为一种解决诸多问题的有效工具，广泛应用于多学科交叉领域。本书以理工科高年级本科生和一年级研究生的基础知识为起点，以面向工程应用为目标，适度侧重电子信息专业学生，并尽可能满足其他专业需求，是一本通用性和专业性兼顾的机器学习教材。通过学习本书，读者可以为掌握机器学习的本质和算法、解决实际问题以及开展与本领域相关的研究打下基础。
　　不考虑机器学习当前的热度，其解决问题的思想和方法有长远价值，今后或许会有冷热反复，但这是一个有长远发展的方向。
　　本书是作者在清华大学讲授“机器学习”课程的讲义基础上修订而成的，该课程主要面向电子信息专业的本科生和研究生的“本研贯通”课程，对其他理工科和管理类专业开放，先后有20多个院系的本科生和研究生也选修了该课程。
　　作为“机器学习”课程的教材，本书在材料选择上做了尽可能的平衡，既要反映机器学习的基础知识和经典方法，又要重视近期非常活跃的深度学习的内容。由于机器学习的成果非常丰富，构成一本教材的材料的可选择面非常广，因此我们在基础和前沿的材料中做了仔细的选择。深度学习很重要，尤其是当前的一些商业化应用（包括计算机视觉、语音识别、自然语言处理、推荐系统、信息检索等），既有大数据支持，又可以通过大规模计算系统进行训练（学习），取得了许多重要进展。但并不是所有应用都有必要使用深度学习，许多问题用传统机器学习技术就可以取得很好的结果，尤其是一些工程中的专门领域，获取大数据集是非常困难的，对于这些领域，经典的机器学习方法可得到更广泛应用。
　　基于以上考虑，本书对机器学习的经典算法和深度学习算法都给予相当深入的介绍，全书内容分为6个单元。第1单元涵盖前3章，包括基础性介绍和一些需要补充的基础知识。第1章是机器学习概述，介绍了机器学习要解决的基本问题，以及一些基本术语、基本类型和构成模型的基本元素；第2章是统计与优化基础，目的是使本书尽可能满足更广泛的读者需求；第3章是贝叶斯决策，这是构成机器学习系统的一个相对独立的基本单元，同时简单介绍了图模型基础。
　　第2单元包括第4、5章，分别介绍了基本回归算法和基本分类算法，包括线性回归、基函数回归、稀疏回归、Fisher线性判别分析、感知机、逻辑回归和朴素贝叶斯算法。同时，这两章还分别结合回归和分类简要介绍了机器学习理论中的两个重要问题：方差与偏的折中和泛化界定理。该单元通过相对简单的模型，介绍了构成机器学习算法的核心要素，对于理解机器学习的基本原理很有帮助，所介绍的算法对中小规模问题仍有实用价值。
　　第3单元由第6-8章构成，分别介绍了机器学习的3种重要算法：支持向量机、决策树和集成学习。由于这3类算法的重要性，每类都用一章的篇幅进行专题介绍。
　　第4单元是关于神经网络与深度学习的专题，用3章的篇幅深入讨论这一专题，分别介绍了本专题的3方面：基础、结构、技术。第9章讨论了网络的结构、表示定理、目标函数、基本优化方法、梯度计算、初始化和正则化等，最重要的是给出了反向传播算法的深入介绍；第10章详细介绍了深度学习中的两大类网络结构，即卷积神经网络和循环神经网络，并分别介绍了其基本结构、扩展结构和专门的反向传播算法，以及几个有影响的网络结构的例子，给出了残差网络、长短期记忆网络、门控循环单元等新结构的介绍；第11章汇集了深度学习中若干关键技术和新进展，包括深度网络的优化技术、正则化和归一化、对抗训练、自编码器、生成对抗网络、注意力机制和Transformer等。