书名：机器学习提升法 理论与算法  
定价：109.0  
ISBN：9787115535801  
作者：罗伯特·夏皮雷 等  
版次：第1版  
出版时间：2020-10  

内容提要：  
本书主要介绍一种机器学习算法——提升法，主要关注其基础理论和算法，也兼顾了应用。 全书共14章，分为4个部分。首先给出机器学习算法及其分析的概要介绍，然后*一部分重点探究了提升法的核心理论及其泛化能力。*二部分主要介绍了有助于理解和解释提升法的其他理论，包括基于博弈论的解释、贪心算法、迭代投射算法，并与信息几何学和凸优化建立了联系。第三部分主要介绍利用基于置信度的弱预测的AdaBoost算法的实用扩展，并用于解决多类别分类问题和排序问题。第四部分讨论了*级理论话题，包括AdaBoost算法、*优提升法和连续时间下的提升法之间的统计一致性。附录部分介绍了所需*级的数学概念。 本书适合对提升法感兴趣的读者，本书每章都附有练习，因此也适用于高等院校相关课程的教学。  



作者简介：  
约夫·弗雷德（Yoav Freund）,纽约微软主任研究员。 罗伯特·夏皮雷（Robert. E. Schapire）,加利福尼亚大学圣迭戈分校计算机科学与工程系教授。 他们因为在提升法方面的研究工作，获得了2003 年的哥德尔奖和2004 年的ACM Kanellakis 理论与实践奖。  

目录：  
目录  

*1章　引言1  
1.1　分类问题与机器学习2  
1.2　提升法3  
1.2.1　一个“玩具”例子6  
1.2.2　算法的实验性能9  
1.2.3　一个医学诊断的例子10  
1.3　抗过拟合与间隔理论12  
1.4　基础理论与算法14  
1.5　小结16  
1.6　参考资料16  
1.7　练习16  

*一部分　算法核心分析  
*2章　机器学习基础21  
2.1　机器学习直接分析方法21  
2.1.1　学习的充分条件21  
2.1.2　与另外一种算法的比较25  
2.2　通用分析方法26  
2.2.1　一个假设26  
2.2.2　有限假设空间28  
2.2.3　无限假设空间30  
2.2.4　更抽象的公式34  
2.2.5　一致性假设35  
2.2.6　基于压缩的界36  
2.2.7　讨论37  
2.3　提升法研究基础38  
2.3.1　性能的*对保证　38  
2.3.2　弱可学习与提升法40  
2.3.3　分析提升法的方法　41  
2.4　小结43  
2.5　参考资料43  
2.6　练习44  

第3章　用AdaBoost*小化训练误差46  
3.1　AdaBoost算法训练误差的界　46  
3.2　弱可学习的充分条件49  
3.3　与切诺夫界的关系52  
3.4　基学习算法的设计和使用53  
3.4.1　使用样本的权重　54  
3.4.2　算法设计55  
3.4.3　在人脸识别中的应用58  
3.5　小结60  
3.6　参考资料61  
3.7　练习61  

第4章　泛化误差的直接界63  
4.1　基于VC理论的泛化误差的界63  
4.1.1　基本假设63  
4.1.2　AdaBoost分类器的形式与复杂度64  
4.1.3　有限基假设空间66  
4.1.4　无限基分类器空间68  
4.2　基于压缩的界70  
4.2.1　主要思想70  
4.2.2　混合压缩模式71  
4.2.3　应用到AdaBoost72  
4.3　强学习与弱学习的等价性73  
4.4　小结75  
4.5　参考资料75  
4.6　练习75  

第5章　用间隔理论解释提升法的有效性78  
5.1　间隔作为置信度的度量79  
5.2　泛化误差的基于间隔的分析81  
5.2.1　直观感受81  
5.2.2　有限基假设空间82  
5.2.3　无限基假设空间87  
5.3　基于Rademacher复杂度的分析89  
5.4　提升法对间隔分布的影响93  
5.4.1　AdaBoost间隔的界93  
5.4.2　更积极的间隔*大化95  
5.4.3　弱可学习的充分必要条件97  
5.5　偏差、方差和稳定性98  
5.6　与支持向量机的关系102  
5.6.1　支持向量机概览102  
5.6.2　与提升法的比较105  
5.7　间隔的实际应用106  
5.7.1　为了获得更高的准确率拒绝低置信度的预测106  
5.7.2　主动学习108  
5.8　小结110  
5.9　参考资料110  
5.10　练习111  

*二部分　基本观点  
第6章　博弈论、在线学习和提升法117  
6.1　博弈论117  
6.1.1　随机玩法118  
6.1.2　序列玩法119  
6.1.3　极小极大理论120  
6.2　从重复博弈中学习121  
6.2.1　学习模型121  
6.2.2　基本算法122  
6.2.3　分析122  
6.2.4　极小极大理论的证明126  
6.2.5　一个游戏的近似解127  
6.3　在线预测128  
6.4　提升法131  
6.4.1　提升法和极小极大理论131  
6.4.2　提升法的思想133  
6.4.3　分析135  
6.5　应用于“读心术”游戏136  
6.6　小结141  
6.7　参考资料141  
6.8　练习142  

第7章　损失*小化与Boosting算法的泛化145  
7.1　AdaBoost的损失函数146  
7.2　坐标下降法149  
7.2.1　AdaBoost的泛化149  
7.2.2　收敛性150  
7.2.3　其他损失函数151  
7.3　损失*小化不能解释泛化能力152  
7.4　泛函梯度下降154  
7.4.1　另外一种泛化155  
7.4.2　与坐标下降法的关系157  
7.4.3　对通用损失函数进行分类和回归158  
7.5　逻辑斯蒂回归和条件概率159  
7.5.1　逻辑斯蒂回归159  
7.5.2　修改AdaBoost用于逻辑斯蒂损失161  
7.5.3　估计条件概率164  
7.6　正则化166  
7.6.1　避免过拟合166  
7.6.2　提升法与早停之间的关系169  
7.6.3　与间隔*大化的关联172  
7.7　应用到数据有限的学习173  
7.7.1　引入先验知识173  
7.7.2　半监督学习177  
7.8　小结179  
7.9　参考资料179  
7.10　练习180  

第8章　提升法、凸优化和信息几何学184  
8.1　迭代投影算法184  
8.1.1　类欧几里得184  
8.1.2　信息论度量187  
8.1.3　将AdaBoost看作迭代投影算法188  
8.1.4　非空可行集的条件192  
8.1.5　用非归一化分布的迭代投影195  
8.2　证明AdaBoost的收敛性197  
8.2.1　设置197  
8.2.2　两个问题合成一个198  
8.2.3　证明199  
8.2.4　凸对偶204  
8.3　与逻辑斯蒂回归的统一205  
8.4　物种分布建模的应用207  
8.5　小结210  
8.6　参考资料210  
8.7　练习211  



第三部分　算法扩展  
第9章　基于置信度的弱预测219  
9.1　框架220  
9.2　算法设计的通用方法222  
9.2.1　一般情况下如何选择αt222  
9.2.2　二分类预测223  
9.2.3　有限范围的预测224  
9.2.4　可弃权的弱假设225  
9.2.5　将参数αt隐入ht228  
9.2.6　域分割的弱假设228  
9.3　学习规则集231  
9.4　交替决策树233  
9.5　小结239  
9.6　参考资料239  
9.7　练习239  
*10章　多类别分类问题243  
10.1　多类别问题的直接扩展244  
10.2　一对其他归约和多标签分类248  
10.2.1　多标签分类249  
10.2.2　汉明损失249  
10.2.3　与“1错误”和单标签分类的关系252  
10.3　应用到语义分类问题253  
10.4　应用输出编码的通用约简257  
10.4.1　多类别到多标签257  
10.4.2　更通用的编码261  
10.5　小结267  
10.6　参考资料267  
10.7　练习268  

*11章　排序272  
11.1　排序问题的形式化框架272  
11.2　排序问题的提升法275  
11.2.1　RankBoost275  
11.2.2　选择αt和弱学习器的标准277  
11.2.3　RankBoost和AdaBoost的损失函数278  
11.3　提高效率的方法280  
11.3.1　约简为二分类问题280  
11.3.2　层级反馈282  
11.3.3　准层级反馈284  
11.4　多类别、多标签分类288  
11.5　应用290  
11.5.1　解析英文句子290  
11.5.2　找到癌症基因292  
11.6　小结294  
11.7　参考资料294  
11.8　练习295第四部分*级理论  

*12章达到尽可能高的准确度301  
12.1　*优分类与风险*小化302  
12.2　接近*优风险305  
12.2.1　基假设的表达306  
12.2.2　证明概览306  
12.2.3　正式的证明308  
12.2.4　AdaBoost*小化经验风险的速度的界310  
12.2.5　夹紧效果的界315  
12.2.6　经验风险和真实风险之间的关系315  
12.2.7　完成证明318  
12.2.8　与基于间隔的界的对比318  
12.3　风险*小化如何导致较差的准确性319  
12.3.1　构建基于置信度的假设319  
12.3.2　用二分类器进行构建322  
12.3.3　均匀噪声的困难324  
12.4　小结326  
12.5　参考资料326  
12.6　练习327  

*13章　效率*优的提升法332  
13.1　BBM算法333  
13.1.1　投票博弈333  
13.1.2　一个筹码游戏335  
13.1.3　推导*优博弈336  
13.1.4　一个容易处理的近似337  
13.1.5　算法341  
13.1.6　分析343  
13.1.7　博弈论优化344  
13.2　*优泛化误差345  
13.2.1　BBM的上界346  
13.2.2　通用下界346  
13.2.3　构建347  
13.2.4　分析概述352  
13.2.5　将提升器看作固定的函数353  
13.2.6　误差的分析355  
13.2.7　将所有东西结合到一起358  
13.3　与AdaBoost的关系359  
13.3.1　误差界的比较359  
13.3.2　由BBM派生出AdaBoost360  
13.3.3　权重的比较361  
13.4　小结363  
13.5　参考资料363  
13.6　练习363  

*14章　连续时间下的提升法367  
14.1　连续时间极限下的适应性367  
14.1.1　主要思想368  
14.1.2　连续时间下的极限369  
14.1.3　另一个推导过程372  
14.2　BrownBoost375  
14.2.1　算法375  
14.2.2　分析377  
14.3　AdaBoost作为BrownBoost的一个特例381  
14.4　含噪声的数据的实验387  
14.5　小结389  
14.6　参考资料389  
14.7　练习390  

附录A　符号、定义及其数学背景393  
A.1　通用符号393  
A.2　范式394  
A.3　*大值、*小值、上确界、下确界394  
A.4　极限395  
A.5　连续性、闭集和紧性396  
A.6　导数、梯度和泰勒定理397  
A.7　凸集398  
A.8　拉格朗日乘子法398  
A.9　分布和中心极限定理399