书名：机器学习:公式推导与代码实现  
定*：99.8  
ISBN：9787**5579522  
作者：鲁伟  
版次：第1版  
出版时间：2022-0*  

内容提要：  
作为*门应用型学科，机器学习植根于数学理论，落地于代码实现。这*意味着，掌握公式推导和代码编写，方能更加深入地理解机器学习算法的内在逻辑和运行机制。本书在对**机器学习算法进行分类梳理的基础之上，分别对监督学习单模型、监督学习集成模型、*监督学习模型、概率模型四个大类共26个*算法进行了细*的公式推导和代码实现，旨在帮助机器学习学习者和研究者完整地掌握算法细节、实现方法以及内在逻辑。  



作者简介：  
鲁伟 贝叶斯统计方向硕士毕业，深度学习算法工程师，主要从事医疗数据分析、医学图像处理和深度学习应用相关研究与工作。著有《深度学习笔记》*书，也是“机器学习实验室”的主理人。  

目录：  
序  
前言  
第 *章 机器学习预备知识 2  
*.* 引言 2  
*.2 关键术语与任务类型 2  
*.3 机器学习三要素 3  
*.4 机器学习核心 4  
*.5 机器学习流程 5  
*.6 NumPy*学*会 7  
*.6.* *建数组 7  
*.6.2 数组的索引与切片 9  
*.6.3 数组的基础运算 *0  
*.6.4 数组维度变换 **  
*.6.5 数组合并与切分 *2  
*.7 sklearn简介 *3  
*.8章节安排 *4  
*.9 小结 *6  
第 2章 线性回归 *8  
2.* 杭州的二手房房* *8  
2.2 线性回归的原理推导 *9  
2.3 线性回归的代码实现 22  
2.3.* 编写思路 22  
2.3.2 基于NumPy的代码实现 23  
2.3.3 基于sklearn的模型实现 28  
2.4 小结 29  
第3章 逻辑回归 30  
3.* App开屏广告 30  
3.2 逻辑回归的原理推导 3*  
3.3 逻辑回归的代码实现 33  
3.3.* 编写思路 33  
3.3.2 基于NumPy的逻辑回归实现 34  
3.3.3 基于sklearn的逻辑回归实现 4*  
3.4 小结 4*  
第4章 回归模型拓展 42  
4.* 回到杭州二手房房* 42  
4.2 LASSO回归的原理推导 42  
4.3 LASSO回归的代码实现 44  
4.3.* 编写思路 44  
4.3.2 基于NumPy的LASSO回归实现 45  
4.3.3 基于sklearn的LASSO回归实现 49  
4.4 Ridge回归的原理推导 49  
4.5 Ridge回归的代码实现 50  
4.6 小结 54  
第5章 线性判别分析 55  
5.* LDA基本思想 55  
5.2 LDA数学推导 56  
5.3 LDA算法实现 57  
5.3.* 基于NumPy的LDA算法实现 57  
5.3.2 基于sklearn的LDA算法实现 60  
5.4 小结 6*  
第6章 k近邻算法 62  
6.* “猜你喜欢”的推荐逻辑 62  
6.2 距离度量方式 63  
6.3 k 近邻算法的基本原理 64  
6.4 k 近邻算法的代码实现 64  
6.4.* 编写思路 64  
6.4.2 基于NumPy的k近邻算法实现 65  
6.4.3 基于sklearn的k近邻算法实现 7*  
6.5 小结 7*  
第7章 决策树 72  
7.* “今天是否要打*尔夫” 72  
7.2 决策树 73  
7.3 *征选择：从信息增益到基尼指数 75  
7.3.* 什么是*征选择 75  
7.3.2 信息增益 75  
7.3.3 信息增益比 78  
7.3.4 基尼指数 79  
7.4 决策树模型：从ID3到CART 8*  
7.4.* ID3 8*  
7.4.2 C4.5 85  
7.4.3 CART分类树 86  
7.4.4 CART回归树 86  
7.4.5 CART算法实现 88  
7.5 决策树剪枝 95  
7.6 小结 96  
第8章 *经网络 97  
8.* *处*在的图像识别 97  
8.2 从感知机说起 98  
8.2.* 感知机推导 98  
8.2.2 基于NumPy的感知机实现 *00  
8.3 从单层到多层 *03  
8.3.* *经网络与反向传播 *03  
8.3.2 基于NumPy的*经网络搭建 *05  
8.4 *经网络的广阔天地 **4  
8.5 小结 **4  
第9章 支持向量机 **5  
9.* 重新从感知机出发 **5  
9.2 线性可分支持向量机 **6  
9.2.* 线性可分支持向量机的原理推导 **6  
9.2.2 线性可分支持向量机的算法实现 *20  
9.3 近似线性可分支持向量机 *25  
9.3.* 近似线性可分支持向量机的原理推导 *25  
9.3.2 近似线性可分支持向量机的算法实现 *28  
9.4 线性*可分支持向量机 *32  
9.4.* 线性*可分与核技巧 *32  
9.4.2 SMO算法 *35  
9.4.3 线性*可分支持向量机的算法实现 *37  
9.5 小结 *42  
第 *0章 AdaBoost *44  
*0.* 什么是Boosting *44  
*0.2 AdaBoost算法的原理推导 *44  
*0.2.* AdaBoost基本原理 *44  
*0.2.2 AdaBoost与前向分步算法 *46  
*0.3 AdaBoost算法实现 *47  
*0.3.* 基于NumPy的AdaBoost算法实现 *47  
*0.3.2 基于sklearn的AdaBoost算法实现 *53  
*0.4 小结 *53  
第 **章 GBDT *54  
**.* 从提*树到梯度提*树 *54  
**.2 GBDT算法的原理推导 *54  
**.3 GBDT算法实现 *57  
**.3.* 从零开始实现*个GBDT算法系统 *57  
**.3.2 基于sklearn的GBDT实现 *6*  
**.4 小结 *62  
第 *2章 XGBoost *63  
*2.* XGBoost：*度梯度提*树 *63  
*2.2 XGBoost算法的原理推导 *64  
*2.3 XGBoost算法实现 *68  
*2.3.* XGBoost实现：基于GBDT的改进 *68  
*2.3.2 原生库XGBoost示例 *72  
*2.4 小结 *74  
第 *3章 LightGBM *75  
*3.* XGBoost可*化的地方 *75  
*3.2 LightGBM基本原理 *75  
*3.2.* 直方图算法 *75  
*3.2.2 单边梯度抽样 *76  
*3.2.3 互斥*征捆绑算法 *77  
*3.2.4 leaf-wise生长策略 *78  
*3.3 LightGBM算法实现 *79  
*3.4 小结 *8*  
第 *4章 CatBoost *82  
*4.* 机器学习中类别*征的处理方法 *82  
*4.2 CatBoost理论基础 *83  
*4.2.* 目标变量统计 *83  
*4.2.2 *征组合 *84  
*4.2.3 排序提*算法 *84  
*4.3 CatBoost算法实现 *86  
*4.4 小结 *88  
第 *5章 随机森林 *89  
*5.* Bagging：另*种集成学习框架 *89  
*5.2 随机森林的基本原理 *90  
*5.3 随机森林的算法实现 *9*  
*5.3.* 基于NumPy的随机森林算法实现 *9*  
*5.3.2 基于sklearn的随机森林算法实现 *95  
*5.4 小结 *96  
第 *6章 集成学习：对比与调参 *97  
*6.* 三大Boosting算法对比 *97  
*6.2 常用的*参数调*方法 20*  
*6.2.* 网格搜索法 20*  
*6.2.2 随机搜索 202  
*6.2.3 贝叶斯调参 203  
*6.3 小结 205  
第 *7章 聚类分析与k均值聚类算法 208  
*7.* 距离度量和相似度度量方式 208  
*7.2 聚类算法*览 209  
*7.3 k均值聚类算法的原理推导 2**  
*7.4 k均值聚类算法实现 2*2  
*7.4.* 基于NumPy的k均值聚类算法实现 2*2  
*7.4.2 基于sklearn的k均值聚类算法实现 2*7  
*7.5 小结 2*7  
第 *8章 主成分分析 2*8  
*8.* PCA算法的原理推导 2*8  
*8.2 PCA算法实现 220  
*8.2.* 基于NumPy的PCA算法实现 220  
*8.2.2 基于sklearn的PCA算法实现 222  
*8.3 小结 223  
第 *9章 奇异值分解 224  
*9.* *征向量与矩阵分解 224  
*9.2 SVD算法的原理推导 225  
*9.3 SVD算法实现与应用 226  
*9.3.* SVD算法实现 226  
*9.3.2 基于SVD的图像去噪 227  
*9.4 小结 23*  
第 20章 最大信息熵模型 234  
20.* 最大信息熵原理 234  
20.2 最大信息熵模型的推导 234  
20.3 小结 237  
第 2*章 贝叶斯概率模型 238  
2*.* 贝叶斯定理简介 238  
2*.2 朴素贝叶斯 239  
2*.2.* 朴素贝叶斯的原理推导 239  
2*.2.2 基于NumPy的朴素贝叶斯实现 240  
2*.2.3 基于sklearn的朴素贝叶斯实现 243  
2*.3 贝叶斯网络 244  
2*.3.* 贝叶斯网络的原理推导 244  
2*.3.2 借助于pgmpy的贝叶斯网络实现 246  
2*.4 小结 249  
第 22章 EM算法 250  
22.* *大似然估计 250  
22.2 EM算法的原理推导 25*  
22.3 EM算法实现 253  
22.4 小结 255  
第 23章 隐马尔可夫模型 256  
23.* 什么是概率图模型 256  
23.2 HMM的定义与相关概念 257  
23.3 HMM的三个*问题 262  
23.3.* 概率计算问题与前向/后向算法 262  
23.3.2 参数估计问题与Baum-Welch算法 266  
23.3.3 序列标注问题与维*比算法 269  
23.4 小结 27*  
第 24章 条件随机场 272  
24.* 从生活画像到词性标注问题 272  
24.2 概率*向图 273  
24.3 CRF的定义与形式 275  
24.4 CRF的三大问题 277  
24.4.* CRF的概率计算问题 277  
24.4.2 CRF的参数估计问题 278  
24.4.3 CRF的序列标注问题 279  
24.4.4 基于sklearn_crfsuite的CRF代码实现 28*  
24.5 小结 28*  
第 25章 马尔可夫链蒙*卡洛方法 283  
25.* 前置知识与相关概念 283  
25.*.* 马尔可夫链 283  
25.*.2 蒙*卡洛算法 285  
25.2 MCMC的原理推导 287  
25.2.* MCMC采样 287  
25.2.2 Metropolis-Hasting采样算法 289  
25.2.3 Gibbs采样算法 29*  
25.3 MCMC与贝叶斯推断 296  
25.4 小结 296  
第 26章 机器学习模型总结 298  
26.* 机器学习模型的归纳与分类 298  
26.*.* 单模型与集成模型 300  
26.*.2 监督模型与*监督模型 30*  
26.*.3 生成式模型与判别式模型 30*  
26.*.4 概率模型与非概率模型 302  
26.2 本书的*足和未来展望 303  
参考文献 305