1.神经网络与深度学习

本书主要介绍神经网络与深度学习中的基础知识、主要模型（卷积神经网络、递归神经网络等）以及在计算机视觉、自然语言处理等领域的应用。

2.神经网络与深度学习：案例与实践

作为邱锡鹏老师出品的《神经网络与深度学习》配套案例，与《神经网络与深度学习》深度融合，从实践角度诠释原书理论内容。

邱锡鹏，复旦大学计算机科学技术学院教授、博士生导师，于复旦大学获得理学学士和博士学位。主要研究领域包括自然语言处理、机器学习、深度学习等，在相关领域的国际期刊、会议上发表学术论文60余篇，获得计算语言学顶级国际会议ACL 2017杰出论文奖、全国计算语言学会议CCL 2019*佳论文奖，2015年入选首届中国科协青年人才托举工程，2018年获得中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”，入选由“清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院”联合发布的2020年人工智能（AI）全球*具影响力学者提名。该排名参考过去十年人工智能各子领域*有影响力的会议和期刊发表论文的引用情况，排名前10的学者当选该领域当年*具影响力学者奖，排名前100的其他学者获*具影响力学者提名奖。作为项目负责人开源发布了两个自然语言处理开源系统FudanNLP和FastNLP，获得了学术界和产业界的广泛使用。目前担任中国中文信息学会青年工作委员会执行委员、计算语言学专委会委员、语言与知识计算专委会委员，中国人工智能学会青年工作委员会常务委员、自然语言理解专委会委员。

1.神经网络与深度学习

序

前言

常用符号表

第一部分  机器学习基础

第1章  绪论3

1.1人工智能.4

1.1.1人工智能的发展历史..5

1.1.2人工智能的流派.7

1.2机器学习.7

1.3表示学习.8

1.3.1局部表示和分布式表示.9

1.3.2表示学习.11

1.4深度学习.11

1.4.1端到端学习..12

1.5神经网络.13

1.5.1人脑神经网络..13

1.5.2人工神经网络..14

1.5.3神经网络的发展历史..15

1.6本书的知识体系.17

1.7常用的深度学习框架.18

1.8总结和深入阅读.20

第2章  机器学习概述23

2.1基本概念.24

2.2机器学习的三个基本要素..26

2.2.1模型..26

2.2.2学习准则.27

2.2.3优化算法.30

2.3机器学习的简单示例——线性回归.33

2.3.1参数学习.34

2.4偏差-方差分解..38

2.5机器学习算法的类型.41

2.6数据的特征表示.43

2.6.1传统的特征学习.44

2.6.2深度学习方法..46

2.7评价指标.46

2.8理论和定理..49

2.8.1PAC学习理论..49

2.8.2没有免费午餐定理..50

2.8.3奥卡姆剃刀原理.50

2.8.4丑小鸭定理..51

2.8.5归纳偏置.51

2.9总结和深入阅读.51

第3章  线性模型

3.1线性判别函数和决策边界..56

3.1.1二分类..56

3.1.2多分类..58

3.2Logistic回归.59

3.2.1参数学习.60

3.3Softmax回归.61

3.3.1参数学习.62

3.4感知器.64

3.4.1参数学习.64

3.4.2感知器的收敛性.66

3.4.3参数平均感知器.67

3.4.4扩展到多分类..69

3.5支持向量机..71

3.5.1参数学习.73

3.5.2核函数..74

3.5.3软间隔..74

3.6损失函数对比.75

3.7总结和深入阅读.76

第二部分  基础模型

第4章  前馈神经网络81

4.1神经元.82

4.1.1Sigmoid型函数.83

4.1.2ReLU函数..86

4.1.3Swish函数..88

4.1.4GELU函数..89

4.1.5Maxout单元.89

4.2网络结构.90

4.2.1前馈网络.90

4.2.2记忆网络.90

4.2.3图网络..90

4.3前馈神经网络.91

4.3.1通用近似定理..93

4.3.2应用到机器学习.94

4.3.3参数学习.95

4.4反向传播算法.95

4.5自动梯度计算.98

4.5.1数值微分.99

4.5.2符号微分.99

4.5.3自动微分.100

4.6优化问题.103

4.6.1非凸优化问题..103

4.6.2梯度消失问题..104

4.7总结和深入阅读.104

第5章  卷积神经网络109

5.1卷积..110

5.1.1卷积的定义..110

5.1.2互相关..112

5.1.3卷积的变种..113

5.1.4卷积的数学性质.114

5.2卷积神经网络.115

5.2.1用卷积来代替全连接..115

5.2.2卷积层..116

5.2.3汇聚层..118

5.2.4卷积网络的整体结构..119

5.3参数学习.120

5.3.1卷积神经网络的反向传播算法.120

5.4几种典型的卷积神经网络..121

5.4.1LeNet-5..122

5.4.2AlexNet.123

5.4.3Inception网络..125

5.4.4残差网络.126

5.5其他卷积方式.127

5.5.1转置卷积.127

5.5.2空洞卷积.129

5.6总结和深入阅读.130

第6章  循环神经网络133

6.1给网络增加记忆能力.134

6.1.1延时神经网络..134

6.1.2有外部输入的非线性自回归模型..134

6.1.3循环神经网络..135

6.2简单循环网络.135

6.2.1循环神经网络的计算能力..136

6.3应用到机器学习.138

6.3.1序列到类别模式.138

6.3.2同步的序列到序列模式.139

6.3.3异步的序列到序列模式.139

6.4参数学习.140

6.4.1随时间反向传播算法..141

6.4.2实时循环学习算法..142

6.5长程依赖问题.143

6.5.1改进方案.144

6.6基于门控的循环神经网络..145

6.6.1长短期记忆网络.145

6.6.2LSTM网络的各种变体.147

6.6.3门控循环单元网络..148

6.7深层循环神经网络..149

6.7.1堆叠循环神经网络..150

6.7.2双向循环神经网络..150

6.8扩展到图结构.151

6.8.1递归神经网络..151

6.8.2图神经网络..152

6.9总结和深入阅读.153

第7章  网络优化与正则化157

7.1网络优化.157

7.1.1网络结构多样性.158

7.1.2高维变量的非凸优化..158

7.1.3神经网络优化的改善方法..160

7.2优化算法.160

7.2.1小批量梯度下降.160

7.2.2批量大小选择..161

7.2.3学习率调整..162

7.2.4梯度估计修正..167

7.2.5优化算法小结..170

7.3参数初始化..171

7.3.1基于固定方差的参数初始化.172

7.3.2基于方差缩放的参数初始化.173

7.3.3正交初始化..175

7.4数据预处理..176

7.5逐层归一化..178

7.5.1批量归一化..179

7.5.2层归一化.181

7.5.3权重归一化..182

7.5.4局部响应归一化.182

7.6超参数优化..183

7.6.1网格搜索.183

7.6.2随机搜索.184

7.6.3贝叶斯优化..184

7.6.4动态资源分配..185

7.6.5神经架构搜索..186

7.7网络正则化..186

7.7.1?1和?2正则化..187

7.7.2权重衰减.188

7.7.3提前停止.188

7.7.4丢弃法..189

7.7.5数据增强.191

7.7.6标签平滑.191

7.8总结和深入阅读.192

第8章  注意力机制与外部记忆197

8.1认知神经学中的注意力.198

8.2注意力机制..199

8.2.1注意力机制的变体..201

8.3自注意力模型.203

8.4人脑中的记忆.205

8.5记忆增强神经网络..207

8.5.1端到端记忆网络.208

8.5.2神经图灵机..210

8.6基于神经动力学的联想记忆.211

8.6.1Hopfiel网络..212

8.6.2使用联想记忆增加网络容量.215

8.7总结和深入阅读.215

第9章  无监督学习219

9.1无监督特征学习.220

9.1.1主成分分析..220

9.1.2稀疏编码.222

9.1.3自编码器.224

9.1.4稀疏自编码器..225

9.1.5堆叠自编码器..226

9.1.6降噪自编码器..226

9.2概率密度估计.227

9.2.1参数密度估计..227

9.2.2非参数密度估计.229

9.3总结和深入阅读.232

第10章  模型独立的学习方式235

10.1集成学习.235

10.1.1AdaBoost算法..237

10.2自训练和协同训练..240

10.2.1自训练..240

10.2.2协同训练.240

10.3多任务学习..242

10.4迁移学习.245

10.4.1归纳迁移学习..246

10.4.2转导迁移学习..247

10.5终身学习.249

10.6元学习.252

10.6.1基于优化器的元学习..253

10.6.2模型无关的元学习..254

10.7总结和深入阅读.255

第三部分  进阶模型

第11章  概率图模型261

11.1模型表示.262

11.1.1有向图模型..263

11.1.2常见的有向图模型..264

11.1.3无向图模型..267

11.1.4无向图模型的概率分解.267

11.1.5常见的无向图模型..269

11.1.6有向图和无向图之间的转换.270

11.2学习..271

11.2.1不含隐变量的参数估计.271

11.2.2含隐变量的参数估计..273

11.3推断..279

11.3.1精确推断.279

11.3.2近似推断.282

11.4变分推断.283

11.5基于采样法的近似推断.285

11.5.1采样法..285

11.5.2拒绝采样.287

11.5.3重要性采样..288

11.5.4马尔可夫链蒙特卡罗方法..289

11.6总结和深入阅读.292

第12章  深度信念网络297

12.1玻尔兹曼机..297

12.1.1生成模型.299

12.1.2能量最小化与模拟退火.301

12.1.3参数学习.302

12.2受限玻尔兹曼机.304

12.2.1生成模型.305

12.2.2参数学习.307

12.2.3受限玻尔兹曼机的类型.308

12.3深度信念网络.309

12.3.1生成模型.310

12.3.2参数学习.310

12.4总结和深入阅读.313

第13章  深度生成模型317

13.1概率生成模型.318

13.1.1密度估计.318

13.1.2生成样本.319

13.1.3应用于监督学习.319

13.2变分自编码器.319

13.2.1含隐变量的生成模型..319

13.2.2推断网络.321

13.2.3生成网络.323

13.2.4模型汇总.323

13.2.5再参数化.325

13.2.6训练..325

13.3生成对抗网络.327

13.3.1显式密度模型和隐式密度模型.327

13.3.2网络分解.327

13.3.3训练..329

13.3.4一个生成对抗网络的具体实现：DCGAN..330

13.3.5模型分析.330

13.3.6改进模型.333

13.4总结和深入阅读.336

第14章  深度强化学习339

14.1强化学习问题.340

14.1.1典型例子.340

14.1.2强化学习定义..340

14.1.3马尔可夫决策过程..341

14.1.4强化学习的目标函数..343

14.1.5值函数..344

14.1.6深度强化学习..345

14.2基于值函数的学习方法.346

14.2.1动态规划算法..346

14.2.2蒙特卡罗方法..349

14.2.3时序差分学习方法..350

14.2.4深度Q网络..353

14.3基于策略函数的学习方法..354

14.3.1REINFORCE算法..356

14.3.2带基准线的REINFORCE算法.356

14.4演员-评论员算法.358

14.5总结和深入阅读.360

第15章  序列生成模型365

15.1序列概率模型.366

15.1.1序列生成.367

15.2N元统计模型.368

15.3深度序列模型.370

15.3.1模型结构.370

15.3.2参数学习.373

15.4评价方法.373

15.4.1困惑度..373

15.4.2BLEU算法..374

15.4.3ROUGE算法.375

15.5序列生成模型中的学习问题.375

15.5.1曝光偏差问题..376

15.5.2训练目标不一致问题..377

15.5.3计算效率问题..377

15.6序列到序列模型.385

15.6.1基于循环神经网络的序列到序列模型.386

15.6.2基于注意力的序列到序列模型.387

15.6.3基于自注意力的序列到序列模型..388

15.7总结和深入阅读.390

附录数学基础  393

附录A  线性代数  394

附录B  微积分  404

附录C  数学优化  413

附录D  概率论  420

附录E  信息论  433

索引  439

2.神经网络与深度学习：案例与实践

序

前言

第1章实践基础1

1.1如何运行本书的代码.2

1.1.1本地运行.2

1.1.2代码下载与使用方法..3

1.1.3在线运行.4

1.2张量..6

1.2.1创建张量.6

1.2.2张量的属性..9

1.2.3张量与Numpy数组转换..13

1.2.4张量的访问..13

1.2.5张量的运算..16

1.3算子..20

1.3.1算子定义.21

1.3.2自动微分机制..25

1.3.3预定义的算子..27

1.3.4本书中实现的算子..27

1.3.5本书中实现的优化器..29

1.4本书中使用的数据集和实现的Dataset类..29

1.4.1数据集..29

1.4.2Dataset类..31

1.5本书中实现的Runner类.31

1.6小结..32

第2章机器学习概述33

2.1机器学习实践五要素.34

2.1.1数据..35

2.1.2模型..36

2.1.3学习准则.36

2.1.4优化算法.37

2.1.5评价指标.37

2.2实现一个简单的线性回归模型..38

2.2.1数据集构建..38

2.2.2模型构建.40

2.2.3损失函数.42

2.2.4优化器..43

2.2.5模型训练.45

2.2.6模型评价.45

2.3多项式回归..46

2.3.1数据集构建：ToySin25..46

2.3.2模型构建.48

2.3.3模型训练.49

2.3.4模型评价.50

2.3.5通过引入正则化项来缓解过拟合..52

2.4构建Runner类..53

2.5实践：基于线性回归的波士顿房价预测.55

2.5.1数据处理.55

2.5.2模型构建.62

2.5.3完善Runner类：RunnerV1.62

2.5.4模型训练.63

2.5.5模型评价.64

2.5.6模型预测.64

2.6小结..65

第3章线性分类67

3.1基于Logistic回归的二分类任务.68

3.1.1数据集构建..69

3.1.2模型构建.71

3.1.3损失函数.73

3.1.4模型优化.74

3.1.5评价指标.77

3.1.6完善Runner类：RunnerV2.77

3.1.7模型训练.80

3.1.8模型评价.82

3.2基于Softmax回归的多分类任务..82

3.2.1数据集构建..83

3.2.2模型构建.86