本书利用精美的插图和有趣的类比，对深度学习的主流技术和背后的原理进行了深入浅出的讲解，解释了什么是深度学习，深度学习流行的原因，以及深度学习与其他机器学习方法的关系。阅读本书，读者可以掌握卷积神经网络、循环神经网络、生成对抗网络和深度强化学习等热门技术，学习 TensorFlow、Keras 和 PyTorch 等热门工具的使用，同时能够更深刻地理解计算机视觉、自然语言处理和游戏等领域的人工智能应用。本书还提供了简单明了的示例和代码，能够帮助读者动手实践。

作者简介

乔恩·克罗恩（Jon Krohn）是untapt机器学习公司的*数据科学家，拥有牛津大学的神经科学博士学位，并在纽约数据科学学院和哥伦比亚大学讲授深度学习课程。

他主持的TensorFlow深度学习视频课程广受赞誉。

格兰特·贝勒费尔德（Grant Beyleveld）是untapt的数据科学家，拥有伊坎医学院的生物医学博士学位，主要负责利用深度学习处理自然语言。

阿格莱·巴森斯（Aglaé Bassens）曾在牛津大学和伦敦大学的美术学院研修艺术，她是插画师、画家和壁画家。

译者简介

刘乐平，博士毕业于中国人民大学统计学院。天津财经大学大数据统计中心主任，统计学、金融学教授，博士生导师。主要研究领域为贝叶斯数据分析、风险管理与精算。

刘芳，硕士毕业于英国伯明翰大学，天津财经大学珠江学院讲师，主要研究方向为金融科技、机器学习和保险精算。

程瑞华，博士毕业于美国新泽西理工学院，天津财经大学金融学院讲师，主要研究方向包括深度学习、保险精算等，曾*职京东创新研究院担任算法工程师。

目录

第Ⅰ部分 深度学习简介 1

第 1章 生物视觉与机器视觉 2

1.1 生物视觉 2

1.2 机器视觉 6

1.2.1 神经认知机 7

1.2.2 LeNet-5 7

1.2.3 传统机器学习方法 9

1.2.4 ImageNet和ILSVRC 10

1.2.5 AlexNet 10

1.3 TensorFlow Playground 13

1.4 Quick，Draw！ 14

1.5 小结 15

第 2章 人机语言 16

2.1 自然语言处理的深度学习 16

2.1.1 深度学习网络能够自动学习表征 16

2.1.2 自然语言处理 17

2.1.3 自然语言处理的深度学习简史 18

2.2 语言的计算表示 19

2.2.1 独热编码 19

2.2.2 词向量 20

2.2.3 词向量算法 22

2.2.4 word2viz 23

2.2.5 局部化与分布式表示 24

2.3 自然人类语言要素 25

2.4 Google Duplex 27

2.5 小结 28

第3章 机器艺术 29

3.1 一个热闹的通宵 29

目录 2

3.2 伪人脸算法 31

3.3 风格迁移：照片与莫奈风格间的相互转换 33

3.4 让你的素描更具真实感 34

3.5 基于文本创建真实感图像 35

3.6 使用深度学习进行图像处理 35

3.7 小结 36

第4章 对弈机 38

4.1 人工智能、深度学习和其他技术 38

4.1.1 人工智能 39

4.1.2 机器学习 39

4.1.3 表征学习 39

4.1.4 人工神经网络 39

4.1.5 深度学习 40

4.1.6 机器视觉 40

4.1.7 自然语言处理 41

4.2 机器学习问题的3种类型 41

4.2.1 监督学习 41

4.2.2 无监督学习 41

4.2.3 强化学习 42

4.3 深度强化学习 43

4.4 电子游戏 44

4.5 棋盘游戏 45

4.5.1 AlphaGo 46

4.5.2 AlphaGo Zero 49

4.5.3 AlphaZero 50

4.6 目标操纵 52

4.7 主流的深度强化学习环境 53

4.7.1 OpenAI Gym 53

4.7.2 DeepMind Lab 54

4.7.3 Unity ML-Agents 55

4.8 人工智能的3种类型 56

4.8.1 狭义人工智能 56

4.8.2 通用人工智能 56

4.8.3 *人工智能 56

4.9 小结 56

目录 3

第Ⅱ部分 图解深度学习基本理论 57

第5章 先代码后理论 58

5.1 预备知识 58

5.2 安装 58

5.3 用Keras构建浅层网络 59

5.3.1 MNIST手写数字 59

5.3.2 浅层网络简图 60

5.3.3 加载数据 61

5.3.4 重新格式化数据 63

5.3.5 设计神经网络架构 64

5.3.6 训练深度学习模型 65

5.4 小结 66

第6章 热狗人工神经元检测器 67

6.1 生物神经元概述 67

6.2 感知机 68

6.2.1 热狗/非热狗感知机 68

6.2.2 本书中*重要的公式 71

6.3 现代人工神经元与*函数 72

6.3.1 sigmoid神经元 72

6.3.2 tanh神经元 73

6.3.3 ReLU：线性整流单元 74

6.4 选择神经元 74

6.5 小结 75

6.6 核心概念 75

第7章 人工神经网络 76

7.1 输入层 76

7.2 全连接层 76

7.3 热狗检测全连接网络 77

7.3.1 通过第 一个隐藏层的正向传播 78

7.3.2 通过后续层的正向传播 79

7.4 快餐分类网络的softmax层 81

目录 4

7.5 浅层网络回顾 83

7.6 小结 84

7.7 核心概念 84

第8章 训练深度网络 85

8.1 损失函数 85

8.1.1 平方损失函数 85

8.1.2 饱和神经元 86

8.1.3 交叉熵损失函数 86

8.2 优化：学习*小化损失 88

8.2.1 梯度下降 88

8.2.2 学习率 89

8.2.3 batch size和随机梯度下降 90

8.2.4 解决局部极小值问题 92

8.3 反向传播 94

8.4 调整隐藏层层数和神经元数量 94

8.5 用Keras构建中等深度的神经网络 95

8.6 小结 98

8.7 核心概念 98

第9章 改进深度网络 99

9.1 权重初始化 99

9.2 不稳定梯度 104

9.2.1 梯度消失 104

9.2.2 梯度爆炸 105

9.2.3 批量归一化 105

9.3 模型泛化（避免过拟合） 106

9.3.1 L1/L2正则化 107

9.3.2 dropout 108

9.3.3 数据增强 110

9.4 理想的优化器 110

9.4.1 动量 110

9.4.2 Nesterov动量 111

9.4.3 AdaGrad 111

9.4.4 AdaDelta和RMSProp 111

目录 5

9.4.5 Adam 112

9.5 用Keras构建深度神经网络 112

9.6 回归 114

9.7 TensorBoard 116

9.8 小结 118

9.9 核心概念 118

第Ⅲ部分 深度学习的交互应用 119

第 10章 机器视觉 120

10.1 卷积神经网络 120

10.1.1 视觉图像的二维结构 120

10.1.2 计算复杂度 120

10.1.3 卷积层 121

10.1.4 多个卷积核 122

10.1.5 卷积示例 123

10.1.6 卷积核的*参数 126

10.2 池化层 127

10.3 用Keras实现LeNet-5 129

10.4 用Keras实现AlexNet和VGGNet 133

10.5 残差网络 136

10.5.1 梯度消失：深度CNN的*缺点 136

10.5.2 残差连接 136

10.5.3 ResNet 138

10.6 机器视觉的应用 139

10.6.1 目标检测 139

10.6.2 图像分割 142

10.6.3 迁移学习 143

10.6.4 胶囊网络 147

10.7 小结 147

10.8 核心概念 147

第 11章 自然语言处理 149

11.1 自然语言数据的预处理 149

11.1.1 分词 151

目录 6

11.1.2 将所有字符转换成小写 153

11.1.3 删除停顿词和标点符号 153

11.1.4 词干提取 154

11.1.5 处理n-grams 155

11.1.6 预处理整个语料库 156

11.2 通过word2vec创建词嵌入 158

11.2.1 word2vec背后的基本理论 158

11.2.2 词向量的评估 160

11.2.3 word2vec的运行 160

11.2.4 词向量的绘制 163

11.3 ROC曲线下的面积 167

11.3.1 混淆矩阵 168

11.3.2 计算ROC AUC指标 169

11.4 通过常见网络实现自然语言分类 171

11.4.1 加载IMDb电影评论 171

11.4.2 检查IMDb数据 173

11.4.3 标准化评论长度 176

11.4.4 全连接网络 176

11.4.5 卷积网络 182

11.5 序列数据的网络设计 186

11.5.1 循环神经网络 186

11.5.2 LSTM 189

11.5.3 双向LSTM 192

11.5.4 堆叠的循环神经网络 192

11.5.5 seq2seq模型和注意力机制 193

11.5.6 自然语言处理中的迁移学习 194

11.6 非序列架构——Keras函数式API 195

11.7 小结 198

11.8 核心概念 199

第 12章 生成对抗网络 200

12.1 生成对抗网络的基本理论 200

12.2 “Quick，Draw！”数据集 202

12.3 判别器网络 205

12.4 生成器网络 208

目录 7

12.5 对抗网络 211

12.6 训练生成对抗网络 212

12.7 小结 218

12.8 核心概念 219

第 13章 深度强化学习 220

13.1 强化学习的基本理论 220

13.1.1 Cart-Pole 游戏 221

13.1.2 马尔可夫决策过程 222

13.1.3 *策略 224

13.2 深度Q-Learning网络的基本理论 225

13.2.1 值函数 226

13.2.2 Q值函数 226

13.2.3 估计*Q值 226

13.3 定义DQN智能体 227

13.3.1 初始化参数 229

13.3.2 构建智能体的神经网络模型 231

13.3.3 记忆游戏 232

13.3.4 记忆回放训练 232

13.3.5 选择要采取的行动 233

13.3.6 保存和加载模型参数 234

13.4 与OpenAI Gym环境交互 234

13.5 通过SLM Lab进行*参数优化 236

13.6 DQN智能体以外的智能体 238

13.6.1 策略梯度算法和REINFORCE

算法 239

13.6.2 Actor-Critic算法 240

13.7 小结 240

13.8 核心概念 241

第Ⅳ部分 您与人工智能 243

第 14章 推进专属于您的深度学习项目 244

14.1 深度学习项目构想 244

14.1.1 机器视觉和生成对抗网络 244

目录 8

14.1.2 自然语言处理 246

14.1.3 深度强化学习 246

14.1.4 转换现有的机器学习项目 247

14.2 引申项目资源 248

14.3 建模过程和*参数调优 249

14.4 深度学习框架 251

14.4.1 Keras和TensorFlow 251

14.4.2 PyTorch 253

14.4.3 MXNet、CNTK、Caffe等深度学习

框架 253

14.5 Software 2.0 253

14.6 迈向通用人工智能 255

14.7 小结 256

第Ⅴ部分 附录 259

附录A 神经网络的形式符号 260

附录B 反向传播 262

附录C PyTorch 265

本书图片来源 271