书名：Easy RL强化学习教程  
定价：99.9  
ISBN：9787115584700  
作者：*琦、杨毅远、江季  
版次：第1版  
出版时间：2022-03  

内容提要：  

强化学习作为机器学习及人工智能*域的*种重要方法，在游戏、自动驾驶、机器人路线规划等*域得到了广泛的应用。

本书结合了李宏毅老师的“深度强化学习”、周博磊老师的“强化学习纲要”、李科浇老师的“**带你从零实践强化学习”公开课的*华内容，在理论严

谨的基础上深入浅出地介绍马尔可夫决策过程、蒙*卡洛方法、时序差分方法、Sarsa、Q 学习等传统强化学习算法，以及策略梯度、近端策略*化、深度Q 网

络、深度确定性策略梯度等常见深度强化学习算法的基本概念和方法，并以大量生动有趣的例子帮助读者理解强化学习问题的建模过程以及核心算法的细节。

此外，本书还提供较为*面的习题解答以及Python 代码实现，可以让读者进行端到端、从理论到轻松实践的*生态学习，充分掌握强化学习算法的原理并能进

行实战。

本书适合对强化学习感兴趣的读者阅读，也可以作为相关课程的配套教材。

作者简介：  

*琦

中*科学院大学硕士在读，Datawhale成员。主要研究方向为深度学习、数据挖掘。曾获中*大学生计算机设计大赛二等奖、亚太地区大学生数学建模竞赛 

（APMCM）二等奖和“挑战杯”竞赛江苏省选拔赛二等奖，发表 SCI/EI 论文3篇。

杨毅远

清华大学硕士在读， Datawhale成员。主要研究方向为时空数据挖掘、智能传感系统、深度学习。曾获**大学生智能汽车竞赛总*、中**家奖学金，发

表SCI/EI论文7篇，其中以第*作者身份在SCI的Q*区、Q2区及中*计算机学会（CCF）A、B类会议中发表论文4篇。

江季

北京大学硕士在读， Datawhale成员。主要研究方向为强化学习、机器人。曾获大学生电子设计竞赛——20*8年嵌入式系统*题邀请赛（英*尔杯）*等奖，

发表*会论文*篇、*利2项。

目录：  

第 * 章绪论 *

*.* 强化学习概述 *

*.*.* 强化学习与监督学习 *

*.*.2 强化学习的例子 5

*.*.3 强化学习的历史 7

*.*.4 强化学习的应用 8

*.2 序列决策概述 *0

*.2.* 智能体和环境 *0

*.2.2 奖励 *0

*.2.3 序列决策 *0

*.3 动作空间 *2

*.4 强化学习智能体的组成*分和类型 *2

*.4.* 策略 *3

*.4.2 *值函数 *3

*.4.3 模型 *4

*.4.4 强化学习智能体的类型 *6

*.5 学习与规划 *9

*.6 探索和利用 20

*.7 强化学习实验 22

*.7.* Gym  23

*.7.2 MountainCar-v0 例子27

*.8 关键词 30

*.9 习题 3*

*.*0 面试题 32

参考文献 32

第 2 章马尔可夫决策过程 33

2.* 马尔可夫过程 34

2 | Easy RL：强化学习教程

2.*.* 马尔可夫性质 34

2.*.2 马尔可夫过程/马尔可夫链 34

2.*.3 马尔可夫过程的例子 35

2.2 马尔可夫奖励过程 36

2.2.* 回报与*值函数 36

2.2.2 贝尔曼方程 38

2.2.3 计算马尔可夫奖励过程*值的迭代算法 42

2.2.4 马尔可夫奖励过程的例子  43

2.3 马尔可夫决策过程 44

2.3.* 马尔可夫决策过程中的策略  44

2.3.2 马尔可夫决策过程和马尔可夫过程/马尔可夫奖励过程的区别 45

2.3.3 马尔可夫决策过程中的*值函数 45

2.3.4 贝尔曼期望方程 46

2.3.5 备份图47

2.3.6 策略评估 49

2.3.7 预测与控制 5*

2.3.8 动态规划 53

2.3.9 使用动态规划进行策略评估  53

2.3.*0 马尔可夫决策过程控制 56

2.3.** 策略迭代 58

2.3.*2 *值迭代 6*

2.3.*3 策略迭代与*值迭代的区别 63

2.3.*4 马尔可夫决策过程中的预测和控制总结 66

2.4 关键词 67

2.5 习题 68

2.6 面试题 69

参考文献 69

第3 章表格型方法 70

3.* 马尔可夫决策过程 70

3.*.* 有模型7*

3.*.2 *模型72

3.*.3 有模型与*模型的区别 73

3.2 Q 表格 73

3.3 *模型预测 77

3.3.* 蒙*卡洛方法 77

3.3.2 时序差分方法 80

3.3.3 动态规划方法、蒙*卡洛方法以及时序差分方法的自举和采样 86

3.4 *模型控制 88

3.4.* Sarsa：同策略时序差分控制 9*

3.4.2 Q 学习：异策略时序差分控制 94

3.4.3 同策略与异策略的区别 97

3.5 使用Q 学习解决悬崖寻路问题 98

3.5.* CliffWalking-v0 环境简介 98

3.5.2 强化学习基本接口 *00

3.5.3 Q 学习算法 *02

3.5.4 结果分析 *03

3.6 关键词 *04

3.7 习题*05

3.8 面试题 *05

参考文献 *05

第4 章策略梯度 *06

4.* 策略梯度算法 *06

4.2 策略梯度实现技巧 **5

4.2.* 技巧*：添加基线 **5

4.2.2 技巧2：分配合适的分数 **7

4.3 REINFORCE：蒙*卡洛策略梯度 **9

4.4 关键词 *25

4.5 习题*25

4.6 面试题 *25

参考文献 *26

第5 章近端策略*化 *27

5.* 从同策略到异策略 *27

5.2 近端策略*化 *33

5.2.* 近端策略*化惩罚 *34

4 | Easy RL：强化学习教程

5.2.2 近端策略*化裁剪 *35

5.3 关键词 *38

5.4 习题*39

5.5 面试题 *39

参考文献 *39

第6 章深度Q 网络 *40

6.* 状态*值函数 *40

6.2 动作*值函数 *45

6.3 目标网络 *50

6.4 探索*52

6.5 经验回放 *54

6.6 深度Q 网络算法总结*56

6.7 关键词 *57

6.8 习题*58

6.9 面试题 *59

参考文献 *59

第7 章深度Q 网络进*技巧 *60

7.* 双深度Q 网络 *60

7.2 竞争深度Q 网络 *62

7.3 *先级经验回放 *65

7.4 在蒙*卡洛方法和时序差分方法中取得平衡 *66

7.5 噪声网络 *67

7.6 分布式Q 函数 *68

7.7 彩虹*70

7.8 使用深度Q 网络解决推车杆问题 *72

7.8.* CartPole-v0 简介 *72

7.8.2 深度Q 网络基本接口 *73

7.8.3 回放缓冲区*75

7.8.4 Q 网络 *75

7.8.5 深度Q 网络算法 *76

7.8.6 结果分析 *78

7.9 关键词 *79

7.*0 习题 *80

7.** 面试题 *80

参考文献 *80

第8 章针对连续动作的深度Q 网络 *8*

8.* 方案*：对动作进行采样*82

8.2 方案2：梯度上* *82

8.3 方案3：设计网络架构 *82

8.4 方案4：*使用深度Q 网络 *83

8.5 习题*84

第9 章演员-评论员算法 *85

9.* 策略梯度回顾 *85

9.2 深度Q 网络回顾 *86

9.3 演员-评论员算法 *87

9.4 *势演员-评论员算法 *88

9.5 异步*势演员-评论员算法 *90

9.6 路径衍生策略梯度 *9*

9.7 与生成对抗网络的联系 *95

9.8 关键词 *96

9.9 习题*96

9.*0 面试题 *96

第 *0 章深度确定性策略梯度 *97

*0.* 离散动作与连续动作的区别 *97

*0.2 深度确定性策略梯度*99

*0.3 双延迟深度确定性策略梯度 203

*0.4 使用深度确定性策略梯度解决倒立摆问题 205

*0.4.* Pendulum-v* 简介 205

*0.4.2 深度确定性策略梯度基本接口 206

*0.4.3 Ornstein-Uhlenbeck 噪声 207

*0.4.4 深度确定性策略梯度算法  208

*0.4.5 结果分析209

*0.5 关键词 2**

*0.6 习题 2**

*0.7 面试题 2**

参考文献 2**

第 ** 章*疏奖励2*2

**.* 设计奖励 2*2

**.2 好奇心 2*4

**.3 课程学习 2*6

**.4 分层强化学习 2*9

**.5 关键词 22*

**.6 习题 222

参考文献 222

第 *2 章模仿学习223

*2.* 行为克隆 223

*2.2 逆强化学习 226

*2.3 第三人称视角模仿学习 23*

*2.4 序列生成和聊天机器人 232

*2.5 关键词 233

*2.6 习题 233

参考文献 234

第 *3 章AlphaStar 论文解读 235

*3.* AlphaStar 以及背景简介 235

*3.2 AlphaStar 的模型输入和输出是什么呢？——环境设计 235

*3.2.* 状态（网络的输入）  236

*3.2.2 动作（网络的输出）  236

*3.3 AlphaStar 的计算模型是什么呢？——网络结构 237

*3.3.* 输入*分237

*3.3.2 中间过程239

*3.3.3 输出*分239

*3.4 庞大的AlphaStar 如何训练呢？——学习算法 240

*3.4.* 监督学习240

*3.4.2 强化学习24*

*3.4.3 模仿学习242

*3.4.4 多智能体学习/自学习 243

*3.5 AlphaStar 实验结果如何呢？——实验结果 243

*3.5.* 宏观结果243

*3.5.2 其他实验（消融实验）   244

*3.6 关于AlphaStar 的总结 245

参考文献 245