本书为研究生教材。本书主要介绍了强化学习的理论优化及其应用，主要从数据层面、特征层面和算法层面对非平衡数据分类预测方法进行详细说明。全书分为两大部分，共 11 章。第一部分包括第 1～5 章，主要包括绪论、强化学习基础知识、强化学习理论基础、经典强化学习模型、多智能体强化学习；第二部分包括第 6～11 章，主要包括基于强化学习的聚类算法、基于学习自动机的模糊聚类算法、基于轮廓系数的多智能体强化学习聚类算法、基于强化学习的特征选择算法、双经验池深度强化学习分类模型、基于深度强化学习的推荐算法等内容。李凤莲，女，太原理工大学信息工程学院教授，学术研究方向为智能信息处理理论、医疗信号处理、工业数据分析及其应用研究。中国电子学会高级会员，IEEE会员；山西省党外知识分子联谊会第二届理事会理事；数字经济专委会理事；山西省专家学者协会信息分会理事；中国通信企业协会大数据技术与应用联盟智库专家。目 录 第 1 章 绪论?????????????????????????????????????????????????????????????????????????????????????????????????.1 1.1 强化学习的背景????????????????????????????????????????????????????????????????????????????????????1 1.2 什么是强化学习？?????????????????????????????????????????????????????????????????????????????????2 1.3 强化学习的应用????????????????????????????????????????????????????????????????????????????????????3 1.4 强化学习的发展历程??????????????????????????????????????????????????????????????????????????????3 1.5 本书结构安排???????????????????????????????????????????????????????????????????????????????????????4 第 2 章 强化学习基础知识???????????????????????????????????????????????????????????????????????????????.6 2.1 强化学习概述???????????????????????????????????????????????????????????????????????????????????????6 2.1.1 强化学习的基本原理 ??????????????????????????????????????????????????????????????????.6 2.1.2 学习与规划 ??????????????????????????????????????????????????????????????????????????????.7 2.1.3 探索与利用 ??????????????????????????????????????????????????????????????????????????????.7 2.2 强化学习的分类体系??????????????????????????????????????????????????????????????????????????????7 2.2.1 基于环境模型 ???????????????????????????????????????????????????????????????????????????.8 2.2.2 基于算法策略 ???????????????????????????????????????????????????????????????????????????.8 2.2.3 基于任务特性 ???????????????????????????????????????????????????????????????????????????.9 2.3 强化学习与其他机器学习?????????????????????????????????????????????????????????????????????.10 2.3.1 强化学习 vs 监督学习 ????????????????????????????????????????????????????????????????.10 2.3.2 强化学习 vs 无监督学习?????????????????????????????????????????????????????????????.11 2.3.3 演进趋势 ????????????????????????????????????????????????????????????????????????????????.11 第 3 章 强化学习理论基础??????????????????????????????????????????????????????????????????????????????.12 3.1 马尔可夫决策过程??????????????????????????????????????????????????????????????????????????????.12 3.2 概率论基础知识?????????????????????????????????????????????????????????????????????????????????.14 3.2.1 随机变量 ????????????????????????????????????????????????????????????????????????????????.14 3.2.2 概率分布 ????????????????????????????????????????????????????????????????????????????????.14 3.2.3 条件概率 ????????????????????????????????????????????????????????????????????????????????.14 3.2.4 随机变量的数字特征 ?????????????????????????????????????????????????????????????????.15 3.2.5 常用概率分布 ??????????????????????????????????????????????????????????????????????????.15 3.3 贝尔曼方程???????????????????????????????????????????????????????????????????????????????????????.16 3.4 最优策略??????????????????????????????????????????????????????????????????????????????????????????.18 3.4.1 最优策略的定义 ???????????????????????????????????????????????????????????????????????.18 3.4.2 最优策略的性质 ???????????????????????????????????????????????????????????????????????.18 3.4.3 最优策略的解法 ???????????????????????????????????????????????????????????????????????.19 3.5 蒙特卡洛方法????????????????????????????????????????????????????????????????????????????????????.22 3.5.1 蒙特卡洛评估 ??????????????????????????????????????????????????????????????????????????.23 强化学习：理论优化与实践应用3.5.2 蒙特卡洛控制??????????????????????????????????????????????????????????????????????????.24 第 4 章 经典强化学习模型 ?????????????????????????????????????????????????????????????????????????????.26 4.1 学习自动机 ??????????????????????????????????????????????????????????????????????????????????????.26 4.2 Q_Learning 与 SARSA 算法 ??????????????????????????????????????????????????????????????????.27 4.2.1 Q_Learning 算法???????????????????????????????????????????????????????????????????????.27 4.2.2 SARSA 算法 ???????????????????????????????????????????????????????????????????????????.28 4.3 DQN 算法????????????????????????????????????????????????????????????????????????????????????????.29 4.4 Double DQN 算法 ??????????????????????????????????????????????????????????????????????????????.30 4.5 Dueling DQN 算法??????????????????????????????????????????????????????????????????????????????.31 第 5 章 多智能体强化学习 ??????????????????????????????????