本书主要介绍以强化学习为基础的机器人智能控制方法。一方面，从机器人定义展开，介绍机器人的发展以及结构与运动学；另一方面，从控制方法展开，从诸如PID经典控制方法到智能群体决策方法。接下来，本书列举了一些智能控制方法的实际应用，以及介绍学习了机器人常用的ROS系统，以便读者更直观的认知智能控制方法，让读者更容易在机器人控制上入手。本书将理论知识与实践应用结合，强化实践。为了便于理解，书中列举了大量应用实例，如无人机悬停与晶片测试等，所有实例均调试通过，并针对轮式机器人仿真平台与无人机自主飞行实验平台给出参考程序。本书适合教师讲授，易于学生阅读。本书在编写时力求做到内容逻辑严谨，书中图文并茂，针对本、硕层次学生特点，内容讲解在充足够用的基础上，突出实际应用。陈雯柏，博导，校青年教学名师、自动化学院创新实践基地负责人。兼任中国人工智能学会理事，中国教育发展战略学会人工智能与机器人专业委员会理事，清华大学出版社专家委员，北京市属高校本科专业评估标准研制专家。负责本课程建设，成功上线超星学习通。第1章 ?机器人概述?1?1.1　机器人概念?1?1.2　智能机器人?2?1.2.1 ?智能机器人的概念?2?1.2.2 ?传感型机器人?2?1.2.3 ?交互型机器人?3?1.2.4 ?自主型机器人?4?1.3　机器人相关重要技术?5?1.3.1 ?机器人控制方法?5?1.3.2 ?机器人决策方法?6?1.3.3 ?多传感器信息融合技术?6?1.3.4 ?人机交互与情感识别技术?7?1.3.5 ?路径规划技术?8?1.4　机器人的应用?9?1.4.1 ?医疗机器人?9?1.4.2 ?服务机器人?9?1.4.3 ?工业机器人?10?1.4.4 ?特种机器人?10?1.5　未来发展方向?11?1.5.1 ?智能机器人关键核心技术的创新趋势?11?1.5.2 ?前沿科技与挑战?13?1.5.3 ?发展趋势预测?17?第2章 ?传统控制?19?2.1　控制系统数学模型?19?2.1.1 ?系统微分方程?19?2.1.2 ?拉普拉斯变换?20?2.1.3 ?系统传递函数?20?2.1.4 ?状态空间方程?22?2.2　PID控制?23?2.2.1 ?PID简介?23?2.2.2 ?PID控制方法?24?2.2.3 ?PID控制原理?25?2.2.4 ?PID控制器的参数整定?25?2.3　最优控制?26?2.3.1 ?最优控制原理?26?2.3.2 ?LQR控制?27?2.3.3 ?模型预测控制?30?2.4　变结构控制?31?2.4.1 ?变结构控制系统的特点和原理?32?2.4.2 ?机器人的滑模变结构控制?34?2.5　自适应控制?36?2.5.1 ?自适应控制器的状态模型和结构?37?2.5.2 ?MRAC?39?2.5.3 ?STAC?40?2.5.4 ?机器人线性摄动自适应控制器?42?第3章 ?智能控制?44?3.1　模糊控制?44?3.1.1 ?模糊控制原理?44?3.1.2 ?模糊控制器的组成?45?3.1.3 ?模糊控制器的结构?47?3.1.4 ?模糊控制系统的分类?48?3.2　专家控制?49?3.2.1 ?知识库?49?3.2.2 ?推理机?52?3.2.3 ?综合数据库?57?3.2.4 ?解释接口?58?3.2.5 ?知识获取?58?3.3　进化控制?58?3.3.1 ?差分进化算法?58?3.3.2 ?差分进化算法的基本流程?59?3.3.3 ?差分进化算法的参数设置?60?3.3.4 ?基于差分进化算法的函数优化?61?3.4　神经网络控制?62?3.4.1 ?神经网络基础?62?3.4.2 ?单神经元自适应PID控制?63?第4章 ?决策方法?65?4.1　决策方法概述?65?4.1.1 ?决策方法的定义?65?4.1.2 ?决策方法的分类?65?4.1.3 ?决策的基本原则?66?4.1.4 ?决策的基本步骤?67?4.2　确定型决策方法?67?4.2.1 ?确定型决策的概念?67?4.2.2 ?常用的确定型决策方法?68?4.3　不确定型决策方法?69?4.3.1 ?不确定型决策的概念?69?4.3.2 ?常用的不确定型决策方法?69?4.4　风险型决策方法?72?4.4.1 ?风险型决策的概念?72?4.4.2 ?决策树方法?72?4.4.3 ?贝叶斯决策?76?第5章 ?强化学习理论与方法?80?5.1　强化学习基础?80?5.1.1 ?强化学习的定义?80?5.1.2 ?马尔可夫决策过程?81?5.1.3 ?价值函数和贝尔曼方程?83?5.1.4 ?强化学习的分类?84?5.1.5 ?深度强化学习?85?5.2　基于模型的方法：动态规划?85?5.2.1 ?策略评估?86?5.2.2 ?策略提升?87?5.2.3 ?策略迭代?89?5.2.4 ?值迭代?90?5.2.5 ?策略迭代和值迭代的比较?90?5.3　时序差分学习?91?5.3.1 ?时序差分学习基本概念?91?5.3.2 ?Q_Learning算法?92?5.3.3 ?SARSA算法?95?5.4　策略学习?96?5.4.1 ?基本概念?96?5.4.2 ?策略梯度算法?97?5.4.3 ?Actor_Critic算法?98?5.5　模仿学习?99?5.5.1 ?产生背景?99?5.5.2 ?模仿学习的对象?100?5.5.3 ?模仿学习的分类?100?5.5.4 ?行为克隆?101?5.5.5 ?生成式对抗模仿学习?104?5.5.6 ?逆向强化学习?104?5.5.7 ?未来研究方向?105?第6章 ?群体智能决策方法?107?6.1　多智能体强化学习?107?6.1.1 ?多智能体强化学习基本概念?107?6.1.2 ?面临的挑战?108?6.2　多智能体博弈?109?6.2.1 ?纳什均衡?109?6.2.2 ?马尔可夫博弈?110?6.2.3 ?合作与竞争?111?6.3　合作型多智能体强化学习?112?6.3.1 ?合作型多智能体强化学习基本概念?112?6.3.2 ?经典算法?113?6.4　非合作型多智能体强化学习?118?6.4.1 ?竞争设定?118?6.4.2 ?混合设定?120?第7章 ?四旋翼无人机智能控制案例?123?7.1　四旋翼无人机?123?7.2　经典四旋翼无人机智能控制方法?124?7.2.1 ??算法?126?7.2.2 ?截断Q_Learning算法?126?7.3　SA_TQL算法?127?7.3.1 ?SA_TQL算法流程?127?7.3.2 ?两种算法的效果展示?129?第8章 ?晶片测试智能路径规划案例?134?8.1　晶片测试?134?8.1.1 ?背景?134?8.1.2 ?存在的问题?135?8.1.3 ?强化学习在晶圆检测中的意义?136?8.2　基于分层策略的A2C算法?137?8.2.1 ?简化版框架?138?8.2.2 ?改进的MDP?140?8.2.3 ?策略的嵌入?142?8.2.4 ?HP_A2C算法训练?143?8.3　应用效果?146?第9章 ?多智能体系统智能协同控制案例?148?9.1　多智能体协同的模型?148?9.1.1 ?协商模型?148?9.1.2 ?协作规划模型?149?9.1.3 ?自协调模型?149?9.2　单向协同集搜索算法?150?9.3　群体决策过程中的多智能体协同方法?151?9.3.1 ?群体决策?151?9.3.2 ?算法流程?153?9.3.3 ?效果展示?156?第10章 ?机器人操作系统?161?10.1　机器人操作系统概述?161?10.1.1 ?机器人编程简介?161?10.1.2 ?走进机器人操作系统?162?10.1.3 ?ROS框架?164?10.1.4 ?安装ROS?165?10.2　机器人编程基础知识?167?10.2.1 ?Linux系统基础知识?167?10.2.2 ?C十十语言基础知识?171?10.2.3 ?Python语言基础知识?175?10.3　机器人操作系统编程实物示例?179?10.3.1 ?平台简介?179?10.3.2 ?任务简介?180?10.3.3 ?代码讲解?180?第11章 ?无人机平台实验?185?11.1　无人机简介?185?11.2　无人机实验平台?186?11.2.1 ?MAGPIE350_3无人机使用简介?186?11.2.2 ?投放装置使用指南?192?11.2.3 ?MAGPIE350_3无人机操作说明?194?11.3　微型无人机自主飞行实验?196?11.3.1 ?实验内容?196?11.3.2 ?无人机平台实验目标?199?11.3.3 ?仿真实验过程?199?11.3.4 ?微型无人机操作过程?213?第12章 ?轮式机器人5V5足球仿真平台实验?216?12.1　背景介绍?216?12.2　轮式机器人5V5足球仿真平台?216?12.2.1 ?Simuro软件的使用简介?217?12.2.2 ?Simuro软件的下载及启动?220?12.2.3 ?Simuro软件的使用说明?220?12.3　Simuro实验?225?12.3.1 ?Simuro规则介绍?225?12.3.2 ?实验目标?229?12.3.3 ?实验流程?229