本书以具身智能为背景，系统介绍了机器人多模态学习的理论与实现方法。本书包含四个主要部分：第一部分为机器人学基础，包括机器人运动学、动力学、运动控制等基础知识；第二部分为机器人多模态感知系统、仿真平台与典型的多模态学习框架，介绍了主流的机器人仿真环境和开发平台；第三部分是机器人典型的多模态学习方法，重点阐述了强化学习、模仿学习、虚实迁移学习等内容，讨论了端到端大模型及世界模型等新型范式；第四部分为综合应用与实践案例，通过协作机械臂、四足机器人、软体机械手、人形机器人、足球机器人等从仿真模拟到真机实践的案例，验证了机器人多模态学习的实际应用。

本书适合机器人工程、具身智能、人工智能等相关专业的高校师生、科研人员以及从事机器人研发的工程师阅读参考，也可作为读者学习具身智能、人形机器人等前沿知识的参考书。

第1章绪论

1.1智能机器人

1.2机器人多模态学习

1.3典型案例

1.4小结

习题

第2章机器人运动学基础

2.1机器人位姿的数学描述

2.2坐标变换

2.3齐次坐标变换

2.4正向运动学

2.5逆向运动学

2.6雅可比矩阵

2.7运动学仿真

2.8小结

习题

第3章机器人动力学基础

3.1机器人动力学的研究内容

3.2质量、惯性与力矩分析

3.3拉格朗日法

3.4牛顿-欧拉法

3.5四足机器人动力学建模

3.6小结

习题

第4章机器人运动控制基础

4.1机器人控制的特点和分类

4.2反馈与闭环控制

4.3运动控制方法

4.4四足机器人运动控制

4.5小结

习题

第5章机器人感知系统

5.1机器人传感器的分类

5.2机器人对传感器的要求

5.3机器人外部传感器

5.4机器人内部传感器

5.5多传感器融合

5.6多传感器融合的分类

5.7小结

习题

第6章机器人的仿真环境

6.1机器人仿真平台

6.2实用案例与工具

6.3小结

习题

第7章面向具身智能的多模态学习框架

7.1基础理论

7.2多模态感知技术

7.3智能决策与执行

7.4机械智能与物理计算

7.5多模态系统集成

7.6发展趋势与挑战

7.7小结

习题

第8章强化学习

8.1基础定义

8.2无模型强化学习与Q学习算法

8.3基于策略的无模型强化学习

8.5基于价值和策略的无模型强化学习

8.5.1TRPO算法

8.5.2PPO算法

8.5.3DDPG算法

8.5.4TD3算法

8.6基于模型策略搜索

8.7小结

习题

第9章模仿学习与行为克隆

9.1理论基础与方法

9.2专家演示数据的获取

9.3分布漂移与累积误差

9.4小结

习题

第10章虚实迁移学习

10.1仿真到现实

10.2迁移学习的关键策略

10.3数据增强

10.4多模态迁移

10.5基于大语言模型的迁移学习

10.6小结

习题

第11章世界模型与具身数据集

11.1世界模型

11.2跨模态端到端模型

11.3典型的VLA模型

11.4开放平台与数据集

11.5小结

习题

第12章机械臂的抓取学习案例

12.1项目简介

12.1.1项目介绍

12.1.2强化学习算法和工具

12.1.3安装及仿真环境配置

12.2案例实验

12.2.1实验设置

12.2.2实验结果

12.3小结

第13章VLA与协作抓取学习案例

13.1项目简介

13.2在ALOHA部署ACT

13.3在ALOHA部署OpenVLA

13.4小结

第14章四足机器人的深度强化学习控制

14.1深度强化学习控制

14.2多模态学习仿真

14.3小结

第15章软体机械手的多模态抓持学习

15.1引言

15.2实验平台构建

15.3数据生成与预处理

15.4深度学习模型构建

15.5模型验证与性能评估

15.6综合性能分析与对比

15.7小结

习题

实践任务

第16章人形机器人模仿学习案例

16.1项目简介

16.2核心组件与技术解析

16.3案例部署

16.4小结

第17章人形机器人开发案例

17.1 SimpleMan简介

17.2 SimpleMan机械结构与仿真环境

17.3 SimpleMan运动学与控制系统

17.4 NanoLoong简介

17.5 NanoLoong机械结构与仿真环境

17.6小结

第18章足球机器人群体智能

18.1足球机器人及3v3比赛场景概述

18.2软硬件设置与开发配置

18.3群体智能的核心原理和协作机制

18.4机器人调试与实战场景模拟

18.5小结

第19章OpenLoong机器人开源社区

19.1社区简介

19.2OpenLoong开源生态体系

19.3典型案例

19.4小结

附录常见机器人仿真软件安装和环境配置

附录AGazebo仿真软件安装与环境配置

附录BMuJoCo仿真软件安装与环境配置

附录CIsaac Gym仿真软件安装与环境配置