当大模型赋予机器人“理解世界”的能力，当具身智能从实验室走向产业落地，机器人技术正经历从"执行工具"到"智能体"的历史性跨越。面对这一前沿浪潮，如何系统掌握从基础理论到工程实践的完整知识体系，成为每一位机器人领域学习者和从业者的核心课题。 本书由北京大学王韬研究员领衔，联合多所高校机器人领域专家共同撰写。书中以"具身智能"为核心视角，系统构建了从机器人基础理论到智能交互的完整知识框架。全书以"算算"机器人实践项目贯穿始终，将抽象原理与真实系统紧密关联起来，帮助读者在"学中做、做中学"，形成对具身智能机器人的全面认知。 本书特色： ? 体系完整，覆盖全面：从机器人本体、运动学、感知，到语音、视觉、移动、操作、仿真，再到现代具身智能（多模态大模型、视觉-语言导航、通用抓取）、人机交互、情感识别与机器人伦理，层层递进，构建完整知识图谱。 ? 实战驱动，学以致用：各章配套“算算”机器人实践任务，涵盖软硬件系统、ROS节点、坐标变换、感知与子系统实现，强化工程动手能力。 ? 前沿引领，拥抱智能：深入讲解大模型赋能下的意图识别、环境认知、具身导航与仿真到现实适应性，紧跟技术发展最前沿。 ? 趣味引导，轻松入门：每章设置“轻松一刻”，通过前沿案例与互动游戏激发学习兴趣，降低入门门槛。

本书全面介绍具身智能机器人的结构、组成、工作原理和实现方法。全书分为机器人基础、机器人系统、具身智能机器人交互三个部分，内容包括：机器人概述、具身智能机器人基础概念、机器人本体、 机器人软件系统结构、机器人操作系统、机器人学中的坐标变换、机器人运动学基础、机器人感知概述、机器人语音、机器人视觉、机器人移动、机器人操作、机器人系统仿真、现代具身智能、人与机器人的交互、机器人的情感、机器人伦理和具身智能机器人的未来。本书既适合作为高校计算机、机器人等专业的课程教材，也适合作为机器人领域的研究者和工程技术人员的参考书。

王韬，理学博士，北京大学计算机学院研究员，情感与认知智能机器人实验室主任，北大-北京人形机器人创新中心情感智能应用联合实验室主任，北京计算机学会秘书长（兼机器人情感计算专业委员会主任），曾任杭州市钱江特聘专家。王韬研究员从事计算机系统结构、情感与认知计算、智能机器人系统、系统建模与推演方向的研究，主持国家、省部级以及重要横向项目10余项。获教育部自然科学一等奖、北京市高等教育教学成果一等奖等4项省部级奖励，获专利授权20余项。发表学术论文80余篇，多篇论文获得国际学术会议最佳论文奖。

CONTENTS
目　　录
前言
第一部分?机器人基础
第1章?机器人概述　2
1.1?什么是机器人　2
1.1.1?“机器人”名词的起源　2
1.1.2?想象与现实中的机器人　3
1.2?机器人的历史　4
1.2.1?传说中的机器人　4
1.2.2?历史中的机器人　5
1.2.3?早期现代意义的机器人　6
1.3?当代机器人　8
1.3.1?工业机器人　8
1.3.2?农业机器人　9
1.3.3?军事机器人　9
1.3.4?医疗机器人　10
1.3.5?陪伴/服务机器人　11
1.3.6?其他分类方法中的机器人　12
1.4?大模型与机器人　12
1.5?具身智能　13
1.6?实践：“算算”机器人简介　14
思考题　14
轻松一刻　15
第2章?具身智能机器人基础概念　16
2.1?机器人的软硬件基本组成　16
2.1.1?自由度　16
2.1.2?重要结构部件　17
2.1.3?深入了解关节　18
2.1.4?串联与并联结构　19
2.1.5?控制与计算系统　20
2.1.6?机器人操作系统　20
2.1.7?应用“软件”　21
2.1.8?学习能力　21
2.2?机器人的简化模型　22
2.2.1?感知　22
2.2.2?规划　23
2.2.3?行动　24
2.3?机器人的基本任务　25
2.4?智能机器人的“大脑”与
“小脑”　26
2.5?实践：“算算”机器人的基本
组成　26
思考题　27
轻松一刻　27
第3章?机器人本体　28
3.1?机器人的行走机构　28
3.1.1?轮式行走机构　28
3.1.2?履带式行走机构　29
3.1.3?步行（腿足）式行走
机构　30
3.2?机器人的操作结构　32
3.2.1?重要操作结构部件　32
3.2.2?机器人手　32
3.3?机器人的整体架构　33
3.4?机器人的控制系统　34
3.4.1?控制系统概述　34
3.4.2?控制系统的类型　35
3.5?机器人的智能计算系统　36
3.5.1?智能计算系统的硬件
组成　36
3.5.2?智能计算系统的硬件
架构　37
3.5.3?硬件与算法的协同优化　39
3.5.4?智能计算的未来发展
趋势　41
3.6?实践：“算算”机器人的本体
系统　43
思考题　43
轻松一刻　44
第4章?机器人软件系统结构　45
4.1?机器人软件系统结构概述　45
4.1.1?机器人软件系统的特点　45
4.1.2?机器人软件系统结构的
进化　46
4.2?机器人分层控制结构　47
4.2.1?行为控制层　48
4.2.2?执行层　48
4.2.3?规划层　49
4.2.4?示例　50
4.3?机器人软件系统结构设计过程　51
4.3.1?目标　51
4.3.2?流程　52
4.3.3?注意要点　52
4.4?实践：“算算”机器人的软件系统
结构　52
思考题　53
轻松一刻　53
第5章?机器人操作系统　55
5.1?操作系统与中间件　55
5.1.1?操作系统的结构与功能　56
5.1.2?分时操作系统与实时操作
系统　58
5.1.3?中间件　59
5.1.4?机器人操作系统的特别
任务　59
5.2?ROS的概念、原理与应用　60
5.2.1?ROS简介　60
5.2.2?ROS发展历程　60
5.2.3?ROS核心概念　62
5.2.4?ROS 2.0　65
5.2.5?ROS的应用　69
5.3?实践：“算算”机器人中的ROS
节点　70
思考题　72
轻松一刻　72
第6章?机器人学中的坐标变换　73
6.1?位置与旋转　73
6.2?旋转变换　75
6.3?多次旋转的组合　77
6.4?旋转的参数化　78
6.5?刚性运动与齐次变换　80
6.6?实践：“算算”机器人中的
坐标系　82
思考题　82
轻松一刻　82
第7章?机器人运动学基础　84
7.1?正运动学　84
7.2?速度运动学　88
7.2.1?基本概念　88
7.2.2?雅可比矩阵与速度运动学　90
7.3?逆运动学　92
7.4?机器人奇异点　96
7.4.1?奇异点的基本概念　96
7.4.2?奇异点的避免　97
7.5?机器人控制基础　98
思考题　101
轻松一刻　101
第8章?机器人感知概述　102
8.1?机器人通用感知过程　102
8.1.1?传感　103
8.1.2?特征提取　104
8.1.3?匹配（关联）　105
8.1.4?更新　106
8.1.5?多传感器模型整合　106
8.1.6?建模　107
8.1.7?预测前馈　108
8.2?传感数据表示方法　108
8.2.1?原始传感数据表示法　109
8.2.2?基于栅格的数据表示法　109
8.2.3?基于特征的数据表示法　110
8.2.4?基于符号/图的数据
表示法　110
8.3?机器人常用环境感知方法　111
8.3.1?视觉感知　111
8.3.2?距离感知　114
8.3.3?方位感知　116
8.3.4?听觉感知　120
8.3.5?触觉感知　122
8.4?感知估计　126
8.4.1?对传感器建模和数据
校准　126
8.4.2?估计过程　128
8.4.3?估计方法　129
8.4.4?卡尔曼滤波　130
8.4.5?鲁棒感知　132
8.5?实践：“算算”机器人中的感知　134
思考题　135
轻松一刻　135
第二部分?机器人系统
第9章?机器人语音　138
9.1?语音识别　138
9.1.1?语音识别概述　138
9.1.2?语音识别的发展历程　139
9.1.3?语音识别的关键技术　140
9.1.4?语音识别在机器人系统
中的应用　144
9.1.5?音色识别　145
9.2?语义理解　145
9.2.1?语义理解概述　145
9.2.2?语义理解的发展历程　146
9.2.3?语义理解的关键技术　146
9.2.4?语义理解在机器人系统
中的应用　147
9.3?语音合成　148
9.3.1?语音合成概述　148
9.3.2?语音合成的发展历程　148
9.3.3?语音合成的关键技术　149
9.3.4?语音合成在机器人系统
中的应用　150
9.4?实践：“算算”机器人中的语音
子系统　151
思考题　151
轻松一刻　152
第10章?机器人视觉　153
10.1?物体识别　153
10.1.1?物体识别概述　153
10.1.2?物体识别技术发展
历程　153
10.1.3?物体识别的关键技术　154
10.1.4?物体识别在机器人系统
中的应用　156
10.2?人物识别　157
10.2.1?人脸识别　157
10.2.2?姿态识别　161
10.3?实践：“算算”机器人中的视觉
子系统　164
思考题　165
轻松一刻　165
第11章?机器人移动　166
11.1?机器人移动概述　166
11.2?不同环境中的机器人定位
方法　167
11.2.1?室外定位　168
11.2.2?室内定位　168
11.3?机器人移动规划　168
11.4?机器人避障　170
11.5?即时定位与地图构建　173
11.5.1?SLAM概述　174
11.5.2?SLAM的基础计算
模型　176
11.5.3?前端位姿估计　177
11.5.4?后端优化　177
11.5.5?回环检测　178
11.5.6?建图　179
11.5.7?实例：激光SLAM和视觉
SLAM中的前端位姿估计
问题　181
11.5.8?SLAM面临的挑战　184
11.6?实践：“算算”机器人中的移动
子系统　185
思考题　185
轻松一刻　185
第12章?机器人操作　187
12.1?抓取与操作任务　187
12.2?稳定抓取　189
12.3?操作规划　190
12.4?柔性操作　191
12.5?视觉伺服　191
12.6?力控操作　192
12.7?实践：“算算”机器人中的操作
子系统　193
思考题　194
轻松一刻　194
第13章?机器人系统仿真　195
13.1?系统仿真概述　195
13.2?系统仿真环境　196
13.2.1?开源仿真工具　196
13.2.2?主流商业仿真软件　199
13.2.3?仿真环境的选择　200
13.2.4?仿真环境的未来发展
趋势　201
13.3?机器人仿真数据　202
13.3.1?机器人的模型数据　202
13.3.2?环境数据　203
13.3.3?传感器数据　204
13.3.4?数据生成与处理　205
13.3.5?仿真数据的验证与优化　207
13.4?RVR技术　208
13.4.1?RVR技术的基本流程　208
13.4.2?RVR技术的应用场景　210
13.4.3?RVR技术的挑战与突破
路径　211
13.4.4?RVR技术的未来发展
趋势　213
思考题　216
轻松一刻　216
第三部分?具身智能机器人交互
第14章?现代具身智能　220
14.1?具身智能概述　220
14.1.1?具身感知　220
14.1.2?具身交互　222
14.1.3?具身规划　222
14.2?多模态大模型　223
14.2.1?模态编码器　223
14.2.2?模态连接器　225
14.2.3?多模态融合方法　226
14.3?意图识别　227
14.3.1?基于模板匹配的意图
识别　227
14.3.2?基于分类模型的意图
识别　228
14.3.3?基于大模型的意图
识别　229
14.4?环境认知　229
14.4.1?多模态感知融合　230
14.4.2?场景理解与建模　231
14.4.3?动态环境决策　231
14.5?通用抓取　232
14.5.1?基于视觉的抓取　232
14.5.2?视觉-触觉融合的具身
抓取　233
14.5.3?基于大模型的抓取：
VLA　233
14.6?具身导航　233
14.6.1?具身导航与传统导航的
不同　234
14.6.2?视觉-语言导航　234
14.6.3?视觉-语义导航　236
14.7?仿真到现实的适应性　237
14.7.1?世界模型　237
14.7.2?数据收集和训练　238
14.7.3?具身控制训练　239
14.8?具身智能发展中待解决的
问题　240
思考题　241
轻松一刻　241
第15章?人与机器人的交互　243
15.1?与人在一起的智能机器人　243
15.2?HRI的基本概念　244
15.2.1?HRI的定义与内涵　244
15.2.2?HRI的基本目标　244
15.2.3?HRI领域的研究方向　244
15.2.4?HRI的例子　245
15.3?HRI的要素　245
15.3.1?人类状态分析　245
15.3.2?交互策略　246
15.3.3?交互表达　247
15.3.4?主动反应　247
15.3.5?状态维护　248
15.3.6?安全与伦理　248
思考题　248
轻松一刻　249
第16章?机器人的情感　250
16.1?情感机器人　250
16.1.1?情感机器人概述　250
16.1.2?情感机器人需要的情感
能力　253
16.1.3?情感机器人在各领域的
应用　254
16.2?机器人对人类的情感识别方法　256
16.2.1?情感识别基础　256
16.2.2?语言情感识别　257
16.2.3?面部表情情感识别　257
16.2.4?目光特征情感识别　259
16.2.5?身体动作情感识别　260
16.2.6?脑电情感识别　261
16.2.7?生理反应中的情感识别　261
16.2.8?多模态方法　263
16.3?机器人的情感表达　 264
16.4?机器人的“情商”　265
思考题　266
轻松一刻　266
第17章?机器人伦理　267
17.1?机器人与伦理　267
17.2?机器人伦理学　268
17.3?针对阿西莫夫机器人三定律的
思考　269
17.4?智能机器人学习过程中的
新问题　270
17.5?在机器人与人类共存时代需要
注意的新问题　271
思考题　272
轻松一刻　272
第18章?具身智能机器人的未来　273
18.1?人们对于具身智能机器人的
期望　273
18.2?新形态机器人　276
18.2.1?柔性机器人　276
18.2.2?液态金属机器人　276
18.3?展望2030年的具身智能
机器人　277
思考题　278
轻松一刻　278
附录?具身智能机器人领域相关
资源　280
参考文献　284

Preface
前　　言
欢迎来到具身智能机器人的世界！从古至今，人类对于机器人的期待从未消减。比尔·盖茨曾经说过：“21世纪以后将是机器人的世纪。”著名企业家孙正义也在2015年预测过，到2040年，全球机器人的数量将超过百亿，它也将成为第一个超过人类数量的“大家电”。所以祝贺各位读者，你们正在了解的可能是本世纪最为丰富也最为吸引人的存在—机器人。
在深入了解机器人之前，还请大家思考这样一个问题—什么是机器人？如果没有办法给出具体定义，那么不妨来观察图0.1给出的三张图片，它们是否都能够被称为机器人呢？

图0.1?什么是机器人
可能有些读者会对其中的一两个表示疑惑，没关系，我们在本书的第1章就会揭晓答案，相信你们很快就能准确地区分世间万物中究竟哪些可以被称为机器人。
别急着翻到第1章去找答案！我们还准备了一些问题，希望各位读者认真思考过后再往下阅读：
你心目中的机器人要像人吗？
你认为机器人要多聪明？
你希望机器人是什么样子？
这些问题当然没有标准答案，但在思考过后，读者会对机器人有一个初始的印象。接下来在阅读本书的过程中，大家可以看一看，对于机器人的初始印象是否会被打破，而机器人是和想象的一样，还是完全不同。
本书的讲述主要分为三部分，分别是机器人基础、机器人系统和具身智能机器人交互。另外，通过一个“算算”机器人的实践贯穿部分章节。在机器人基础部分中，我们将系统学习从基础概念到本体、软件系统、操作系统，再到坐标变换、运动学、感知等的智能机器人多方面的基础知识；在机器人系统部分中，我们将依次介绍语音、视觉、移动、操作及系统仿真等机器人子系统；在具身智能机器人交互部分，我们将探讨现代具身智能、人与机器人的交互、机器人的情感与伦理，以及具身智能机器人的未来等问题。在读完本书后，相信各位读者一定能够对具身智能机器人有更深刻的理解和认识，并且获得关于具身智能机器人实现和应用的实践经验和独特思考。在每一章的最后，我们还设置了“轻松一刻”的环节，为大家介绍机器人前沿领域的发展，或者进行一些和机器人相关的有趣的小游戏。大家一定能够在快乐中获得更多的知识！
好了，话不多说，大家快跟紧我们的步伐，一起来探索具身智能机器人的种种可能吧！