本书的内容及特点可以简要概括为以下几点。第一，兼顾前沿与经典，带领读者进行启发式思考。本书总结与剖析前沿的系统和人工智能相结合的研究与工程工作，包括Systems for AI和AI for Systems，帮助读者更好地寻找、定义有意义的系统研究与工程问题。同时兼顾系统经典问题，从时间跨度上让读者感受经典系统问题与方法久经考验的魅力。本书既介绍了人工智能系统领域解决方法和优化，又阐述了系统问题的抽象和定义，希望可以启发读者思考，鼓励读者开展新的系统研究与工程工作。第二，做中学。通过穿插于书中的练习实验，并通过操作及应用主流的框架、平台、工具等，鼓励读者动手实现、实际优化，而不仅仅是停留在理论层面或只了解工具的使用方法，进而提高解决实际问题的能力。本书不仅介绍了业界主流的人工智能系统研究工作，还借助了来自微软亚洲研究院的研究员和工程师在人工智能和计算机系统交叉领域的研究成果、开源系统与实践经验。第三，体系化。本书围绕深度学习系统全栈进行阐述，同时涵盖深度学习系统的设计原则、工作综述、方法论和工程实践等。通过问题与场景导向，打破计算机子领域界限，各章节涉及计算机、软件工程、人工智能等多学科知识点，让读者能够更加熟悉计算机系统子领域之间的关系，形成跨算法系统和软硬件栈的视角。 人工智能系统小组成员高彦杰，微软亚洲研究院高级研发工程师，研究方向为面向人工智能与大数据的平台，系统和工具。积极参与计算机教育。 胡晓武，毕业于哈尔滨工业大学，毕业后就职于中国科学院，后一直在微软（中国）研发部门工作至今。著有《智能之门》一书。 曹莹，微软亚洲研究院高级研究员，研究兴趣为深度学习框架和深度编译优化系统。 薛继龙博士，微软亚洲研究院首席研究员，主要研究方向为深度学习编译框架、人工智能硬件加速器的优化等，相关成果已发表在OSDI、NSDI等学术会议，主持AI编译器项目NNFusion、Rammer、Roller、Welder。 苗又山，微软亚洲研究院高级研究员，研究方向为深度学习框架与分布式系统。 张权路，微软亚洲研究院首席研究员，研究方向为自动机器学习系统，计算集群的资源调度与优化，深度学习模型的分布式训练与推理框架。 薛卉，微软亚洲研究院研究员，研究方向为人工智能与系统（AI for Systems），特别关注强化学习等领域。 曹士杰，微软亚洲研究院研究员，研究兴趣为深度学习压缩与加速，软硬件联合优化等。 刘剑毅，西安交通大学人工智能学院副教授，研究兴趣为无人驾驶、人工智能教育等。 谢佩辰，微软亚洲研究院研究员，研究方向为可靠计算系统及可信人工智能系统。 张宪，2018年获得北京大学博士学位后加入微软亚洲研究院，目前任高级研究员。研究方向为密码学，区块链技术，人工智能安全与隐私，形式化验证。 梁傑然，微软亚洲研究院首席研究员，主要研究方向为面向计算机系统的机器学习。闫宇，微软雷德蒙研究院高级研究员，主要研究面向计算机网络的机器学习和视频系统。 近年来人工智能特别是深度学习技术得到了飞速发展，这背后离不开计算机硬件和软件系统的不断进步。在可见的未来，人工智能技术的发展仍将依赖于计算机系统和人工智能相结合的共同创新模式。本书介绍了前沿的系统和人工智能相结合的研究工作，包括AI for Systems和Systems for AI，以帮助读者更好地寻找和定义有意义的研究问题。同时，本书从系统研究的角度出发设计实验课程，通过操作和应用主流及最新的框架、平台和工具来鼓励读者动手实现和优化系统模块，以提高解决实际问题的能力，而不仅仅是了解工具使用。 本书主要面向相关领域的本科生、研究生、教师、工程师和研究员，帮助他们完整地了解支持深度学习的计算机系统架构，并通过解决实际问题来学习深度学习完整生命周期下的系统设计。 推荐序一推荐序二推荐序三前言致谢第1章人工智能系统概述1本章简介1内容概览21.1　深度学习的历史、现状与发展21.1.1　深度学习的广泛应用21.1.2　深度学习方法41.1.3　神经网络基本理论的奠定51.1.4　深度学习算法、模型的现状和趋势91.1.5　小结与讨论121.1.6　参考文献121.2　算法、框架、体系结构与算力的进步131.2.1　大数据和分布式系统131.2.2　深度学习算法的进步151.2.3　计算机体系结构和计算能力的进步171.2.4　计算框架的进步181.2.5　小结与讨论211.2.6　参考文献211.3　深度学习系统的组成与生态221.3.1　深度学习系统的设计目标221.3.2　深度学习系统的大致组成241.3.3　深度学习系统的生态271.3.4　小结与讨论291.3.5　参考文献291.4　深度学习样例背后的系统问题291.4.1　一个深度学习样例与其中的系统问题301.4.2　模型算子实现中的系统问题331.4.3　框架执行深度学习模型的生命周期361.4.4　更广泛的人工智能系统生态401.4.5　深度学习框架及工具入门实验411.4.6　小结与讨论441.4.7　参考文献441.5　影响深度学习系统设计的理论、原则与假设441.5.1　抽象层次化表示与解释451.5.2　摩尔定律与算力发展趋势491.5.3　局部性原则与内存层次结构521.5.4　线性代数计算与模型缺陷容忍特性591.5.5　并行加速与阿姆达尔定律优化上限641.5.6　冗余与可靠性671.5.7　小结与讨论681.5.8　参考文献68第2章神经网络基础70本章简介70内容概览702.1　神经网络的基本概念702.1.1　神经元的数学模型712.1.2　神经网络的主要功能722.1.3　激活函数732.1.4　小结与讨论782.2　神经网络训练782.2.1　基本训练流程782.2.2　损失函数802.2.3　梯度下降822.2.4　反向传播852.2.5　小结与讨论852.3　解决回归问题852.3.1　提出问题862.3.2　万能近似定理862.3.3　定义神经网络结构872.3.4　前向计算882.3.5　反向传播892.3.6　运行结果912.3.7　小结与讨论922.4　解决分类问题922.4.1　提出问题922.4.2　定义神经网络结构932.4.3　前向计算942.4.4　反向传播952.4.5　运行结果962.4.6　小结与讨论962.5　深度神经网络972.5.1　抽象与设计972.5.2　权重矩阵初始化982.5.3　批量归一化992.5.4　过拟合1012.5.5　小结与讨论1032.6　梯度下降优化算法1032.6.1　随机梯度下降算法1032.6.2　动量算法1042.6.3　Adam算法1052.6.4　小结与讨论1052.7　卷积神经网络1052.7.1　卷积神经网络的能力1052.7.2　卷积神经网络的典型结构1062.7.3　卷积核的作用1072.7.4　卷积后续的运算1092.7.5　卷积神经网络的特性1102.7.6　卷积类型1112.7.7　小结与讨论1152.8　循环神经网络1152.8.1　循环神经网络的发展简史1152.8.2　循环神经网络的结构和典型用途1172.8.3　小结与讨论1182.9　Transformer模型1182.9.1　序列到序列模型1192.9.2　注意力机制1202.9.3　Transformer1222.9.4　小结与讨论125第3章深度学习框架基础126本章简介126内容概览1263.1　基于数据流图的深度学习框架1263.1.1　深度学习框架发展概述1263.1.2　编程范式：声明式和命令式1283.1.3　数据流图1293.1.4　张量和张量操作1303.1.5　自动微分基础1313.1.6　数据流图上的自动微分1353.1.7　数据流图的调度与执行1363.1.8　单设备算子间调度1363.1.9　图切分与多设备执行1373.1.10　小结与讨论1383.1.11　参考文献1383.2　神经网络计算中的控制流1393.2.1　背景1393.2.2　静态图：向数据流图中添加控制流原语1413.2.3　动态图：复用宿主语言控制流语句1433.2.4　动态图转换为静态图1443.2.5　小结与讨论1453.2.6　参考文献145第4章矩阵运算与计算机体系结构147本章简介147内容概览1474.1　深度学习的历史、现状与发展1484.1.1　全连接层1484.1.2　卷积层1484.1.3　循环网络层1494.1.4　注意力机制层1494.1.5　小结与讨论1504.1.6　参考文献1504.2　计算机体系结构与矩阵运算1504.2.1　CPU体系结构1514.2.2　CPU实现高效计算矩阵乘1524.2.3　在CPU上实现一个矩阵乘法算子实验1544.2.4　小结与讨论1554.3　GPU体系结构与矩阵运算1554.3.1　GPU体系结构1554.3.2　GPU编程模型1564.3.3　GPU实现一个简单的计算1574.3.4　在GPU上实现一个矩阵乘法算子实验1594.3.5　小结与讨论1604.4　面向深度学习的专有硬件加速器与矩阵运算1604.4.1　深度学习计算的特点与硬件优化方向1604.4.2　脉动阵列与矩阵计算1624.4.3　小结与讨论163第5章深度学习的编译与优化164本章简介164内容概览1645.1　深度神经网络编译器1645.1.1　前端1665.1.2　后端1675.1.3　中间表达1675.1.4　优化过程1685.1.5　小结与讨论1685.2　计算图优化1685.2.1　算术表达式化简1695.2.2　公共子表达式消除1695.2.3　常数传播1705.2.4　矩阵乘自动融合1