书名：扩散模型：生成式AI模型的理论、应用与代码实践  
定价：89.0  
ISBN：9787121459856  
作者：杨灵  
版次：1  

内容提要：  

l具备研究价值和商业价值的SOTA模型

l解密DALL·E 2、Stable Diffusion、Midjourney等一众热门应用的核心技术

l清华、北大众学者力荐的扩散模型参考用书

l建议用作计算机科学、人工智能、医学及生物学交叉学科专业教材

l配套可运行的代码资源

作者简介：  

杨灵

北京大学博士在读，研究兴趣是机器学习和生成式AI，作为*一作者在ICML、CVPR等人工智能顶会、顶刊发表过多篇论文，长期担任TPAMI、ICML、NeurIPS、CVPR、KDD、AAAI等多个顶*学术会议或期刊的程序委员会成员、审稿人。现与OpenAI、斯坦福大学等AI研究机构进行长期的科研合作。曾获北京大学国家奖学金、学术创新奖、三好学生等奖项。

张到隆

北京大学硕士在读，本科毕业于北京大学数学科学学院，研究兴趣是扩散模型。曾获北京大学国琴奖学金、*秀毕业生、三好学生等奖项。

张文涛

蒙特利尔学习算法研究所（Mila）博士后研究员。博士毕业于北京大学计算机学院，师从崔斌教授。研究兴趣为大规模图学习，作为*一作者在机器学习、数据挖掘和数据库等领域发表论文10余篇。曾获Apple PhD Fellowship、WAIC云帆奖和北京大学*秀博士学位论文等奖项。

崔斌

北京大学计算机学院教授、博士生导师、北京大学计算机学院副院长。担任中国计算机学会数据库专委会副主任，VLDB理事会理事，IEEE TKDE、VLDB Journal、DAPD等国际期刊编委。中国计算机学会杰出会员、IEEE*级会员、ACM会员，2016年入选教育部长江学者特聘教授。

媒体评论：  

扩散模型是*近几年人工智能领域的重要突破之一。本书不仅罗列了众多闻名学界和业界的扩散模型，还聚焦了扩散模型在AIGC领域的多种应用，探讨了扩散模型与GPT大模型的关联和未来发展，既有技术前沿性，又有业务实用性。

王小川 搜狗创始人、搜狗公司前CEO、搜狐前*级副总裁兼CTO

本书作者在生成式AI和扩散模型等领域有着长期的研究和实践积累。本书内容丰富，兼具广度和深度，可供高等院校计算机科学、人工智能和医学、生物学等交叉学科专业的师生，以及相关人工智能应用程序的开发人员阅读。

朱军 清华大学计算机系教授、清华大学人工智能研究院副院长

扩散模型有着巨大的研究价值和商业价值。本书由多位专家、学者联合撰写，为读者提供了深入浅出的理论介绍和代码实践指导，帮助读者建立起对扩散模型的基础理论框架。读者可以通过该书了解到扩散模型的应用和前沿进展，包括和GPT大模型的关联等。有助于读者将扩散模型应用于实际工作中。

文继荣 中国人民大学高瓴人工智能学院执行院长、信息学院院长

我非常乐意将本书推荐给在校本科生、研究生和博士生阅读。本书详细阐述了扩散模型的基础理论，以及相关应用，具有极高的专业性和实用性。此外，对于GPT及其他大模型的深入讨论，以及对这些模型是如何在扩散模型中应用的介绍，无疑为本书增添了更高的研究价值和参考价值。

代季峰 清华大学电子工程系副教授、商汤科技前执行研究总监

本书据我所知是该领域中*一本系统介绍扩散模型的参考书。本书为读者提供了理论和实践两个方面的指导，详细介绍了扩散模型的基础知识、高效采样、参数估计等技术，以及针对离散数据和流形数据的拓展等。此外，该书还结合大语言模型GPT展望了生成模型的未来发展。这是一本具有*威性的关于扩散模型的参考书，适合科研人员、高校师生和企业*发者阅读。

顾全全 UCLA计算机系副教授、斯隆研究奖获得者

本书介绍了扩散模型的研究成果和实际应用，包括扩散模型在文生图和“AI for Science”中的应用案例等。无论是学术研究者、计算机程序*发者，还是对生成式AI感兴趣的普通读者，本书都可以帮助你更好地理解、研究和使用扩散模型。

唐建 蒙特利尔大学算法研究所（Mila）副教授、加拿大高等研究院（CIFAR）讲席教授

无论是对学术研究者，还是对希望了解并应用AI技术的工程师，本书都提供了极其宝贵的资源。本书详细阐述了扩散模型的基础理论，以及这些理论是如何扩展到各种现实场景应用的。另外，作者对实际应用案例的深入探讨，如计算机视觉、自然语言处理、鲁棒学习等，为读者提供了实践者的视角和实际操作的经验。

赵越 南加州大学助理教授、卡耐基梅隆大学博士、技术专家“微调”

目录：  

*1 章 AIGC 与相关技术 ....................................................................... 1

1.1 AIGC 简介 ................................................................................................... 2

1.2 扩散模型简介 .............................................................................................. 4

*2 章 扩散模型基础 ............................................................................ 6

2.1 去噪扩散概率模型 ...................................................................................... 9

2.2 基于分数的生成模型 ................................................................................ 18

2.3 随机微分方程 ............................................................................................ 21

2.4 扩散模型的架构 ........................................................................................ 28

第3 章 扩散模型的高效采样 ..................................................................42

3.1 微分方程 .................................................................................................... 43

3.2 确定性采样 ................................................................................................ 44

3.2.1 SDE 求解器 ................................................................................... 45

3.2.2 ODE 求解器 .................................................................................. 50

3.3 基于学习的采样 ........................................................................................ 55

3.3.1 离散方式 ....................................................................................... 55

3.3.2 截断扩散 ....................................................................................... 57

3.3.3 知识蒸馏 ....................................................................................... 61

第4 章 扩散模型的似然*大化 ...............................................................66

4.1 似然函数*大化 ........................................................................................ 67

4.2 加噪策略优化 ............................................................................................ 68

4.3 逆向方差学习 ............................................................................................ 71

4.4 *确的对数似然估计 ................................................................................ 82

第5 章 将扩散模型应用于具有特殊结构的数据 ......................................... 86

5.1 离散数据 .................................................................................................... 87

5.2 具有不变性结构的数据 ............................................................................ 90

5.3 具有流形结构的数据 ................................................................................ 97

5.3.1 流形已知 ....................................................................................... 97

5.3.2 流形未知 ....................................................................................... 97

第6 章 扩散模型与其他生成模型的关联 ................................................. 102

6.1 变分自编码器与扩散模型 ...................................................................... 103

6.2 生成对抗网络与扩散模型 ...................................................................... 105

6.3 归一化流与扩散模型 ............................................................................... 110

6.4 自回归模型与扩散模型 ........................................................................... 113

6.5 基于能量的模型与扩散模型 ................................................................... 114

第7 章 扩散模型的应用 ...................................................................... 117

7.1 无条件扩散模型与条件扩散模型 ........................................................... 118

7.2 计算机视觉 ............................................................................................... 119

7.2.1 图像超分辨率、图像修复和图像翻译 ...................................... 119

7.2.2 语义分割 ..................................................................................... 124

7.2.3 视频生成 ..................................................................................... 127

7.2.4 点云补全和点云生成 ................................................................. 130

7.2.5 异常检测 ..................................................................................... 133

7.3 自然语言处理 .......................................................................................... 135

7.4 时间数据建模 .......................................................................................... 140

7.4.1 时间序列插补 ............................................................................. 140

7.4.2 时间序列预测 ............................................................................. 142

7.5 多模态学习 .............................................................................................. 144

7.5.1 文本到图像的生成 ..................................................................... 144

7.5.2 文本到音频的生成 ..................................................................... 152

7.5.3 场景图到图像的生成 ................................................................. 154

7.5.4 文本到3D 内容的生成 .............................................................. 156

7.5.5 文本到人体动作的生成 ............................................................. 156

7.5.6 文本到视频的生成 ..................................................................... 157

7.6 鲁棒学习 .................................................................................................. 159

7.7 跨学科应用 .............................................................................................. 159

7.7.1 人工智能药物研发 ..................................................................... 159

7.7.2 医学影像 ..................................................................................... 166

第8 章 扩散模型的未来——GPT 及大模型 ............................................. 169

8.1 预训练技术简介 ...................................................................................... 171

8.1.1 生成式预训练和对比式预测练 ................................................. 172

8.1.2 并行训练技术 ............................................................................. 175

8.1.3 微调技术 ..................................................................................... 178

8.2 GPT 及大模型 ......................................................................................... 179

8.2.1 GPT-1 ........................................................................................... 179

8.2.2 GPT-2 ........................................................................................... 182

8.2.3 GPT-3 和大模型 .......................................................................... 184

8.2.4 InstructGPT 和ChatGPT ............................................................ 190

8.2.5 Visual ChatGPT ........................................................................... 193

8.3 基于GPT 及大模型的扩散模型 ............................................................ 196

8.3.1 算法研究 ..................................................................................... 197

8.3.2 应用范式 ..................................................................................... 197

相关资料说明 ..................................................................................... 198