如果你已经掌握了一些图像生成的零散知识，但是想要形成完整的知识体系如果你好奇Midjourney、Stable Diffusion、DALLE等模型，在实现上有何不同如果你想自己动手训练一个图像生成模型 那么可以读一读这本书，系统、快速地构建AI图像生成的知识脉络！

本书以AI图像生成为主线，串联讲解了Stable Diffusion、DALLE、Imagen、Midjourney等模型的技术方案，并带着读者训练一个自己专属的AI图像生成模型。本书共6章。第1章先介绍身边的AIGC产品，再讲解AI图像生成相关的深度学习基础知识，包括神经网络和多模态模型的基础知识。第2章讲解AI图像生成技术，从VAE到GAN到基于流的模型再到扩散模型的演化，并详细介绍扩散模型的算法原理和组成模块。第3章讲解Stable Diffusion模型的核心技术。第4章讲解DALLE 2、Imagen、DeepFloyd和Stable Diffusion图像变体模型的核心技术。第5章讲解Midjourney、SDXL和DALLE 3的核心技术。第6章是项目实战，使用LoRA技术对Stable Diffusion模型进行微调，得到特定风格的AI图像生成模型。

南柯，某头部互联网公司 AIGC 团队技术负责人，高级算法专家，极客时间;AI 绘画核心技术与实战专栏作者，拥有十多年计算机视觉领域从业经验，带领团队推动多模态生成，尤其是 AI 图像生成与编辑、多模态大语言模型、数字人等热点方向的技术建设。在 ICCV 和AAAI 年会等 AI 领域顶级会议上发表过多篇论文，拥有 100 多项专利。

第 1章　AIGC基础 11.1 身边的AIGC 11.1.1　图像生成和编辑类工具 11.1.2　文字提效类工具 21.1.3　音频创作类工具 41.2 神经网络 41.2.1　人工神经元 51.2.2　激活函数 61.2.3　人工神经网络 71.2.4　损失函数 91.2.5　优化器 91.2.6　卷积神经网络 101.3 多模态模型 131.3.1　认识模态 141.3.2　典型多模态模型 151.3.3　参数量 161.3.4　计算量 171.4 小结 17第 2章　图像生成模型：GAN和扩散模型 192.1 图像生成模型的技术演化 192.1.1　第 一代图像生成模型：VAE 202.1.2　第二代图像生成模型：GAN 202.1.3　第三代图像生成模型：基于流的模型 212.1.4　第四代图像生成模型：扩散模型 212.1.5　第五代图像生成模型：自回归模型 222.2 ;旧画师GAN 222.2.1　生成对抗原理 222.2.2　生成能力的进化 242.2.3　GAN时代的;图生图 282.2.4　GAN的技术应用 302.3 ;新画师扩散模型 312.3.1　加噪过程：从原始图像到噪声图 322.3.2　去噪过程：从噪声图到清晰图像 332.3.3　训练过程和推理过程 352.3.4　扩散模型与GAN 362.4 扩散模型的U_Net模型 372.4.1　巧妙的U形结构 372.4.2　损失函数设计 412.4.3　应用于扩散模型 432.5 扩散模型的采样器 432.5.1　采样器背后的原理 442.5.2　如何选择采样器 452.6 训练一个扩散模型 462.6.1　初探扩散模型：轻松入门 462.6.2　深入扩散模型：定制艺术 502.7 小结 52第3章　Stable Diffusion的核心技术 533.1 图像的;压缩器VAE 533.1.1　从AE到VAE 543.1.2　图像插值生成 583.1.3　训练;餐厅评论机器人 603.1.4　VAE和扩散模型 613.2 让模型;听话的CLIP 623.2.1　连接两种模态 623.2.2　跨模态检索 643.2.3　其他CLIP模型 673.2.4　CLIP和扩散模型 683.3 交叉注意力机制 693.3.1　序列、词符和词嵌入 693.3.2　自注意力与交叉注意力 713.3.3　多头注意力 723.4 Stable Diffusion是如何工作的 773.4.1　Stable Diffusion的演化之路 773.4.2　潜在扩散模型 783.4.3　文本描述引导原理 803.4.4　U_Net模型实现细节 823.4.5　反向描述词与CLIP Skip 863.4.6 ;图生图实现原理 873.5 小结 90第4章　DALLE 2、Imagen、DeepFloyd和Stable Diffusion图像变体的核心技术 914.1 里程碑DALLE 2 914.1.1　DALLE 2的基本功能概览 914.1.2　DALLE 2背后的原理 944.1.3　unCLIP：图像变体的魔法 974.1.4　DALLE 2的算法局限性 974.2 Imagen和DeepFloyd 984.2.1　Imagen vs DALLE 2 984.2.2　Imagen的算法原理 994.2.3　文本编码器：T5 vs CLIP 1004.2.4　动态阈值策略 1034.2.5　开源模型DeepFloyd 1044.2.6　升级版Imagen 2 1074.3 Stable Diffusion图像变体 1074.3.1 ;图生图vs图像变体 1074.3.2　使用Stable Diffusion图像变体 1084.3.3　探秘Stable Diffusion图像变体模型背后的算法原理 1104.4 小结 112第5章　Midjourney、SDXL和DALLE 3的核心技术 1135.1 推测Midjourney的技术方案 1135.1.1　Midjourney的基本用法 1135.1.2　各版本演化之路 1145.1.3　技术方案推测 1175.2 SDXL的技术方案与使用 1205.2.1　惊艳的绘图能力 1205.2.2　使用级联模型提升效果 1225.2.3　更新基础模块 1235.2.4　使用SDXL模型 1245.3 更;听话的DALLE 3 1265.3.1　体验DALLE 3的功能 1265.3.2　数据集重新描述 1275.3.3　生成数据有效性 1285.3.4　数据混合策略 1295.3.5　基础模块升级 1315.3.6　扩散模型解码器 1335.3.7　算法局限性 1335.4 小结 134第6章　训练自己的Stable Diffusion 1356.1 低成本训练神器LoRA 1356.1.1　LoRA的基本原理 1356.1.2　LoRA的代码实现 1366.1.3　用于图像生成任务 1386.2 Stable Diffusion WebUI体验图像生成 1396.2.1　本地AI图像生成模型 1406.2.2　开源社区中的模型 1426.2.3　体验AI图像生成功能 1436.2.4　将多个模型进行融合 1446.2.5　灵活的LoRA模型 1466.3 Stable Diffusion代码实战 1506.3.1　训练数据准备 1516.3.2　基础模型的选择与使用 1546.3.3　一次完整的训练过程 1556.4 小结 157