1、本书以MindSpore人工智能框架在大语言模型领域的应用为主要内容，详尽阐述了MindSpore框架在大语言模型中的应用。2、无论是开发者、从业者还是学生，希望能够快速理解并构建大模型，本书以实践为主，能够帮助开发者快速理解并打造自己的大模型。3、本书强调实战应用，提供了丰富的实战案例和代码示例，助力读者在实践中掌握构建和优化大语言模型的关键技术。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder_Only）到只解码（Decoder_Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

陈雷 加拿大滑铁卢大学计算机博士。现担任香港科技大学(广州)信息枢纽院长，数据科学与分析学域讲座教授，广州市大数据智能重点实验室主任。研究方向包括数据驱动的人工智能、大数据分析、知识图谱、众包、区块链、图数据库、概率和不确定数据库，以及时空和时间序列数据库。曾获2020年度中国电子学会科学技术奖一等奖、2015年ACM SIGMOD时间检测奖2022 WLDB研究论文奖、2014LDB示范奖。曾担任ICDE2023和VLDB2019 PC联合主席、VLDB Journal联合主编、VLDB基金会执行委员。目前担任IEEETKDE主编、DASFAA国际会议指导委员会主席、长江讲座教授，当选IEEE会士和ACM杰出科学家，获得国家杰出青年科学基金海外青年学者合作研究项目支持。

第1章　大语言模型的发展 0011.1　人工智能的发展阶段 0021.2　从深度学习到大语言模型 004第2章　Transformer模型 0062.1　Transformer模型的基本原理 0072.1.1　注意力机制 0072.1.2　自注意力机制 0102.1.3　多头注意力机制 0112.2　Transformer模型的结构和模块 0132.2.1　位置编码 0142.2.2　编码器 0162.2.3　解码器 0202.2.4　模型代码 0242.3　Transformer模型在NLP任务中的应用 0252.4　使用MindSpore实现基于Transformer模型的文本机器翻译模型 0262.4.1　数据集准备与数据预处理 0262.4.2　模型构建 0332.4.3　模型训练与评估 0342.4.4　模型推理 0372.5参考文献 040第3章　BERT实践 0413.1　BERT基本原理 0423.2　BERT结构 0433.3　BERT预训练 0453.4　BERT微调 0463.5　使用MindSpore实现数据并行的BERT预训练 0473.6　参考文献 050第4章　GPT实践 0514.1　GPT基本原理 0524.2　GPT训练框架 0534.2.1　无监督预训练 0544.2.2　有监督微调 0544.2.3　GPT下游任务及模型输入 0554.3　使用MindSpore实现GPT的微调 0564.3.1　数据预处理 0564.3.2　模型定义 0594.3.3　模型训练 0664.3.4　模型评估 0674.4　参考文献 067第5章　GPT_2实践 0685.1　GPT_2的基本原理 0695.2　GPT_2的技术创新与改进 0705.3　GPT_2的优缺点 0715.4　使用MindSpore实现GPT_2的微调 0725.5　参考文献 076第6章　自动并行 0776.1数据并行原理 0786.2　算子并行原理 0806.3　优化器并行原理 0826.3.1　背景及意义 0826.3.2　基本原理 0836.4　流水线并行原理 0856.4.1　背景及意义 0856.4.2　基本原理 0856.5　MoE并行原理 0866.5.1　背景及意义 0866.5.2　算法原理 0886.6　自动并行策略搜索 0896.6.1　策略搜索定位 0906.6.2　策略搜索算法 0916.6.3　MindSpore实践 0926.7　异构计算 0926.7.1　计算流程 0926.7.2　优化器异构 0936.7.3　词表异构 0946.7.4　参数服务器异构 0956.7.5　多层存储 0966.8　大语言模型性能分析 0976.8.1　缩短单个模块耗时 0976.8.2　提高不同模块任务间的并行度 0976.9　MindFormers接口 0996.9.1　准备工作 0996.9.2　Trainer高阶接口快速入门 0996.9.3　Pipeline推理接口快速入门 1016.9.4　AutoClass快速入门 1016.9.5　Transformer接口介绍 1026.10　参考文献 103第7章　大语言模型预训练与微调 1067.1　预训练大语言模型代码生成 1077.1.1　多语言代码生成模型CodeGeeX 1077.1.2　多语言代码生成基准HumanEval_X 1097.2　提示调优 1117.2.1　提示流程 1117.2.2　提示模板 1147.2.3　优缺点分析 1157.3　指令调优 1167.3.1　基本流程 1167.3.2　指令模板 1177.3.3　优缺点分析 1187.4　参考文献 119第8章　基于人类反馈的强化学习 1218.1　基本原理 1228.2　强化学习 1228.2.1　核心思想 1228.2.2　关键元素 1238.2.3　策略与价值函数 1238.2.4　PPO算法 1248.3　InstructGPT和ChatGPT中的RLHF 1268.3.1　训练流程 1268.3.2　训练任务 1278.3.3　模型效果 1288.4　优缺点分析 1298.5　参考文献 130第9章　BLOOM和LLaMA模型实践 1319.1　BLOOM介绍 1329.1.1　模型结构 1329.1.2　预训练数据集 1349.2　BLOOM实现 1369.2.1　BLOOM架构实现 1369.2.2　BLOOM总结 1429.3　基于BLOOM的微调 1429.3.1　数据集准备 1429.3.2　Checkpoint转换 1429.3.3　生成集群通信表 1439.3.4　启动预训练或微调 1439.3.5　微调后的对话效果 1449.4　LLaMA模型介绍 1489.4.1　模型结构 1489.4.2　预训练 1529.4.3　SFT与RLHF 1529.5　LLaMA模型实现 1539.5.1　LLaMA模型模块实现 1539.5.2　LLaMA模型结构实现 1559.6　基于LLaMA模型的微调 1599.6.1　数据集准备 1599.6.2　ckpt转换 1599.6.3　生成集群通信表 1599.6.4　启动微调 1609.6.5　微调效果 1609.7　参考文献 161