目录

●前言
本书赞誉
第1章 初识大语言模型1
1.1 大语言模型的发展1
1.2 常见的大语言模型3
1.2.1 统计学模型N-gram3
1.2.2 统计学模型HMM4
1.2.3 神经网络模型RNN6
1.2.4 自然语言处理中的传统模型LSTM7
第2章 大语言模型的基石——Transformer10
2.1 Transformer模型的由来10
2.2 Transformer模型的基本原理11
2.2.1 词嵌入13
2.2.2 位置编码17
2.2.3 注意力机制20
2.3 Transformer注意力机制的技术实现24
2.3.1 自注意力机制的设计细节26
2.3.2 多头注意力机制的设计细节30
2.4 Transformer模型总结31
第3章 从Transformer到ChatGPT33
3.1 ChatGPT的由来33
3.2 二元语法模型34
3.2.1 文本如何转换为数字35
3.2.2 如何设计模型35
3.2.3 如何训练模型38
3.3 GPT模型40
3.3.1 GPT模型的结构40
3.3.2 GPT模型的设计实践42
3.4 简单GPT模型的完整实现46
3.5 GPT模型的优化53
3.5.1 样本数据的精细化处理53
3.5.2 特殊符号的引入54
3.5.3 早停策略的应用56
3.5.4 模型训练中的强化学习57
3.6 GPT模型总结59
第4章 大语言模型的微调技术61
4.1 微调的基本概念61
4.1.1 适配器微调63
4.1.2 前缀微调64
4.1.3 LoRA65
4.1.4 QLoRA65
4.2 微调中的关键技术66
4.2.1 PEFT工具包66
4.2.2 LoRA67
4.3 微调技术的应用案例69
4.3.1 BERT分类模型69
4.3.2 基于BERT分类模型的微调78
4.3.3 QLoRA中使用的量化技术82
第5章 企业AI应用推荐技术——RAG85
5.1 RAG技术的基本原理85
5.2 RAG技术的应用案例87
5.2.1 客服问答系统87
5.2.2 财富管理系统88
5.2.3 RAG2SQL90
5.2.4 多智能体系统93
第6章 软件交付的三大底座100
6.1 DevOps100
6.1.1 DevOps的概念100
6.1.2 DevOps与企业和IT组织的关系101
6.1.3 DevOps究竟是什么103
6.1.4 DevOps的数字可视能力103
6.1.5 DevOps的科技左移能力104
6.1.6 DevOps的数字运营能力105
6.1.7 DevOps的弹性合作能力107
6.1.8 DevOps的数字风险能力107
6.1.9 大语言模型下的DevOps108
6.2 平台工程110
6.2.1 平台工程的概念110
6.2.2 平台工程的关键属性111
6.2.3 平台工程的核心模块115
6.2.4 平台工程的能力要求115
6.2.5 平台工程的很好实践118
6.2.6 平台工程与DevOps、SRE的区别119
6.2.7 大语言模型下的平台工程120
6.3 SRE122
6.3.1 SRE的由来122
6.3.2 SRE的目标122
6.3.3 SRE团队的使命122
6.3.4 SRE团队的存在形式123
6.3.5 应用韧性架构设计124
6.3.6 构建可靠性设计126
6.3.7 变更评审设计128
第7章 大语言模型在运维场景中的实践133
7.1 日志运维智能化133
7.1.1 日志的概念134
7.1.2 日志运维的基本流程134
7.1.3 日志运维的痛点136
7.1.4 如何解决日志运维的痛点137
7.2 智能运维知识库的构建146
7.2.1 构建运维知识库的难点和优势146
7.2.2 构建运维知识库的技术路径147
7.2.3 运维知识库的应用案例149
7.3 智能运维工单150
7.3.1 智能运维工单的作用151
7.3.2 构建智能运维工单的技术路径152
7.3.3 智能运维工单的应用案例154
7.4 大模型运维能力评测155
7.4.1 构建评测数据集155
7.4.2 评测工具和方法156
7.4.3 评测结果156
7.5 基于多智能体的微服务根因分析157
7.5.1 微服务架构的挑战157
7.5.2 多智能体系统158
7.5.3 多智能体系统的应用案例158
第8章 大语言模型在测试场景中的实践162
8.1 测试的痛点162
8.2 动态测试技术的智能化演进163
8.2.1 动态测试技术的基本概念163
8.2.2 常见的动态测试技术164
8.2.3 动态测试技术的痛点166
8.2.4 大模型在动态测试领域的应用尝试167
8.3 静态测试技术的智能化演进171
8.3.1 静态测试技术的基本概念171
8.3.2 常见的静态测试技术172
8.3.3 静态测试技术的痛点173
8.3.4 大模型在静态测试领域的应用尝试175
8.4 大语言模型在测试场景下的落地难点178
8.4.1 大语言模型的处理窗口瓶颈179
8.4.2 模型的幻觉问题179
8.4.3 RAG与Agent的取舍179
8.4.4 基座模型的选择180
8.4.5 大语言模型微调的必要性180
8.4.6 模型的可解释性与透明性180
8.4.7 大语言模型在测试场景中的性能评估180
8.4.8 大语言模型的维护与更新181
8.5 基于静态分析和RAG的漏洞自动化修复方案181
第9章 大语言模型在编程场景中的实践184
9.1 代码大模型184
9.1.1 代码大模型的定义和特点184
9.1.2 常见的代码大模型186
9.2 代码的下游任务188
9.2.1 文本到代码任务188
9.2.2 代码到代码任务189
9.2.3 代码到文本任务191
9.2.4 代码到模式任务191
9.2.5 文本到文本任务192
9.3 代码生成和补全192
9.3.1 代码生成和补全技术的发展历史192
9.3.2 常见的代码生成和补全技术193
9.3.3 基于可视化编排进行代码生成和补全194
9.3.4 基于输入输出样例进行代码生成和补全195
9.3.5 基于代码语料进行代码生成和补全196
9.3.6 基于功能描述进行代码生成和补全199
9.3.7 基于语言模型进行代码生成和补全200
9.3.8 代码生成与补全的痛点202
9.4 基于Agent的项目级代码生成方法203
9.4.1 项目级代码生成在企业中的痛点203
9.4.2 Agent的技术实现204
9.4.3 事务自动处理在开发场景中的运用207
9.4.4 项目研发问答场景208
9.4.5 从需求到完整的项目级代码生成场景208
第10章 大语言模型在项目管理场景中的实践210
10.1 项目需求分析与任务规划210
10.1.1 需求分析211
10.1.2 任务规划213
10.2 沟通与协作214
10.2.1 沟通与协作的重要性215
10.2.2 大语言模型在沟通与协作场景中的作用216
10.2.3 大语言模型提升沟通效率和整合资源的能力218
10.3 项目风险管理与决策支持220
10.3.1 风险管理221
10.3.2 决策支持222
10.4 项目执行阶段的智能优化225
10.4.1 工作流程及资源管理的挑战225
10.4.2 大语言模型如何赋能工作流程及资源管理225
10.5 大语言模型在项目管理中的实践案例227
10.5.1 辅助理解客户需求227
10.5.2 提升内部信息流转效率229
10.5.3 实现项目风险和进度的自动分析功能231
10.5.4 助力任务分配的高效合理232
第11章 大语言模型在安全场景中的实践235
11.1 大语言模型催生安全新范式235
11.1.1 大语言模型在安全领域中的优势235
11.1.2 大语言模型在安全领域中的挑战236
11.2 大语言模型在安全领域中的应用场景236
11.2.1 异常检测236
11.2.2 威胁识别与分类237
11.2.3 自动化威胁狩猎237
11.2.4 钓鱼攻击识别238
11.2.5 恶意软件检测238
11.2.6 入侵检测系统239
11.2.7 安全策略建议239
11.2.8 预测性威胁建模240
11.2.9 数据泄露预防240
11.2.10 安全教育与训练240
11.2.11 情报共享与协作241
11.2.12 合规性监控241
11.3 大语言模型在安全领域中的风险241
11.3.1 原生风险241
11.3.2 应用安全风险242
11.3.3 对抗风险243
11.4 大语言模型的零样本漏洞修复研究243
11.4.1 研究背景243
11.4.2 研究思路244
11.4.3 实验过程244