贺鑫，新加坡科技研究局研究科学家，香港浸会大学计算机科学博士，华中科技大学本科。研究方向包括自动机器学习、大语言模型算法效率优化等。已在DAC、ECCV、AAAI等 学术会议发表多篇论文，谷歌学术引用超过3300次。 ???????????????
《动手学 AutoML：从 NAS 到大语言模型优化实战》聚焦机器学习自动化的发展趋势，系统介绍了 AutoML 的核心原理、关键方法、系统架构与典型应用，辅以多个完整项目，帮助读者实现从理解到实战的过渡。 《动手学 AutoML：从 NAS 到大语言模型优化实战》内容涵盖传统流程自动化（如模型选择与参数调优）、深度学习架构搜索（如 NAS）、大语言模型与 LLM Agent 系统优化，展现 AutoML 技术的全景图谱。 《动手学 AutoML：从 NAS 到大语言模型优化实战》分为四个部分： 部分介绍机器学习流程的工程复杂性，提出自动建模的需求，并建立AutoML 的基本定义、优化目标与系统流程框架；第二部分聚焦 NAS，讲解搜索空间、搜索策略与模型评估方法，全面解析结构搜索自动化技术；第三部分聚焦 AutoML 在模型组件、数据策略与大语言模型上的自动优化应用，包括损失函数搜索、激活函数搜索、数据增强策略、LLM 模型压缩与融合，以及 LLM Agent 与 AutoML 的融合方式；第四部分提供实战项目，包括基于随机搜索的 NAS 入门实践、可微分搜索与进化压缩开发，以及 LLM 剪枝优化的研究示例，配有代码与完整流程。 《动手学 AutoML：从 NAS 到大语言模型优化实战》适合有一定机器学习基础的研究生、开发者与数据科学实践者，兼顾原理讲解与实战指导，是深入掌握 AutoML 技术的实用读物。 ???????????????
前 言 ?部分 基础篇：AutoML 基础介绍 第 1 章 机器学习与 AutoML 基础 ?2 1.1 机器学习概述 ?2 1.1.1 机器学习定义与范式 ?2 1.1.2 机器学习应用的自动化需求 ?4 1.2 AutoML 定义与优化目标 ?7 1.3 AutoML 的技术演进 ?9 1.3.1 传统机器学 ??9 1.3.2 深度学 ??10 1.3.3 大语言模型时代 ?11 1.4 AutoML 的系统流程 ?13 1.4.1 数据准备自动化 ?14 1.4.2 特征工程自动化 ?17 1.5 神经架构搜索（NAS）基础 ?21 1.5.1 NAS 核心组件 ?22 1.5.2 NAS 思想的多领域延伸 ?24 参考文献 ?25第 2 章 AutoML 框架与平台 ?26 2.1 传统机器学习自动化框架 ?26 2.1.1 Auto_WEKA：贝叶斯优化自动选参框架 ?26 2.1.2 AutoSklearn：基于集成学习的自动建模 ?27 2.1.3 TPOT：基于遗传算法优化流水线 ?28 2.2 深度学习自动化框架 ?29 2.2.1 微软 NNI 框架 ?29 2.2.2 华为 Vega 框架 ?31 2.2.3 Hyperbox 框架 ?33 2.2.4 ??AutoGluon 框架 ?34 2.2.5 Auto_Keras 框架 ?35 2.3 AutoML 云服务平台 ?35 2.3.1 谷歌 Cloud AutoML ?36 2.3.2 微软 Azure AutoML ?38 2.3.3 百度 EasyDL ?39 2.3.4 阿里云 PAI ?41 2.3.5 ??Autopilot ?43 2.3.6 Databricks AutoML ?44 2.4 AutoML 专业服务公司 ?46 2.4.1 H2O.ai 公司 ?46 2.4.2 第四范式 ?49 2.4.3 九章云极 DataCanvas ?51 第二部分 进阶篇：NAS 技术详解 第 3 章 NAS 搜索空间 ?56 3.1 NAS 搜索空间基础 ?56 3.1.1 模型架构的形式化表达 ?56 3.1.2 常用候选操作集 ?57 3.2 基于整体结构的搜索空间 ?58 3.3 基于单元结构的搜索空间 ?59 3.3.1 设计范式简介 ?59 3.3.2 单元内部结构 ?59 3.3.3 复杂度分析 ?60 3.3.4 模型不一致性问题 ?61 3.4 基于层级结构的搜索空间 ?62 3.4.1 内层：基于单元层级的网络结构设计 ?62 3.4.2 外层：基于网络层级的网络结构设计 ?63 3.5 基于网络态射的搜索空间 ?64 3.5.1 网络态射 ?64 3.5.2 恒等网络态射 ?65 3.5.3 改进的网络态射算法 ?68 3.6 基于基础数学运算的搜索空间 ?70 3.6.1 AutoML_Zero 基本原理 ?70 3.6.2 搜索难度分析 ?71 3.6.3 搜索策略 ?72 参考文献 ?73 第 4 章 NAS 搜索策略 ?75 4.1 基础搜索策略 ?75 4.1.1 网格搜索 ?75 4.1.2 随机搜索 ?76 4.2 进化搜索策略 ?77 4.2.1 进化算法基本原理 ?77 4.2.2 架构编码策略 ?79 4.2.3 进化算子设计 ?82 4.2.4 进化算法 NAS 实践 ?85 4.3 贝叶斯优化策略 ?88 4.3.1 贝叶斯优化的基本原理 ?89 4.3.2 代理模型 ?90 4.3.3 采集函数 ?93 4.3.4 贝叶斯优化 NAS 实践 ?95 4.4 强化学习策略 ?100 4.4.1 强化学习基本原理 ?100 4.4.2 贝尔曼方程 ?102 4.4.3 强化学习算法分类 ?103 4.4.4 策略梯度算法 ?104 4.4.5 策略梯度 NAS 实践 ?106 4.5 可微分神经架构搜索策略 ?112 4.5.1 可微分搜索算法原理 ?113 4.5.2 改进的可微分搜索算法 ?114 参考文献 ?118 第 5 章 NAS 模型评估 ?119 5.1 完整训练评估 ?120 5.2 代理模型评估 ?120 5.3 早停法模型评估 ?121 5.3.1 基于资源分配的高效评估框架 ?121 5.3.2 基于学习曲线预测的智能评估 ?122 5.4 权重共享评估 ?122 5.4.1 权重共享的基本原理与优势 ?123 5.4.2 实现策略与关键技术 ?123 5.5 免训练评估 ?124 5.6 约束条件下的模型评估 ?131 5.6.1 常见的约束条件 ?131 5.6.2 单目标优化 ?132 5.6.3 多目标优化 ?132 5.7 NAS 基准测试评估 ?134 5.7.1 基于图像的 NAS_Bench_101 数据集 ?135 5.7.2 基于图像的 NAS_Bench_201 数据集 ?138 5.7.3 基于文本的 NAS_Bench_NLP 数据集 ?140 5.7.4 基于语音的 NAS_Bench_ASR 数据集 ?141 参考文献 ?145 第三部分 应用篇：AutoML ?应用 第 6 章 模型组件自动优化 ?148 6.1 损失函数搜索 ?148 6.1.1 基于强化学习的损失函数搜索 ?150 6.1.2 基于进化算法的损失函数搜索 ?151 6.2 激活函数搜索 ?154 6.2.1 常见的激活函数 ?154 6.2.2 基于强化学习的激活函数搜索 ?157 参考文献 ?160 第 7 章 数据策略自动优化 ?161 7.1 数据增强搜索 ?161 7.1.1 基于强化学习的数据增强搜索算法 ?162 7.1.2 基于种群进化的数据增强搜索算法 ?165 7.2 代理数据集搜索 ?166 7.2.1 无监督采样方法 ?167 7.2.2 有监督采样方法 ?168 7.2.3 基于动态指标调整的自动代理数据集选择方法 ?169 参考文献 ?173 第 8 章 大语言模型（LLM）自动优化 ?174 8.1 大语言模型技术基础 ?174 8.1.1 从统计语言模型到大语言模型 ?174 8.1.2 Transformer 架构解析 ?176 8.2 架构创新自动化 ?179 8.2.1 基于模块内部结构的搜索 ?180 8.2.2 基于模块连接方式的搜索 ?182 8.3 计算效率优化自动化 ?186 8.3.1 大语言模型压缩 ?186 8.3.2 大语言模型量化 ?191 8.4 模型融合自动化 ?196 8.4.1 模型融合的应用价值 ?196 8.4.2 主流模型融合策略 ?197 8.4.3 基于进化算法的自动模型融合策略 ?199 参考文献 ?202 第 9 章 LLM 驱动的 AutoML ?204 9.1 基于自然语言和 LLM 引导的神经架构搜索 ?204 9.1.1 GENIUS：卷积神经网络搜索的开创性探索 ?205 9.1.2 GPT4GNAS：拓展到图神经网络领域 ?206 9.1.3 EvoPrompting：代码层面的架构搜索指导 ?207 9.2 LLM 增强的自动特征工程 ?211 9.2.1 LLM 上下文感知的自动特征工程 ?212 9.2.2 LLM 知识驱动的特征调优生成 ?213 9.3 LLM Agent 与 AutoML 系统的双向融合 ?215 9.3.1 LLM Agent 关键能力 ?215 9.3.2 AutoM3L：多模态数据处理优化框架 ?216 9.3.3 MLCopilot：历史经验与知识复用的智能系统 ?218 9.3.4 AutoML_Agent：多智能体协作的全流程优化 ?219 9.3.5 MaAS：多智能体架构搜索 ?221 参考文献 ?224 第四部分 实战篇：AutoML 项目实战 第 10 章 从零开始构建 NAS 系统：随机搜索入门项目 ?226 10.1 NAS 基础算子实现原理 ?226 10.1.1 Hyperbox 框架简介 ?226 10.1.2 可搜索模块（Mutable） ?227 10.1.3 搜索器（Mutator） ?236 10.1.4 可搜索模型基类 (BaseNASNetwork) ?242 10.2 基于随机搜索的 NAS 代码实战 ?247 10.2.1 MNIST 数据集的获取与预处理 ?247 10.2.2 CNN 超网结构设计与实现 ?249 10.2.3 随机搜索算法实现 ?251 10.2.4 模型训练与评估函数实现 ?252 10.2.5 超网训练与子网评估 ?254 10.2.6 提取 子网 ?256 第 11 章 进阶 AutoML 技术实战：可微分搜索、进化压缩与LLM剪枝 ?258 11.1 基于可微分算法的架构搜索 ?258 11.1.1 CIFAR_10 数据集的获取与预处理 ?258 11.1.2 DARTS 算法实现 ?260 11.1.3 基于 MobileNetV2 的搜索空间设计 ?263 11.1.4 模型训练与架构搜索 ?268 11.1.5 ?终模型评估与微调 ?272 11.2 基于进化算法的模型压缩 ?273 11.2.1 ResNet 搜索空间设计 ?274 11.2.2 NSGA_II 算法概述 ?278 11.2.3 非支配排序 ?279 11.2.4 拥挤度距离 ?282 11.2.5 进化算子实现 ?284 11.2.6 训练和搜索模型 ?290 11.3 基于遗传算法的 LLM 后训练剪枝算法实战 ?294 11.3.1 模型剪枝技术概述 ?295 11.3.2 基于遗传算法的 LLM 剪枝框架概览 ?296 11.3.3 符号树搜索空间 ?298 11.3.4 符号树代码实现 ?300 11.3.5 遗传算法实现 ?308 11.3.6 剪枝指标有效性验证 ?313
