序言：

20世纪70年代兴起的化学计量学为光谱分析技术的发展带来了崭新的思路和方法，它协助唤醒了近红外光谱技术这个沉睡百年的“分析巨人”，在融入包括荧光光谱、拉曼光谱、太赫兹光谱和激光诱导击穿光谱等各种光谱技术的过程中，化学计量学对提高这些光谱技术的稳健性和准确度、构建现代光谱分析核心技术库方面发挥了关键作用。
化学计量学内涵丰富，其应用涵盖了化学量测的整个过程。化学计量学所有的研究内容，在光谱分析中几乎都有所涉及，但光谱分析又有其差异性和特殊性，相关研究和应用已形成了独有的完整体系。近年来，化学计量学方法在人工智能大背景下发展迅猛，褚小立教授勤奋深耕，积极投身于这一领域的研究和应用工作，紧跟发展的最前沿，取得了丰硕的研究成果。他将自己的研读笔记进行系统整理，并结合自身对化学计量学方法的理解和感悟，历经数年撰写了《现代光谱分析中的化学计量学方法》一书，系统总结了用于光谱分析的化学计量学方法，既有经典的算法又有算法的最新进展。第18章还专门论述了目前深受关注的深度学习算法及其在光谱分析中的应用。作者设计的深度学习一章极具前瞻性。和化学计量学有深厚渊源的人工神经网络在经历发展挫折后，艰难发展，终于形成深度学习这一崭新领域。深度学习的新兴起，引领人工智能在图像识别及自然语言处理等领域的全新发展。在这些领域特别是自然语言处理方面的突破，启示了在药物设计与材料设计等领域的诸多全新成功尝试，掀起化学计量学的姊妹学科分支——化学信息学领域的研究热潮。在化学与分析化学领域，组学研究等引发的数据海啸，呼唤化学计量学协助化学家转换研究范式，实现数据密集型知识发现的新型研究范式。开展这种范式的研究探索，深度学习算法将起到不可或缺的主导作用。本书作者为这一重要发展前景作了前瞻铺垫。
本书的一个主要特点是立足于实用光谱分析技术，书中没有大段的数学原理推导，而是从实用性角度阐述每种算法及其特点，能够让读者在具体的实际工作中理解好、选好、用好这些方法。本书浑然一体，章节安排紧凑合理，内容新颖完整，语言贴近读者，图文并茂，观点清晰明确，对光谱分析领域的科研与教学工作者来说是一部非常有价值的参考书，也对相关领域科技工作者了解化学计量学有较大帮助。正如作者强调的，本书是对其研读笔记的整理，有较好的可读性。像有关KNorris团队近红外光谱的研究、SWold和BRKowalski创建化学计量学学会、BRKowalski创建过程分析化学中心（CPAC）、近红外光谱技术引入工业分析如汽油辛烷值测定等。阅读作者有关这些掌故的叙述，使笔者回想起当年访问陆婉珍先生实验室听她介绍近红外光谱研究的情景。作者显然继承与发扬了陆先生树立的优良传统与风格。
当前现代光谱分析技术正在我国许多领域普及应用，让这一领域的研究和应用人员理解和掌握化学计量学方法成为其中关键的一环，因此，本书的出版将会对该技术的进一步深入应用产生积极的推动作用。
是为序。


中国科学院院士
2020年12月24日于湖南大学 

前言：

近些年，现代光谱分析技术得到了迅猛发展，该技术的一个关键特征是采用化学计量学方法对光谱数据进行处理，从而尽可能多地获得定量和定性信息，显著提高光谱分析技术的稳健性和准确性。现代光谱分析技术可直接对气体、液体和固体等各种复杂混合物进行定性和定量分析，具有分析速度快、效率高、可实现无损和在线分析等优势，目前已被广泛应用于许多领域，例如农产品、食品、药物、石油、化工、烟草、环保和医学等领域，在科研和工农业生产中发挥着越来越重要的作用。
十年前，作者曾撰写《化学计量学方法与分子光谱分析技术》（化学工业出版社，2011）一书，其中扼要地介绍了用于分子光谱分析技术的常用化学计量学方法。近十年来，随着人工智能（机器学习和深度学习）、大数据和云计算等新兴科技的飞速发展，为化学计量学注入了新思路、新途径和新方法，用于光谱分析的新型化学计量学方法如雨后春笋般涌现出来，成为现代光谱分析技术中的重要研究前沿和关键技术支撑点，是国内外本领域专家学者重点和热点的研究方向，集聚着理论创新和应用创新的巨大潜能和机会。
本书是《化学计量学方法与分子光谱分析技术》的续篇，主要介绍用于光谱分析的化学计量学方法，主要包括光谱预处理算法、变量选择算法、数据降维算法、线性和非线性多元定量校正算法、模式识别算法、校正样本选择算法、界外样本识别算法、模型更新与维护算法、多光谱融合算法、模型传递算法及用于三维光谱阵的多维数据分析算法。书中尤其对近些年兴起的深度学习算法做了重点与深入的讲解。本书涉及的光谱分析不仅包括分子光谱（例如近红外光谱、中红外光谱、紫外可见光谱、分子荧光光谱、拉曼光谱、太赫兹光谱等），还包括近些年兴起的一些原子光谱（例如激光诱导击穿光谱等）。
本书不是机器学习和多元统计分析方面的专业书籍，而是从实用光谱分析技术的出发点进行编写的，其目的是使读者了解用于光谱分析的化学计量学方法及其新进展，力求将这些方法与科研开发和实际应用结合起来，提供值得借鉴的新观点和新思路。本书力求实用性和完整性，简化甚至略去繁琐的数学原理推导等理论性太强的内容，尽可能提供算法的完整框架知识，让读者掌握化学计量学算法主流知识点和完整脉络，以期在具体的实际工作中理解好、选好、用好这些方法。在遇到具体问题时，本书分门别类的专业内容非常方便读者进行查询和巩固。本书引用的参考文献扎实而厚重，如果读者对某些算法的推导细节感兴趣，可根据相应的参考文献按图索骥。
本书的出版承蒙刘文清院士和李培武院士的大力推荐，我国化学计量学奠基人俞汝勤院士欣然为本书作序。科学大家提携后进的精神，令作者备受鼓舞，在此一并表示最诚挚的感谢。
本书在力求全面性和系统性的同时，也尽可能对国内外这一领域的最新研究进展进行归纳评述，并将同行们在实践中获得的经验和体会融入其中。但鉴于化学计量学方法和现代光谱分析技术的快速发展，加之作者知识结构的欠缺和编写时间所限，书中难免存在疏漏和理解不到位的地方，敬请读者不吝批评和指正。


作者
2021年1月30日 

目录：

1 绪论 / 001
1.1 化学计量学概述 001
1.1.1 化学计量学起源、定义和发展历程 001
1.1.2 化学计量学研究的内容 003
1.1.3 化学计量学方法的必要性 005
1.1.4 应用化学计量学方法需注意的问题 009
1.2 光谱结合化学计量学的分析方法 010
1.2.1 校正模型的建立 010
1.2.2 常规分析 014
1.2.3 方法的特点 014
1.3 现代光谱分析技术的开端——Karl Norris 的贡献 016
参考文献 022

2 现代光谱分析技术 / 026
2.1 引言 026
2.2 近红外光谱 028
2.2.1 微型近红外分析技术 029
2.2.2 在线近红外分析技术 030
2.2.3 近红外光谱标准方法 032
2.3 中红外光谱 036
2.3.1 便携式中红外分析技术 036
2.3.2 在线中红外分析技术 037
2.4 拉曼光谱 037
2.4.1 傅里叶拉曼光谱 038
2.4.2 表面增强拉曼光谱 038
2.4.3 共聚焦拉曼光谱 039
2.4.4 空间偏移拉曼光谱 040
2.4.5 透射拉曼光谱 041
2.4.6 便携式拉曼分析技术 042
2.4.7 光纤拉曼分析技术 043
2.5 紫外-可见光谱 044
2.6 分子荧光光谱 046
2.6.1 三维荧光光谱 046
2.6.2 激光诱导荧光光谱 047
2.7 低场核磁共振谱 048
2.8 太赫兹光谱 049
2.9 激光诱导击穿光谱 051
2.10 光谱成像 052
参考文献 056

3 矩阵和数理统计基础 / 064
3.1 矩阵基础 064
3.2 朗伯-比尔定律的矩阵表示 066
3.3 方差和正态分布 066
3.4 显著性检验 069
3.5 相关系数 070
3.6 协方差与协方差矩阵 071
3.7 多变量的图表示法 073
3.7.1 样本的空间表示 073
3.7.2 箱须图 073
3.7.3 雷达图 075 参考文献 077

4 光谱预处理方法 / 079
4.1 均值中心化 079
4.2 标准化 080
4.3 归一化 080
4.4 平滑去噪 081
4.4.1 移动平均平滑 081
4.4.2 Savitzky-Golay卷积平滑 083
4.4.3 傅里叶变换和小波变换 084
4.5 连续统去除法 085
4.6 自适应迭代重加权惩罚最小二乘 085
4.7 导数 087
4.7.1 Norris方法 087
4.7.2 Savitzky-Golay卷积求导 087
4.7.3 小波变换求导 089
4.7.4 分数阶导数 091
4.8 SNV 和去趋势 092
4.9 乘性散射校正 094
4.10 向量角转换 095
4.11 傅里叶变换 096
4.12 小波变换 098
4.13 图像矩方法 103
4.14 外部参数正交化 104
4.15 广义最小二乘加权 105
4.16 载荷空间标准化 106
4.17 斜投影 106
4.18 正交信号校正 106
4.18.1 Wold算法 107
4.18.2 Fearn算法 107
4.18.3 DOSC算法 108
4.18.4 DO 算法 108
4.18.5 正交信号校正算法的应用研究 109
4.19 净分析信号 109
4.20 光程估计与校正 110
4.21 二维相关光谱方法 111
参考文献 112

5 波长变量选择方法 / 118
5.1 相关系数和方差分析方法 118
5.2 交互式自模型混合物分析方法 120
5.3 连续投影方法 121
5.4 变量投影重要性方法 122
5.5 无信息变量消除方法 122
5.6 竞争性自适应重加权采样方法 124
5.7 间隔 PLS 方法 124
5.8 移动窗口 PLS 方法 125
5.9 递归加权 PLS 方法 126
5.10 全局优化的方法 126
5.10.1 遗传算法 126
5.10.2 模拟退火算法 129
5.10.3 粒子群算法 129
5.10.4 蚁群算法 130
5.11 迭代保留信息变量方法 131
5.12 其他方法 133
5.13 波长选择算法的联合与融合 133
5.14 光谱预处理和波长选取方法的选择 134
参考文献 137

6 光谱降维方法 / 144
6.1 多重共线性问题 144
6.2 主成分分析 146
6.2.1 主成分分析基本原理 146
6.2.2 主成分数的确定 148
6.2.3 主成分分析算法 149
6.2.4 主成分分析的应用 149
6.2.5 多元分辨交替最小二乘 149
6.2.6 目标波段熵最小化 150
6.2.7 多级同时成分分析 151
6.3 非负矩阵因子分解 152
6.4 独立成分分析 153
6.5 多维尺度变换 154
6.6 Isomap 方法 155
6.7 局部线性嵌入算法 156
6.8 t-分布式随机邻域嵌入算法 157
6.9 其他算法 158
参考文献 159

7 线性校正方法 / 162
7.1 一元线性回归 162
7.2 多元线性回归 162
7.3 浓度残差增广最小二乘回归 163
7.4 逐步线性回归 164
7.5 岭回归 164
7.6 Lasso 回归 165
7.7 最小角回归 166
7.8 弹性网络 167
7.9 主成分回归 168
7.9.1 基本原理 168
7.9.2 选取最佳主因子数的方法 168
7.10 偏最小二乘回归 171
参考文献 174

8 非线性校正方法 / 176
8.1 人工神经网络 176
8.1.1 引言 176
8.1.2 BP神经网络及其算法 179
8.1.3 BP神经网络的设计 182
8.1.4 其他类型的神经网络 184
8.1.5 神经网络参数的优化 185
8.2 支持向量机 186
8.2.1 引言 186
8.2.2 支持向量回归 190
8.2.3 最小二乘支持向量回归 192
8.2.4 支持向量回归参数的优化 193
8.3 相关向量机 194
8.4 核偏最小二乘法 195
8.5 极限学习机 196
8.6 高斯过程回归 198
参考文献 200

9 校正样本的选择方法 / 203
9.1 引言 203
9.2 Kennard-Stone 方法 206
9.3 SPXY 方法 207
9.4 OptiSim 方法 208
9.5 其他方法 208
参考文献 210

10 界外样本的检测方法 / 212
10.1 校正过程界外样本的检测 212
10.2 预测过程界外样本的检测 212
10.3 其他检测方法 214
参考文献 215

11 定量校正模型的维护更新 / 217
11.1 必要性 217
11.2 递归指数加权 PLS 方法 221
11.3 块式递归 PLS 方法 221
11.4 即时学习与主动学习 223
参考文献 223

12 模式识别方法 / 225
12.1 引言 225
12.2 无监督的模式识别方法 226
12.2.1 相似系数和距离 226
12.2.2 系统聚类分析 228
12.2.3 K-均值聚类方法 229
12.2.4 模糊 K-均值聚类方法 230
12.2.5 高斯混合模型 231
12.2.6 自组织神经网络 232
12.3 有监督的模式识别方法 234
12.3.1 最小距离判别法 234
12.3.2 典型变量分析 234
12.3.3 K-最近邻法 237
12.3.4 SIMCA 法 238
12.3.5 Logistic回归 239
12.3.6 Softmax分类器 241
12.3.7 随机森林 242
12.3.8 回归方法用于判别分析 244
12.4 光谱检索算法及其应用 245
12.4.1 引言 245
12.4.2 光谱检索基本算法 246
12.4.3 光谱检索算法的改进与应用 248
12.4.4 光谱检索策略与应用 251
参考文献 254

13 模型的评价 / 259
13.1 定量校正模型的评价 259
13.1.1 评价参数 259
13.1.2 模型的评价 261
13.1.3 模型的统计报告 266
13.2 模式识别模型性能的评价 266
参考文献 270

14 提高模型预测能力的方法 / 272
14.1 提高稳健性的建模策略 272
14.2 基于局部样本的建模策略 273
14.3 集成的建模策略 275
14.3.1 Bagging方法 275
14.3.2 Boosting方法 276
14.3.3 叠加PLS方法 278
14.3.4 堆栈泛化算法 280
14.4 虚拟样本建模策略 281
14.5 半监督学习方法 283
14.6 多目标回归策略 285
参考文献 285

15 多光谱融合技术 / 290
15.1 融合策略与方法 290
15.2 多块偏最小二乘方法 294
15.3 序贯正交偏最小二乘方法 295
15.4 多光谱融合的应用研究 296
15.5 展望 300
参考文献 300

16 多维分辨和校正方法 / 303
16.1 引言 303
16.2 PARAFAC 方法 305
16.3 交替三线性分解方法 306
16.4 多维偏最小二乘法 307
参考文献 309

17 模型传递方法 / 311
17.1 引言 311
17.2 经典算法 312
17.2.1 SSC算法 313
17.2.2 Shenk??s算法 313
17.2.3 DS算法 313
17.2.4 PDS算法 313
17.2.5 普鲁克分析算法 315
17.2.6 目标转换因子分析算法 315
17.2.7 最大似然主成分分析算法 315
17.2.8 SBC算法 316
17.3 经典算法的改进 316
17.4 算法新进展 319
17.4.1 CCA 算法 319
17.4.2 SST算法 320
17.4.3 ATLD算法 320
17.4.4 MTL算法 321
17.4.5 GLS算法 322
17.4.6 其他算法 322
17.5 全局模型、稳健模型和模型更新 325
17.6 应用研究进展 329
17.6.1 SBC方法 329
17.6.2 SSC方法 329
17.6.3 Shenk??s方法 330
17.6.4 DS方法 330
17.6.5 PDS方法 331
17.6.6 CCA 方法 333
17.6.7 全局模型的建立 334
17.6.8 其他方法 334
参考文献 335

18 深度学习算法 / 354
18.1 栈式自动编码器 354
18.2 卷积神经网络 357
18.2.1 卷积神经网络的基本构成 357
18.2.2 优化算法 361
18.2.3 损失函数 362
18.2.4 激活函数 363
18.2.5 防止过拟合的方法 365
18.2.6 经典的卷积神经网络架构 367
18.2.7 流行的深度学习软件框架 371
18.2.8 卷积神经网络的设计 372
18.2.9 卷积神经网络的训练 374
18.2.10 卷积神经网络的优缺点 376
18.2.11 卷积神经网络的应用研究 376
18.3 深度信念网络 383
18.4 迁移学习 385
参考文献 387

19 化学计量学软件和工具包 / 391
19.1 引言 391
19.2 软件的基本构架和功能 391
19.3 常用软件与工具箱 394
参考文献 395

20 若干问题的探讨 / 398
20.1 不同光谱分析技术的比较 398
20.2 化学计量学方法的选择 400
20.2.1 多元校正方法的选择 401
20.2.2 模式识别方法的选择 401
20.2.3 光谱预处理方法和光谱变量的选择 403
20.3 模型预测能力影响因素浅析 404
20.3.1 校正样本的影响 404
20.3.2 基础数据的影响 406
20.3.3 光谱测量方式的影响 409
20.3.4 光谱采集条件的影响 410
20.3.5 仪器性能的影响 414
20.4 展望 414
参考文献 416

缩略语表 / 421

后记 / 433