前言：

计算机在材料科学与工程各个领域的广泛应用，极大地促进了材料科学的发展，并产生了一系列交叉学科和新的研究领域，如计算材料学、材料信息学、材料数据挖掘等。

材料领域积累了大量的科学实验和生产实际数据，如何总结这些数据中的规律性，进而用以指导以后的科学实验和生产操作，这是一项非常有意义的工作，这项工作的实施需要数据挖掘技术与材料知识和科学实践的结合。

所谓材料数据挖掘（materials data mining），就是利用现代统计科学理论和机器学习方法及计算机应用软件对材料科学和工程领域中的复杂数据样本进行采集、整理、分析、建模、预测、评价、优化和应用等工作，试图归纳和总结数据中蕴含的规律性，进而利用所建定性或定量的数学模型预报未知样本的性质，达到总结材料内秉规律、探索并创制国民经济急需新材料的目的。材料数据挖掘的应用研究内容涉及材料设计、材料制备、材料表征和服役性能优化的全研究链。材料数据挖掘方法和技术已成为材料信息学的主要研究工具，在材料基因组工程研究领域具有特别重要的意义。

利用材料数据挖掘方法和技术，可以总结新材料的物理和化学性质与其组成元素的原子参数、化学配方、制备工艺等参数之间的定性或定量关系，用以加快新材料研制和新产品开发，达到“事半功倍”的效果。利用材料数据挖掘方法和技术，对大型现代材料制备或加工企业的生产操作过程做“工业诊断”，找出产品的“生产瓶颈”问题（包括质量问题、产量问题、能耗问题等），建立解决“生产瓶颈”问题的数据挖掘模型，用以实现保质保量的材料生产或加工。因此，利用材料数据挖掘所得研究对象的统计规律，可以指导我们更好地开展下一步的科学实验和生产实践，达到挖潜增效的目的。材料数据挖掘方法和技术的应用成本低，却可能在材料研发过程中节省人力物力，甚至在材料工业生产中产生可观的经济效益，并能达到立竿见影的效果，因而数据挖掘方法和技术在材料科学和工程领域有广阔的应用前景。

笔者长期从事数据挖掘方法和技术在材料领域的应用研究工作，在该研究领域积累了大量成功应用实例。笔者团队开发的材料数据挖掘在线计算平台（online computation platform for materials data mining，OCPMDM，请见第11章）已在钙钛矿型材料、聚合物材料、染料敏化太阳能电池材料的设计和筛选工作中得到成功应用。开发的基于数据挖掘的工业优化控制系统已在国内若干大型企业得到实际应用，达到了增产降耗的目的。本书从材料科学工作者易于理解的角度介绍常用数据挖掘方法的基本原理，并重点介绍笔者近年来在材料设计和工业优化等领域的数据挖掘工作。

本书有关科研工作得到了科学技术部、国家自然科学基金委员会、上海市科学技术委员会等的资助；有关学术研究和技术开发工作得到了笔者的研究生们的大力配合，其中张庆（已毕业博士）和畅东平（在读博士）开发了材料数据挖掘在线计算平台（第11章），卢天（在读博士）改进了基于数据挖掘的工业优化控制系统软件（第15章）；有关材料数据挖掘的应用研究案例主要取自于笔者近年来承担科研项目和指导研究生（包括刘太昂、翟秀云、石丽、徐潇、俱李菲、徐鹏程等）的工作（第12～14章）；卢天、连正亨、陈慧敏等研究生参与了若干机器学习算法的编写工作。本书的出版得到了笔者负责的国家重点研发计划课题“材料大数据挖掘和分析技术”（隶属于北京科技大学宿彦京教授负责的“材料基因工程专用数据库和大数据分析技术”国家重点研发计划项目）的资助；出版计划和工作进程得到了上海大学材料基因组工程研究院张统一院士的鼓励和支持；化学工业出版社相关工作人员也支持了本书的出版工作。在此一并致谢！

本书可供材料科学与工程等相关领域的科研人员和工程技术人员阅读，亦可作为高等院校材料数据挖掘研究方向的教学参考书。

材料数据挖掘涉及的研究领域很广，本书只是介绍了部分行之有效的数据挖掘方法在笔者涉猎的研究领域中的工作，受笔者的学识水平和工作内容所限，疏漏和不足之处在所难免，欢迎各位读者和研究同行提出宝贵意见。

陆文聪     

于上海大学 

目录：

第1章

材料数据挖掘综述001

1.1  材料数据挖掘的研究背景001

1.1.1  材料数据挖掘与材料设计004

1.1.2  材料数据挖掘与材料信息学006

1.1.3  材料数据挖掘与材料基因组工程008

1.1.4  材料数据挖掘与材料工业优化011

1.2  材料数据挖掘方法概要012

1.2.1  材料数据挖掘问题的数学表达013

1.2.2  材料数据挖掘模型的“过拟合”和“欠拟合”问题013

1.2.3  材料数据挖掘的常用方法015

1.2.4  材料数据挖掘的基本流程019

1.3  材料数据挖掘应用进展021

1.4  材料数据挖掘发展趋势023

参考文献025

第2章

回归分析029

2.1  回归分析方法概论029

2.2  线性回归030

2.2.1  一元线性回归030

2.2.2  多元线性回归032

2.2.3  违背基本假设的情况与处理033

2.3  岭回归034

2.4  套索算法036

2.5  偏最小二乘回归038

2.6  逻辑回归040

参考文献042

第3章

统计模式识别043

3.1  统计模式识别概论043

3.2  最近邻045

3.3  主成分分析046

3.4  多重判别矢量和费歇尔判别矢量048

3.5  非线性映照052

3.6  模式识别应用技术053

3.6.1  最佳投影识别054

3.6.2  超多面体建模056

3.6.3  逐级投影建模056

3.6.4  最佳投影回归058

3.6.5  模式识别逆投影061

参考文献062

第4章

决策树063

4.1  决策树概论063

4.2  决策树064

4.3  随机决策树066

4.4  随机森林067

4.5  梯度提升决策树069

4.6  极限梯度提升算法071

4.7  快速梯度提升算法074

参考文献076

第5章

聚类方法077

5.1  k均值聚类方法077

5.2  噪声密度聚类方法078

5.3  评估指标079

参考文献081

第6章

人工神经网络082

6.1  反向人工神经网络083

6.2  Kohonen自组织网络085

参考文献086

第7章

遗传算法和遗传回归087

7.1  遗传算法087

7.2  遗传回归089

参考文献092

第8章

支持向量机方法094

8.1  统计学习理论简介095

8.1.1  背景095

8.1.2  原理095

8.2  支持向量分类算法097

8.2.1  线性可分情形097

8.2.2  非线性可分情形098

8.3  支持向量机的核函数099

8.4  支持向量回归方法101

8.4.1  线性回归情形101

8.4.2  非线性回归情形102

8.5  支持向量机分类与回归算法的实现103

8.6  应用前景104

参考文献105

第9章

集成学习方法107

9.1  集成学习算法概述107

9.2  Boosting算法110

9.3  AdaBoost算法111

9.4  Bagging算法113

参考文献114

第10章

特征选择方法和应用116

10.1  特征变量筛选方法概论116

10.2  过滤式118

10.2.1  方差选择法118

10.2.2  相关系数法118

10.2.3  最大信息系数119

10.2.4  最大相关最小冗余120

10.2.5  卡方检验121

10.2.6  Relief121

10.3  封装式122

10.3.1  全局最优搜索122

10.3.2  启发式搜索123

10.3.3  随机搜索124

10.4  嵌入式124

10.5  小结125

参考文献126

第11章

材料数据挖掘在线计算平台128

11.1  材料数据挖掘在线计算平台技术简介128

11.1.1  OCPMDM平台架构129

11.1.2  OCPMDM平台技术简介130

11.1.3  分布式计算简介与使用131

11.2  材料数据挖掘在线计算平台功能介绍132

11.2.1  机器学习算法133

11.2.2  材料描述符填充134

11.2.3  数据特征筛选134

11.2.4  智能建模135

11.2.5  钙钛矿材料高通量虚拟筛选135

11.2.6  模型分享135

11.3  材料数据挖掘在线计算平台应用案例136

11.3.1  数据来源136

11.3.2  研究流程137

11.3.3  结果与讨论137

11.4  小结145

参考文献146

第12章

钙钛矿型材料的数据挖掘148

12.1  钙钛矿型材料数据挖掘概论148

12.2  钙钛矿型材料居里温度的数据挖掘149

12.2.1  数据集150

12.2.2  特征变量筛选151

12.2.3  参数优化152

12.2.4  模型的评价154

12.2.5  模型的检验156

12.2.6  虚拟筛选156

12.3  钙钛矿型材料比表面积的数据挖掘158

12.3.1  数据集159

12.3.2  特征变量筛选160

12.3.3  SVR模型的建立与留一法检验162

12.3.4  与其他算法的结果比较165

12.3.5  SVR外部测试集验证165

12.3.6  高通量筛选167

12.3.7  模型分享169

12.3.8  模型的模式识别解释169

12.3.9  模型的敏感性分析170

12.4  小结172

参考文献173

第13章

染料敏化太阳能电池材料的数据挖掘176

13.1  概述176

13.1.1  染料敏化太阳能电池176

13.1.2  染料敏化剂及其数据挖掘研究现状177

13.1.3  N-P类敏化剂研究现状179

13.2  N-P类敏化剂的数据挖掘179

13.2.1  数据集与特征变量的计算180

13.2.2  特征变量的筛选和建模181

13.2.3  模型的验证184

13.3  分子设计与性能预报185

13.3.1  特征变量的解释185

13.3.2  分子设计与PCE预报187

13.4  量化验证189

13.4.1  计算方法189

13.4.2  电子结构191

13.4.3  吸收光谱194

13.4.4  染料和TiO2络合物195

13.4.5  综合效率196

13.5  小结199

参考文献200

第14章

高分子材料的数据挖掘204

14.1  概述204

14.1.1  高分子材料数据挖掘研究现状205

14.1.2  高分子指纹描述符206

14.2  高分子材料设计算法207

14.2.1  遗传算法207

14.2.2  贝叶斯算法208

14.3  高分子禁带宽度的数据挖掘210

14.3.1  研究背景210

14.3.2  数据集210

14.3.3  DFT方法探索211

14.3.4  特征变量筛选212

14.3.5  模型筛选212

14.3.6  SVC模型的建立与验证215

14.3.7  特征相关性分析216

14.3.8  特征敏感性分析218

14.3.9  模型分享219

14.3.10  分子设计219

14.4  小结221

参考文献221

第15章

基于数据挖掘的氟橡胶门尼黏度优化控制223

15.1  研究背景223

15.2  研究思路225

15.3  研究内容225

15.4  氟橡胶生产优化控制软件BDMOS介绍227

15.5  BDMOS软件具体功能228

15.5.1  数据导入228

15.5.2  统计信息230

15.5.3  变量重要性分析234

15.5.4  数据挖掘模型234

15.6  氟橡胶简介239

15.7  氟橡胶生产数据挖掘242

15.7.1  数据集收集242

15.7.2  模型建立245

15.7.3  模型检验246

15.8  小结248

参考文献249

索引250