编辑推荐

在大数据时代，企业面临的问题不是真的没有数据可用，而是鉴于数据安全，出现了数据孤岛，无法应用数据。联邦学习是密码学、分布式计算和机器学习三个学科交叉的技术，可以很好地解决数据隐私和安全的问题。

《联邦学习技术及实战》由京东数科有多年联邦学习实战经验的二十多位作者合作编写，内容可分为联邦学习基础、具体的联邦学习算法、联邦学习的产业应用和展望三个大部分，并给出较多案例。

《联邦学习技术及实战》用300多页的篇幅详细地介绍了联邦学习的原理和应用。

内容提要

《联邦学习技术及实战》针对产业界在智能化过程中普遍面临的数据不足问题，详细地阐述了联邦学习如何帮助企业引入更多数据、提升机器学习模型效果。互联网数据一般分布在不同的位置，受隐私保护法规限制不能共享，形成了“数据孤岛”。联邦学习像“数据孤岛”之间的特殊桥梁，通过传输变换后的临时变量，既能实现模型效果提升，又能确保隐私信息的安全。

《联邦学习技术及实战》介绍了联邦学习技术的原理和实战经验，主要内容包括隐私保护、机器学习等基础知识，联邦求交、联邦特征工程算法，三种常见的联邦形式，以及工程架构、产业案例、数据资产定价等。

作者简介

彭南博

京东科技集团风险管理中心总监，在人工智能算法、风控模型等领域具有丰富的实践经验。他负责风险智能模型技术布局和业务落地，建立了数据、算法、工程三位一体的大数据应用体系。在联邦学习应用实践中，他领导团队研发联邦学习技术和产品，为风险业务建立了基于联邦学习的模型工程架构、模型管理体系、模型监控体系。他于2012年在中国科学院大学获得博士学位，先后参与三项国家基金项目，发表期刊和会议论文10余篇，申请专利70余项。

 王虎

京东科技集团风险管理中心算法科学家，在机器学习和数据挖掘领域具有丰富的产业应用经验。他负责风险场景的模型研发，针对风险数据孤岛问题，调研并论证联邦学习技术的可行性，完成了从0到1的联邦风控应用创新，负责联邦组网过程中的算法研发和模型优化。他于2012年在中国科学院大学获得博士学位，其后负责并完成了药物副作用挖掘、电力销量预测、驾驶员状态分析、基于穿戴式医疗设备的健康评估等机器学习项目。

目录

第1章 / 联邦学习的研究与发展现状1

1.1  联邦学习的背景1

1.2  大数据时代的挑战：数据孤岛4

1.2.1 “数据孤岛”的成因4

1.2.2  具体实例5

1.2.3  数据互联的发展与困境7

1.2.4  解决“数据孤岛”问题的难点与联邦学习的优势10

1.3  联邦学习的定义和基本术语11

1.3.1  联邦学习的定义11

1.3.2  联邦学习的基本术语13

1.4  联邦学习的分类及适用范围15

1.4.1  纵向联邦学习16

1.4.2  横向联邦学习18

1.4.3  联邦迁移学习19

1.5  典型的联邦学习生命周期20

1.5.1  模型训练21

1.5.2  在线推理21

1.6  联邦学习的安全性与可靠性22

1.6.1  安全多方计算22

1.6.2  差分隐私24

1.6.3  同态加密25

1.6.4  应对攻击的健壮性25

1.7  阅读材料26

第2章 / 多方计算与隐私保护28

2.1  多方计算28

2.2  基本假设与隐私保护技术29

2.2.1  安全模型29

2.2.2  隐私保护的目标30

2.2.3  三种隐私保护技术及其关系32

2.3  差分隐私34

2.3.1  差分隐私的基本概念34

2.3.2  差分隐私的性质40

2.3.3  差分隐私在联邦学习中的应用41

2.4  同态加密43

2.4.1  密码学简介44

2.4.2  同态加密算法的优势44

2.4.3  半同态加密算法45

2.4.4  全同态加密算法49

2.4.5  半同态加密算法在联邦学习中的应用50

2.5  安全多方计算51

2.5.1  百万富翁问题52

2.5.2  安全多方计算中的密码协议53

2.5.3  安全多方计算在联邦学习中的应用61

第3章 / 传统机器学习63

3.1  统计机器学习的简介63

3.1.1  统计机器学习的概念63

3.1.2  数据结构与术语66

3.1.3  机器学习算法示例67

3.2  分布式机器学习的简介71

3.2.1  分布式机器学习的背景71

3.2.2  分布式机器学习的并行模式72

3.2.3  分布式机器学习对比联邦学习75

3.3  特征工程76

3.3.1  错误及缺失处理76

3.3.2  数据类型76

3.3.3  特征工程方法77

3.4  *优化算法80

3.4.1  *优化问题80

3.4.2  解析方法81

3.4.3  一阶优化算法82

3.4.4  二阶优化算法84

3.5  模型效果评估85

3.5.1  效果评估方法86

3.5.2  效果评估指标87

第4章 / 联邦交集计算91

4.1  联邦交集计算介绍93

4.1.1  基于公钥加密体制的方法93

4.1.2  基于混乱电路的方法96

4.1.3  基于不经意传输协议的方法97

4.1.4  其他方法99

4.2  联邦交集计算在联邦学习中的应用100

4.2.1  实体解析与纵向联邦学习100

4.2.2  非对称纵向联邦学习102

4.2.3  联邦特征匹配106

第5章 / 联邦特征工程107

5.1  联邦特征工程概述107

5.1.1  联邦特征工程的特点107

5.1.2  传统特征工程和联邦特征工程的对比109

5.2  联邦特征优化110

5.2.1  联邦特征评估111

5.2.2  联邦特征处理113

5.2.3  联邦特征降维122

5.2.4  联邦特征组合128

5.2.5  联邦特征嵌入133

5.3  联邦单变量分析137

5.3.1  联邦单变量基础分析138

5.3.2  联邦WOE和IV计算139

5.3.3  联邦PSI和CSI计算143

5.3.4  联邦KS和LIFT计算145

5.4  联邦自动特征工程148

5.4.1  联邦超参数优化149

5.4.2  联邦超频优化152

5.4.3  联邦神经结构搜索154

第6章 / 纵向联邦学习156

6.1  基本假设及定义156

6.2  纵向联邦学习的架构157

6.3  联邦逻辑回归159

6.4  联邦随机森林166

6.5  联邦梯度提升树172

6.5.1  XGBoost简介172

6.5.2  SecureBoost简介176

6.5.3  SecureBoost训练176

6.5.4  SecureBoost推理178

6.6  联邦学习深度神经网络180

6.7  纵向联邦学习案例184

第7章 / 横向联邦学习186

7.1  基本假设与定义186

7.2  横向联邦网络架构187

7.2.1  中心化架构187

7.2.2  去中心化架构189

7.3  联邦平均算法概述190

7.3.1  在横向联邦学习中优化问题的一些特点190

7.3.2  联邦平均算法191

7.3.3  安全的联邦平均算法193

7.4  横向联邦学习应用于输入法194

第8章 / 联邦迁移学习198

8.1  基本假设与定义198

8.1.1  迁移学习的现状198

8.1.2  图像中级特征的迁移201

8.1.3  从文本分类到图像分类的迁移203

8.1.4  联邦迁移学习的提出206

8.2  联邦迁移学习架构206

8.3  联邦迁移学习方法209

8.3.1  多项式近似209

8.3.2  加法同态加密210

8.3.3  ABY210

8.3.4  SPDZ211

8.3.5  基于加法同态加密进行安全训练和预测212

8.3.6  基于ABY和SPDZ进行安全训练215

8.3.7  性能分析216

8.4  联邦迁移学习案例217

8.4.1  应用场景217

8.4.2  联邦迁移强化学习218

8.4.3  迁移学习的补充阅读材料224

第9章 / 联邦学习架构揭秘与优化实战227

9.1  常见的分布式机器学习架构介绍227

9.2  联邦学习开源框架介绍235

9.2.1  TensorFlow Federated235

9.2.2  FATE框架238

9.2.3  其他开源框架241

9.3  训练服务架构揭秘242

9.4  推理架构揭秘246

9.5  调优案例分析250

9.5.1  特征工程调优250

9.5.2  训练过程的通信过程调优251

9.5.3  加密的密钥长度253

9.5.4  隐私数据集求交集过程优化254

9.5.5  服务器资源优化254

9.5.6  推理服务优化255

第10章 / 联邦学习的产业案例256

10.1  医疗健康256

10.1.1  患者死亡可能性预测257

10.1.2  医疗保健258

10.1.3  联邦学习在医疗领域中的其他应用260

10.2  金融产品的广告投放261

10.3  金融风控263

10.3.1  数据方之间的联邦学习264

10.3.2  数据方与金融机构之间的联邦学习266

10.4  其他应用269

10.4.1  联邦学习应用于推荐领域269

10.4.2  联邦学习与无人机271

10.4.3  联邦学习与新型冠状病毒肺炎监测273

第11章 / 数据资产定价与激励机制274

11.1  数据资产的相关概念及特点274

11.1.1  大数据时代背景274

11.1.2  数据资产的定义275

11.1.3  数据资产的特点277

11.1.4  数据市场279

11.2  数据资产价值的评估与定价281

11.2.1  数据资产价值的主要影响因素281

11.2.2  数据资产价值的评估方案286

11.2.3  数据资产的定价方案289

11.3  激励机制290

11.3.1  贡献度量化方案291

11.3.2  收益分配方案292

11.3.3  数据资产定价与激励机制的关系293

第12章 / 联邦学习面临的挑战和可扩展性295

12.1  联邦学习面临的挑战295

12.1.1  通信与数据压缩296

12.1.2  保护用户隐私数据296

12.1.3  联邦学习优化298

12.1.4  模型的鲁棒性299

12.1.5  联邦学习的公平性301

12.2  联邦学习与区块链结合302

12.2.1  **技术302

12.2.2  可信媒介303

12.2.3  对比异同304

12.2.4  强强联合306

12.3  联邦学习与其他技术结合307

参考资料309