本书为战略性新兴领域;十四五高等教育教材体系建设团队新一代信息技术（网络空间安全）建设项目。本书系统地介绍了人工智能数据安全的基本概念、原理和方法，从数据质量、数据隐私、内容安全三个不同的维度对人工智能数据安全进行了全面的解读。通过对新兴技术和实际案例的深度研究，本书旨在为读者提供全面而实用的知识，帮助他们更好地理解、评估和保护在人工智能时代中所涉及的关键数据。本书适合作为高校网络空间安全、信息安全、计算机科学与技术等专业的研究生和本科生教材，也可供人工智能安全领域的研究者、开发者和广大师生参考。

随着人工智能技术的不断发展，其相关算法已经广泛应用于工业、金融、医疗等重要领域。数据作为人工智能技术的核心要素，其安全性直接影响人工智能技术是否可以在现实场景中大规模部署和应用。本书基于此背景，延伸人工智能技术的前沿理论与实践基础，深入剖析了人工智能在数据安全层面所面临的重要挑战。通过阅读本书，读者可以深入了解人工智能数据安全的各个细分领域，掌握各类数据安全问题的原理及其缓解方法，并树立具有开阔视野的人工智能数据安全观。本书共9章，可划分为6部分，包括人工智能数据安全概述（第1章）、异常数据处理方法（第2章）、人工智能数据投毒与防御（第3章）、人工智能数据隐私保护（第4～6章）、人工智能数据内容安全（第7～8章），以及人工智能数据安全未来发展的讨论与展望（第9章）。本书可作为网络空间安全、信息安全、计算机科学与技术、人工智能等专业的本科生和研究生教材，也可作为人工智能和数据挖掘等相关领域的研究者、开发者、教师和学生的参考用书。

第1章人工智能数据安全概述11.1人工智能发展概述11.1.1人工智能基本原理与发展历程11.1.2人工智能核心技术及应用4习题71.2人工智能数据安全71.2.1人工智能数据安全要素71.2.2人工智能模型101.2.3人工智能数据生命周期的安全威胁12习题141.3人工智能数据安全的治理动态151.3.1国际法规与合作动态151.3.2国内政策与实施指南17习题191.4人工智能数据安全的发展趋势191.4.1风险与挑战191.4.2技术与策略20习题22参考文献22

第2章异常数据处理方法272.1数据清洗272.1.1数据异常检测272.1.2数据清洗方法30习题332.2不平衡数据处理332.2.1数据不平衡的成因及其影响332.2.2数据侧处理方法342.2.3算法侧处理方法37习题392.3数据偏见及其处理402.3.1数据偏见的成因402.3.2数据偏见的影响412.3.3数据偏见的处理方法42习题44参考文献44

第3章人工智能数据投毒与防御473.1数据投毒攻击473.1.1数据投毒攻击的攻击场景及威胁模型473.1.2数据投毒攻击的不同目标类型483.1.3数据投毒攻击的不同方法类型49习题523.2数据投毒攻击的防御技术523.2.1针对数据收集阶段的防御方法523.2.2针对模型训练阶段的防御方法543.2.3针对模型部署阶段的防御方法55习题563.3投毒式后门攻击573.3.1投毒式后门攻击的攻击场景及其威胁模型573.3.2投毒式后门攻击的形式化定义583.3.3投毒式后门攻击的不同触发器类型603.3.4投毒式后门攻击的不同目标类型633.3.5非投毒式后门攻击643.3.6与相关领域的联系与区别66习题673.4后门攻击的防御技术673.4.1针对数据收集阶段的后门防御673.4.2针对模型训练阶段的后门防御683.4.3针对模型部署阶段的后门防御693.4.4针对模型推理阶段的后门防御703.4.5基于特性的经验性后门防御划分和认证性后门防御72习题733.5大模型投毒式攻击及其防御743.5.1大模型的基本概念743.5.2大模型的训练过程743.5.3大模型场景下的技术挑战763.5.4大模型投毒式攻击技术783.5.5大模型投毒式攻击的防御技术80习题81参考文献82

第4章人工智能的数据泄露问题884.1数据隐私的基本概念884.1.1数据隐私的定义884.1.2数据隐私的重要性904.1.3数据隐私保护的挑战91习题924.2成员推理攻击924.2.1成员推理攻击的攻击场景及其威胁模型924.2.2成员推理攻击的形式化定义934.2.3基于二元分类器的成员推理攻击944.2.4基于度量的成员推理攻击964.2.5针对不同机器学习模型的成员推理攻击97习题994.3模型逆向攻击1004.3.1模型逆向攻击的攻击场景及其威胁模型1004.3.2模型逆向攻击的形式化定义1014.3.3基于黑盒模型的逆向攻击1014.3.4基于白盒模型的逆向攻击1024.3.5常见的模型逆向攻击方法103习题104参考文献104

第5章人工智能数据隐私保护方法1075.1数据脱敏1075.1.1数据脱敏类型1075.1.2数据脱敏技术1085.1.3数据脱敏的应用场景108习题1095.2数据匿名化1095.2.1数据匿名化基本方法1105.2.2数据匿名化技术1115.2.3数据匿名化技术的应用场景114习题1145.3差分隐私1155.3.1差分隐私的形式化定义1155.3.2差分隐私的性质1175.3.3差分隐私技术1185.3.4差分隐私的类型1195.3.5差分隐私的应用120习题1215.4差分隐私保护的模型训练1215.4.1差分隐私模型训练的形式化定义1215.4.2差分隐私模型训练技术1225.4.3差分隐私模型训练的应用125习题1275.5差分隐私保护的数据合成1285.5.1差分隐私数据合成的形式化定义1285.5.2差分隐私数据合成技术1295.5.3差分隐私数据合成的应用131习题1335.6数据遗忘1345.6.1数据遗忘的定义1355.6.2数据遗忘方案1365.6.3数据遗忘的应用场景137习题137参考文献138

第6章隐私计算方法1416.1隐私计算的基本概念1416.1.1隐私计算的形式化定义1416.1.2隐私计算的关键特征1426.1.3隐私计算的重要性1436.1.4隐私计算的应用144习题1456.2安全多方计算1466.2.1安全多方计算的形式化定义1466.2.2安全多方计算的关键协议1486.2.3安全多方计算的应用152习题1536.3同态加密和隐私推理1536.3.1同态加密和隐私推理的形式化定义1536.3.2同态加密的算法与技术1546.3.3同态加密和隐私推理的应用157习题1596.4联邦学习1596.4.1联邦学习的形式化定义1596.4.2联邦学习的算法和技术1606.4.3联邦学习中的隐私保护方法1626.4.4联邦学习的应用163习题1646.5可信执行环境1656.5.1可信执行环境的形式化定义1656.5.2可信执行环境的实现机制1666.5.3可信执行环境的典型实现1676.5.4可信执行环境的应用168习题169参考文献169

第7章多媒体和数据内容安全1717.1内容安全的基本概念1717.1.1内容安全的定义1717.1.2内容安全的范畴1727.1.3内容安全研究的意义1757.1.4内容安全应用176习题1787.2多媒体不良信息检测1787.2.1多媒体不良信息检测概述1787.2.2多媒体不良信息检测方法1797.2.3多媒体不良信息检测的应用184习题1867.3大模型生成内容安全1867.3.1生成式大模型概述1867.3.2大模型生成内容安全风险1897.3.3大模型生成内容安全风险成因1927.3.4大模型生成内容安全防护机制1967.3.5大模型生成内容安全研究的应用201习题2017.4模型与数据版权保护2027.4.1模型版权保护概述2027.4.2模型版权保护方法2037.4.3模型版权保护的应用2077.4.4数据版权保护概述2087.4.5数据版权保护方法2087.4.6数据版权保护的应用214习题215参考文献215

第8章深度伪造与检测方法2268.1深度伪造的基本概念2268.1.1深度伪造的定义2268.1.2深度伪造的应用227习题2288.2深度伪造技术2298.2.1深度伪造的评价指标2298.2.2深度伪造技术分类230习题2468.3深度伪造被动检测及主动防御技术2478.3.1深度伪造检测的评价指标2478.3.2深度伪造检测数据构建2488.3.3深度伪造被动检测技术2508.3.4深度伪造主动防御技术2698.3.5深度伪造被动检测与主动防御的应用274习题275参考文献275

第9章讨论与展望2859.1大模型时代下的数据安全形势2859.1.1生成式大模型带来的技术冲击2859.1.2生成式大模型形成的安全场景288习题2899.2关键前沿技术与发展方向2909.2.1模型幻觉与评估技术2909.2.2AI 时代的隐私安全2919.2.3大模型水印技术2929.2.4大模型安全护栏294习题2959.3数据安全治理与未来展望2959.3.1数据安全问题治理2959.3.2大模型时代的数据安全展望298习题301参考文献302

人工智能数据安全是一门随着人工智能技术发展而出现的新兴学科，旨在研究如何确保人工智能数据的安全性，进而推动人工智能技术稳健发展。以大模型为代表的新型人工智能技术正不断涌现，而模型盗用、隐私侵犯等安全威胁却仍旧泛滥、难以根除，也衍生出深度伪造、大模型;越狱等新兴威胁。人工智能数据安全未来将面临更加严峻的挑战，并逐渐向数据安全类型多模态化、数据安全框架系统化、数据安全技术前沿化等方向发展，如何提供更加安全可靠的数据保障已成为护航人工智能技术发展的重中之重。本书系统地介绍人工智能数据安全的基本概念、原理和方法，从异常数据处理、数据投毒、数据隐私和内容安全4个不同的维度对人工智能数据安全进行全面解读。本书共分为6部分，第1部分从宏观角度概述人工智能数据安全的基本概念、现实意义、法律规范和发展动态；第2部分从异常数据处理的角度分析人工智能在设计和数据采集阶段所面临的异常数据、不平衡数据和数据偏见等经典数据质量问题及其解决方案；第3部分从数据投毒攻击与防御的角度介绍人工智能训练数据面临的数据投毒、后门攻击等安全威胁及其防御策略；第4部分从数据隐私安全角度探讨数据隐私泄露问题，并重点阐述数据隐私保护技术和隐私计算技术；第5部分从内容安全角度讲述不良信息检测、信息版权保护以及深度伪造技术等方面的实践挑战及其应对方法；第6部分对大模型时代的人工智能数据安全形势、关键技术等进行深入讨论，并展望人工智能数据安全未来的发展方向。通过对新兴技术和实际案例的深度研究，本书旨在为读者提供关于数据安全的全面且实用的知识，帮助读者更好地理解、评估和解决在人工智能时代所涉及的关键数据安全防护问题，并提高应对数据安全风险事件的水平和能力。本书为战略性新兴领域;十四五高等教育教材体系规划教材，聚焦人工智能领域前沿的数据安全问题，向读者展现全面的数据安全视角，构建完整的数据安全知识体系。本书在语言表达上力求简明扼要的同时，保持良好的可读性，内容贴近实际，注重实用性和应用价值。每一章节都旨在帮助读者深入理解人工智能数据安全的复杂性及其面临的挑战，并通过具体技术的讲解、案例分析与实践指导，使读者能在未来的工作中学以致用。通过阅读本书，读者不仅能获得关于人工智能数据安全的知识，还能了解这一领域的发展趋势和未来方向，为他们在人工智能数据安全及相关领域的职业生涯奠定坚实的基础。本书可用于人工智能数据安全以及人工智能安全、数据安全等相关课程的教学，供网络空间安全、信息安全、计算机科学与技术、人工智能等专业的高年级本科生和研究生进行学习，也可供人工智能安全和数据安全等相关领域的研究者、教师、学生和开发者参考和学习。本书中的各部分内容相对独立，教师可以根据课程计划和专业需要，选择本书的全部或部分内容进行授课，在追求定制化需求的同时也可以保持课程体系结构的完整性。本书课堂教学一般为32～48学时。对于网络空间安全、信息安全等需要深入了解人工智能数据安全的专业，可以额外安排8～16学时的实验课程。本书由任奎教授、秦湛研究员、王志波教授、巴钟杰研究员和李一鸣研究员共同编写。感谢张秉晟教授、娄坚研究员、王庆龙研究员和郑天航研究员为本书提出的建设性意见和指导。本书在编写过程中还得到浙江大学网络空间安全学院多位博士和硕士研究生的支持与协助，他们包括（按姓氏笔画排序）: 王和、王浩宇、帅超、田志华、付弘烨、乔一帆、刘青羽、芦浩、李浩、杨亦齐、杨雨晨、何宇、何泽青、张文、张效源、张毅韬、陈禹坤、邵硕、易靓、罗志凡、金帅帆、胡爽、钟杰洺、姚宏伟、贺淼、徐如慧、高舜、龚斌、彭乐坤、董子平、温晴、雷佳晨、鲍文杰、廉伟辰、潘坤、魏城。由于作者水平所限，书中难免存在错误与不妥之处，敬请广大读者批评指正。2024年7月