序言：迎接生成式人工智能的新时代

我们迎来了生成式人工智能。这个时代最主要的特点是我们可以让大语言模型在一定的文本提示下，生成各式各样的内容。 然而，生成式人工智能引发的伦理问题、治理挑战也前所未有。

要深刻理解这个问题的重要性和复杂性，首先要从大模型本身的特点出发，来讨论人工智能发展和治理的关系。为什么治理会变得这么频繁、这么复杂，又这么重要？核心是要探讨以下问题：

AI大模型为什么需要治理？治理的究竟是什么？该如何去治理？

一、从大模型技术特性出发，认识治理问题的复杂性

在此之前，我们需要认识生成式AI的三个特点，可以概括为;两大能力、一大缺陷。

一是强大的生成能力。一句话概括就是，在开领域 a 能够生成多样性语义上连贯的类似人类的文本。;开领域、多样性以及类似人类这三个形容词非常重要，是以ChatGPT为代表的生成式大模型的最主要的一个特点，也是对原有（传统）人工智能的重大突破。原有人工智能的所有成果都必须加上三个形容词，即在特定领域、利用特定算法、完成特定任务，它必定有这三个限制，但是ChatGPT等大模型突破了这三个;特定限制。

二是强大的迁移能力。在大模型的基础上，只要经过;微调少量工作就可以适应于不同的任务，解决了开领域多任务的问题。把大模型和其他技术结合起来，可以改变这些技术的面貌。比如跟检索结合起来，可以从根本上改变检索的方式，这个结果应该说是非常惊人的。

一大缺陷就是幻觉。所谓幻觉就是大模型的输出质量不一致和不可控，引发了两个方面的安全问题。一方面是模型本身的不安全，它会有一些错误的输出，如偏见、歪曲事实等，就是我们通常说的胡说八道，主要来自训练数据。另一方面是使用者导致的不安全，由于大模型是基于概率，而非按确定性的机制生成，恶意使用者可以诱导模型做出有害输出，比如使用提示词引导模型生成错误的输出，甚至暴露用户的敏感信息等。模型幻觉是难以避免的，这是;一枚硬币的两面，也使得治理问题变得非常复杂。

我们修正错误的主要办法是AI对齐，包括监督学习和强化学习。通过对齐，保证人工智能系统能够按照人类的意愿来执行任务，也就是保证它的健康发展。换句话讲，治理是我们必要的工作，主要通过与人类对齐来完成。对齐本身是用来克服它输出的错误，更好发挥大模型的作用。大模型通过训练以后只能输出一个上下文连贯的文本，并不能保证它的正确性与准确性，只有通

过对齐的方法才能够将大模型的生成质量提高。

未来，大模型的潜力还体现在它强大的交互能力上，这里面还有很多空间可以发掘。只跟人类对齐，一般来讲，最多只能达到人类的水平；使用其他交互手段，则可能获得超过人类的水平。比如大模型作为智能体（Agents）可以与环境实现交互，就是所谓的具身智能；也可以让机器和机器之间实现交互，这就是多智能体。通过这些交互，机器可以从环境和其他机器中获得反馈，使大模型的性能不断地得到提升与进化，最终可能超过人类的水平，展现出强大的发展潜力。

二、良好的治理可以引导大模型健康发展

治理始终贯穿在大模型发展的历程中。比如 GPT_3 的错误很多，最初训练出来的模型只能把上下文连贯起来，并不总能准确地回应上文所提示的要求；经过两年的调整，它的错误率降到20%；又经过5个月的调整，到GPT_4时已经降到10%，AI对齐是整个生成式人工智能发展中一个不可或缺的部分。

未来，还是需要强调广泛地去使用模型，特别是发动广大用户共同来做好大模型。此外，对使用者的治理，是一项更困难的工作，至于对设计者以及模型本身的治理，虽然复杂但比前者相对容易。使用者利用AI技术可以生成各种虚假的视频、邮件、图像和电话等，给打假造成很大的困难，不仅会导致人身损害和财产损失，还会导致社会不稳定等，值得全社会加以高度重视。

治理不只是技术问题，大家更加关注的是法律法规等方面。从技术层面看，一项重要的工作是如何区分图像、文本、语音和视频的真假，是由计算机生成的还是由人类生成（制作）的，这十分困难。以文本为例，目前我们只能做到60%左右的准确率，仅高于随机猜测 10 个百分点。从法律层面看，如何从法律法规、标准规范和伦理等角度去保护用户的利益，还有待各界积极探索。

走向通用人工智能的道路依然任重道远。目前，我们只是在语言对话这个问题上走向了通用，但在其他任务上，如决策、博弈等复杂问题，我们是否也能做出一个通用的模型呢？这个答案和人工智能治理一样，都需要全社会共同努力才能实现。

张 钹

清华大学教授、中国科学院院士

1.回应时代治理刚需：直面AI技术快速发展背后伦理争议、安全漏洞、治理滞后等现实问题，以;边界与秩序为核心线索，拆解AI治理核心逻辑，回应行业对建立可控治理秩序的迫切需求，为技术向善发展提供路径参考。

2.内容体系层层递进：全书覆盖宏观到微观全维度，上篇梳理人工智能治理顶层架构与全球政策动向，中篇聚焦价值对齐、幻觉治理、安全攻防等行业核心难题，下篇还原OpenAI、微软、蚂蚁等头部企业真实治理实践，兼顾理论深度与落地指导性。

3.作者阵容专业扎实：由中国科学院院士张钹作序，汇集产学研领域专家智慧，既有学界对治理底层逻辑的前沿研究，也有企业一线技术与管理团队的实践沉淀，内容均来自真实治理探索，避免空泛理论推演。

4.适配多元读者需求：对技术从业者可参考安全技术解决方案，对企业管理者可借鉴伦理体系搭建经验，对政策研究者可了解全球治理趋势，对普通读者可理解AI发展背后的伦理权衡，是不同群体了解智能时代治理逻辑的实用参考。

本书聚焦人工智能技术在快速发展中所面临的伦理挑战与治理实践。全书内容丰富，结构清晰，共分为三部分：理念篇、议题篇和案例篇。理念篇深入剖析了国内外人工智能伦理治理的核心理念与顶层设计，为读者提供了全面的理论背景；议题篇则针对人工智能应用中的核心伦理议题如大模型幻觉、价值对齐、数字鸿沟等进行深入剖析，并提炼了产学研界正在探索的前沿解决方案；案例篇则通过梳理微软、谷歌、Open AI、蚂蚁、科大讯飞等科技企业的典型实践，为读者提供经验与启示。

蚂蚁集团科技伦理委员会是蚂蚁集团的内设机构，专注构建内部伦理规范，推动标准实施。

蚂蚁集团科技伦理顾问委员会由蚂蚁集团成立，汇聚相关领域专家学者，如中国科学院院士张钹、中国工程院院士吴世忠等，为集团项目提供战略指导与评估，确保科技伦理实践。

目 录

序言 迎接生成式人工智能的新时代

上篇 人工智能治理理念和顶层架构设计

第一讲深刻把握人工智能的技术属性和社会属性

吴飞，浙江大学教授、博士生导师

第二讲发展视角下的人工智能治理以;善治促;善智

梁正，清华大学公共管理学院教授、清华大学人工智能国际治理研究院副院长

第三讲海外人工智能治理顶层设计与政策动向

张凌寒，中国政法大学人工智能法研究院院长、联合国高级别人工智能咨询机构专家组成员

第四讲AI治理的机遇与挑战核控、疾控给我们的启示

吴世忠，中关村实验室研究员

第五讲人工智能在金融行业应用的伦理风险分析和治理对策

张晓燕，清华大学五道口金融学院副院长

中篇 人工智能领域的核心议题聚焦

第六讲人工智能价值对齐的核心议题、主要挑战和对策建议以AI在医疗领域的应用为例

李振华，蚂蚁集团研究院院长

第七讲同行的决心：AI向善语料库探索社会公益之路，把爱与善意引入AI

陆诗雨，腾讯研究院研究员；王强，腾讯研究院资深专家

第八讲;攻检防自博弈，迭代提升大模型安全水平

虎嵩林，中国科学院大学岗位教授、博士生导师

第九讲大语言模型的幻觉检测

杨熙，北京智源人工智能研究院；王厚峰，北京大学计算机学院

下篇 企业大模型治理的实践探索

第十讲OpenAI伦理治理体系的梳理分析

江洁，蚂蚁集团全面风险管理部负责人

第十一讲智者畏因论大模型的应用与责任

韦青，微软(中国)首席技术官

第十二讲蚂蚁AI大模型实践进展与伦理思考

周志峰，蚂蚁集团资深副总裁、蚂蚁集团科技伦理委员会联席主席

第十三讲讯飞星火医疗大模型应用与安全伦理探索

赵景鹤，科大讯飞医疗研究院副院长

第十四讲海外科技大厂的AI治理体系分析研究 以微软、谷歌、Anthropic为例

朴实，蚂蚁集团研究院医疗健康研究中心主任；卢侃，蚂蚁集团研究院行业研究专家