ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。它能够自动生成一些表面上看起来像人类写的文字，这是一件很厉害且出乎大家意料的事。那么，它是如何做到的呢？又为何能做到呢？本书会大致介绍ChatGPT的内部机制，然后探讨一下为什么它能很好地生成我们认为有意义的文本。

斯蒂芬·沃尔弗拉姆（Stephen Wolfram）

计算机科学家、数学家和理论物理学家，当今科学和技术领域重要的革新者之一。他创造了在世界备受推崇的软件系统——Mathematica、Wolfram|Alpha和Wolfram语言。35年来，他一直担任科技公司Wolfram Research的*执行官，并取得了基础科学领域的一系列突破性进展，包括*近的Wolfram物理项目（Physics Project）。著有热销书《一种新科学》《这*是ChatGPT》《计算探索者之旅》《创想者》等。

第一篇

ChatGPT 在做什么？它为何能做到这些？　　/ 1

它只是一次添加一个词　　/ 3

概率从何而来　　/ 10

什么是模型　　/ 16

类人任务（human-like task）的模型　　/ 19

神经网络　　/ 22

机器学习和神经网络的训练　　/ 35

神经网络训练的实践和学问　　/ 42

“足够大的神经网络当然无所不能！”　　/ 51

“嵌入”的概念　　/ 56

ChatGPT 的内部原理　　/ 64

ChatGPT 的训练　　/ 75

在基础训练之外　　/ 79

真正让ChatGPT 发挥作用的是什么　　/ 82

意义空间和语义运动定律　　/ 89

语义语法和计算语言的力量　　/ 96

那么，ChatGPT 到底在做什么？它为什么能做到这些？　　/ 102

致谢　　/ 105

*篇

利用Wolfram|Alpha 为ChatGPT 赋予计算知识*能力 　　/ 107

ChatGPT 和Wolfram|Alpha　　/ 109

一个简单的例子　　/ 111

再举几个例子　　/ 115

前方的路　　/ 129

相关资源　　/ 134