? 全书围绕信息、通信、计算、学习四大主题，系统揭示数字革命底层逻辑。

? 以最基础的数学工具阐释复杂概念，具备高中数学背景即可读懂。

? 穿插历史轶事与贴切比喻，将高深理论娓娓道来，趣味性强。

? 从香农信息论到图灵机理论，从数据压缩到神经网络，覆盖现代数字技术的核心。

? 不用死磕公式，跟着故事理解数学之美，掌握信息时代的底层思维框架。

即便你不是数学或计算机专业的学者，也完全可以享受这本书带来的启发。本书用易懂的语言和生动的实例，解释了数字世界背后那些优美而基础的理念：信息如何被测量？信号为何能抗干扰？计算机能力的边界在哪里？作者巧妙地回避了复杂的公式推导，转而聚焦于思想的脉络及其实际意义。

    沿着数字革命的历史脉络，本书重新梳理了相关的数学知识，内容覆盖信息论、通信、电子与计算机等多个领域。从摩尔斯电码到香农的信息论，从继电器到神经网络，以清晰的历史脉络与思想演进为主线，将每个重大突破背后的“为什么”娓娓道来。

    如果你对身边无处不在的数字技术怀有好奇，并希望超越泛泛而谈，获得扎实的理解，那么这本书提供了一个友好而可信的入口。通过阅读本书，你能清晰地认识数学在数字革命中的重要贡献与核心作用，并催生学习、运用与发展数学的热情，为进一步推动数字革命做出积极贡献。

    本书适合具备高中数学背景的普通读者、对数字时代充满好奇的技术爱好者，以及希望建立完整知识结构的理工科学生阅读。

克里斯·伯恩哈特

（Chris Bernhardt）

美国费尔菲尔德大学荣休数学教授，任教逾三十载，深耕计算理论、量子计算与数学科普写作。著有《论可计算数：图灵与现代计算的诞生》《人人可懂的量子计算》等经典科普作品。他擅长以清晰易懂的语言，拆解抽象数学与前沿科技的底层逻辑，让专业知识走进大众视野。

目 录

译者序

前言

致谢

第 1 章 数字革命　　 1

1.1 模拟信号与数字

信号　　　　2

1.2 文字与字母系统　　4

1.3 电报　　　6

1.4 模拟革命　　14

1.5 后续内容　　15

第 2 章 信息　　　16

2.1 贝尔实验室　　 17

2.2 数学理论　　19

2.3 信息单位与二进制

数字　　　20

2.4 信息比特数的数学

定义　　　23

2.5 熵：字符的平均信

息量　　　25

2.6 英语文本　　27

2.7 最大熵原理　　 29

第 3 章 信息、冗余与

压缩　　　33

3.1 压缩的必要性　 34

3.2 掷硬币实验　　 35

3.3 压缩：将 YN 块发送

至 01 块　 37

3.4 编码　　　39

3.5 瞬时码　　　 41

3.6 霍夫曼编码　　 42

3.7 香农第一定理　 49

3.8 冗余度　　　 55

第 4 章 错误纠正与噪声　56

4.1 错误检测　　59

4.2 汉明码　　　 61

4.3 汉明距离　　64

4.4 隐写术　　　 65

4.5 二进制对称信道　67

4.6 噪声的熵　　68

4.7 香农噪声信道

定理　　　70

4.8 说明香农噪声信道定

理的示例　　　71

4.9 证明思路　　73

4.10 香农噪声信道定理的

重要性　　 76

第 5 章 加密技术　　 78

5.1 替换密码　　79

5.2 置换密码　　80

5.3 对称密钥加密　 81

5.4 高级加密标准　 82

5.5 模运算　　　 85

5.6 数论中的经典

定理　　　87

5.7 RSA 的初始设置　89

5.8 RSA 的加密通信

流程　　　90

5.9 RSA 示例分析　　90

5.10 数字签名与数字

证书　　　 91

5.11 量子攻击　　93

5.12 后续内容　　94

第 6 章 模拟-数字转换　　95

6.1 三角学　　　 97

6.2 傅里叶级数　　 101

6.3 声音的数字化　103

6.4 示例　　　 105

6.5 数字化方法　　 107

6.6 奈奎斯特-香农采样

定理　　　 108

6.7 混叠现象　　110

6.8 后续内容　　113

第 7 章 计算理论　　115

7.1 香农关于开关与继电

器的论文　　116

7.2 逻辑学　　 117

7.3 布尔函数、逻辑等价

性与函数完备性　119

7.4 布尔代数　　120

7.5 开关与继电器　121

7.6 继电器、真空管和晶

体管　　　 125

7.7 图灵关于计算的

论文　　　 127

7.8 希尔伯特纲领与哥

德尔不完备性

定理　　　 127

7.9 括号匹配　　130

7.10 图灵机　　 131

7.11 用于判断括号是否

匹配的图灵机　134

7.12 丘奇-图灵论题　138

7.13 通用计算机　 140

7.14 拓展存储器　 143

7.15 多样性　　 145

第 8 章 机器学习　　148

8.1 MNIST 数据集　149

8.2 学习算法简介　152

8.3 梯度下降法　　 153

8.4 导数　　　 156

8.5 数值导数　　158

8.6 二次成本函数的梯度

下降　　　 159

8.7 单参数成本

函数　　　 162

8.8 双参数成本

函数　　　 163

8.9 偏导数　　 165

8.10 数值偏导数　 166

8.11 多参数成本

函数　　　 168

8.12 学习算法　　 169

8.13 数据　　　 170

8.14 监督学习示例　171

8.15 无监督学习

示例　　　 173

8.16 总结　　　 175

第 9 章 神经网络　　177

9.1 神经网络与

逻辑　　　 178

9.2 神经网络与

学习　　　 185

9.3 用于 MNIST 数据集

的神经网络　　 192

9.4 算法实现　　196

9.5 神经网络学到了

什么　　　 197

9.6 卷积神经网络　198

9.7 未来发展方向　200

附录　　　　 202

附录 A 计数证明　　202

附录 B 快速傅里叶

变换　　　205

附录 C 停机问题　　230

前 言 

数字革命标志着从模拟技术向数字技术的转型。这场革命不仅改 

变了过去，也正在持续改变我们的生活、工作与交流方式。 

20 世纪初期的电话、无线电、电视、电影与计算设备均为模拟系 

统，而到 20 世纪末，它们已全面数字化。计算机从占据整个房间的庞 

然大物演变为如今人们日常使用的个人便携装置。互联网的出现将计 

算机连接在一起，而万维网的诞生更让人们能够轻松获取海量信息。 

如今，人工智能聊天机器人可以帮助我们对浩瀚的知识海洋进行整理 

和归纳，将其转化为易于理解和使用的知识。 

手机发展成为集数字化、移动化、智能化于一体的设备，使通信 

变得便捷、经济且高效。人们不仅能语音通话，还能视频交流，远程 

办公也成为现实。 

数字革命可以从多个角度解读。我们可以探究其背后的动因，比 

如促成这场革命的科技创新；也可以研究其影响，比如这场革命给社 

会带来的变革。然而，本书更聚焦于信息时代内核的深层理论。多数 

人知晓 20 世纪初改变人类宇宙观的伟大物理学理论。例如，量子力 

学与广义相对论。但支撑数字革命的卓越理论却鲜为人知。 

本书将揭示这些理论以及阐释数字世界本质的优雅数学，其中许 

多内容尚未被广泛认知。通信与计算已成为现代世界习以为常的组成 

部分，但人们很少追问根本性问题：计算的本质是什么？如何定义信 

息？数字信息相比模拟信息有何优势？如何将模拟信号数字化？算法

与通用计算机的数学定义是什么？机器如何学习？数学，正是帮助人 

们深入理解这些问题的关键所在。本书将引领读者踏上一段旅程，探 

索那些支撑着信息时代的数学思想。 

是否可以不借助数学来描述理论呢？我们可以尝试，但结果往往 

是牵强的隐喻，无法带来真正的理解。数学的存在不是为了故弄玄虚、 

增加复杂性或令人望而生畏。恰恰相反，数学应该化繁为简，揭示本质。 

好消息是：本书将带你领略优美的数学世界，而且内容相当基础， 

即使是数学基础薄弱的读者也能轻松理解。书中许多概念或许你未从 

了解，但丰富的示例可以帮助读者领悟和掌握它们。具备高中数学背 

景即可读懂本书的主体内容。当然，部分内容对于学习过大学 STEM 

数学课程的读者来说可能更容易理解，因此本书将这些内容补充进附 

录中，但其并非理解核心思想的必备内容。 

本书围绕信息、通信、计算和学习四大主题展开。当阐述这些内容 

时，我们通常从一个重要概念的有关简单数学模型出发。借助强大的 

理论基础，展示这些理论如何通过推演得出令人意想不到且实用的结 

论，这揭示了概念之间存在一种深层的底层结构，即使这些概念乍看 

之下毫无关联。本书中将会反复出现这样的例子以帮助读者加深理解。 

本书力求以最少的数学工具来阐释相关概念，不会涉及完整的通 

用理论，而是通过最简单的示例来阐明基本概念，但绝不简化其本质。 

本书的目标是帮助读者理解概念并洞悉概念间的联系，而非陷入技术 

细节。

历史轶事将穿插其中，从而帮助读者了解当时的技术水平、影响 

以及亟待解决的问题。这些故事旨在阐释技术演进的脉络，而非侧重 

于历史的记录。毕竟，这不是一本历史书，而是关于思想演化的著作。 

各章内容概览 

第 1 章 

本书聚焦于 20 世纪开启的数字革命，其实人类历史上曾发生过 

其他改变社会的数字化革命，最早的文字与字母表的发明便是其一。 

虽然这发生在文字记载的历史之前，但的确是一场革命。这场革命使 

通信得以“数字化”，也就是使用一组有限符号集来实现跨时空的信 

息传递。 

第 1 章首先简要探讨字母表体系，然后转向电报及其前身技术。 

电报的出现，将塞缪尔·莫尔斯 (Samuel Morse) 和以他名字命名的代 

码带入了人们的视野，同时也引入了对计算机发展至关重要的继电器 

技术。本章最后简单介绍随后的模拟革命：电话取代了电报，无线电 

与电视相继问世，录音机与卡带播放器被广泛使用。所有这些都是基 

于模拟技术，而它们最终都会转向数字化。这又是为什么呢？ 

第 2 章 

第 2 章将开启对信息论的探索之旅。信息究竟是什么？又该如何 

定义和量化它呢？ 

在日常语境中，“信息”含义宽泛，它所传达的信息量往往带有主 

观性，也就是说，一条中文信息对母语人士而言可能意义重大，但对 

不懂中文的人来说却毫无价值。就此而言，“信息”似乎与含义和理解 

息息相关。然而，我们希望客观度量信息量，而无须考虑发送方或接 

收方的身份，例如，两台机器间的通信。 

在数学理论中，信息与其所表达的意义和理解是相互独立的。这 

种定义提供了一种客观的方法来衡量信息量。虽然该定义初看简略， 

但正如我们后面将看到的那样，它抓住了信息的核心概念，并衍生出 

强大的推论，因此具有深刻的意义。 

第 3 章 

第 3 章将延续前章的思想。读者会发现，信息中信息量的比特数 

可能小于用于表示该信息的二进制位数，这表明信息中存在冗余。本 

章将探讨如何去除信息中的冗余，从而在保留所有信息的同时，得到 

更短的消息，这正是无损压缩的核心。 

压缩技术对数字通信与存储至关重要。为了提高传输效率和节省 

存储空间，人们希望在发送或存储文件之前尽可能地减小其大小，但 

必须确保信息无损失，并能够通过解压精确还原初始的内容。 

第 4 章 

在数据传输或存储过程中，错误的发生是不可避免的。尽管可以 

通过优化设备来减少错误，但完全消除错误是不现实的。外部干扰始 

终存在，并可能偶尔导致数据损坏，我们将这种干扰称为噪声。 

当接收到一条消息时，我们希望能够判断它是否包含错误。如果 

存在错误，我们需要知道错误的位置以及如何进行纠正，于是纠错码 

为此而生。 

在了解了一些纠错码的示例之后，本章将聚焦于克劳德·香农 

(Claude Shannon) 提出的噪声信道定理。这一定理得出了一个惊人的 

结论：即使在噪声干扰的情况下，依然可以通过信道传输信息。每个 

信道都有其自身的传输速度上限，而这个上限取决于信道中噪声干扰

的程度。香农指出，只要传输速度低于该上限，就可以实现任意精度 

的信息传输。 

本章将介绍该定理的简明形式和相应的证明框架。 

第 5 章 

掌握信息的压缩与可靠传输的下一步是确保信息安全。本章将探 

讨加密技术，分析对称密钥加密与私钥加密这两种方式，并解释它们 

在互联网业务中的应用。此外，本章还将介绍数字签名与数字证书，因 

为仅保障信道安全是不够的，还需验证通信方身份的真实性。 

第 6 章 

前面的 4 章讨论了数字信息，并介绍了如何对其进行安全准确的 

压缩与传输。然而，该如何处理模拟信号呢？声音由声波传递，光以 

电磁波形式传播，但波是模拟信号，而非数字信号。 

第 6 章将展示如何将模拟信息转换为数字形式。信息一旦转换为 

数字格式，人们就可以利用数字理论对其进行压缩，并实现安全准确 

的传输。模数转换技术使得我们能够将数字技术应用于现实世界中的 

模拟数据。本章将重点讨论数字信号理论的两大基石：奈奎斯特-香农 

采样定理与离散傅里叶变换。 

附录 B 进一步介绍了快速傅里叶变换(Fast Fourier Transform) 算 

法，它是一种快速计算离散傅里叶变换的有效算法。 

第 7 章 

前面几章多次提及算法。第 7 章将通过两篇奠基性论文揭示算法 

和计算领域的一些基础理论。第一篇是克劳德·香农撰写的论文《继电 

器与开关电路的符号分析》(A Symbolic Analysis of Relay and Switching 

Circuits)，该文证明了开关电路与逻辑命题演算的等价性，为逻辑网 

络设计奠定了基础。值得一提的是，该文写于晶体管发明之前。尽管 

如今晶体管已取代继电器在逻辑电路中的地位，但该篇论文对继电器 

的作用阐释仍具启发性。第二篇论文是艾伦·图灵 (Alan Turing) 撰写 

的《论可计算数及其在判定问题上的应用》(On Computable Numbers, 

with an Application to the Entscheidungsproblem)。该文给出了算法的 

形式化定义，证明了存在一种可执行任意算法的通用计算机，并提出 

了一个重要论点：存在一些易于描述但计算机无法解决的问题。此文 

奠定了理论计算机科学的基础。 

附录 C 延续本章的内容，将详细解释停机问题。给定一个程序和 

一个输入，人们希望了解该程序最终是否会停止。如果程序在该输入 

下不会停止，我们希望能够提前预知，从而避免运行该程序。附录 C 

中将证明，不存在能判定任意程序在任意输入下是否终止的算法。这 

是计算机科学中的一个基本结论，揭示了算法的根本局限性。 

第 8 章 

第 7 章聚焦于算法，解释了算法的可能性与局限性。本章将探讨 

算法如何进行“学习”，介绍基本范式：假设有一个包含多个参数的底 

层模型，如果这些参数选择得当，模型就能很好地拟合数据，而选择参 

数的过程涉及一个迭代的过程，即找到函数的最小值。本章将从两个 

简单的线性拟合示例入手来阐释监督学习与无监督学习之间的区别。 

第 9 章 

作为本书的最后一章，第 9 章将探究神经网络模型。本章从沃伦· 

麦卡洛克与沃尔特·皮茨的早期工作出发，证明神经网络 (如香农的 

开关电路) 与逻辑命题演算的等价性，随后探讨相关的学习机制。该 

章以一个仅包含四个节点的小型神经网络为例，阐释神经网络的工作 

原理。然而，该例过于简单，无法充分展现神经网络在大规模数据集 

中识别模式的能力。我们将介绍如何构建一个更大规模的神经网络来 

识别手写数字。 

克里斯·伯恩哈特 (Chris Bernhardt)