本书是为高等学校信息与计算科学专业本科生编写的教材。内容包括概率论的基础知识，香农提出的有关信息量化的基本概念、方法和定理，以及信源的基本编码理论和信道的基本编码理论。

目录
前言
第1章 绪论 1
第2章 概率统计的基础知识 3
2.1 概率空间 3
2.2 条件概率 6
2.3 独立性 10
2.4 随机变量 12
2.4.1 随机变量的基本性质 12
2.4.2 随机变量的独立性 14
2.5 随机变量的数字特征 15
2.5.1 离散型 15
2.5.2 连续型 16
2.6 大数定律 16
习题2 17
第3章 离散信源的熵和信息量 19
3.1 离散信源 19
3.2 事件的互信息 20
3.3 条件互信息和联合事件的互信息 23
3.4 事件的自信息 24
3.5 离散随机变量的平均自信息一一熵 27
3.6 熵的性质 30
3.7 香农熵的公理化定义 35
3.8 随机变量的鉴别信息和平均互信息 37
3.8.1 随机变量的鉴别信息 37
3.8.2 随机变量的互信息 40
3.9 马尔可夫链和数据处理定理 41
3.10 连续随机变量的互信息和微分熵 43
3.10.1 连续随机变量的互信息 43
3.10.2 连续随机变量的熵微分熵 44
3.10.3 微分熵的极大化 46
3.11 凸函数和互信息的凸性 49
3.11.1 凸函数的概念和性质 49
3.11.2 Kuhn-llucker条件 50
3.11.3 互信息的凸性 53
3.12 平稳离散信源 55
3.12.1 平稳离散信源的一般概念 56
3.12.2 平稳信源的熵 57
3.12.3 马尔可夫信源的熵 60
习题3 62
第4章 离散信源的无错编码 65
4.1 渐近等同分割性和离散无记忆信源的等长编码 65
4.1.1 渐近等司分割性 65
4.1.2 离散无记忆信源的等长编码 70
4.2 离散无记忆信源的不等长编码 72
4.2.1 Kraft不等式 74
4.2.2 不等长编码定理 76
4.2.3 *佳不等长编码Huffman编码 78
4.2.4 其他不等饫编码 81
4.3 平稳信源和马尔可夫信源的编码定理 86
4.3.1 平稳信源的编码 86
4.3.2 马尔可夫信源的编码定理 89
习题4 92
第5章 离散无记忆信道的容量和编码定理 94
5.1 离散无记忆信道及其容量 94
5.1.1 信道容量的定义和举例 95
5.1.2 对称离散无记忆信道容量的计算 99
5.1.3 转移概率矩阵可逆信道的容量计算 103
5.1.4 离散无记忆信道容量的迭代计算 104
5.2 信道的组合 107
5.2.1 积信道（平行组合信道） 108
5.2.2 和信道 110
5.2.3 级联信道 112
5.3 离散无记忆信道的编码定理 112
5.3.1 几个有关定义 113
5.3.2 联合典型列对 114
5.3.3 信道编码定理 115
习题5 116
参考文献 118