书名：神经机器翻译：基础、原理、实践与进阶  
定价：208.0  
ISBN：9787121437526  
版次：*1版  

内容提要：  

机器翻译是计算机科学与语言学交叉形成的*早的研究方向，是自然语言处理技术的重要发源地。本书聚焦新一代机器翻译技术——神经机器翻译，系统梳理和介绍神经机器翻译的核心方法和前沿研究课题。全书分为基础篇、原理篇、实践篇和进阶篇，覆盖神经机器翻译的基础知识、经典框架、原理技术、实践方法与技巧，以及无监督神经机器翻译、多语言神经机器翻译、语音与视觉多模态机器翻译等前沿研究方向。全书理论与实践相结合，基础与前沿相交映。

除此之外，本书的一个特色是在每一章均附有一篇短评，针对相应章节的主题，介绍和评论神经机器翻译技术背后的历史、故事、思想、哲学、争议和规范等。短评与全书内容相交错，使读者对神经机器翻译技术不仅知其然，而且知其所以然。

《神经机器翻译：基础、原理、实践与进阶》适合高等院校计算机专业高年级本科生，以及人工智能、自然语言处理方向的研究生阅读，也可供机器翻译研究者、实践者、使用者，以及机器翻译行业的管理者、人工翻译研究人员等对机器翻译技术感兴趣的读者参考。

作者简介：  

作者简介

熊德意，天津大学智能与计算学部教授、博士生导师、自然语言处理实验室负责人，天津大学“语言智能与技术”中外联合研究中心主任，中译语通-天津大学自然语言处理联合实验室主任、中译语通人工智能&席科学家。主要研究方向为自然语言处理，特别专注于机器翻译、对话、问答、自然语言生成、常识推理、认知计算等方向的研究。在Computational Linguistics、IEEE TPAMI、AI、AAAI、ACL等国际**名期刊和会议上发表论文100余篇，在Springer出版英文专著一部。获得国家自然科学基金*秀青年科学基金、国家重点研发计划“政府间国际科技合作创新合作”重点专项、英国皇*学会牛顿*级学者基金等资助。获得新加坡资讯通信研究院2008年年度研究贡献奖、北京市科学技术奖二等奖、中文信息学会“钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等奖项。曾是亚洲自然语言处理联合会AFNLP干事、新加坡中文与东方语文信息处理学会理事会成员，目前是中国中文信息学会理事。担任IALP 2012&2021程序委员会共同主席，CWMT 2017程序委员会共同主席，欧盟多国联合项目QTLeap咨询专家，ACL、EMNLP、NAACL、COLING等多个知名国际会议领域主席，以及TACL和ARR的Action Editor等。

李良友，华为诺亚方舟实验室研究员、机器翻译团队负责人。在欧盟玛丽居里项目资助下，于2017年获得都柏林城市大学计算机博士学位。主要研究方向为自然语言处理，特别专注于机器翻译相关技术领域的研发。在ACL、EMNLP等多个国际**名会议和期刊上发表论文10余篇，并担任ACL、EMNLP等国际会议领域主席和会议审稿人。 

张  檬，华为诺亚方舟实验室研究员。于2018年获得清华大学计算机科学与技术系博士学位。主要研究方向为机器翻译和跨语言自然语言处理。在ACL、EMNLP、AAAI、TASLP等国际**名会议和期刊上发表论文10余篇。曾获中国中文信息学会*秀博士学位论文提名奖。担任ACL、EMNLP、AAAI、IJCAI等多个知名国际会议审稿人。

目录：  

目录

推荐序

前言

数学符号

第1 章绪论1

1.1 引言. . . . . . . . . . . . . . . . . . 2

1.2 基本思想. . . . . . . . . . . . . . 6

1.3 解码. . . . . . . . . . . . . . . . . . 12

1.4 神经机器翻译与统计机器翻译对比. . . . . . . . . . . . . . 18

1.5 发展历史. . . . . . . . . . . . . . 27

1.6 应用现状. . . . . . . . . . . . . . 29

1.7 本书组织. . . . . . . . . . . . . . 33

1.8 阅读材料. . . . . . . . . . . . . . 35

1.9 短评：统计与规则的竞争. . 36

第I 部分基础篇

第2 章神经网络基础41

2.1 神经网络. . . . . . . . . . . . . . 42

2.2 神经网络训练. . . . . . . . . . . 48

2.3 常用神经网络简介. . . . . . . 61

2.4 阅读材料. . . . . . . . . . . . . . 70

2.5 短评：神经网络与自然语言处理关系演变. . . . . . . . . 71

第3 章自然语言处理基础75

3.1 语言模型. . . . . . . . . . . . . . 76

3.2 词嵌入. . . . . . . . . . . . . . . . 82

3.3 对齐. . . . . . . . . . . . . . . . . . 90

3.4 语言分析. . . . . . . . . . . . . . 93

3.5 阅读材料. . . . . . . . . . . . . . 99

3.6 短评：自然语言处理之经验主义与理性主义. . . . . . . 100

第II 部分原理篇

第4 章经典神经机器翻译105

4.1 编码器-解码器结构. . . . . . 106

4.2 序列到序列学习. . . . . . . . . 112

4.3 训练. . . . . . . . . . . . . . . . . . 114

4.4 解码. . . . . . . . . . . . . . . . . . 114

4.5 阅读材料. . . . . . . . . . . . . . 116

4.6 短评：神经机器翻译之独立同发现——编码器-解码器vs. 序列到序列. . . . . 117

第5 章基于注意力的神经机器翻译119

5.1 经典神经机器翻译模型的瓶颈. . . . . . . . . . . . . . . . . . 120

5.2 注意力机制. . . . . . . . . . . . 120

5.3 注意力机制的改进. . . . . . . 124

5.4 基于注意力的多层神经机器翻译模型GNMT . . . . . . . 127

5.5 阅读材料. . . . . . . . . . . . . . 128

5.6 短评：注意力机制与认知注意. . . . . . . . . . . . . . . . . . 129

第6 章基于卷积神经网络的神经机器翻译模型131

6.1 卷积编码器. . . . . . . . . . . . 132

6.2 全卷积序列到序列模型. . . . 133

6.3 ByteNet . . . . . . . . . . . . . . . 137

6.4 阅读材料. . . . . . . . . . . . . . 139

6.5 短评：卷积神经机器翻译——实用性倒逼技术创新. . 140

第7 章基于自注意力的神经机器翻译142

7.1 自注意力机制. . . . . . . . . . . 143

7.2 Transformer 模型. . . . . . . . 144

7.3 自注意力改进方法. . . . . . . 149

7.4 阅读材料. . . . . . . . . . . . . . 152

7.5 短评：Transformer 带来的自然语言处理技术革新. . . . 153

第8 章神经机器翻译若干基础问题及解决方案156

8.1 开放词汇表. . . . . . . . . . . . 157

8.2 深度模型. . . . . . . . . . . . . . 161

8.3 快速解码. . . . . . . . . . . . . . 162

8.4 模型融合. . . . . . . . . . . . . . 166

8.5 领域适应. . . . . . . . . . . . . . 169

8.6 阅读材料. . . . . . . . . . . . . . 172

8.7 短评：再谈神经机器翻译新思想新技术的诞生. . . . . 173

第III 部分实践篇

第9 章数据准备176

9.1 平行语料. . . . . . . . . . . . . . 177

9.2 语料获取. . . . . . . . . . . . . . 179

9.3 数据过滤与质量评估. . . . . 183

9.4 数据处理. . . . . . . . . . . . . . 186

9.5 阅读材料. . . . . . . . . . . . . . 188

9.6 短评：浅谈数据对机器翻译的重要性. . . . . . . . . . . . 188

第10 章训练191

10.1 mini-batch 设置. . . . . . . . 192

10.2 学习速率设置. . . . . . . . . . 195

10.3 随机梯度下降算法选择. . . 197

10.4 其他超参数选择. . . . . . . . . 200

10.5 分布式训练. . . . . . . . . . . . 202

10.6 Transformer 训练设置. . . . 207

10.7 阅读材料. . . . . . . . . . . . . . 209

10.8 短评：超参数设置——自动优化与实验可复现性. . . . 210

第11 章测试213

11.1 解码. . . . . . . . . . . . . . . . . . 214

11.2 解码和训练不一致. . . . . . . 218

11.3 机器翻译评测方法. . . . . . . 220

11.4 错误分析. . . . . . . . . . . . . . 223

11.5 阅读材料. . . . . . . . . . . . . . 225

11.6 短评：评测驱动机器翻译研究. . . . . . . . . . . . . . . . . . 225

第12 章部署233

12.1 GPU 环境下的部署. . . . . . 234