前　　言

如今，与AI 相关的新闻已经成为人们每日必看的内容。从“传

奇歌手通过AI 复活！”“职业围棋选手终于输给了AI ！”等热门话

题，到“利用AI 实现商店的无人化”“利用AI 分析大数据预测消费

行为”，AI 在各个领域中都备受关注。在因人口少子化和老龄化加

剧而导致劳动力短缺的今天，AI 的重要性日益凸显，它能够承担起

人类难以完成的复杂判断任务。

与此同时，参与AI 系统开发的“AI 工程师”的人才短缺问题

十分严重。根据日本经济产业省的“IT 企业人才供需调查”显示，

截至2018 年，日本约有3 万名AI 人才短缺，预计到2030 年将增至

14 万名。为什么会陷入这样的状况呢？

这是因为AI 工程师需要的技能与传统的IT 工程师不同。IT 工

程师转行成为AI 工程师并不容易，而且AI 工程师的培养也滞后于

现状。然而，正因为处于这种状况，成为AI 工程师变得非常有前途

且具有意义。

本书从实际角度阐述“AI 工程师是什么职业”。不仅适合想成

为AI 工程师的人士阅读，还适用于想了解AI 工程师的培养要点，

以及计划从事AI 系统开发的企业家或计划者等非工程师读者。我们

从“AI 工程师的基本要点”开始讲解，希望本书能够成为读者理解

AI 工程师世界和所需技能的起点，并希望读者有朝一日成为出色的

AI 工程师。

AI 工程师研究会

本书不仅适合想成为AI工程师的人士阅读，还适合想了解AI工程师的培养要点，以及计划从事AI系统开发的非工程师人士阅读。

IT工程师的职业种类多种多样，其作用和技能被多样化和细分。其中，AI工程师随着AI领域的发展，企业的人才需求也越来越高。但是，AI工程师需要丰富的专业知识，是门槛较高的职业。本书对AI工程师的行业知识、业务内容、劳动环境、必要知识、思想准备、职业路径等进行简单易懂的解说，从实际角度阐述“AI工程师到底是什么职业”，并通过丰富的图解和细致的说明帮助读者理解行业必备知识。

本书不仅适合想成为AI工程师的人士阅读，还适合想了解AI工程师的培养要点，以及计划从事AI系统开发的非工程师人士阅读。

宋波，教授，沈阳师范大学软件学院，教师。1999年3月毕业于日本国立福冈教育大学研究生院教育技术专业，研究方向：软件工程、Java技术、人工智能、教育信息智能化，硕士生导师。主要教材著作如下：

目　　录

第1 章　AI 的业界现状和基础知识 ……………………… 001

1.1　应用广泛的AI …………………………………………… 002

1.1.1　什么是AI ………………………………………… 002

1.1.2　AI 处理的步骤 …………………………………… 003

1.1.3　AI 的优势 ………………………………………… 004

1.1.4　AI 的应用领域 …………………………………… 005

1.1.5　AI 对人类的支持 ………………………………… 007

1.2　AI 在企业中的应用趋势 ………………………………… 008

1.2.1　AI 和物联网技术的使用现状 …………………… 008

1.2.2　IT 企业中基于AI 服务的开展 ………………… 009

1.3　AI 人才的需求 …………………………………………… 010

1.3.1　AI 人才的类型 …………………………………… 010

1.3.2　AI 服务的成功离不开人才的保障 ……………… 012

第2 章　AI 工程师的工作及结构 ………………………… 015

2.1　AI 工程师概述 …………………………………………… 016

2.1.1　通往AI 工程师之路是多样的 ………………… 016

2.1.2　AI 工程师的两种类型 …………………………… 017

2.1.3　数据科学家与AI 工程师 ……………………… 018

2.1.4　创建AI 模型之后 ……………………………… 019

2.2　与AI 工程师相关的人员 ……………………………… 020

2.3　AI 系统开发的整体情况 ………………………………… 024

2.4　PM 的工作与作用 ……………………………………… 026

2.4.1　PM 负责整个项目的总体规划和管理 ………… 026

2.4.2　项目团队管理 …………………………………… 026

2.4.3　客户沟通 ………………………………………… 027

2.5　自主开发与委托开发 …………………………………… 028

2.5.1　自主开发与委托开发的概念 …………………… 028

2.5.2　自主开发与委托开发的区别 …………………… 029

2.6　AI 系统的大脑 …………………………………………… 030

2.6.1　AI 系统的大脑是AI 模型 ……………………… 030

2.6.2　AI 模型的制作工程 ……………………………… 030

2.6.3　AI 模型的创建工程 ……………………………… 031

2.6.4　优秀的AI 模型需要从正确的数据中获取 …… 031

2.6.5　如何收集需要的数据 …………………………… 032

2.6.6　将创建的AI 模型集成到系统中 ……………… 033

2.7　AI 模型的创建与编程 …………………………………… 034

2.7.1　AI 模型的算法 …………………………………… 034

2.7.2　使用现有的AI 模型 …………………………… 036

2.7.3　使用预训练的AI 服务 ………………………… 037

2.8　AI 系统的使用案例 ……………………………………… 040

2.8.1　在现有服务中使用AI 系统 …………………… 040

2.8.2　利用AI 系统创造新附加值 …………………… 041

第3 章　AI 工程师的招聘情况和工作方式 ……………… 045

3.1　AI 工程师的转行情况 …………………………………… 046

3.1.1　IT 企业AI 人才的获取方式 …………………… 046

3.1.2　从IT 工程师的整体角度观察AI 工程师的招聘 … 047

3.1.3　所需的AI 工程师 ……………………………… 048

3.1.4　招聘企业的员工规模 …………………………… 048

3.2　AI 工程师的工作条件 …………………………………… 050

3.2.1　AI 工程师的薪资水平更高 ……………………… 050

3.2.2　上班制度 ………………………………………… 051

3.3　AI 工程师的学历和年龄段 ……………………………… 052

3.3.1　AI 工程师中本科以及硕士研究生比例较高 …… 052

3.3.2　AI 工程师的年龄以30 多岁为主 ……………… 053

3.4　AI 工程师的一天——情形1 …………………………… 054

3.4.1　主要从事委托开发工作的PM ………………… 054

3.4.2　简历 ……………………………………………… 054

3.4.3　业务范围 ………………………………………… 055

3.4.4　一天的工作内容 ………………………………… 055

3.5　AI 工程师的一天——情形2 …………………………… 058

3.5.1　负责开发AI 系统的数据科学家 ……………… 058

3.5.2　简历 ……………………………………………… 058

3.5.3　工作内容 ………………………………………… 058

3.5.4　一天的工作内容 ………………………………… 059

3.6　AI 工程师的一天——情形3 …………………………… 061

3.6.1　开发及使用AI 和IoT 店铺解析服务的工程师 … 061

3.6.2　履历 ……………………………………………… 061

3.6.3　工作内容 ………………………………………… 062

3.6.4　一天的工作内容 ………………………………… 062

3.7　AI 工程师的工作到底做什么 …………………………… 064

3.7.1　除了开发工作之外 ……………………………… 064

3.7.2　目标是利用AI 来解决社会问题 ……………… 065

3.7.3　不断进行尝试和解决错误，以推进项目进行 … 065

第4 章　成为AI 工程师的条件 …………………………… 067

4.1　AI 工程师的必要技能 …………………………………… 068

4.1.1　AI 技能和应用开发技能 ………………………… 068

4.1.2　学习AI 技能 …………………………………… 069

4.2　AI 技能所需的基础知识 ………………………………… 070

4.2.1　概率和统计 ……………………………………… 070

4.2.2　数据的整理、可视化、评估知识 ……………… 071

4.2.3　Python 基础知识 ………………………………… 071

4.3　AI 编程的入门方法 ……………………………………… 072

4.3.1　学习的第一步 …………………………………… 072

4.3.2　AI 编程中使用的库 ……………………………… 073

4.3.3　使用云服务 ……………………………………… 073

4.3.4　GUI 编程也在实际场景中得到了应用 ………… 075

4.4　应用开发技能 …………………………………………… 076

4.4.1　为什么应用开发技能是必要的 ………………… 076

4.4.2　IoT 应用技能 …………………………………… 077

4.5　如何成为一名AI 工程师——学生篇 ………………… 078

4.5.1　从学生到AI 工程师 …………………………… 078

4.5.2　容易成为AI 工程师的专业 …………………… 079

4.5.3　资格获取与实习方面的挑战 …………………… 079

4.6　如何成为一名AI 工程师——IT 工程师篇 …………… 080

4.6.1　从IT 工程师到AI 工程师 ……………………… 080

4.6.2　参与公司内部的AI 项目 ……………………… 080

4.6.3　提出引入AI 系统的建议 ……………………… 081

4.6.4　转行到开发AI 系统的公司 …………………… 081

4.7　如何成为一名AI 工程师——非IT 工程师篇 ………… 082

4.7.1　从零到AI 工程师 ……………………………… 082

4.7.2　转行到提供充实培训的公司 …………………… 082

4.7.3　活用领域知识 …………………………………… 083

4.7.4　报班学习后再转行 ……………………………… 083

第5 章　AI 系统概要 ……………………………………… 085

5.1　AI 系统 …………………………………………………… 086

5.1.1　从输入数据中产生结果 ………………………… 086

5.1.2　什么是AI 模型 ………………………………… 087

5.1.3　AI 模型通过学习来改善自身的性能 …………… 088

5.2　AI 系统开发流程 ………………………………………… 090

5.2.1　制作AI 系统的流程 …………………………… 090

5.2.2　制作AI 模型还是使用AI 模型 ………………… 092

5.3　决定让AI 系统做什么 ………………………………… 094

5.3.1　想要AI 系统做什么 …………………………… 094

5.3.2　输入什么样的数据，就会输出什么样的结果 … 095

5.3.3　输入数据 ………………………………………… 095

5.3.4　输出结果数据 …………………………………… 096

5.3.5　以数字表示事件的特征 ………………………… 098

5.4　AI 模型的学习 …………………………………………… 100

5.4.1　AI 模型的学习 …………………………………… 100

5.4.2　监督学习的机制 ………………………………… 100

5.4.3　4 维以上的数据不可见 ………………………… 101

5.4.4　无监督学习的机制 ……………………………… 103

5.5　模型的验证与评估 ……………………………………… 104

5.5.1　使用部分数据进行验证和测试 ………………… 104

5.5.2　AI 模型性能评估的标准 ………………………… 105

5.5.3　利用超参数改进AI 模型 ……………………… 105

5.6　数据处理方式 …………………………………………… 107

5.6.1　使用什么样的数据 ……………………………… 107

5.6.2　收集用来学习的数据 …………………………… 108

5.6.3　数据的标注 ……………………………………… 109

5.6.4　确保准确的数据输入 …………………………… 110

5.6.5　制作不受人或环境影响的数据 ………………… 110

5.7　考虑系统规模 …………………………………………… 112

5.7.1　学习所需的计算能力 …………………………… 112

5.7.2　处理的数据量 …………………………………… 114

5.7.3　抗故障性 ………………………………………… 116

5.8　AI 系统所需的机制 ……………………………………… 117

5.8.1　AI 系统的数据输入/ 输出 ……………………… 117

5.8.2　数据输入前的处理 ……………………………… 118

5.8.3　输出数据的加工、显示、分析 ………………… 118

5.8.4　Web 系统或与智能手机的协作功能 …………… 119

第6 章　AI 模型的构建与概念验证 ……………………… 121

6.1　PoC 的重要性 …………………………………………… 122

6.1.1　验证可行性 ……………………………………… 122

6.1.2　产品化的利益和风险的实证 …………………… 123

6.1.3　技术上是否可行的重复性尝试 ………………… 123

6.2　AI 模型的试制中要分析的“是什么” ………………… 124

6.2.1　分解达成目标的方式 …………………………… 124

6.2.2　利用和毁灭AI 模型的“特征量” ……………… 126

6.3　数据收集的注意事项 …………………………………… 128

6.3.1　确认数据的正确性 ……………………………… 128

6.3.2　数据清洗 ………………………………………… 129

6.4　在AI 模型中使用的算法——监督学习 ……………… 132

6.4.1　生成预期值作为结果的方程式 ………………… 132

6.4.2　代表性的“监督模型” …………………………… 133

6.4.3　组合多个判断的决策树 ………………………… 135

6.4.4　即时导向学习的k_近邻法 ……………………… 136

6.5　在AI 模型中使用的算法——无监督学习 …………… 138

6.5.1　无监督学习 ……………………………………… 138

6.5.2　没有监督也可以学习 …………………………… 139

6.5.3　无监督学习的代表示例 ………………………… 139

6.5.4　强化学习 ………………………………………… 140

6.6　在AI 模型中使用的算法——集成学习 ……………… 142

6.6.1　集成学习是什么 ………………………………… 142

6.6.2　提升 ……………………………………………… 144

6.6.3　“自助法”与“随机森林” ……………………… 144

6.6.4　堆叠 ……………………………………………… 145

6.7　在AI 模型中使用的算法——深度学习 ……………… 147

6.7.1　擅长处理图像和语言等任务的深度学习 ……… 147

6.7.2　深度学习的代表性方法 ………………………… 148

6.8　验证AI 模型的性能 …………………………………… 151

6.8.1　参数调整的验证 ………………………………… 151

6.8.2　通用能力 ………………………………………… 152

6.8.3　注意数据泄露 …………………………………… 152

6.8.4　超参数调整 ……………………………………… 152

6.8.5　留出法 …………………………………………… 153

6.8.6　交叉验证 ………………………………………… 154

6.9　评估AI 模型的性能 …………………………………… 156

6.9.1　求得评估指标的分类结果 ……………………… 156

6.9.2　评估AI 模型性能的评估指标 ………………… 156

6.9.3　ROC 曲线 ………………………………………… 158

6.10　高准确度可能是过度学习的迹象 …………………… 159

6.10.1　通用性差的过度学习 ………………………… 159

6.10.2　通过增加训练数据来避免过拟合 …………… 159

6.11　数据较少的情况 ………………………………………… 161

6.11.1　收集到的数据变少的原因 …………………… 161

6.11.2　使用公开的训练数据 ………………………… 162

6.11.3　数据不足时的处理方法 ……………………… 163

6.11.4　少量数据可用于迁移学习 …………………… 163

第7 章　制作AI 系统 ……………………………………… 165

7.1　PoC 完成后到产品化的流程 …………………………… 166

7.2　PoC 中的AI 模型优化用于生产环境 ………………… 169

7.2.1　PoC 和正式运营之间的区别 …………………… 169

7.2.2　AI 模型的改进 …………………………………… 170

7.3　AI 系统构建 ……………………………………………… 173

7.3.1　AI 系统的整体结构 ……………………………… 173

7.3.2　将AI 系统部署到云端 ………………………… 174

7.4　AI 系统测试 ……………………………………………… 177

7.4.1　AI 系统的测试 …………………………………… 177

7.4.2　各种系统测试 …………………………………… 177

7.4.3　负载测试 ………………………………………… 179

7.5　探讨AI 模型的更新方法 ……………………………… 181

7.5.1　AI 模型需要更新的原因 ………………………… 181

7.5.2　AI 模型更新的方法 ……………………………… 181

7.5.3　AI 模型的更新频率 ……………………………… 183

第8 章　AI 系统的运营 …………………………………… 185

8.1　系统的运营 ……………………………………………… 186

8.1.1　系统运营概述 …………………………………… 186

8.1.2　AI 系统固有的运营 ……………………………… 187

8.1.3　系统的更新 ……………………………………… 188

8.1.4　开发新的AI 系统 ……………………………… 189

8.2　监视AI 系统以检查是否存在异常 …………………… 190

8.2.1　系统异常 ………………………………………… 190

8.2.2　AI 系统特有的异常 ……………………………… 191

8.3　AI 模型更新 ……………………………………………… 193

8.3.1　AI 模型更新方法 ………………………………… 193

8.3.2　在排除趋势期间的数据后进行重新训练 ……… 194

8.3.3　将新知识（变量）输入AI 模型 ……………… 195

8.4　AI 系统的不足之处在于需要人类进行跟进 …………… 196

8.4.1　以减轻人力为目的的AI ………………………… 196

8.4.2　大数据时代的人工智能 ………………………… 196

第9 章　成为AI 工程师 …………………………………… 199

9.1　积累真实的经验 ………………………………………… 200

9.1.1　接触更多案例 …………………………………… 200

9.1.2　技巧的选择取决于经验 ………………………… 201

9.1.3　推进业务过程中的挑战 ………………………… 201

9.2　了解理想数据与现实数据 ……………………………… 202

9.2.1　现实中的数据 …………………………………… 202

9.2.2　数据本身不存在 ………………………………… 203

9.3　处理大规模数据需要具备基础设施知识 ……………… 204

9.3.1　基础设施知识的必要性 ………………………… 204

9.3.2　云计算的使用 …………………………………… 205

9.4　调整客户的期望值 ……………………………………… 208

9.4.1　能做的和不能做的事情的说明 ………………… 208

9.4.2　与客户一起考虑如何达成目标 ………………… 209

9.5　学习商业技能 …………………………………………… 210

9.5.1　AI 工程师所需的三项商业技能 ………………… 210

9.5.2　人际技能 ………………………………………… 211

9.5.3　概念技能 ………………………………………… 212

9.6　需要不断学习最先进的技术 …………………………… 213

9.6.1　新技术的再利用 ………………………………… 213

9.6.2　搜索前沿信息 …………………………………… 213

9.6.3　注意过于前沿的信息 …………………………… 214

9.6.4　参加活动 ………………………………………… 215

9.6.5　深入了解领域知识 ……………………………… 215

9.7　进一步提升 ……………………………………………… 217

9.7.1　从运营到晋升 …………………………………… 217

9.7.2　数据科学 ………………………………………… 218

9.7.3　AI 技术的支撑 …………………………………… 219