前言
二维码索引
绪论 1
项目1　了解工业大数据 4
【知识目标】 4
【技能目标】 4
【项目背景】 4
任务1-1　认识工业大数据 4
【任务描述】 4
【相关知识】 5
一、大数据的概念和特征 5
二、大数据的分类 6
三、数据规模的度量 7
【任务实施】 7
一、认识工业大数据的来源 7
二、认识工业大数据的特征 10
三、工业大数据实例 11
任务1-2　 对工业大数据及其应用
进行分类 14
【任务描述】 14
【相关知识】 14
一、工业企业的运行流程 14
二、工业大数据的分类 15
三、工业大数据的应用场景 17
【任务实施】 19
一、认识工业大数据的应用类型 19
二、工业大数据应用实例 20
任务1-3　了解工业大数据系统架构 23
【任务描述】 23
【相关知识】 24
一、静态数据和流数据 24
二、批量计算和流式计算 24
【任务实施】 26
一、认识工业大数据的架构 26
二、认识Hadoop 28
三、认识Hadoop分布式文件系统 28
四、认识并行计算框架MapReduce 29
五、安装Linux操作系统 30
六、安装Hadoop 30
拓展知识　大数据技术框架 32
项目2　工业大数据采集 36
【知识目标】 36
【技能目标】 36
【项目背景】 36
任务2-1　了解工业数据采集 36
【任务描述】 36
【相关知识】 37
一、工业现场网络 37
二、工业数据采集常见的网络协议 39
三、工业数据的采集方式 42
四、数据的存储 45
【任务实施】 45
一、准备安装IoTHub 45
二、安装Sentinel Runtime 45
三、安装IoTHub 46
任务2-2　采集PLC数据 48
【任务描述】 48
【相关知识】 48
一、PLC的组成 48
二、PLC的特点 49
三、PLC连接的信号类型 49
四、PLC的通信 50
【任务实施】 50
一、安装Agent 51
二、创建并连接控制器 53
三、定义变量 56
目 录
— VIII —
工业大数据采集、处理与应用
四、数据存储 58
任务2-3　采集PTL数据 65
【任务描述】 65
【相关知识】 66
一、PTL系统的构成 66
二、PTL系统的特点 68
三、PTL系统的功能 68
四、PTL系统的结构 68
【任务实施】 69
一、安装Agent 70
二、创建并连接控制器 71
三、查看变量 74
四、任务下发 75
五、数据存储 77
拓展知识　ERP与MES的集成 78
项目3　工业大数据预处理 81
【知识目标】 81
【技能目标】 81
【项目背景】 81
任务3-1　清洗、转换、加载工业大数据 81
【任务描述】 81
【相关知识】 83
一、ETL的概念 83
二、数据抽取 83
三、数据清洗 84
四、数据转换 85
五、数据加载 85
六、ETL工具Kettle 86
【任务实施】 89
一、下载、安装并启动Kettle 90
二、分析数据问题 91
三、处理流程设计 93
四、读入数据 94
五、过滤数据 97
六、补缺失值 98
七、替换数据列 99
八、值映射 100
九、输出到文件 101
十、执行转换 102
十一、保存转换文件 102
任务3-2　建立数据仓库 102
【任务描述】 102
【相关知识】 103
一、数据库 103
二、数据仓库 104
三、Hive 105
【任务实施】 108
一、下载并安装Hive 108
二、安装并配置MySQL 110
三、启动Hive 110
四、创建数据库 110
五、创建数据表 111
六、加载数据 112
任务3-3　查询工业大数据 112
【任务描述】 112
【相关知识】 112
Hive的查询语言 112
【任务实施】 114
一、准备工作 114
二、启动Hive 114
三、打开数据库 114
四、查询 114
五、分组统计 115
六、排序1 115
七、排序2 115
八、条件查询 115
九、输出文件 116
拓展知识 116
一、数据仓库的建模 116
二、数据仓库的分层 118
项目4　 工业大数据建模 120
【知识目标】 120
【技能目标】 120
【项目背景】 120
任务4-1　使用UML建模工具 120
【任务描述】 120
【相关知识】 121
一、UML 121
— IX —
目　　录
二、转换至关系模式 124
三、UML工具 125
【任务实施】 126
一、安装StarUML 126
二、新建工程 126
三、操作界面 127
四、基本操作 128
五、画类 132
六、画关系 132
任务4-2　建立设备信息模型 133
【任务描述】 133
【相关知识】 134
一、信息模型 134
二、设备信息 135
【任务实施】 137
一、新建工程 137
二、添加类图 137
三、画类 137
四、添加属性 137
任务4-3　建立生产过程信息模型 138
【任务描述】 138
【相关知识】 138
一、生产过程 138
二、生产过程信息示例 140
【任务实施】 141
一、新建工程 141
二、添加类图 141
三、画类 141
四、添加属性 141
五、添加关系 141
拓展知识　数字孪生 142
项目5　工业大数据分析 143
【知识目标】 143
【技能目标】 143
【项目背景】 143
任务5-1　使用大数据分析工具 143
【任务描述】 143
【相关知识】 144
一、大数据分析过程 144
二、大数据分析的关键 145
三、基于大数据的机器学习 146
【任务实施】 147
一、下载并安装Weka 147
二、Weka的操作界面 149
三、Weka的数据及类型 150
四、Weka的文件格式 151
任务5-2　使用回归算法预测 152
【任务描述】

本书是为了响应国家职业教育改革号召，适应工业互联网和大数据产业的迅猛发展，配合高等职业院校的课程建设和人才培养工作编写而成的。本书将大数据、数据库、软件、自动化和物联网等技术进行交叉融合，遵循我国工业互联网产业联盟制定的相关技术框架，讲解、示范和带领学生实践工业大数据采集、处理与应用的方法。本书内容新颖，结构合理，针对职业学校教学现状，试图突出如下两个要点：
第一，技能完整性和知识碎片化。除了项目1是帮助学生从无到有建立对工业大数据的认知外，其他每个项目都力求让学生完整地掌握或熟悉一项以上的技能，例如搭建数据采集系统、安装调试工业互联网平台等。考虑到不同专业学生的基础不同，本书不单独介绍工业大数据的理论知识，而是针对每个任务的需求讲解相关知识点，即理论知识够用即可。对于喜欢进一步探究的学生，可以每个项目最后的“拓展知识”为线索，自行学习相关知识，探索相关问题。
第二，以项目为线索，以动手为主。针对职业学校学生喜欢动手的特点，本书将相关技能设计成若干个项目。教师可以为学生在项目中分配不同的角色（如项目经理、实施工程师和测试工程师等），将学生分成小组，按照工程项目实施流程完成项目实施，根据项目实施效果进行成绩评定，甚至可以邀请企业技术或管理人员参加学生的课程答辩。
本书由彭振云和唐昭琳任主编，顾林、魏磊、吉燕燕、赵辉和高毅参加了编写。其中，彭振云负责全书构思、设计和统稿，唐昭琳编写项目1和项目5，顾林编写项目3、项目4和项目7，吉燕燕编写项目2，赵辉编写项目6，魏磊对项目1、3、4、5和7进行了修改完善，高毅对项目2和项目6进行了修改完善。本书在编写过程中得到了宜科（天津）电子有限公司董事长张鑫高级工程师、工业互联网产业联盟副理事长杨宝刚教授和宜科公司工业互联网团队的大力支持，在此一并表示衷心的感谢！
由于编者水平有限，书中错误和不妥之处在所难免，欢迎读者批评
指正、不吝赐教。联系邮箱：pengzhenyun@tsinghua.org.cn。
编　者