本书以大数据运维工程师为职业培养方向，以职业岗位的“典型工作过程”为导向，融入行动导向教学法，将教学内容与职业能力相对接、单元项目与工作任务相对接。本书以实训为主体，配合实训指导视频，结合适当的知识讲解，让大数据技术学习者能快速掌握大数据平台部署与运维相关的实操能力，并建立基础理论认知。本书共8个项目，内容包括认识大数据、配置平台基础环境、部署Hadoop框架、使用HDFS、MapReduce编程、部署与使用HBase、部署与使用Hive、部署与使用Spark，涵盖了当前大数据技术领域的主要技术。

本书可作为各类职业院校大数据技术等相关专业的教学用书，也可作为从事大数据平台运维相关工作者的参考用书。

本书配有理论学习微课、任务实践演示微课（扫描书中二维码观看），还配有电子课件等

资源，选用本书作为授课教材的教师可以从机械工业出版社教育服务网（www.cmpedu.com）免费注册后进行下载或联系编辑（010-88379807）咨询。

前言

二维码索引

项目1　认识大数据  1

拓展学习  4

项目小结 5

项目2　配置平台基础环境 7

任务1　安装操作系统  13

任务2　配置静态IP 23

任务3　远程登录 26

拓展学习 31

项目小结  31

实战强化  31

项目3　部署Hadoop 框架  33

任务1　部署单机模式Hadoop  34

任务2　部署伪分布模式Hadoop 41

任务3　部署全分布模式Hadoop  49

拓展学习  62

项目小结  66

实战强化  66

项目4　使用HDFS  69

任务1　使用HDFS的Web界面  71

任务2　使用Shell管理HDFS文件与目录  75

拓展学习  80

项目小结  82

实战强化  82

项目5　MapReduce 编程 83

任务　MapReduce编程实现词频统计 87

拓展学习  94

项目小结  97

实战强化  97

项目6　部署与使用HBase 99

任务1　部署伪分布式HBase  103

任务2　部署完全分布式HBase  107

任务3　利用Shell操作HBase  113

拓展学习  118

项目小结 121

实战强化  122

项目7　部署与使用Hive  123

任务1　部署本地模式Hive  126

任务2　部署远程模式Hive  135

任务3　利用Hive实现数据导入  143

任务4　利用Hive实现词频统计  151

拓展学习  155

项目小结  156

实战强化 157

项目8　部署与使用Spark  159

任务1　部署单机模式Spark  162

任务2　部署Spark集群  165

任务3　使用Spark Shell编写代码  168

任务4　使用Scala编写Spark程序  172

拓展学习  177

项目小结  179

实战强化  180

参考文献  181