内容简介

本书以任务为载体，以实施过程为主线，将知识点穿插到任务实施过程中，知识体系的构建循序渐进、由易到难、由浅入深，符合普遍认知规律。本书以Hadoop 大数据平台为重点，主要内容包括预备知识、准备Hadoop 环境、搭建Hadoop 大数据平台、使用Java 语言编写MapReduce 程序、使用Python 语言编写MapReduce 程序、Hadoop 系统的常见故障及应对和Hadoop 系统运维。本书适合作为各类职业院校大数据技术与应用等相关专业的教材，也可以作为大数据爱好者的自学参考用书。为便于教学，本书配有电子资源，选择本书作为授课教材的教师可登录机械工业出版社教育服务网（www.cmpedu.com）免费注册后进行下载或联系编辑（010-88379194）咨询。本书还配有二维码，读者可直接扫描二维码观看微课视频，方便教学。

  目录

项目1 预备知识................................................1

任务1 VirtualBox虚拟机安装与配置........................................................2

任务2 在VirtualBox中安装Ubuntu虚拟机...............................................7

任务3 安装和配置远程连接工具Xshell...................................................15

任务4 安装和配置远程连接工具Xftp......................................................21

任务5 Linux基础知识............................................................................25

项目2 准备Hadoop环境..................................31

任务1 配置JDK....................................................................................32

任务2 配置SSH免密码登录...................................................................35

任务3 Hadoop文件和目录结构.............................................................39

项目3 搭建Hadoop大数据平台.........................45

任务1 配置单机模式Hadoop................................................................46

任务2 配置伪分布模式Hadoop.............................................................50

任务3 配置集群模式Hadoop.................................................................62

任务4 安装ZooKeeper组件..................................................................75

任务5 配置高可用模式Hadoop.............................................................82

任务6 HDFS........................................................................................92

任务7 Hadoop调优..............................................................................97

任务8 安装Hive数据仓库....................................................................102

任务9 搭建Spark计算平台..................................................................109

项目4 使用Java语言编写MapReduce程序.........123

任务1 安装与配置Maven本地仓库......................................................124

任务2 配置IDEA编程环境...................................................................130

任务3 编写第一个Java应用程序.........................................................137

任务4 编写Hadoop经典程序WordCount............................................146

任务5 分析通信基站数据.....................................................................154

项目5 使用Python语言编写MapReduce程序....159

任务1 WordCount案例......................................................................160

任务2 母婴产品销售数据分析..............................................................169

任务3 通信基站数据分析.....................................................................176

项目6 Hadoop系统的常见故障及应对...............185

任务1 Hadoop系统日志结构及分析....................................................186

任务2 NameNode单节点故障的风险预防...........................................189

任务3 硬件故障及应对........................................................................197

任务4 Hadoop系统的隐私安全...........................................................198

任务5 Hadoop系统的未来..................................................................199

项目7 Hadoop系统运维................................201

任务1 用Ambari搭建Hadoop及生态组件............................................202

任务2 动态增加和删除Hadoop节点....................................................221

任务3 从SecondaryNameNode恢复NameNode..............................226

任务4 Zabbix安装与配置....................................................................231

任务5 Ansible基础.............................................................................241

任务6 使用Ansible部署Hadoop集群..................................................249

任务7 Docker安装与应用...................................................................252

任务8 使用Docker部署Hadoop集群...................................................257

参考文献......................................................263