本书以Hadoop 3.3.0为核心，涵盖Hadoop生态系统的常用组件，主要介绍各组件的架构原理、Shell命令、常用API及编程等，并配有较多例题。全书共7章，内容包含Hadoop概述、Hadoop伪分布式安装、Hadoop分布式文件系统HDFS、分布式计算框架MapReduce、分布式数据库HBase、数据仓库Hive和内存计算框架Spark，第2~7章还设计了相关实验。

本书可以作为高等院校大数据、计算机、应用统计等相关专业的教材，也可作为Hadoop爱好者的入门教程或自学参考用书。

本书配有电子课件，欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载，或加微信13910750469索取。

前言

第1章Hadoop概述

1.1大数据简介

1.2Hadoop简介

1.3Hadoop特性

1.4Hadoop核心组件

1.4.1HDFS

1.4.2MapReduce

1.4.3YARN

1.5Hadoop生态系统

1.5.1HBase

1.5.2Hive

1.5.3Pig

1.5.4Spark

1.5.5ZooKeeper

1.5.6Sqoop

1.5.7Flume

1.5.8Mahout

1.5.9Ambari

1.6本章小结

习题

第2章Hadoop伪分布式安装

2.1Linux操作系统

2.1.1概述

2.1.2Linux的组成

2.1.3Linux的内核版本与发行版本

2.1.4Linux基本命令

2.2CentOS的安装

2.2.1安装VMware Workstation

2.2.2在VMware上安装CentOS 7

2.2.3配置CentOS 7

2.3Hadoop伪分布式安装与配置

2.3.1安装WinSCP

2.3.2安装JDK

2.3.3安装Hadoop

2.4本章小结

习题

实验Hadoop伪分布式安装与配置

第3章Hadoop分布式文件系统HDFS

3.1HDFS的架构和原理

3.1.1计算机集群结构

3.1.2HDFS的假设前提和设计目标

3.1.3HDFS的相关概念

3.1.4HDFS体系结构

3.1.5HDFS存储原理

3.2HDFS Shell

3.3HDFS Java API

3.3.1搭建Linux操作系统下的Eclipse开发环境

3.3.2HDFS Java API常用的类

3.3.3HDFS Java API 编程

3.4本章小结

习题

实验HDFS基本命令的使用和HDFS的Java编程

第4章分布式计算框架MapReduce

4.1认识MapReduce

4.1.1分布式并行编程

4.1.2MapReduce核心思想

4.1.3MapReduce运行环境

4.1.4Hadoop内置数据类型

4.2MapReduce工作流程

4.2.1MapReduce工作流程概述

4.2.2Shuffle过程分析

4.3MapReduce入门示例：WordCount

4.3.1WordCount程序任务

4.3.2准备被统计的文件

4.3.3WordCount执行过程分析

4.3.4WordCount编程实践

4.4MapReduce应用实例

4.4.1求平均值

4.4.2简单查询功能的实现

4.5本章小结

习题

实验简单排序的实现

第5章分布式数据库HBase

5.1概述

5.1.1BigTable简介

5.1.2HBase简介

5.1.3HBase具有的特点

5.2HBase数据模型

5.2.1数据模型概述

5.2.2数据模型的相关概念

5.3HBase系统架构

5.4HBase伪分布式安装

5.4.1安装并配置环境变量

5.4.2配置HBase参数

5.4.3验证HBase

5.5HBase Shell

5.5.1HBase Shell常用命令

5.5.2HBase Shell应用实例

5.6HBase Java API

5.6.1HBase Java API 简介

5.6.2HBase Java API 编程

5.7本章小结

习题

实验HBase编程实践

第6章数据仓库Hive

6.1概述

6.1.1数据仓库简介

6.1.2Hive简介

6.1.3Hive与关系型数据库的区别

6.1.4Hive系统架构

6.2Hive伪分布式安装

6.2.1MySQL的安装和配置

6.2.2Hive的安装和配置

6.3Hive编程基础

6.3.1Hive的数据类型

6.3.2数据库相关操作

6.3.3表相关操作

6.3.4表中数据的加载

6.3.5HiveQL基本查询

6.3.6Hive函数

6.4Hive编程实例

6.4.1雇员表统计

6.4.2词频统计

6.5本章小结

习题

实验Hive的编程实践

第7章内存计算框架Spark

7.1Spark基础知识

7.1.1Spark简介

7.1.2Spark生态系统

7.1.3Spark运行架构

7.2Scala基础知识

7.2.1Scala简介

7.2.2Scala安装

7.2.3Scala编程

7.3Spark伪分布式安装

7.3.1Spark的安装模式

7.3.2Spark的安装

7.4RDD编程基础

7.4.1Spark Shell的启动和退出

7.4.2RDD创建

7.4.3常用的RDD操作

7.4.4RDD编程实例

7.5IDEA的安装和使用

7.5.1IDEA的安装

7.5.2IDEA的使用

7.5.3独立应用程序实例

7.6本章小结

习题

实验Spark Shell交互式编程

参考文献