内容简介

《实战大数据（Hadoop+Spark+Flink）——从平台构建到交互式数据分析（离线/实时）》详细介绍了大数据工程师在实际工作中应该熟练掌握的大数据技术。全书共8章，分别是大数据技术概述、搭建IDEA开发环境及Linux虚拟机、基于Hadoop构建大数据平台、基于HBase和Kafka构建海量数据存储与交换系统、用户行为离线分析—构建日志采集和分析平台、基于Spark的用户行为实时分析、基于Flink的用户行为实时分析、用户行为数据可视化。本书以一个完整的大数据项目为主线，涵盖Hadoop、Spark、Flink等主流大数据技术，按照大数据工程师的项目开发流程，理论与实践结合，逐步推进，使读者在学习大数据核心技术的同时，也能掌握开发大数据项目的完整流程，从而获得大数据项目开发经验。

《实战大数据（Hadoop+Spark+Flink）——从平台构建到交互式数据分析（离线/实时）》既可以作为大数据工程师的*备开发手册，也可以作为高校大数据及相关专业的教材或实验手册。

  目录

目录

前言

*1章  大数据技术概述1

1.1  什么是大数据1

1.2  大数据平台架构1

1.2.1  数据获取2

1.2.2  数据存储2

1.2.3  数据处理3

1.2.4  交互式分析3

1.2.5  机器学习与数据挖掘4

1.2.6  资源管理4

1.3  大数据工程师的技能树4

1.3.1  大数据主流开发语言5

1.3.2  大数据平台的构建5

1.3.3  大数据采集5

1.3.4  大数据存储与交换5

1.3.5  大数据离线计算5

1.3.6  大数据实时计算6

1.4  大数据项目需求分析与设计6

1.4.1  项目需求分析6

1.4.2  系统架构设计7

1.4.3  离线和实时计算数据流程设计8

1.4.4  大数据平台规划8

1.5  本章小结9

*2章  搭建IDEA开发环境及Linux

虚拟机10

2.1  搭建IDEA开发环境10

2.1.1  JDK 的安装与配置10

2.1.2  Maven 的安装与配置12

2.1.3  IDEA 的安装与配置13

2.1.4  使用IDEA构建Maven项目17

2.2  搭建Linux虚拟机19

2.2.1  安装Linux系统19

2.2.2  配置Linux静态IP19

2.2.3  Linux主机名和IP映射20

2.2.4  关闭Linux防火墙20

2.2.5  创建Linux用户和用户组20

2.2.6  Linux SSH免密登录21

2.3  本章小结22

第3章  基于Hadoop构建大数据

平台23

3.1  Zookeeper分布式协调服务23

3.1.1  Zookeeper架构设计及原理23

3.1.2  Zookeeper集群安装前的准备

工作26

3.1.3  Zookeeper集群的安装部署29

3.1.4  Zookeeper shell的操作32

3.2  HDFS分布式文件系统34

3.2.1  HDFS架构设计及原理34

3.2.2  HDFS的高可用（HA）42

3.2.3  HDFS联邦机制44

3.3  YARN资源管理系统44

3.3.1  YARN架构设计及原理45

3.3.2  MapReduce on YARN工作流程48

3.3.3  YARN的容错性49

3.3.4  YARN的高可用（HA）49

3.3.5  YARN的调度器及使用50

3.4  Hadoop分布式集群的构建53

3.4.1  HDFS分布式集群的构建53

3.4.2  YARN分布式集群的构建58

3.4.3  Hadoop集群运行测试61

3.4.4  Hadoop集群调优62

3.5  MapReduce分布式计算框架64

3.5.1  MapReduce概述64

3.5.2  MapReduce编程模型67

3.5.3  MapReduce应用示例68

3.5.4  WordCount代码实现70

3.6  本章小结72

第4章  基于HBase和Kafka构建

海量数据存储与交换系统73

4.1  构建HBase分布式实时

数据库73

4.1.1  HBase概述73

4.1.2  HBase架构设计76

4.1.3  HBase分布式集群的构建78

4.1.4  HBase性能调优82

4.1.5  HBase新闻业务表建模86

4.2  搭建Kafka分布式消息系统86

4.2.1  Kafka概述86

4.2.2  Kafka架构设计87

4.2.3  Kafka分布式集群的构建89

4.2.4  Kafka集群监控92

4.3  本章小结94

第5章  用户行为离线分析——构建

日志采集和分析平台95

5.1  搭建Flume日志采集系统95

5.1.1  Flume概述95

5.1.2  Flume架构设计96

5.1.3  Flume环境的搭建98

5.1.4  构建Flume集群100

5.2  使用Flume采集用户行为

数据102

5.2.1  Flume与Kafka集成102

5.2.2  Flume与HBase集成104

5.2.3  Flume与Kafka、HBase集成109

5.3  基于Hive的离线大数据分析112

5.3.1  Hive概述112

5.3.2  Hive架构设计112

5.3.3  Hive的安装部署117

5.3.4  Hive在大数据仓库中的应用120

5.3.5  Hive与HBase集成121

5.4  基于Hive 的用户行为数据

离线分析122

5.4.1  离线项目架构设计122

5.4.2  用户行为离线分析123

5.5  本章小结126

第6章  基于Spark的用户行为实时

分析127

6.1  Spark快速入门127

6.1.1  Spark概述127

6.1.2  Spark的*简安装128

6.1.3  Spark实现WordCount129

6.2  Spark Core的核心功能131

6.2.1  Spark架构的原理131

6.2.2  弹性分布式数据集RDD132

6.2.3  Spark 算子133

6.2.4  Pair RDD及算子135

6.3  Spark分布式集群的构建135

6.3.1  Spark的运行模式135

6.3.2  Standalone模式集群的构建136

6.3.3  Spark on YARN模式集群的

构建139

6.4  基于Spark Streaming的新闻

项目实时分析140

6.4.1  Spark Streaming概述140

6.4.2  Spark Streaming的运行原理141

6.4.3  Spark Streaming编程模型142

6.4.4  Spark Streaming实时分析用户

行为144

6.5  基于Spark SQL的新闻项目

离线分析157

6.5.1  Spark SQL架构的原理157

6.5.2  Spark SQL与Hive、MySQL、

HBase集成158

6.5.3  Spark SQL用户行为离线分析162

6.6  基于Spark Structured Streaming 

的新闻项目实时分析167

6.6.1  Structured Streaming概述167

6.6.2  Structured Streaming编程模型168

6.6.3  基于Structured Streaming的用户

行为实时分析168

6.7  本章小结173

第7章  基于Flink的用户行为实时

分析174

7.1  Flink快速入门174

7.1.1  Flink概述174

7.1.2  Flink的*简安装176

7.1.3  Flink实现WordCount177

7.2  Flink分布式集群的构建181

7.2.1  Flink的运行模式181

7.2.2  Flink Standalone模式集群的

构建181

7.2.3  Flink on YARN模式集群的构建184

7.3  基于Flink DataStream的新闻

项目实时分析187

7.3.1  Flink DataStream概述187

7.3.2  Flink DataStream 编程模型188

7.3.3  Flink DataStream用户行为实时

分析190

7.4  基于Flink DataSet的新闻项目

离线分析198

7.4.1  Flink DataSet的运行原理198

7.4.2  Flink DataSet 编程模型199

7.4.3  Flink DataSet用户行为离线

分析200

7.5  本章小结205

第8章  用户行为数据可视化206

8.1  构建Java Web系统查询用户

行为206

8.1.1  基于Java Web的系统架构206

8.1.2  构建并部署Java Web项目208

8.1.3  用户行为查询代码开发217

8.2  用户行为数据展示与分析229

8.2.1  项目打包发布229

8.2.2  项目整体联调231

8.2.3  数据大屏展示与用户行为分析235

8.3  本章小结236