【内容特点】（1）内容全面，结构合理：每篇有知识地图，每章配有本章小结、习题和实验。（2）理论讲解透彻，案例分析详尽：理论内容通俗易懂，结合案例讲解方法和技术，易于教和学。【资源特点】重点难点知识微课，配套PPT、程序源代码、习题答案等。【服务特点】作者提供QQ服务群等支持，定期举办直播进行教学培训。

本书系统介绍大数据的相关知识，分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。本书共14章，内容包括大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、大数据应用等。本书在与HDFS、HBase、MapReduce、Hive、Spark和Flink等相关的章中安排了入门级的实验，以帮助读者更好地学习和掌握大数据的关键技术。本书可以作为高等院校大数据、计算机、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考。

林子雨（1978－），男，博士（毕业于北京大学），国内高校知名大数据教师，厦门大学计算机科学系副教授，厦门大学信息学院实验教学中心主任，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员，中国高校首个;数字教师提出者和建设者。厦门大学2013年度、2017年度和2020年度奖教金获得者，获评;厦门大学2019年度本科教学示范岗，入选;2021年高校计算机专业优秀教师奖励计划。2013年开始在厦门大学开设大数据课程，建设了国内高校首个大数据课程公共服务平台，平台累计网络访问量超过1500万次，成为全国高校大数据教学知名品牌，并荣获;2018年福建省教学成果二等奖和;2018年厦门大学教学成果特等奖，主持的课程《大数据技术原理与应用》获评;2018年国家精品在线开放课程、;2020年国家级线上一流本科课程和;2021年福建省线上线下混合一流本科课程，主持的课程《Spark编程基础》获评;2020年福建省线上一流本科课程。

第 1篇　大数据基础第 1章　大数据概述　21.1　大数据时代　21.1.1　第三次信息化浪潮　21.1.2　信息科技为大数据时代提供技术支撑　31.1.3　数据产生方式的变革促成大数据时代的到来　41.1.4　大数据的发展历程　51.2　什么是大数据　71.2.1　数据量大　71.2.2　数据类型繁多　81.2.3　处理速度快　91.2.4　价值密度低　91.3　大数据的影响　101.3.1　大数据对科学研究的影响　101.3.2　大数据对思维方式的影响　111.3.3　大数据对社会发展的影响　121.3.4　大数据对就业市场的影响　131.3.5　大数据对人才培养的影响　131.4　大数据的应用　141.4.1　大数据在各个领域的应用　151.4.2　大数据应用的3个层次　161.5　大数据关键技术　171.6　大数据计算模式　181.6.1　批处理计算　181.6.2　流计算　181.6.3　图计算　191.6.4　查询分析计算　191.7　大数据产业　191.8　大数据与云计算、物联网　211.8.1　云计算　211.8.2　物联网　241.8.3　大数据与云计算、物联网的关系　281.9　本章小结　291.10　习题　30第 2章　大数据处理架构Hadoop　312.1　Hadoop概述　312.1.1　Hadoop简介　312.1.2　Hadoop的发展简史　312.1.3　Hadoop的特性　322.1.4　Hadoop的应用现状　322.1.5　Hadoop的版本　332.2　Hadoop生态系统　332.2.1　HDFS　342.2.2　HBase　342.2.3　MapReduce　342.2.4　Hive　342.2.5　Pig　352.2.6　Mahout　352.2.7　ZooKeeper　352.2.8　Flume　352.2.9　Kafka　352.2.10　Ambari　352.3　Hadoop的安装与使用　362.3.1　创建hadoop用户　362.3.2　更新apt和安装Vim编辑器　372.3.3　安装SSH和配置SSH无密码登录　372.3.4　安装Java环境　372.3.5　安装单机Hadoop　382.3.6　Hadoop伪分布式安装　392.4　本章小结　412.5　习题　42实验1　熟悉常用的Linux操作和Hadoop操作　42第 2篇　大数据存储与管理第3章　分布式文件系统HDFS　483.1　分布式文件系统　483.1.1　计算机集群的基本架构　483.1.2　分布式文件系统的结构　493.1.3　分布式文件系统的设计需求　503.2　HDFS简介　503.3　HDFS的相关概念　513.3.1　数据块　523.3.2　名称节点和数据节点　523.3.3　第二名称节点　533.4　HDFS体系结构　543.4.1　HDFS概述　543.4.2　HDFS命名空间管理　553.4.3　通信协议　563.4.4　客户端　563.4.5　HDFS体系结构的局限性　563.5　HDFS的存储原理　563.5.1　数据的冗余存储　563.5.2　数据存取策略　573.5.3　数据错误与恢复　583.6　HDFS的数据读写过程　593.6.1　读数据的过程　593.6.2　写数据的过程　603.7　HDFS编程实践　613.7.1　HDFS常用命令　613.7.2　HDFS的Web页面　633.7.3　HDFS常用Java API及应用实例　643.8　本章小结　673.9　习题　67实验2　熟悉常用的HDFS操作　68第4章　分布式数据库HBase　704.1　HBase概述　704.1.1　从BigTable说起　704.1.2　HBase简介　704.1.3　HBase与传统关系数据库的对比分析　714.2　HBase访问接口　724.3　HBase数据模型　734.3.1　数据模型概述　734.3.2　数据模型的相关概念　734.3.3　数据坐标　744.3.4　概念视图　754.3.5　物理视图　754.3.6　面向列的存储　764.4　HBase的实现原理　784.4.1　HBase的功能组件　784.4.2　表和Region　794.4.3　Region的定位　794.5　HBase运行机制　814.5.1　HBase的系统架构　814.5.2　Region服务器的工作原理　834.5.3　Store的工作原理　844.5.4　HLog文件的工作原理　854.6　HBase编程实践　854.6.1　HBase常用的Shell命令　864.6.2　HBase常用的Java API及应用实例　884.7　本章小结　984.8　习题　99实验3　熟悉常用的HBase操作　99第5章　NoSQL数据库　1025.1　NoSQL数据库简介　1025.2　NoSQL数据库兴起的原因　1035.2.1　关系数据库无法满足Web 2.0的需求　1035.2.2　关系数据库的关键特性在Web 2.0时代成为;鸡肋　1045.3　NoSQL数据库与关系数据库的简单比较　1055.4　NoSQL数据库的四大类型　1065.4.1　键值数据库　1075.4.2　列族数据库　1085.4.3　文档数据库　1085.4.4　图数据库　1095.5　NoSQL数据库的三大基石　1095.5.1　第 一大基石：CAP　1095.5.2　第二大基石：BASE　1115.5.3　第三大基石：最终一致性　1135.6　从NoSQL数据库到NewSQL数据库　1135.7　本章小结　1155.8　习题　115实验4　NoSQL数据库和关系数据库的操作比较　115第6章　云数据库　1196.1　云数据库概述　1196.1.1　云计算是云数据库兴起的基础　1196.1.2　云数据库的概念　1206.1.3　云数据库的特性　1216.1.4　云数据库是个性化数据存储需求的理想选择　1236.1.5　云数据库与其他数据库的关系　1236.2　云数据库产品　1246.2.1　主流云数据库厂商简介　1246.2.2　亚马逊的云数据库产品　1256.2.3　谷歌的云数据库产品　1256.2.4　微软的云数据库产品　1256.2.5　其他云数据库产品　1266.3　云数据库系统架构　1276.3.1　UMP系统概述　1276.3.2　UMP系统架构　1276.3.3　UMP系统功能　1306.4　本章小结　1326.5　习题　132第3篇　大数据处理与分析第7章　MapReduce　1347.1　MapReduce概述　1347.1.1　分布式并行编程　1347.1.2　MapReduce模型简介　1357.1.3　Map和Reduce函数　1357.2　MapReduce的工作流程　1367.2.1　MapReduce工作流程概述　1367.2.2　MapReduce工作流程的各个执行阶段　1377.2.3　Shuffle过程详解　1387.3　实例分析：WordCount　1417.3.1　WordCount的程序任务　1417.3.2　WordCount的设计思路　1417.3.3　WordCount的具体执行过程　1427.3.4　一个WordCount执行过程的实例　1437.4　MapReduce的具体应用　1447.4.1　关系代数运算　1447.4.2　分组与聚合运算　1467.4.3　矩阵_向量乘法　1467.4.4　矩阵乘法　1467.5　MapReduce编程实践　1477.5.1　任务要求　1477.5.2　编写Map处理逻辑　1487.5.3　编写Reduce处理逻辑　1497.5.4　编写main函数　1497.5.5　编译打包代码以及运行程序　1507.6　本章小结　1537.7　习题　153实验5　MapReduce初级编程实践　154第8章　Hadoop再探讨　1578.1　Hadoop的优化　1578.1.1　Hadoop的局限与不足　1578.1.2　针对Hadoop的改进与提升　1588.2　HDFS 2.0的新特性　1588.2.1　HDFS HA　1588.2.2　HDFS联邦　1608.3　新一代资源调度管理框架YARN　1618.3.1　MapReduce 1.0的缺陷　1628.3.2　YARN设计思路　1628.3.3　YARN体系结构　1638.3.4　YARN工作流程　1658.3.5　YARN框架与MapReduce 1.0框架的对比分析　1668.3.6　YARN的发展目标　1678.4　本章小结　1688.5　习题　168第9章　数据仓库Hive　1699.1　数据仓库的概念　1699.2　数据湖　1719.2.1　数据湖的概念　1719.2.2　数据湖与数据仓库的区别　1729.2.3　数据湖能解决的企业问题　1739.3　湖仓一体　1739.4　数据仓库Hive概述　1749.4.1　传统数据仓库面临的挑战　1749.4.2　Hive简介　1759.4.3　Hive与Hadoop生态系统中其他组件的关系　1759.4.4　Hive与传统数据库的对比分析　1769.4.5　Hive在企业中的部署和应用　1769.5　Hive系统架构　1789.6　Hive工作原理　1789.6.1　SQL语句转换成MapReduce作业的基本原理　1799.6.2　SQL查询转换成MapReduce作业的过程　1809.7　Hive HA基本原理　1819.8　Impala　1829.8.1　Impala简介　1829.8.2　Impala的系统架构　1839.8.3　Impala查询的执行过程　1839.8.4　Impala与Hive的比较　1849.9　Hive编程实践　1859.9.1　Hive的数据类型　1859.9.2　Hive的基本操作　1869.9.3　Hive应用实例：WordCount　1899.9.4　Hive编程的优势　1899.10　本章小结　1909.11　习题　190实验6　熟悉Hive的基本操作　191第 10章　Spark　19310.1　Spark概述　19310.1.1　Spark简介　19310.1.2　Scala简介　19410.1.3　Spark与Hadoop的对比　19410.2　Spark生态系统　19610.3　Spark运行架构　19810.3.1　基本概念　19810.3.2　架构设计　19810.3.3　Spark运行基本流程　19910.3.4　RDD的设计与运行原理　20010.4　Spark的部署模式和应用方式　20910.4.1　Spark的部署模式　20910.4.2　从;Hadoop Storm架构转向Spark架构　21010.4.3　Hadoop和Spark的统一部署　21110.5　Spark编程实践　21210.5.1　启动Spark Shell　21210.5.2　RDD基本操作　21210.5.3　Spark应用程序　21710.6　本章小结　22110.7　习题　222实验7　Spark初级编程实践　222第 11章　流计算　22511.1　流计算概述　22511.1.1　静态数据和流数据　22511.1.2　批量计算和实时计算　22611.1.3　流计算的概念　22611.1.4　流计算与Hadoop　22711.1.5　流计算框架与平台　22711.2　流计算的处理流程　22811.2.1　概述　22811.2.2　数据实时采集　22911.2.3　数据实时计算　22911.2.4　实时查询服务　22911.3　流计算的应用场景　23011.3.1　应用场景1：实时分析　23011.3.2　应用场景2：实时交通　23111.4　流计算框架Storm　23111.5　流计算框架Spark Streaming　23211.6　流处理框架Structured Streaming　23311.6.1　Structured Streaming简介　23311.6.2　Structured Streaming的关键思想　23311.6.3　Structured Streaming的两种处理模型　23411.7　流计算框架Flink　23511.8　本章小结　23611.9　习题　236第 12章　Flink　23712.1　Flink简介　23712.2　为什么选择Flink　23712.2.1　传统数据处理架构　23812.2.2　大数据Lambda架构　23812.2.3　流处理架构　23912.2.4　Flink是理想的流计算框架　24012.2.5　Flink的优势　24012.3　Flink典型应用场景　24112.3.1　事件驱动型应用　24112.3.2　数据分析应用　24212.3.3　数据流水线应用　24312.4　Flink核心组件栈　24412.5　Flink体系架构　24412.6　Flink编程模型　24612.7　Flink编程实践　24612.7.1　安装Flink　24612.7.2　编程实现WordCount程序　24812.8　本章小结　25212.9　习题　252实验8　Flink初级编程实践　253第 13章　图计算　25413.1　图计算简介　25413.1.1　传统图计算解决方案的不足之处　25413.1.2　通用图计算软件　25513.2　Pregel简介　25613.3　Pregel图计算模型　25613.3.1　有向图和顶点　25613.3.2　顶点之间的消息传递　25613.3.3　Pregel计算过程　25713.3.4　Pregel计算过程的实例　25813.4　Pregel的C API　26013.4.1　消息传递机制　26113.4.2　Combiner　26113.4.3　Aggregator　26213.4.4　拓扑改变　26213.4.5　输入和输出　26213.5　Pregel的体系结构　26313.5.1　Pregel的执行过程　26313.5.2　容错性　26413.5.3　Worker　26513.5.4　Master　26513.5.5　Aggregator　26613.6　Pregel的应用实例　26613.6.1　单源最短路径问题　26613.6.2　二分匹配问题　26713.7　Pregel和MapReduce实现PageRank算法的对比　26813.7.1　PageRank算法　26913.7.2　PageRank算法在Pregel中的实现　26913.7.3　PageRank算法在MapReduce中的实现　27013.7.4　PageRank算法在Pregel 和MapReduce中实现方式的比较　27213.8　本章小结　27213.9　习题　273第4篇　大数据应用第 14章　大数据应用　27614.1　大数据在互联网领域的应用　27614.2　大数据在生物医学领域的应用　27714.2.1　流行病预测　27714.2.2　智慧医疗　27814.2.3　生物信息学　27914.3　大数据在物流领域的应用　27914.3.1　智能物流的概念　28014.3.2　大数据是智能物流的关键　28014.3.3　中国智能物流骨干网菜鸟　28014.4　大数据在城市管理领域的应用　28114.4.1　智能交通　28114.4.2　环保监测　28214.4.3　城市规划　28214.4.4　安防　28314.5　大数据在金融领域的应用　28314.5.1　高频交易　28414.5.2　市场情绪分析　28414.5.3　信贷风险分析　28414.5.4　大数据征信　28514.6　大数据在汽车领域的应用　28614.7　大数据在零售领域的应用　28614.7.1　发现关联购买行为　28614.7.2　客户群体细分　28714.7.3　供应链管理　28814.8　大数据在餐饮领域的应用　28814.8.1　餐饮领域拥抱大数据　28814.8.2　餐饮O2O　28814.9　大数据在电信领域的应用　28914.10　大数据在能源领域的应用　29014.11　大数据在体育和娱乐领域的应用　29114.11.1　训练球队　29114.11.2　投拍影视作品　29114.11.3　预测比赛结果　29214.12　大数据在安全领域的应用　29214.12.1　;棱镜门事件　29214.12.2　应用大数据技术防御网络攻击　29314.12.3　应用大数据工具预防犯罪　29314.13　大数据在日常生活中的应用　29414.14　本章小结　29514.15　习题　296参考文献　297