第3版前言在第2版的基础上，本书（第3版）结合大数据技术的最新发展动态与教学实践中的反馈建议，完成了全面的修订与升级。本版延续了;引项目、导思维、重体验的编写理念，进一步强化内容的实用性、前沿性与教学适应性，旨在为大数据领域的初学者打造一本 ;入门不难、学有所获的优质教材。本次改版主要修订内容说明如下。1）强化项目导向，突出实战能力。全书围绕九大核心项目展开，覆盖从数据素养认知、环境搭建、组件部署到综合应用与安全设计的完整流程。每个项目均设置;项目目标项目描述项目分析项目准备项目实施项目总结项目考核项目评价的闭环结构，引导学生;做中学、学中思，逐步构建大数据技术知识体系，夯实实际操作能力。2）优化内容结构，紧跟技术演进。为反映大数据生态的最新发展，本版对部分技术组件进行了更新与调整，并增加了数据要素、数据治理、轻量级数据处理工具等当前行业热点知识的介绍。同时，进一步梳理了各项目之间的逻辑衔接，确保知识递进合理、技能训练连贯。3）深化;导思维理念，培养数据素养。大数据不仅是技术的集合，更是一种认知世界的方式。本版在技术讲解之外，着重通过案例与思考题引导学生建立数据思维、系统思维和伦理意识，帮助学生在掌握工具的同时，理解数据背后的逻辑与价值。4）丰富教学资源，支持混合式教学。为适应线上线下融合的教学趋势，本次改版对配套资源进行了全面升级，包括：? 章鱼大数据云平台实验环境的详细操作指南；? 各项目配套数据集、代码脚本与配置文件；? 微课视频、习题库、课件等数字化教学资源；? 素养能力培养案例库，助力教师开展价值引领。5）对接;1十X证书，推动课证融通。本书内容继续对接;大数据平台运维（初级）等职业技能等级证书要求，并在附录中更新了考证样卷与解析，帮助学生更好地准备认证考试，提升就业竞争力。6）注重可读性与体验感。全书采用;图示十案例十任务的呈现方式，力求语言通俗、步骤清晰、重点突出。即使没有编程基础的学生，也可通过Excel等工具完成数据操作，降低入门门槛，增强学习信心。本书由程显毅教授主持统稿，孙丽丽、文万志、杨茂龙、耿宜鹏、蔡艳婧、朱敏等老师参与了编写与审校工作。在此，谨向所有参与人员表示诚挚感谢。本书第2版获江苏省高等学校重点教材项目的资助，在此一并致谢。大数据技术发展日新月异，书中内容难免存在疏漏与不足，恳请广大师生与读者批评指正，助力本书持续完善。编 者第2版前言党的二十大报告着重总结了过去五年的历史成就，勾画了未来中国经济和社会发展前进的方向：;建设现代化产业体系。坚持把发展经济的着力点放在实体经济上，推进新型工业化，加快建设制造强国、质量强国、航天强国、交通强国、网络强国、数字中国。数字中国是数字时代国家信息化发展的新战略，是驱动引领经济高质量发展的新动力，涵盖经济、政治、文化、社会、生态等各领域信息化建设，涉及千行百业。构建以大数据为关键要素的数字经济，推动实体经济和数字经济融合发展，是建设数字中国的核心要点。在此纲领指导下，本书强调导方法、导思维、导意识和导职业，弱化导技术，目的是把大数据思维、应用传递到想实践大数据的读者手中，将注意力完全集中在用大数据技术解决实际问题上，这样可以用最少的时间、最快的速度部署大数据应用项目。本版在第1版的基础上做了以下修订：1）导思维。以往的;导论教材或者过于注重导;专业技术，或者把教材作为科普。本次修订的原则以导思维为主线，让读者从大数据思维中理解大数据生态。2）导前沿。大数据是一门日新月异的技术，通过导论让读者理解大数据演变的规律，这样读者在今后学习、创新、创业中才不会迷失方向。3）重体验。本书以实践为主，将增强体验感放在首位，这样可以增强读者学习的信心。4）书证融通。在国家大力推动;1十X证书实施的背景下，出现了考证内容和上课内容分离的情况，增加了读者的学习成本，本书对应;大数据平台运维证书，所以，修订内容以国家;大数据平台运维（初级）大纲为根本，调整教学内容，增加自测题目，便于读者应对;大数据平台运维考证。5）考虑到有的读者没有语言基础，将编程部分由第1版R语言修改为Excel。实验平台使用开源的章鱼大数据云平台，其稳定、免费，方便教学和读者体验。6）融入了一些课程思政元素。针对大数据技术导论课程具有用数据讲故事的特点，讲好与思政有关的数据故事，既能学习专业知识，又能将思政元素融入课程中，让读者潜移默化接受家国情怀的熏陶。全书由程显毅统稿，参加编写和资料整理的人员还包括任越美、曲豫宾、孙丽丽、陈伏兵、蔡艳婧、朱敏。本书得到了江苏省自然基金（21KJB520001）和2021年江苏省高等学校重点教材项目的资助。由于编者经验和水平有限，书中难免存在不足之处，希望广大读者批评指正。

编 者第1版前言

;大数据已经成为近年来备受关注的热词，越来越多的人逐渐认识到，大数据将是新一轮产业革命的新动力、新引擎。相关报告预计未来5年，大数据或者数据工作者的岗位需求将激增，其中大数据分析师的缺口在140万～190万。但大数据人才培养以及数据科学研究似乎远未做好准备。据*公布数据显示：继2016年北京大学、中南大学、对外经贸大学首批设立大数据相关学科后，2017年中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请;数据科学与大数据技术本科新专业的高校。2018年新增;数据科学与大数据技术专业的高校达248所，2019年又新增406所高校开设;数据科学与大数据技术专业。;大数据技术导论是;数据科学与大数据技术专业必修的第一门专业基础课，本书的宗旨是导知识、导方法、导思维、导意识和导职业，而不是导技术。目的是把大数据思维、原理传递到想实践大数据的读者手中，而不是让读者掌握大数据深奥的数学理论和复杂的环境搭建细节。因此，本书重点是在已搭建好的大数据平台下，实施大数据应用方案，注意力完全集中在能有效工作的大数据技术应用上，这样可以用最少的时间、最快的速度消化和部署大数据应用项目。本书具有以下特点：1）让读者从实践中学习大数据思维、原理和方法。书中给出了大量的故事和实验指导案例，指导读者一步一步迈向大数据世界。2）学习大数据不需要很深的数学基础。无论你是谁，无论你来自哪里，无论你的受教育背景如何，都有能力使用书中提供的方法，解决大数据应用问题。3）每一章都提供了一定数量的习题，用于检查学习效果。4）为了减轻读者对编程基础的依赖，使文科专业也能学习大数据，本书采用R语言作为编程环境。5）大数据生态环境Hadoop采用集群安装，实验更接近实际应用。6）不仅理工科学生要掌握大数据技术，非理工科的学生也要掌握最基本的大数据技术，本书适合各类专业学习大数据技术。由于大数据领域发展迅猛，对许多问题编者并未做深入研究，一些有价值的新内容也来不及收入本书。加上编者知识水平和实践经验有限，书中难免存在不足之处，敬请读者批评指正。

读者不需要很深的数学基础，通过本书能够从实践中学习大数据思维、原理和方法；不仅理工科学生要掌握大数据技术，非理工科的学生也要掌握基本的大数据技术，本书适合各类相关专业。

本书秉持;引项目、导思维、重体验的编写理念，围绕九大核心项目展开，全面覆盖大数据全流程技术栈。全书以图示化讲解、步骤化操作、案例化呈现为特色，深度践行;做中学的教学理念，助力学生实现零基础入门、阶梯式进阶，同时兼顾数据思维塑造与伦理素养培育。全书以数据素养认知为起点，系统讲解Linux环境配置、Hadoop集群部署等基础内容，深入阐释Flume、HDFS/HBase、MapReduce、Spark/Hive等核心组件的部署方法与实践应用，进一步延伸至行业应用开发与安全体系设计等拓展模块。内容紧密对接;1十X证书要求，配套考证样卷及深度解析，助力学生实现课证融通、学以致用。本书适用于高等院校与职业院校计算机、大数据、人工智能等相关专业的入门教学，也可作为大数据运维、数据分析等岗位的职业培训教材，以及社会学习者的自学参考书。即便是零基础的读者，也可借助Excel等工具完成全部实践任务，轻松迈入大数据领域。

程显毅，教授，博士生导师，现任硅湖职业技术学院计算机科学与技术学院特聘教授、计算机教研室主任。1982年毕业于齐齐哈尔师范学院数学系，1986年至1988年攻读哈尔滨工程大学计算机硕士研究生班，1999年至2000年在清华大学计算机系做访问学者，2006年获南京理工大学模式识别与智能系统专业工学博士学位。长期从事人工智能与大数据领域研究，主持国家自然科学基金项目2项、江苏省重点科技攻关项目1项及省部级项目6项。出版《人工智能技术及应用 第2版》等专著5部、教材3部，发表学术论文100余篇，其中28篇被EI检索。获江苏省教学成果二等奖2项、市级科技进步奖三等奖1项。兼任江苏省计算机学会人工智能专委会常务委员、江苏省微电脑应用学会人工智能专委会副主任委员等学术职务。

第3版前言第2版前言第1版前言项目1 数据素养认知 ?1项目目标 ?1项目描述 ?1项目分析 ?2项目准备 ?21.1 无处不在的大数据 ?21.2 大数据产生的历史必然 ?41.3 大数据概念与特征 ?51.4 大数据与小数据 ?61.5 大数据时代带来的变化 ?81.6 大数据处理目标 ?101.7 大数据产业及岗位 ?141.8 大数据、物联网、人工智能之间关系 ?161.9 数据要素 ?17项目实施 ?20任务1.1 数据价值认知 ?20任务1.2 数据敏感认知 ?21任务1.3 掌握数据分析师的基本技能和从业素养 ?22项目总结 ?27项目考核 ?27项目评价 ?29项目2 准备Linux环境 ?30项目目标 ?30项目描述 ?30项目分析 ?30项目准备 ?322.1 Linux操作系统 ?322.2 国产操作系统 ?36项目实施 ?38任务2.1 Linux基本操作 ?38任务2.2 VMware虚拟机部署 ?40项目总结 ?41项目考核 ?42项目评价 ?43项目3 Hadoop集群部署 ?44项目目标 ?44项目描述 ?44项目分析 ?44项目准备 ?443.1 大数据平台架构 ?443.2 Hadoop概述 ?453.3 Hadoop生态 ?473.4 Hadoop应用场景 ?483.5 集群 ?493.6 分布式计算 ?493.7 Hadoop集群 ?503.8 Zookeeper集群 ?53项目实施 ?53任务3.1 集群规划 ?53任务3.2 网络配置与时钟同步 ?55任务3.3 通信免密 ?60任务3.4 JDK部署 ?61任务3.5 Hadoop 安装与部署 ?62任务3.6 部署Zookeeper ?65任务3.7 集群处理大数据 ?67项目总结 ?70项目考核 ?71项目评价 ?73项目4 数据采集组件Flume部署及应用 ?74项目目标 ?74项目描述 ?74项目分析 ?74项目准备 ?754.1 数据 ?754.2 数据采集 ?784.3 日志采集组件Flume ?81项目实施 ?84任务4.1 采集文件数据保存到日志 ?84任务4.2 采集文件数据保存到HDFS ?85任务4.3 对采集数据添加时间戳 ?87任务4.4 采集端口数据保存到日志 ?88项目总结 ?89项目考核 ?90项目评价 ?91项目5 数据存储组件HDFS/HBase部署及应用 ?92项目目标 ?92项目描述 ?92项目分析 ?93项目准备 ?935.1 数据管理 ?935.2 分布式文件存储系统HDFS ?945.3 非关系数据库 ?985.4 列式数据库HBase ?100项目实施 ?104任务5.1 HDFS基本操作 ?104任务5.2 HBase部署 ?106任务5.3 HBase Shell基本操作 ?108任务5.4 HBase Shell应用实践 ?111项目总结 ?113项目考核 ?114项目评价 ?116项目6 数据预处理组件MapReduce部署及应用 ?117项目目标 ?117项目描述 ?117项目分析 ?118项目准备 ?1196.1 MapReduce ?1196.2 数据治理 ?1226.3 数据清洗 ?1256.4 数据变换 ?128项目实施 ?134任务6.1 统计词频 ?134任务6.2 数据清洗 ?135项目总结 ?137项目考核 ?137项目评价 ?140项目7 大数据分析组件Spark/Hive部署及应用 ?141项目目标 ?141项目描述 ?141项目分析 ?142项目准备 ?1427.1 数据分析概述 ?1427.2 业务理解 ?1457.3 数据认知 ?1467.4 分析指标设计 ?1507.5 数据建模 ?1537.6 内存计算引擎Spark ?1537.7 数据仓库Hive ?157项目实施 ?159任务7.1 Spark部署 ?159任务7.2 Spark实战 ?160任务7.3 Hive部署 ?163任务7.4 Hive实战 ?165项目总结 ?168项目考核 ?168项目评价 ?170项目8 大数据应用创意方案设计 ?171项目目标 ?171项目描述 ?171项目分析 ?172项目准备 ?1738.1 零售大数据 ?1738.2 交通大数据 ?1798.3 医疗大数据 ?1818.4 农业大数据 ?1838.5 教育大数据 ?1908.6 政府大数据 ?194项目实施 ?199任务8.1 智慧生活360创意方案设计 ?199项目总结 ?203项目考核 ?203项目评价 ?205项目9 大数据安全体系 ?206项目目标 ?206项目描述 ?206项目分析 ?206项目准备 ?2079.1 大数据应用面临的六大挑战 ?2079.2 大数据带来的机遇与挑战 ?2099.3 大数据安全技术 ?2109.4 区块链技术 ?214项目实施 ?219任务9.1 大数据安全体系方案设计 ?219项目总结 ?224项目考核 ?224项目评价 ?225附录 ?227附录A 大数据平台运维1十X考证样卷（初级） ?227附录B 数据分析1十X考证样卷（初级） ?230参考文献 ?235