本书是高等院校本科教材。本书系统阐述了培养复合型数据科学与大数据技术专业人才所需的相关知识，涵盖大数据概述、大数据与新一代信息技术、数据采集、数据存储与管理、数据预处理、数据分析与挖掘、数据可视化、大数据与信息安全、大数据的典型应用共9章内容。其中大数据关键技术的各个章节都配有对应的拓展实践及习题。这些拓展实践均已经过验证，简明易学，逻辑清晰，可操作性强。本书内容新颖，配套资源丰富，既可作为高等院校数据科学与大数据技术专业相关课程的教材，又可供相关技术人员参考。李小红现任职于广东白云学院大数据与计算机学院数据工程系，担任专任教师。在学术和科研方面成果颇丰，参与多项重点科研和教研项目，如 2022 年度广东省普通高校重点科研平台项目 "低代码平台工程技术开发中心”、广东省教育厅项目 "大数据 十 赋能专业融合的构建与实践探索” ，以及 2023、2024 年度校级数字化教材立项项目 "大数据关键技术与应用”。此外，李小红老师还有蒋雷、朱婷婷、翟敏焕、陈瑜瑾、于美玲等多位来自广东白云学院的不同职称的教师作为合作者，共同参与本书的编写工作，他们在大数据及相关领域具备丰富的教学和实践经验，为教材编写提供了有力支持。第1章　大数据概述11.1　数据11.1.1　数据的概念21.1.2　数据的表现形式21.1.3　数据的组织形式31.1.4　数据的生命周期41.1.5　数据的价值41.2　大数据时代51.2.1　大数据的概念51.2.2　大数据的数据类型61.2.3　大数据的特征61.2.4　大数据带来的改变71.3　大数据的处理流程91.3.1　数据采集91.3.2　数据预处理91.3.3　数据存储101.3.4　数据分析101.3.5　数据可视化111.3.6　决策与行动111.4　大数据的发展历程121.4.1　数据存储与数据库技术的初期121.4.2　互联网的兴起和数据爆炸121.4.3　大数据概念的正式提出131.4.4　大数据技术的快速发展和应用普及131.4.5　大数据与人工智能、机器学习的结合131.5　大数据时代面临的挑战和机遇131.5.1　挑战131.5.2　机遇141.6　本章小结14习题14第2章　大数据与新一代信息技术162.1　大数据与人工智能172.1.1　人工智能172.1.2　大数据与人工智能的关系与应用场景232.2　大数据与云计算252.2.1　云计算252.2.2　大数据与云计算的关系和应用场景302.3　大数据与物联网342.3.1　物联网342.3.2　大数据与物联网的关系和应用场景422.4　大数据与区块链432.4.1　区块链432.4.2　大数据与区块链的区别、协同作用和应用场景482.5　本章小结52习题52第３章　数据采集543.1　大数据采集概述553.1.1 ?大数据采集的概念553.1.2 ?大数据采集的类型553.1.3 ?大数据采集的数据来源563.1.4 ?大数据采集的策略573.1.5 ?大数据采集的工具583.2　大数据采集方法583.2.1 ?大数据采集的通用方法593.2.2　离线采集与实时采集653.3　大数据采集类型663.3.1　分布式消息系统Kafka673.3.2　日志采集系统Flume703.3.3　采集Apache服务器数据723.3.4　采集Tomcat服务器数据723.3.5　埋点数据采集733.4　常见的数据采集问题及注意事项743.4.1　数据采集常见问题753.4.2　数据采集注意事项753.5　数据采集实训――使用八爪鱼进行数据采集773.5.1　采集京东商品列表773.5.2　采集京东商品评价873.6　本章小结98习题98第４章　数据存储与管理1004.1　数据存储概述1004.1.1 ?数据存储的概念1014.1.2　传统数据存储与管理技术1014.1.3　大数据时代的数据存储与管理技术1034.2　分布式存储1044.2.1　分布式存储的概念1054.2.2　Hadoop1064.3　NoSQL数据库1174.3.1　NoSQL数据库概述1174.3.2　NoSQL数据库的分类1174.4　云数据库1204.4.1　云数据库概述1204.4.2　云数据库的特点1204.4.3　云数据库的应用1214.5　数据仓库1224.5.1　数据仓库概述1224.5.2　数据仓库的应用1234.6　本章小结123习题124第５章　数据预处理1255.1　数据清洗1265.1.1　数据清洗的应用领域1265.1.2　数据清洗的实现方式1275.1.3　数据清洗的工作内容1285.1.4　数据清洗的注意事项1295.1.5　数据清洗的基本流程1305.1.6　数据清洗的评价指标1315.2　数据集成1325.2.1　数据集成概述1325.2.2　数据集成技术1325.2.3　ETL1335.3　数据转换1345.3.1　数据转换概述1355.3.2　平滑处理1365.3.3　规范化处理1365.4　数据脱敏1375.4.1　数据脱敏原则1385.4.2　数据脱敏方法1395.5　数据预处理实训――使用Kettle进行数据清洗1395.5.1　Kettle中的基本概念1405.5.2　Kettle的基本功能1415.5.3　Kettle的安装1425.5.4　使用Kettle进行数据抽取1485.5.5　使用Kettle进行数据清洗与转换1535.6　本章小结184习题185第６章　数据分析与挖掘1886.1　数据分析概述1896.1.1　数据分析的定义1896.1.2　数据分析的流程1896.1.3　数据分析的方法1916.1.4　数据分析的应用案例1976.2　数据挖掘概述1976.2.1　数据挖掘的定义1986.2.2　数据挖掘的基本流程1986.2.3　数据挖掘的常用算法和工具1986.2.4　数据挖掘的应用1996.2.5　数据挖掘的未来发展2006.3　数据挖掘的常见算法2006.3.1　分类算法2006.3.2　聚类算法2036.3.3　关联规则挖掘算法2036.3.4　回归算法2046.4　数据分析与挖掘实训――使用Python实现K_Means聚类2066.4.1　K_Means聚类算法2066.4.2　加载和探索数据集2066.4.3　数据预处理2086.4.4　使用K_Means聚类算法进行聚类2106.4.5　可视化聚类结果2106.4.6　评估聚类结果2126.4.7　总结2126.5　本章小结213习题214第７章　数据可视化2167.1　数据可视化概述2177.1.1　概念2177.1.2　数据可视化的作用2197.1.3　数据可视化的发展历史及发展趋势2217.2　数据可视化的方法2227.2.1　数据可视化方法选择原则2227.2.2　常用的数据可视化方法2277.3　数据可视化的工具2377.3.1　拖曳式可视化工具2387.3.2　编程可视化库2407.3.3　地理数据可视化工具2467.3.4　数据可视化工具的选择2477.4　数据可视化实训――使用Python实现数据可视化2497.4.1　下载并安装Python2497.4.2　安装数据可视化库2517.4.3　数据可视化案例――Excel2527.4.4　数据可视化案例――Matplotlib库2547.4.5　数据可视化案例――Seaborn2557.4.6　数据可视化案例――pyecharts2597.5　本章小结261习题262第８章　大数据与信息安全2648.1 ?大数据安全概述2648.1.1　传统数据安全2658.1.2　大数据安全与传统数据安全的不同2668.1.3　大数据安全典型案例2678.2　大数据带来的安全问题2708.2.1　大数据安全问题2708.2.2　大数据发展面临的问题2728.2.3　大数据安全需求2728.2.4　大数据安全的特征2748.3　大数据信息安全风险因素识别2778.3.1　大数据信息安全问题日益凸显2778.3.2　移动互联网/智能手机是个人信息泄露的重要渠道2798.3.3　物联网应用的安全问题2818.3.4　公民的信息安全意识薄弱带来的信息安全隐患2818.4　大数据安全的关键技术2848.4.1　身份认证技术2848.4.2　数据加密技术2858.4.3　访问控制技术2868.4.4　数据脱敏技术2868.4.5　安全审计2878.4.6　数据溯源技术2888.4.7　数据分级分类2898.4.8　数据备份与恢复技术2908.5　大数据安全与政策法规建设2918.5.1　国内外大数据安全相关措施2918.5.2　树立隐私价值观2928.5.3　确定第三方数据的访问权限2938.5.4　制定大数据信息安全法律法规2948.5.5　大数据时代个人信息的法律保护2958.6　本章小结298习题298第９章　大数据的典型应用3009.1　大数据在社交网络领域的应用3009.1.1　社交网络数据概述3019.1.2　社交网络的关键技术3039.1.3　社交网络大数据的应用3049.2　大数据在生物医疗领域的应用3089.2.1　流行病预测3089.2.2　智慧治疗3109.2.3　生物信息学3119.3　大数据在金融领域的应用3129.3.1　金融大数据概述3129.3.2　金融大数据的关键技术3149.3.3　金融大数据的应用3179.4　大数据在交通领域的应用3189.4.1　交通大数据概述3189.4.2　交通大数据的关键因素3209.4.3　交通大数据的应用3219.5　本章小结323习题323参考文献325