大数据采集与分析技术
1．项目引领，案例贯穿。本书以真实的交通数据分析项目为主线，串联采集、存储、清洗、分析和可视化全过程。学生可以在完成案例的过程中学习知识，增强学习的情境感与实战性。 2．任务驱动，工单实施。本书采用企业化工单形式，将学习目标分解为具体步骤，模拟真实工作情景。学生如同执行任务单般学习，强化职业技能。 3．理论实践，双线结合。本书既讲解大数据的核心原理和架构，又通过动手实践进行训练。学生既能建立知识体系，又能提升实际动手能力。 4．内容完整，逻辑清晰。本书从环境搭建到可视化展示，构建大数据学习的完整链条。知识讲解循序渐进，帮助学生逐步掌握全流程技能，构建系统学习闭环。 5．技术覆盖，紧随主流。本书涵盖Hadoop、Hive、HDFS、ZooKeeper、Vue.js、ECharts等主流技术工具。学习内容与企业应用需求高度契合，具备良好的就业适应度。 6．教学配套，环节完善。每个任务均设置知识链接、任务总结与课后练习，既方便课堂教学，也利于学生复习巩固，实现“教、学、练”一体化。
目录
●项目介绍
项目实施
任务1 大数据集群环境搭建
1.1 任务描述
1.2 任务实施
1.2.1 工单1.1：虚拟机环境搭建
1.2.2 工单1.2：虚拟机环境配置
1.2.3 工单1.3：JDK的安装与配置
1.2.4 工单1.4：ZooKeeper的安装与配置
1.2.5 工单1.5：Hadoop环境部署
1.2.6 工单1.6：Hive环境部署
1.3 知识链接
1.3.1 大数据概述
1.3.2 大数据的特征
1.3.3 大数据的核心技术
1.3.4 大数据分布式系统架构
1.3.5 环境搭建操作基础
1.4 任务总结
1.5 课后练习
任务2 数据的采集和存储
2.1 任务描述
2.2 任务实施
2.2.1 工单2.1：天气信息采集准备
2.2.2 工单2.2：天气信息采集执行
2.3 知识链接
2.3.1 数据采集方法
2.3.2 网络数据采集流程
2.3.3 HTTP原理
2.3.4 网页基础知识
2.3.5 驼峰命名法
2.4 任务总结
2.5 课后练习
任务3 数据仓库的构建
3.1 任务描述
3.2 任务实施
3.2.1 工单3.1：贴源层对象创建
3.2.2 工单3.2：贴源层数据加载
3.2.3 工单3.3：贴源层数据导入
3.3 知识链接
3.3.1 HDFS基本操作
3.3.2 数据仓库概述
3.3.3 数据仓库工具
3.3.4 数据定义语句
3.3.5 数据表基本操作
3.4 任务总结
3.5 课后练习
任务4 数据的清洗和转换
4.1 任务描述
4.2 任务实施
4.2.1 工单4.1：accidentinfo数据表处理
4.2.2 工单4.2：driverinfo数据表处理
4.2.3 工单4.3：carinfo数据表处理
4.2.4 工单4.4：weatherinfo数据表处理
4.3 知识链接
4.3.1 Hive数据查询语句
4.3.2 Hive运算符
4.3.3 公用表表达式
4.3.4 Hive内置函数
4.3.5 合并操作
4.4 任务总结
4.5 课后练习
任务5 主题加工与分析
5.1 任务描述
5.2 任务实施
5.2.1 工单5.1：明细表构建
5.2.2 工单5.2：数据统计分析
5.2.3 工单5.3：数据迁移
5.3 知识链接
5.3.1 分组查询操作
5.3.2 排序查询操作
5.3.3 连接查询操作
5.4 任务总结
5.5 课后练习
任务6 数据可视化
6.1 任务描述
6.2 任务实施
6.2.1 工单6.1：可视化页面布局
6.2.2 工单6.2：数据接口准备
6.2.3 工单6.3：数据图表绘制
6.3 知识链接
6.3.1 大数据可视化技术
6.3.2 Vue.js渐进式框架
6.3.3 ECharts可视化
6.4 任务总结
6.5 课后练习
参考文献
内容介绍
本书主要讲解大数据采集与分析的各个环节，包括大数据集群环境搭建、数据的采集和存储、数据仓库的构建、数据的清洗和转换、主题加工与分析以及数据可视化等内容。
为帮助学生系统学习大数据采集与分析技术，本书以交通大数据为基础，以技术流程为主线，采用大项目贯穿的模式详细讲解各个知识点。全书共包含6个任务，每个任务由多个工单组成，结构清晰、内容翔实。每个任务均包含任务描述、任务实施、知识链接、任务总结、课后练习等部分，通过“交错交织”和“素养课堂”等栏目，帮助读者掌握知识细节，提升数据素养。
本书既可作为高等院校大数据技术、计算机科学与技术专业的教材，也可供大数据领域技术人员学习参考。
微信支付
支付宝
扫一扫购买
1. 打开微信，扫一扫左侧二维码
2. 点击右上角图标
3. 发送给朋友、分享到朋友圈、收藏
