书名：大数据测试技术与实践（*彩印刷）  
定*：118.0  
ISBN：9787**557*86*  
作者：艾辉 主编，融360 AI测试团队 编著  
版次：第*版  
出版时间：202*-*0  

内容提要：  
内 容 提 要 本书*面系统地介绍了大数据的测试技术与质量体系建设。本书共**章，第*～4章涵盖认识大数据，大数据技术生态，数据仓库的设计与构建，以及大数据项目开发流程；第5～7章讲解大数据测试方法、大数据测试实践和数据质量管理；第8～*0章介绍大数据测试平台实践、数据治理平台建设，以及DataOps的理念与实践；第**章提供大数据测试学习路线。附录列出了大数据技术*面试题。 本书适合想要了解大数据技术的读者，以及想要学习和掌握大数据测试与大数据开发的从业者。通过阅读本书，测试工程师可以系统地学习大数据技术基础、大数据开发和大数据测试等知识；大数据开发工程师可以借鉴大数据质量*障的方法，拓宽数据工程实践的思路；技术*家和技术管理者可以了解大数据质量*障体系、数据治理建设和DataOps实践等内容。  



作者简介：  
艾辉，中*人民大学概率论与数理统计*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360技术总监，主要负责AI风控产品、用户产品和基础架构的质量*障工作。曾在阿里本地生活担任*级技术经理，负责用户产品、新零售产品的质量*障工作。拥有9年多的测试开发工作经验，曾多次受邀在行业技术大会（如MTSC、GITC、Top*00、TiD、A2M和TICA等）上做主题分享。对大数据、机器学习测试技术有深刻理解，并长期*注于质量*障与工程效能*域。 陈*飞，东北大学计算机技术*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360测试开发工程师，主要从事机器学习方向的测试开发工作。擅长白盒测试、大数据测试和模型测试，在工具平台开发方面有丰富的实践经验。 郝嵘，北京信息科技大学自动化*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360*级测试开发工程师，主要负责大数据方向的测试开发工作。擅长Python开发、大数据测试和机器学习测试，*了多个工具平台的开发，在大数据质量*障方面有丰富的实践经验。 雷天鸣，哈尔滨理工大学计算机科学与技术*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360测试开发工程师，主要从事机器学习方向的测试开发工作。擅长大数据测试、*征测试和模型算法评测等，对金融风控业务有深刻理解。 李曼曼，融360*级测试开发工程师，《机器学习测试入门与实践》作者之*。拥有近**年的测试开发工作经验，*了多个工具平台的开发和大型项目的测试工作。擅长白盒测试、性能测试、自动化测试、持续集成和工程效能，在大数据和*征模型测试方面有丰富的实践经验。 马绵，陕西科技大学网络工程*业学士，融360测试开发工程师。目前主要从事服务端测试开发工作，擅长自动化测试、*测试，在服务稳定性*障方面有丰富的实践经验。 孙冰妍，东北大学通信与信息系统*业硕士，融360测试开发工程师。目前主要从事服务端测试开发工作，擅长白盒测试、自动化测试、性能测试、*测试和持续集成。参与了多个工具平台的开发，并*了多个大型项目的测试工作。对大数据测试技术有深刻理解。 孙金娟，山西财经大学计算机科学与技术*业学士，《机器学习测试入门与实践》作者之*。目前，担任融360测试开发工程师，有近9年的Java开发、测试开发工作经验。擅长大数据测试和工具平台开发，对机器学习、*征模型测试有深刻理解。 张咪，北京交通大学通信与信息系统*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360测试经理，主要负责用户产品的质量*障工作，曾负责基础架构、SRE（Site Reliability Engineering，网站可靠性工程）等方面的测试开发工作。在自动化测试、服务稳定性、*项测试和工程效能等方面有丰富的实践经验，曾受邀在行业技术大会（如MTSC、A2M等）做主题分享。对大数据、机器学习测试有深刻的理解，并在这些*域拥有丰富的实践经验。 张朋周，中*地质大学计算机科学与技术*业硕士，《机器学习测试入门与实践》作者之*。目前，担任融360*级测试开发工程师，曾在*度从事搜索业务测试开发，有近9年的开发测试工作经验。目前，主要负责机器学习方向的测试开发工作，*了多个工具平台的开发，在数据质量*障、模型评估平台方面有丰富的实践经验。  

目录：  
目　录  
第 *章　认识大数据／*  
*.*　大数据概述／*  
*.2　大数据的发展／2  
*.3　大数据的应用／4  
*.3.*　互联网*域／4  
*.3.2　物流*域／5  
*.3.3　教育*域／6  
*.3.4　金融*域／7  
*.3.5　电信*域／7  
*.4　本章小结／8  

第 2章　大数据技术生态／9  
2.*　大数据技术生态总览／9  
2.2　大数据采集技术／*0  
2.3　大数据存储技术／*0  
2.3.*　分布式文件系统：HDFS／*0  
2.3.2　海量数据列式存储：  
HBase／*3  
2.3.3　其他数据存储技术／*8  
2.4 大数据计算分析技术／*9  
2.4.* 批处理计算的基石：MapReduce／*9  
2.4.2　流计算的代表：Storm、Spark Streaming和Flink／2*  
2.4.3 OLAP引擎：Hive、Impala和Presto／24  
2.5　大数据管理调度技术／30  
2.5.*　分布式集群资源调度框架：YARN／30  
2.5.2 容器集群管理系统：Kubernetes／32  
2.5.3　大数据的“动物园管理员”：ZooKeeper／33  
2.5.4　常用的工作流调度平台：Azkaban、Oozie和Airflow／34  
2.6　大数据商业产品／36  
2.7　本章小结／38  

第3章　数据仓库的设计与构建／39  
3.*　数据仓库概述／39  
3.*.*　什么是数据仓库／39  
3.*.2　数据仓库的发展过程／4*  
3.*.3　数据仓库与数据集市、数据湖、数据中台的区别／43  
3.2　数据仓库设计／44  
3.2.*　架构分层设计／44  
3.2.2　数据模型设计／46  
3.3　数据仓库构建／50  
3.3.*　数据仓库的构建方法与评*标准／50  
3.3.2　数据仓库实例／5*  
3.4　本章小结／58  

第4章　大数据项目开发流程／59  
4.*　大数据项目开发概览／59  
4.2　数据的采集与存储／60  
4.2.*　服务端日志采集／6*  
4.2.2　客户端日志采集／62  
4.2.3　数据同步／64  
4.2.4　大数据存储／66  
4.3 大数据计算／67  
4.4　大数据监控／7*  
4.4.*　数据监控／7*  
4.4.2　运维监控／72  
4.5　大数据项目开发案例／73  
4.5.*　项目背景介绍／74  
4.5.2　项目需求分析／74  
4.5.3　项目开发流程／76  
4.6　本章小结／83  

第5章　大数据测试方法／84  
5.*　大数据测试概述／84  
5.*.*　什么是大数据测试／84  
5.*.2　大数据测试与传统数据测试／84  
5.2 大数据测试类型／85  
5.2.*　功能测试／85  
5.2.2　性能测试／89  
5.2.3　其他非功能性测试／93  
5.3　大数据测试流程／94  
5.4　大数据基准测试／96  
5.4.*　大数据基准测试简介／97  
5.4.2　大数据基准测试的步骤／97  
5.4.3　大数据基准测试工具／98  
5.5　大数据ETL测试／*00  
5.5.*　大数据ETL测试类型／*00  
5.5.2　大数据ETL测试场景／*03  
5.5.3　大数据ETL测试工具／*07  
5.6　大数据测试总结／*08  
5.6.*　大数据测试中的典型问题／*08  
5.6.2 大数据测试经验总结／**2  
5.6.3　大数据测试面临的挑战／**3  
5.7　本章小结／**3  

第6章　大数据测试实践／**4  
6.*　BI报表测试／**4  
6.*.*　BI工具简介／**4  
6.*.2　Tableau简介／**5  
6.*.3　BI报表测试实践／*20  
6.2　数据挖掘产品测试／*28  
6.2.*　数据挖掘的定义和流程／*28  
6.2.2　数据挖掘产品简介／*29  
6.2.3　数据挖掘产品测试实践／*30  
6.3 用户行为分析平台测试／*39  
6.3.*　用户行为分析平台测试概览／*39  
6.3.2　数据采集*段测试／*40  
6.3.3　实时数据处理*段测试／*40  
6.3.4　离线数据处理*段测试／*53  
6.3.5　数据查询展示*段测试／*53  
6.4　本章小结／*56  

第7章　数据质量管理／*57  
7.*　数据质量管理概述／*57  
7.2　数据质量管理流程／*58  
7.2.*　建立数据质量管理办法／*59  
7.2.2　制定数据标准／*6*  
7.2.3　数据质量自查评估／*62  
7.2.4　数据质量问题修复／*70  
7.3　本章小结／*73  

第8章　大数据测试平台实践／*74  
8.*　大数据测试平台背景／*74  
8.2　大数据测试的开源技术调研／*75  
8.2.*　great_expectations／*76  
8.2.2 WeBankFinTech Qualitis／*78  
8.3　大数据测试的商业方案分析／*8*  
8.3.*　QuerySurge／*82  
8.3.2　RightData／*84  
8.4　从零开始搭建大数据测试平台／*86  
8.4.*　需求分析／*87  
8.4.2　架构设计／*87  
8.4.3　功能实现／*89  
8.4.4　页面演示／*96  
8.4.5　总结和展望／20*  
8.5　本章小结／203  

第9章　数据治理平台建设／204  
9.*　数据治理概述／204  
9.*.*　数据治理的基本概念／204  
9.*.2　数据治理的重要意义／205  
9.*.3　数据治理面临的主要挑战／206  
9.*.4　如何开展数据治理／206  
9.2　数据治理平台体系／207  
9.3　元数据管理平台／208  
9.3.*　平台产生背景／208  
9.3.2　平台架构／208  
9.3.3　模块设计：数据采集／209  
9.3.4　模块设计：数据查询／2*2  
9.3.5　模块设计：数据分析／2*4  
9.4　数据质量监控平台／2*9  
9.4.*　平台产生背景／2*9  
9.4.2　平台架构／220  
9.4.3　模块设计：规则引擎／22*  
9.4.4　模块设计：任务中心／230  
9.4.5　模块设计：报警系统 ／230  
9.5　本章小结／232  

第 *0章　DataOps的理念与实践／233  
*0.*　DataOps概述／233  
*0.*.*　什么是DataOps／233  
*0.*.2　为什么需要DataOps／235  
*0.*.3　DataOps与DevOps、MLOps的联系和区别／237  
*0.2　DataOps的能力与*性／239  
*0.2.*　数据工程／239  
*0.2.2　数据集成／240  
*0.2.3　数据*和数据隐私*护／24*  
*0.2.4　数据质量／242  
*0.2.5　DataOps的4个*性／243  
*0.3　DataOps技术实践／244  
*0.3.*　DataOps技术工具／245  
*0.3.2　数据管道技术示例／246  
*0.4　本章小结／253  

第 **章　大数据测试的学习路线和发展趋势／254  
**.*　为什么学习大数据测试／254  
**.2　如何学习大数据测试／255  
**.2.*　大数据测试的学习路线／255  
**.2.2　大数据测试的技能图谱／259  
**.3　大数据测试的发展趋势／269  
**.4　本章小结／270  

附录 大数据技术*面试题／27*  
参考文献／276