书名：金融服务中的数据质量工程
书号：978-7-5239-1121-1
定价：68元
作者：[美]布莱恩·布泽利(Brian Buzzelli)著 赵楚欣 赵海钊 孙静 译
出版时间：2026-04-29
出版社：中国电力出版社
页码： 188    字数(千字)：184
开本：特16开    版次：1    印次：1

品牌介绍

中国电力出版社成立于 1951 年，作为中国成立最早的中央科技出版社之一，曾隶属于水利电力部、能源部、电力工业部、国家电力公司，现为国家电网公司所属的科技出版社，在电气技术专业出版领域享有极高的声誉。该社作为以图书出版为主体，音像、电子出版物、期刊、网络出版共同发展的大型出版企业，以强大的出版资源和高素质的专业队伍，致力于向读者提供包括电力工程、电气工程、建筑工程、电子技术、信息技术、外语、大中专教材、家教等学科门类齐全的权威出版物，也竭力为广大师生提供精品教材，是教育部和北京市教委规划教材的出版基地之一。

编辑推荐

专家推荐 “本书为金融专业人士提供了一条清晰的实践指南，指导如何推动、设计并实施全面的数据质量框架。”   ——Matthew Lyberg 特许金融分析师   NDVR公司量化研究员   “这是一本关于如何确保数据流程（从来源与摄取，到公司范围内的使用）得到恰当监控、衡量与管控的权威指南。”   ——Barry S. Raskin   数据实践负责人 Relevate Data Monetization Corp 编辑推荐 在金融服务行业，数据质量关乎成败。价格缺失、市场价值错误、交易违规以及监管申报不实，都可能导致严厉的处罚、客户流失甚至财务危机。通过这本实用指南，你将学习如何将制造业原则应用于金融数据管理，理解数据维度，并将数据质量容差融入数据处理管道。   本书作者将教你如何定义、设计并使用数据验证检查与质量容差，以交付符合数据消费者数据质量规格的高质量数据。你将学习如何像制造商一样思考，理解数据维度，运用相关技术定义数据质量规格，并通过将量化容差应用于数据维度来评估数据质量。

产品特色

本书对所有行业的数据专业人士而言，都是一部必备读物。

作者介绍

Brian Buzzelli是Acadian机构量化资产管理公司的高级副总裁兼企业数据管理负责人。他基于制造业原则，定义了一套系统且严谨的数据质量工程方法。

内容介绍

本书的主要内容有：理解数据维度如何适用于不同数据类型与使用场景。运用数据质量服务将制造业原则应用于数据。基于标准化的数据质量度量，生成数据质量指标。识别面向不同数据消费者的数据质量容差之间的差异。确定数据管道中应进行质量度量的控制点。应用数据治理框架、概念、策略与数据目录。  
本书适用于数据科学家、数据分析师、数据工程师和数据架构师。

前言

前言 大多数人会说，我们生活在一个信赖制造业规范与质量标准的世界。这些规范与标准，保障了我们获得的食物、饮用水、药品以及日常使用的高科技产品。我们依赖科学的进步、制造技术的改进，以及产品规范的标准化，这些构成了我们在消费和使用实物产品时的信任基础。鉴于在科学、技术和制造业方面取得的重大成就，在数据和信息的使用必须不断地进行检查、复核和核对以保证准确性和数据质量的金融领域，这又有何不同呢？ 数据是金融行业中使用的基本原材料，用于管理你的退休金和家庭财富资产，为公司运营和促进资本增长，并作为全球金融系统的命脉来推动全球经济的发展。与制造业不同，金融行业的数据流动已经从基于公开喊价、电话、纸质记录和电报机的传统交易方式发展到基于复杂的计算、人工智能和机器学习应用的现代化交易方式。我们通过复杂的应用程序捕获、存储和传递数据，并在数据可靠、适用的前提下在业务流程中使用数据。 然而，数据没有实体形式，具有无限可塑性。相比之下，制造业的原材料具有实体形式。可以根据物理性能和容差规格对物理属性进行测量和评估，以确定原材料是否符合使用标准。这是我们将类似的制造框架应用于数据并定义可以根据规格测量的数据属性的关键概念之一。本书将通过以数据的质量衡量维度—— 完整性、及时性、准确性、精确性、合规性、一致性、集合性和关联性为例，呈现数据具有质量属性和物理形态的概念。 本书的前提是，数据具有形态和可测量的维度，能够依据数据质量规范与容差进行检查和测量，从而产出数据质量度量指标。随后，可基于数据质量规范分析结果，生成数据质量指标。制造业中的数据质量流程包括根据控制规范评估物理材料的具体测量。经过结果分析，确定材料质量测量和指标是否符合设计规格，并在可接受的公差范围内。 尽管金融业在数据识别、定义和表达方面仍缺乏行业标准，快速的金融产品创新也让此现象雪上加霜，但制造业的演进和成熟度表明，在材料加工上已经具有可靠的方法论，以及能保证准度、精度和纯度的技术。今天，我们一边享受现代科技带来的便利，一边又可能将现代医药、基因学、超级作物、喷气机、卫星、智能手机、平板电视、人工智能、机器人、手表电脑等多种技术的复杂性视为理所当然。 金融行业可以借鉴成熟的制造技术并应用于目前不成熟的数据管理中，并能获益颇丰。类似的数据质量验证与容差控制应用于数据，主要益处在于能够获得高质量的数据。然而，从业务角度来看，其他好处包括以下方面： • 运营效率提高。 • 降低运营成本。 • 减少无用功。 • 提升数据精确性。 • 更准确的业务决策。 本书旨在提供有用的框架和技术，可应用于你的数据结构和数据管理操作中。期望通过应用这些技术和框架，提高数据处理效率、提升数据识别效率、提高数据质量，减少操作导致的数据问题，并增加数据的可信度，以确保数据具备商业可用性并适用特定用途。 我的金融之旅及金融服务行业的数据简史 我在金融行业工作了27 年多，曾担任技术和业务角色，一直和数据打交道，并从事数据管理相关的工作。多年来，像数据仓库研究所（TDWI，。 软件出版商协会成立于1984 年，然后在1999 年与信息产业协会合并，并更名为软件和信息产业协会（SIIA， 的一个部门，专注于金融行业，主要关注市场数据和信息。二十多年前，大多数金融信息围绕市场展开，主要的分销商路透通讯社（Reuters）和彭博社（Bloomberg）提供市场报价、发行人和证券信息、公司基本面和相关报告。一般来说，股票市场使用统一证券标识程序委员会（CUSIP）、证券交易所每日官方清单（SEDOL）和国际证券识别号码（ISIN）进行证券识别。随着固定收益、合成品、衍生品和证券化产品进入金融系统，并且这些产品缺乏标准化的定义和国家证券交易所，行业在数据定义、估值、标识方案等方面出现了巨大的分歧。主要的数据供应商（如路透通讯社、彭博社、交互式数据、汤姆森金融和Telekurs 等）都是提供参考数据和相关分析的强大力量，每个供应商都有自己独特的数据整理和打包数据产品的方式。由于缺乏行业通用的互操作性/ 替代性标准以及监管机构缺乏普遍适用的分类法，这些共同阻碍了数据定义和数据管理实践在金融行业的重大改进。 随后出现了企业数据管理（EDM）平台，包括Eagle PACE、Asset Control、Cadis 和GoldenSource。我在实施和管理Eagle PACE，以及将数据集成到多个EDM 平台方面有丰富的经验。这使我深入了解了数据架构、数据结构、数据质量验证、数据提供、数据整理等方面的知识。FISD 前主席Mike Atkin于2004 年离职，并于2005 年与包括路透通讯社在内的几家数据供应商共同成立了企业数据管理委员会（EDM， 委员会的初衷是改进数据定义和数据管理实践的方法和框架，特别关注参考性数据和分析性数据。如今，EDM 委员会和全球法定实体标识符基金会（GLEIF， 和FISD 的成员、EDM 委员会的贡献成员，并参与了GLEIF 的组建。如今，我有幸与其他行业数据专家和从业者合作，我们共同为数据、工具、属性、分析、实体等的定义、演变和成熟做出了贡献。现在你会发现许多数据维度框架的变种，这些框架由各种工作组、协会、作者、供应商等提供，但没有一个通用的、统一的、公认的数据维度参考。我意识到，数据质量不仅是多面的，这个多面性体现在每个维度的独立数据质量公差和综合公差，而且每个数据在不同维度上的独立公差根据目标用例而异。为此，我设计了一个数据质量规范（Data Quality Specification，DQS），用以刻画数据维度、数据质量容差及其验证，与数据消费者（或系统）的质量预期之间的关系。这个DQS 的定义与其他从业者的定义有所不同，因为它侧重于一组特定的八个可量化的数据维度，并对每种数据质量公差类型做了定义，其中包括可疑数据的概念。数据质量公差主要有三个类别： 有效 在容差范围内。 可疑 接近容差上限。 无效 超出容差范围。 这种方法使得在公差容忍范围内和超出容忍范围条件之间的区分更加明确。例如，对比量化研究员用来了解经济趋势和模式的全球经济数据与包含价格数据元素的投资组合持仓文件，其投资组合持仓文件的使用场景可能是生成投资组合的净资产价值和回报率。尽管数据集中都包含了价格数据，但是在不同场景中，针对价格数据的数据质量规范却截然不同。 本书提供了有关实施数据治理、主数据管理和数据质量工程的有用框架和技术。将制造业原则和技术应用于数据管理，并结合这些框架，旨在促进结构化数据架构和更加规范和精确的数据管理操作，从而产生更高质量的适用数据，降低运营成本和风险。 本书旨在教你如何定义、工程化和使用数据验证检查和质量公差，以提供符合消费者数据质量规范的高质量数据。本书将介绍数据治理及其在推动数据管理最佳实践中的作用。你将了解制造业以及制造商如何实现材料的精确使用和加工控制规范，确保原材料和半成品材料的物理性能符合制造要求。金融行业的数据就像制造业中使用的原材料。你将挑战需要将大量数据视为用于制造的大量原材料的思考方式，并了解数据的形状、时间序列数据、横截面数据、面板数据以及数据的维度。你将能够在数据元级别定义精确的数据质量检查方法和公差衡量方法，以确保只使用符合消费者或应用用例的高质量数据。学习如何基于标准化的数据质量度量生成数据质量指标和数据分析，保证数据质量工程化方法论中的数据一致性。我们将使用主数据管理方法来演示原始数据、分阶段数据和主数据的概念，并提供可以应用数据质量工程技术的架构，以防止不符合消费者数据质量规范的数据被提供和使用。最后，你将了解企业数据管理是数据治理、数据质量工程和主数据管理的结合。 这些概念和技术与金融行业中不同数据密集型业务和技术工程功能中常见的许多任务相互交织。一般来说，金融行业的大多数专业人员都是数据从业者，包括业务专业人员、数据科学家、数据分析师、数据工程师和数据架构师。在进行数据管理、数据分析、研究、投资组合管理、投资组合构建、交易、会计运营、合规和绩效测量等数据密集型功能的业务和技术专业人员，将从这些数据质量框架中受益。数据质量是由消费者或应用程序根据数据质量规范确定的。消费者可以使用这些框架来表达有关他们在使用或将要使用的数据的精确数据质量公差。负责实施数据管理架构和数据管理流程的数据分析师和技术人员可以使用这些框架来了解消费者的数据质量要求，并将数据质量度量工程化到数据生态系统中。 你可以直接应用这些技术来了解正在使用或即将使用的数据质量。应用数据质量工程框架将使你深入了解数据的形状和质量，并能够准确向他人传达所需的数据质量要求。 排版约定 本书使用以下排版约定： 在线图像 你可以在https://oreil.ly/DQEF-figures 找到一些更大的、彩色版本的图像。每个图像的标题中包含了链接。 如果有技术问题，请发送电子邮件至bookquestions@oreilly.com。 O’Reilly 在线学习平台（O’Reilly Online Learning） 近40 年来，O’Reilly Media 致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。 公司独有的专家和改革创新者网络通过O’Reilly 书籍、文章以及在线学习平台，分享他们的专业知识和实践经验。O’Reilly 在线学习平台按照您的需要提供实时培训课程、深入学习渠道、交互式编程环境以及来自O’Reilly 和其他200 多家出版商的大量书籍与视频资料。更多信息，请访问网站：/。 联系我们 任何有关本书的意见或疑问，请按照以下地址联系出版社。 美国： O’Reilly Media, Inc. 1005 Gravenstein Highway North Sebastopol, CA 95472 中国： 北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035） 奥莱利技术咨询（北京）有限公司 O’Reilly 的每本书都有专属网页，其中包括勘误表、示例代码以及其他信息。 本书的网址为https://oreil.ly/DQE。 对本书中文版有任何建议可以发电子邮件到errata@oreilly.com.cn。 要了解更多O’Reilly 图书、培训课程、新闻，请访问https://。 我们的LinkedIn：。 我们的Twitter：。 我们的YouTube：。 致谢 “数据”（data）和“成功”（success）这两个英文单词中都没有字母“I”，本书的编写与出版亦然。本书的面世离不开许多人的贡献和支持。我要对Acadian、O’Reilly Media、同行、数据从业者、朋友和家人给予的专业和个人支持、贡献和鼓励表示最深切的感谢和赞赏。这本书的成功应由所有人共享。我要感谢Acadian Asset Management 团队：执行副总裁兼首席投资官Brendan Bradley、高级副总裁兼投资分析和数据总监Jim Dufort，以及不可思议的企业数据管理和信息技术团队，他们对制造原则的应用和公司数据架构、数据管理运营、数据质量验证和数据治理机制的持续改进为我提供了支持并作出了承诺。本书提供的框架和技术之所以被证明是有效的，是因为我的Acadian同事们同心协力，并成功地应用了它们。我真心感激他们愿意以不同的方式思考数据质量和数据管理。Acadian 的团队已经接受了架构和程序上的变化，提供高质量的数据来支持Acadian 对于提供卓越的投资产品和客户服务的内在承诺。 我要真诚地感谢O’Reilly Media 团队：策划编辑Michelle Smith、开发编辑Corbin Collins、产品编辑Elizabeth Kelly 和文字编辑Nicole Taché。感谢他们为我提供了这个宝贵的机会，让我能够完成这本书。我非常感激能够为O’Reilly Media 的内容和成功做出贡献。如果没有Michelle 敏锐的洞察力和认知，认识到数据质量对金融行业的重要性和相关性，这本书不可能出版。Michelle认识到本书中的基础框架对所有数据从业者都有帮助。我非常感谢Corbin 在与我一起开发这本书的内容时的耐心、专业知识、建议、反馈，以及长期而清晰的指导。我的感激之情也送给Elizabeth、Nicole、Suzanne Huston 以及制作团队，感谢他们在准备、展示和制作本书方面的专业知识。这让我对策划编辑、文字编辑和出版专业人员有了新的认识和最高的敬意。这些人所展示的卓越的专业知识共同造就了O’Reilly Media 的成功。 本书中关键概念的成功出现以及内容和示例的准确性，得益于多位技术审阅人员的支持。我要感谢Element22 的创始人和合伙人Predrag Dizdarevic 在技术审阅过程中将他的行业领导力、多年的经验和专业知识慷慨地分享。我由衷感谢Abdullah Karasan 博士，他是TFI TAB Food Investments 的高级数据科学顾问，也是《Machine Learning for Financial Risk Management with Python》（O’Reilly）的作者。他在技术审阅中展现了深厚的专业知识和敏锐的见解。我还要感谢数据质量专家和从业者Alagappan Solaiappan，他是Acadian 的副总裁、高级数据分析师和EDM 数据质量工程师。他多年的经验和数据质量方面的专业知识，以及他与我和Acadian 同事们的卓越合作。数据是一项团队活动，他对本书的反馈和细致的技术审阅为本书的成功做出了贡献。 我希望感谢Matthew Lyberg，来自NDVR 公司的量化研究员（也是CFA 持证者），还有Acadian 公司前业绩归因主管，他的见解和反馈推动了数据质量概念和DQS 框架的定义和演示等许多改进。他对此工作的商业价值的认可，促使我将其介绍给CFA 协会。他们现在在培训课程中涵盖了这项工作的部分内容。感谢所有在我们的金融服务和资产管理公司中努力提供最高质量数据的数据质量战士、数据从业者和同行。 在个人方面，我要深深地感谢Barbara Buzzelli（母亲）、Richard Buzzelli（父亲）和Claudine Wagenfuehr（姐姐）对我的爱、支持和源源不断的鼓励。妈妈总是说，“你可以做任何你想做的事情。”我可以……而且我做到了。我也要感谢Andrew T. Revel 博士，他是我最好的朋友、最大的支持者、最激烈的批评者，在这许多年里一直是我生命中的伴侣。感谢“The Foundation”，包括Robert Davis、Peggy Walther 和Chuck Wesley（IM），他们的友谊、支持和鼓励永无止境。感谢Matthew Szczepanski 在大学早期的关键时期以及在我职业生涯开始时对我的支持和鼓励。感谢Nancy Pribich，她给我以动力去追求我的梦想和抱负，并努力实现它们。最后，我感谢在卡内基梅隆大学和匹兹堡大学接受的卓越教育，这为我撰写这本书并实现我的职业目标奠定了技术基础。

目录

目录
前言 1
第1 章 像制造商一样思考  11
11 运营效率 11
12 精益生产的经验教训 12
121 可口可乐公司：制造质量卓越 13
122 DASANI®：纯净水13
13 制造控制规范 14
131 水质规范14
132 质量控制和异常检测 15
14 总结 16
第2 章 数据的形状 17
21 将数据视为物理资产 17
22 数据形状概念模型 18
221 数据元素18
222 数据单元19
223 数据宇宙19
224 时间序列数据 19
225 横截面数据 20
226 面板数据21
227 数据量 22
23 数据属性和维度 25
231 数据属性27
232 数据维度28
24 总结 30
第3 章 数据质量规范 31
31 制造控制 31
32 数据质量规范概述 32
33 数据质量容忍度 33
331 完整性 34
332 及时性 36
333 准确性 37
334 精确性 41
335 合规性 43
336 一致性 44
337 集合性 53
338 关联性 54
34 总结 56
第4 章 数据质量规范框架示例 57
41 数据质量规范DQS —— 数据完整性 59
42 数据质量规范DQS —— 数据及时性 63
43 数据质量规范DQS —— 数据准确性 65
44 数据质量规范DQS —— 数据精确性 68
45 数据质量规范DQS —— 数据合规性 72
46 数据质量规范DQS —— 数据一致性 75
47 数据质量规范DQS —— 数据集合性 83
48 数据质量规范DQS —— 数据关联性 89
49 适合目的 94
410 总结 96
第5 章 数据质量指标和可视化 99
51 数据质量指标 99
52 数据质量可视化 101
53 总结  110
第6 章 运营效率成本模型  113
61 模型细节  113
62 模型成本假设  114
63 应用前数据验证vs 校对  119
64 总结 122
第7 章 数据治理  125
71 建立数据治理功能 126
711 数据治理的原则 127
712 数据治理功能 128
713 数据治理模型 129
72 创建数据治理计划 130
721 组织计划130
722 建立数据治理委员会 131
723 与数据管理职能合作 132
724 与业务职能的合作 132
725 增强型数据治理运营模型 133
726 数据治理计划的活动和交付成果 134
73 数据治理的商业价值 135
74 数据管理成熟度 137
75 总结 138
第8 章 主数据管理  141
81 精通数据 142
82 数据治理协同效应 147
83 数据管理协同效应 150
84 总结 151
第9 章 数据项目方法论  153
91 业务需求 155
911 定义业务用例 155
912 映射业务流程和数据流 156
913 影响分析156
914 定义数据质量评分卡 157
915 数据使用政策 158
92 技术要求 158
921 定义应用数据处理用例 159
922 映射应用功能和数据流 159
93 数据治理要求 160
931 数据定义任务 160
932 数据完整性任务 162
933 数据管理任务 165
94 总结 169
第10 章 企业数据管理  171
101 从何处入手 172
102 理解数据规模与体量 173
103 数据质量工程 173
104 效率提升 174
105 扩展数据架构与数据流水线 175
106 实现数据质量优先文化 175
107 推动实施 176