编辑推荐

人类文明的发展史，其实就是建立在存储技术的演进之上的。数据成为继土地、劳动力、资本、技术之后的第五种生产要素，所有基于数据的挖掘和增值都离不

开存储。本书即详细介绍了数据存储技术的昨天、现-在和明天，不失为一本了解数据存储技术的标杆读物。

◎阿里云存储团队一线研发工程师、产品经理和架构师合力撰写

◎阿里云存储团队保障数十EB 数据的实战开发经验和教训

◎孙凝晖院士、谢长生教授、张建锋、蒋江伟、吴结生等专家联袂力荐

◎本书涉及数据存储技术的方方面面，如存储系统架构、存储协议、数据重删与压缩、数据复制与冗余、数据安全、数据一致性、分布式存储系统等存储技术

基础

◎还有视频监控、大数据及数据湖统一存储、多媒体数据存储、高性能计算数据存储、混合云灾备等行业应用存储技术解决方案

◎更有SCM 介质、DNA存储、多维光存储、混合云存储等存储技术创新展望

内容提要

当*一个类人猿用沾满炭灰的石头在洞穴墙壁上刻下自己的形象时，“存储”作为延续文

明的工具就诞生了。当古老的“存储”遇到云计算，就成为了由云而生、依云而建的云存储。

本书呈现的是阿里云存储团队通过保障数十 EB 数据的稳定和安全在十余年的自研之路得来的技术变革、实战开发经验和教训，以及丰富的行业和场景应用的

解决方案。阿里云的存储工程师们会在本书中尽力回答：超大规模的云存储系统如何创建；如何满足高峰值应用的高带宽和低延时需求；如何低成本、低能耗

地长期保存和利用数据；如何保证全年 7×24 小时不间断的超高可用性；如何保证用户的数据安全；如何利用数据生命周期；如何根据用户的需求弹性地部署

和调度资源；如何实现数据管理和调度的高效及智能化；如何针对不同的行业给出合适的解决方案等问题。

本书是阿里巴巴集团存储技术研发成果的集大成式讲解和全面展示，既适合企业 CTO、

CIO、IT 经理进行决策时参考，也适合使用云计算进行应用开发与部署的开发工程师、管理运维工程师、系统架构师作为技术用书，对于想了解和学习云存储

的高校学生及相关从业者也有很高的科普价值。

*家推荐

本书系统地讲解了与存储相关的技术体系和技术细节、阿里云存储的关键技术与组件，以及作者对云存储的未来展望。这是阿里云的工程师写给广大工程师看

的书，内容很实在，书的写作风格我也很喜欢。

孙凝晖

中国科学院计算技术研究所学术所长

中国工程院院士

本书不仅讲述了阿里云存储的技术细节，还呈现了作者们对云存储技术未来发展的总体把握和深刻思考。本书在具体介绍阿里云存储的技术和架构之前，

还增加了一些基础性的技术知识，可使读者循序渐进地学习，从而大大增强了可读性。本书是对阿里云存储技术研发成果的集大成式讲解和全面展示，相信会给

读者带来满满收获和愉快体验。

谢长生

中国计算机行业协会信息存储与安全专业委员会会长

华中科技大学武汉光电国家研究中心教授 

阿里云存储团队撰写的这本书系统地梳理并总结了存储技术的发展与应用方向，回顾了阿里云存储十几年的发展历程与经验。希望此书能帮助读者更好地了解

和把握云存储的发展历程和未来趋势，同时感知阿里云存储技术发展背后蕴藏的重大意义。

张建锋

阿里云智能总裁

阿里巴巴达摩院院长

现在，阿里云存储已经广泛部署于公共云、边缘节点和客户数据中心，植根于各类企业的数字化转型过程中。我们相信，阿里云存储将不断突破创新，

为行业、为产业、为社会提供更有价值的新基础设施底座。

蒋江伟

阿里云*级研究员

本书是阿里云研发和产品团队结合业界的技术发展趋势，总结了自身十几年的实战开发经验与教训所创作出的成果，囊括了丰富的行业和场景应用的解决方案，

有三个明显的特点：首先，立体地展示了云存储的技术、产品和业务；其次，本书理论和实践高度结合，勾勒了存储技术的过去、现在和未来；*后，参与编

写的30多位作者都是阿里云一线的研发工程师、产品经理和架构师，实实在在地描述了在真实的生产系统中，存储技术和产品是如何大规模落地的。

吴结生

阿里巴巴*级研究员

阿里云存储负责人

当我们谈论存储技术的时候，本质上是在谈论数据。在数字经济高速发展的背景下，为了实现阿里云“数字经济的基础设施”的宏大愿景，作为 IT 设施中重要

的一环，存储技术必须担负起更大的责任，为企业数字化转型提供核心价值，促进基础设施云化、核心技术互联化、应用数据化和智能化的升级。

2020年，阿里云存储团队发布了3万多字的云存储行业“白皮书”，并邀请了多位行业学者和专家予以斧正，“白皮书”发布后得到了专家和市场的认可。

随后，我们将“白皮书”的内容进行深化，覆盖更多的业务场景，*终便创作出了这本书。

Alex Chen

阿里巴巴集团研究员

阿里云智能*深产品总监

阿里云基础产品委员会主要负责阿里云的计算、存储、网络、安全、云原生、稳定性等产品技术架构设计与开发，*威定义了包括云存储在内的云计算产业标准。

目  录

第 1 章　数据价值驱动存储创新 ………………………………………1

1.1　数据与存储 …………………………………………………………………… 2

1.2　存储介质的发展 ……………………………………………………………… 3

1.2.1 NAND Flash…………………………………………………………… 4

1.2.2 NVMe SSD …………………………………………………………… 7

1.3　存储软件技术发展 …………………………………………………………… 9

1.3.1　用户态存储软件栈 …………………………………………………… 9

1.3.2　高性能用户态存储软件平台 …………………………………………12

1.4　存储系统架构的演进 ……………………………………………………… 13

1.4.1　硬件主导的存储系统架构 ……………………………………………14

1.4.2　软件主导的存储系统架构 ……………………………………………16

1.4.3　面向云端的软硬件协同存储系统架构 ………………………………18

第 2 章　存储关键技术 ……………………………………………… 19

2.1　存储协议类型 ……………………………………………………………… 20

2.1.1 SCSI 与 iSCSI …………………………………………………………20

2.1.2 NVMe …………………………………………………………………26

2.1.3 NVMeoF ………………………………………………………………34

2.1.4 RESTful API……………………………………………………………41

2.1.5　网络文件系统 …………………………………………………………45

2.1.6 SMB 协议………………………………………………………………55

2.2　数据重删与压缩 …………………………………………………………… 58

2.2.1　数据重删 ………………………………………………………………59

2.2.2　数据压缩 ………………………………………………………………60

2.3　数据复制与冗余 …………………………………………………………… 61

2.3.1　数据复制 ………………………………………………………………61

2.3.2　数据备份与恢复 ………………………………………………………62

2.3.3 RAID……………………………………………………………………64

2.3.4　多副本与纠删码 ………………………………………………………66

2.4　数据安全 …………………………………………………………………… 77

2.4.1　数据加密 ………………………………………………………………77

2.4.2　权限管理 ………………………………………………………………78

2.5　数据一致性 ………………………………………………………………… 81

2.5.1　分布式一致性 …………………………………………………………81

2.5.2　一致性对比分析 ………………………………………………………85

第 3 章　云存储基础组件 …………………………………………… 89

3.1　分布式存储系统 …………………………………………………………… 90

3.1.1　技术特点 ………………………………………………………………90

3.1.2　系统架构 ………………………………………………………………93

3.1.3　分布式文件协议 ………………………………………………………94

3.1.4　单机存储引擎 …………………………………………………………99

3.1.5　高性能软件栈 ……………………………………………………… 101

3.2　分布式锁服务 ……………………………………………………………… 104

3.2.1　从单机锁到分布式锁 ……………………………………………… 104

3.2.2　云存储的分布式锁 ………………………………………………… 106

3.3 高性能网络服务框架 ……………………………………………………… 110

3.3.1　网络服务面临的挑战 ……………………………………………… 110

3.3.2　云存储的高性能网络服务 ………………………………………… 111

3.4　键值存储系统 ……………………………………………………………… 118

3.4.1　键值存储系统架构的演变 ………………………………………… 118

3.4.2　阿里云键值存储系统 ……………………………………………… 121

第 4 章　云存储的技术创新 ……………………………………… 125

4.1　云存储服务技术创新 ……………………………………………………… 126

4.1.1 快照技术的*新应用 ……………………………………………… 126

4.1.2　共享块存储技术 …………………………………………………… 129

4.1.3　对象存储可用性技术实践 ………………………………………… 133

4.1.4　对象存储分布式缓存 ……………………………………………… 137

4.1.5　对象存储异地多活容灾架构 ……………………………………… 139

4.1.6　文件系统的数据一致性 …………………………………………… 144

4.1.7　文件系统的多租户实践 …………………………………………… 148

4.1.8　并行文件系统客户端优化 ………………………………………… 152

4.1.9　海量结构化大数据存储 …………………………………………… 155

4.2　云定义存储技术创新 ……………………………………………………… 162

4.2.1　块存储技术能力 …………………………………………………… 162

4.2.2　对象存储技术能力 ………………………………………………… 165

4.2.3　日志服务技术能力 ………………………………………………… 167

4.3　云数据管理技术创新 ……………………………………………………… 169

4.3.1　可观测性技术 ……………………………………………………… 169

4.3.2　数据重删技术 ……………………………………………………… 172

4.3.3　相册与网盘服务的关键技术 ……………………………………… 173

4.3.4　智能媒体管理技术 ………………………………………………… 178

第 5 章　云存储的应用实践 ……………………………………… 181

5.1　视频监控数据存储 ………………………………………………………… 182

5.2　大数据及数据湖统一存储 ………………………………………………… 183

5.3　多媒体数据存储 …………………………………………………………… 188

5.4　高性能计算数据存储 ……………………………………………………… 191

5.5　混合云灾备 ………………………………………………………………… 195

5.6　智能运维 AIOps …………………………………………………………… 197

5.7　容器数据存储 ……………………………………………………………… 203

5.8　即时消息系统支撑实践 …………………………………………………… 206

第 6 章　云存储的未来展望 ……………………………………… 209

6.1　技术创新 …………………………………………………………………… 210

6.1.1 NAND Flash 技术的发展 ………………………………………… 210

6.1.2　新存储介质的出现 ………………………………………………… 213

6.1.3　高性能网络的发展 ………………………………………………… 215

6.2　来自行业的挑战与机遇 …………………………………………………… 217

6.2.1　云向边缘的推进 …………………………………………………… 217

6.2.2　从“新基建”到“东数西算” …………………………………… 218

6.2.3　混合云存储的快速发展 …………………………………………… 219

6.2.4　数据安全的挑战依然严峻 ………………………………………… 220

序言

在过去 20 多年间，分布式系统和分布式存储蓬勃发展，从支持高性能计算（High Performance Computing，HPC）及超算，到搜索和广告，再到云计算，出现了很多经典的存储系统，典型代表包括 IBM GPFS 和 Lustre 对高性能计算的支持，谷歌的 GFS（Google File System）和微软的 Cosmos 对搜索和广告的支持，HDFS1 对大数据分析的支持，以及开源的 Ceph 分布式存储，等等。尤其是在 2003—2006 年，来自谷歌的“三驾马车”——GFS（分布式文件存储）、BigTable（键值存储）和 MapReduce（大数据分析系统），再加上 Chubby（分布式锁服务）的发表，打造了云计算分布式系统的开发蓝本。在此期间，亚马逊 AWS、微软 Azure 、阿里云和谷歌 GCP 相继打造了自己的云存储系统和产品。

从 2008 年起，阿里云开始了飞天操作系统的自研之路。存储及与其相关的组件是飞天操作系统的关键，包括分布式存储系统“飞天盘古”、键值存储系统、分布式锁和网络编程框架等。基于这些组件，构建了阿里云丰富的存储产品和大数据分析产品。经过十几年的发展，飞天盘古成为了统一的存储平台，用一套架构高效而灵活地支持低延时的数据库访问，支持高吞吐量的大数据分析，支持高并发的超算和低成本的归档等多种场景。

随着云计算的普及，以及大数据分析、人工智能和机器学习在百行千业的数字化和智能化转型中的落地，云存储迎来了新的挑战和机会。首先，在数据高速增长的趋势下，存储技术需要在介质、编码、压缩等领域进一步探索和创新，不断降低存储的成本；其次，在数据分析和智能决策走向实时化趋势中，低延时、高带宽的存储是关键支撑，存储服务器、网络、介质和存储系统的软硬件一体设计，从体系结构和软硬件分工合作等角度不断进行变革；*后，在大量国计民生服务和企业核心应用上云的过程中，保障存储的稳定性、高性能和易用性是关键。云存储的智能管理技术，通过引入人工智能技术（AIOps 和 AI for System 等），提供运维、管理、调优和修复等自治能力，是存储系统新的发展趋势和机会。

本书特点

本书是阿里云研发和产品团队结合业界的技术发展趋势，总结了自身十几年的实战开发经验与教训，囊括了丰富的行业和场景应用的解决方案。书中有三个明显的特点。

首先，本书立体地展示了云存储的技术、产品和业务，既详实地阐述了存储关键技术和关键组件，也介绍了多种类型的云存储产品，以及云存储的典型行业和场景应用的解决方案。

其次，本书理论和实践高度结合，勾勒了存储技术的过去、现在和未来。通过大规模客户和丰富场景的锤炼，飞天盘古及关键技术组件的不断演进，展现了产品化过程中大规模分布式存储*关心的一系列问题和相应的解决思路。面向未来，通过过去3 年践行阿里云的“向下做深基础”的战略，发展自研芯片、服务器、磁盘控制器、磁盘介质和高性能网络等技术，不断探索新的体系结构和软硬一体设计，为新的存储系统的演进打开了一扇门。

*后，参与本书编写的 30 多位作者都是阿里云一线的研发工程师、产品经理、架构师，他们实实在在地描述了在真实的生产系统中，存储技术和产品是如何大规模落地的。

作为一名在分布式系统和存储领域从业 20 多年的老兵，我希望这本书的一些独特内容和视角，可以为您对云计算和云存储的了解提供帮助。同时，期待更多的研发人员加入存储领域，直面新的挑战，抓住新的机遇，实现“稳定安全高性能，普惠智能新存储”这一阿里云存储的远大愿景，共建生态，在业务的数字化和智能化中创造更多价值。

吴结生

阿里巴巴*级研究员

阿里云存储负责人

于杭州