Flink核心技术：源码剖析与*性开发 大数据架构流处理计算引擎批处理 开源架构开发设计技术选型 流处理计算框架
￥82.40
| 运费： | ¥ 0.00-20.00 |
商品详情
书名：Flink核心技术:源码剖析与*性开发
定*：*09.9
ISBN：9787**5584472
作者：黄伟哲
版次：第*版
出版时间：2022-07
内容提要：
本书主要分为两*分。第**分以核心概念和基本应用为脉络，介绍了Flink的核心*性（如检查点机制、时间与窗口、shuffle机制等），*署，DataStream API、Dataset API、Table API的应用，运行时的原理等内容，每*章先对概念做基本的介绍，然后基于应用实例详细分析Flink的设计思想和源码实现。第二*分基于对原理的理解，手把手教读者如何进行定制化的*性开发和性能提*，能够让读者对Flink的理解有质的飞跃。这**分内容来自作者大量的工作实践，所引用例均源自企业级的真实需求，能够解决非常复杂的现网问题。
作者简介：
黄伟哲，约翰斯·霍普金斯大学硕士，架构师、软件开发工程师、咨询师，Spark Contributor。《人工智能技术与大数据》译者，目前*职于美团。在开源大数据框架的应用与*性开发方面有丰富的经验。
目录：
第 **分 设计思想篇
第 *章 序篇 3
*.* Flink的诞生与发展 3
*.*.* Stratosphere项目 3
*.*.2 Apache Flink的发展 4
*.2 Flink的应用场景 5
*.2.* 事件驱动型应用 5
*.2.2 数据分析型应用 5
*.2.3 数据管道型应用 9
*.3 Flink的核心*性与架构 9
*.3.* 核心*性 9
*.3.2 架构 *0
*.4 准备工作 **
*.5 总结 *2
第 2章 Flink编程 *3
2.* API层级 *3
2.2 DataStream API *4
2.2.* DataStream版本的
WordCount *4
2.2.2 数据源 *6
2.2.3 数据的转换操作 *6
2.2.4 数据的输出 20
2.2.5 重分区 2*
2.3 DataSet API 2*
2.3.* DataSet版本的WordCount 2*
2.3.2 数据源 22
2.3.3 数据的转换操作 22
2.3.4 数据的输出 24
2.3.5 重分区 25
2.4 Table API 25
2.4.* Table API版本的WordCount 25
2.4.2 初始化执行环境 26
2.4.3 获取Table对象 28
2.4.4 Table API中的转换操作及输出 28
2.5 SQL 34
2.6 总结 34
第3章 Flink API层的实现原理 36
3.* DataStream API 37
3.*.* StreamExecutionEnvironment执行环境 37
3.*.2 Function接口分析 42
3.*.3 StreamOperator算子分析 45
3.*.4 转换操作分析 48
3.*.5 数据流相关类分析 53
3.2 DataSet API 59
3.2.* ExecutionEnvironment执行环境 59
3.2.2 InputFormat和OutputFormat 62
3.2.3 数据集相关类分析 63
3.3 Table API和SQL 68
3.4 总结 7*
第4章 Flink的执行图 72
4.* StreamGraph的生成 73
4.*.* StreamGraphGenerator分析 73
4.*.2 StreamGraph分析 77
4.*.3 StreamNode和StreamEdge 80
4.2 Plan的生成 8*
4.2.* OperatorTranslation分析 82
4.2.2 Plan分析 84
4.3 从StreamGraph到JobGraph 85
4.3.* StreamingJobGraphGenerator分析 87
4.3.2 JobGraph分析 93
4.3.3 JobVertex、JobEdge和IntermediateDataSet 94
4.4 从Plan到JobGraph 95
4.5 从JobGraph到ExecutionGraph 96
4.5.* ExecutionGraphBuilder分析 98
4.5.2 ExecutionGraph分析 99
4.5.3 ExecutionJobVertex、ExecutionVertex和Execution分析 *02
4.5.4 IntermediateResult、IntermediateResultPartition和ExecutionEdge *06
4.6 总结 *08
第5章 Flink的运行时架构 *09
5.* 客户端代码的运行 **0
5.2 *可用相关组件 **5
5.2.* EmbeddedHaServices **5
5.2.2 EmbeddedLeaderService **7
5.3 派发器的初始化与启动 *22
5.4 资源管理器的初始化与启动 *28
5.5 TaskExecutor的初始化与启动 *3*
5.6 JobMaster的初始化与启动 *34
5.7 总结 *37
第6章 任务调度 *38
6.* 调度器 *38
6.*.* 调度器的基本构成与初始化 *39
6.*.2 构造ExecutionGraph *42
6.2 调度拓扑 *43
6.3 调度策略 *47
6.3.* EagerSchedulingStrategy *47
6.3.2 LazyFromSourcesSchedulingStrategy *49
6.3.3 InputDependencyConstraintChecker *52
6.4 调度过程的实现 *57
6.4.* 开始调度 *57
6.4.2 更新任务状态 *59
6.4.3 调度或更新消费者 *63
6.5 任务的*署 *63
6.6 Execution对象在调度过程中的行为 *66
6.7 总结 *73
第7章 任务的生命周期 *74
7.* 任务的提交 *74
7.*.* TaskDeploymentDescriptor *76
7.*.2 ResultPartitionDeployment Descriptor *78
7.*.3 InputGateDeployment Descriptor *80
7.*.4 ShuffleDescriptor *8*
7.*.5 ProducerDescriptor和PartitionDescriptor *85
7.*.6 TaskDeploymentDescriptor的提交 *88
7.2 任务的初始化 *89
7.2.* Task的初始化 *89
7.2.2 ResultPartition的初始化 *9*
7.2.3 InputGate的初始化 *94
7.3 任务的执行 *97
7.3.* StreamTask的初始化 202
7.3.2 StreamTask中的重要概念 204
7.3.3 StreamTask的实现类 2*9
7.3.4 StreamTask的生命周期 222
7.3.5 DataSourceTask、BatchTask和DataSinkTask 227
7.4 总结 237
第8章 数据传输 238
8.* 基本概念与设计思想 238
8.*.* 从逻辑执行图到物理执行图 239
8.*.2 用同*套模型应对批处理和流处理 242
8.*.3 混洗 242
8.*.4 流量控制 245
8.2 数据的输出 252
8.2.* ResultPartitionType 253
8.2.2 ResultPartitionWriter 256
8.2.3 ResultSubpartition 262
8.3 数据的读取 265
8.3.* ResultSubpartitionView 266
8.3.2 InputGate 269
8.3.3 InputChannel 273
8.4 反压机制的原理 278
8.5 总结 283
第9章 时间与窗口 284
9.* 基本概念和设计思想 284
9.*.* 从批处理到流处理 284
9.*.2 数据流模型的设计思想 287
9.*.3 Flink中与窗口操作相关的核心概念 289
9.2 WindowedStream 290
9.3 窗口相关模型的实现 292
9.3.* Window类 292
9.3.2 WindowAssigner类 293
9.3.3 Trigger类 294
9.3.4 Evictor类 296
9.4 WindowOperator 297
9.5 水位线 299
9.5.* 产生水位线 300
9.5.2 多个数据流传来的水位 303
9.6 定时器 304
9.7 总结 307
第 *0章 状态与容错 308
*0.* 基本概念与设计思想 308
*0.*.* 状态与容错的基本概念 308
*0.*.2 Hadoop与Spark如何设计容错机制 3**
*0.*.3 Flink中容错机制的设计思想 3**
*0.*.4 Flink的状态与容错机制的核心概念 3*3
*0.2 状态存储 3*5
*0.2.* 检查点的触发 3*6
*0.2.2 栅栏的传输 323
*0.2.3 状态数据的更新和存储 33*
*0.2.4 元信息的存储 336
*0.3 状态恢复 34*
*0.3.* 元信息的读取 342
*0.3.2 状态的重分配 344
*0.3.3 状态数据的恢复 347
*0.4 状态的重分配策略 349
*0.4.* 操作符状态的重分配 350
*0.4.2 键控状态的重分配 352
*0.5 总结 353
第二*分 *性开发篇
第 **章 动态调整并行度 357
**.* 模型设计 357
**.*.* 传统模型的局限 357
**.*.2 DS2模型的核心概念 358
**.*.3 算法原理 359
**.*.4 架构设计 360
**.*.5 使用DS2模型的注意事项 36*
**.2 指标收集 36*
**.3 指标管理 364
**.4 总结 366
第 *2章 自适应查询执行 367
*2.* Flink框架下的自适应查询执行 368
*2.*.* 执行*段的划分 368
*2.*.2 *化流程 368
*2.*.3 *化策略 370
*2.2 统计信息的收集 373
*2.3 执行图与调度拓扑的修改 374
*2.4 上下游关系的建立 377
*2.5 总结 378
第 *3章 Flink Sort-Merge Shuffle 379
*3.* 混洗机制的对比 379
*3.2 Flink混洗机制 38*
*3.3 Blink混洗的数据流转 382
*3.3.* ExternalResultPartition 383
*3.3.2 PartitionMergeFileWriter 384
*3.4 Blink混洗的Sort-Merge过程 386
*3.4.* PushedUnilateralSort Merger 387
*3.4.2 NormalizedKeySorter 390
*3.4.3 排序线程 393
*3.4.4 溢写线程 393
*3.4.5 合并线程 395
*3.5 文件的读取和元信息管理 398
*3.5.* ExternalBlockResultPartition Manager 398
*3.5.2 ExternalBlockResultPartition Meta 399
*3.5.3 ExternalBlockSubpartition View 400
*3.6 总结 402
第 *4章 修改检查点的状态 403
*4.* 状态修改的原理 403
*4.*.* 状态元信息的读取 404
*4.*.2 状态数据的读取 405
*4.2 状态处理器API 407
*4.2.* 数据的读取 409
*4.2.2 数据的写出 4*3
*4.3 总结 4*4
定*：*09.9
ISBN：9787**5584472
作者：黄伟哲
版次：第*版
出版时间：2022-07
内容提要：
本书主要分为两*分。第**分以核心概念和基本应用为脉络，介绍了Flink的核心*性（如检查点机制、时间与窗口、shuffle机制等），*署，DataStream API、Dataset API、Table API的应用，运行时的原理等内容，每*章先对概念做基本的介绍，然后基于应用实例详细分析Flink的设计思想和源码实现。第二*分基于对原理的理解，手把手教读者如何进行定制化的*性开发和性能提*，能够让读者对Flink的理解有质的飞跃。这**分内容来自作者大量的工作实践，所引用例均源自企业级的真实需求，能够解决非常复杂的现网问题。
作者简介：
黄伟哲，约翰斯·霍普金斯大学硕士，架构师、软件开发工程师、咨询师，Spark Contributor。《人工智能技术与大数据》译者，目前*职于美团。在开源大数据框架的应用与*性开发方面有丰富的经验。
目录：
第 **分 设计思想篇
第 *章 序篇 3
*.* Flink的诞生与发展 3
*.*.* Stratosphere项目 3
*.*.2 Apache Flink的发展 4
*.2 Flink的应用场景 5
*.2.* 事件驱动型应用 5
*.2.2 数据分析型应用 5
*.2.3 数据管道型应用 9
*.3 Flink的核心*性与架构 9
*.3.* 核心*性 9
*.3.2 架构 *0
*.4 准备工作 **
*.5 总结 *2
第 2章 Flink编程 *3
2.* API层级 *3
2.2 DataStream API *4
2.2.* DataStream版本的
WordCount *4
2.2.2 数据源 *6
2.2.3 数据的转换操作 *6
2.2.4 数据的输出 20
2.2.5 重分区 2*
2.3 DataSet API 2*
2.3.* DataSet版本的WordCount 2*
2.3.2 数据源 22
2.3.3 数据的转换操作 22
2.3.4 数据的输出 24
2.3.5 重分区 25
2.4 Table API 25
2.4.* Table API版本的WordCount 25
2.4.2 初始化执行环境 26
2.4.3 获取Table对象 28
2.4.4 Table API中的转换操作及输出 28
2.5 SQL 34
2.6 总结 34
第3章 Flink API层的实现原理 36
3.* DataStream API 37
3.*.* StreamExecutionEnvironment执行环境 37
3.*.2 Function接口分析 42
3.*.3 StreamOperator算子分析 45
3.*.4 转换操作分析 48
3.*.5 数据流相关类分析 53
3.2 DataSet API 59
3.2.* ExecutionEnvironment执行环境 59
3.2.2 InputFormat和OutputFormat 62
3.2.3 数据集相关类分析 63
3.3 Table API和SQL 68
3.4 总结 7*
第4章 Flink的执行图 72
4.* StreamGraph的生成 73
4.*.* StreamGraphGenerator分析 73
4.*.2 StreamGraph分析 77
4.*.3 StreamNode和StreamEdge 80
4.2 Plan的生成 8*
4.2.* OperatorTranslation分析 82
4.2.2 Plan分析 84
4.3 从StreamGraph到JobGraph 85
4.3.* StreamingJobGraphGenerator分析 87
4.3.2 JobGraph分析 93
4.3.3 JobVertex、JobEdge和IntermediateDataSet 94
4.4 从Plan到JobGraph 95
4.5 从JobGraph到ExecutionGraph 96
4.5.* ExecutionGraphBuilder分析 98
4.5.2 ExecutionGraph分析 99
4.5.3 ExecutionJobVertex、ExecutionVertex和Execution分析 *02
4.5.4 IntermediateResult、IntermediateResultPartition和ExecutionEdge *06
4.6 总结 *08
第5章 Flink的运行时架构 *09
5.* 客户端代码的运行 **0
5.2 *可用相关组件 **5
5.2.* EmbeddedHaServices **5
5.2.2 EmbeddedLeaderService **7
5.3 派发器的初始化与启动 *22
5.4 资源管理器的初始化与启动 *28
5.5 TaskExecutor的初始化与启动 *3*
5.6 JobMaster的初始化与启动 *34
5.7 总结 *37
第6章 任务调度 *38
6.* 调度器 *38
6.*.* 调度器的基本构成与初始化 *39
6.*.2 构造ExecutionGraph *42
6.2 调度拓扑 *43
6.3 调度策略 *47
6.3.* EagerSchedulingStrategy *47
6.3.2 LazyFromSourcesSchedulingStrategy *49
6.3.3 InputDependencyConstraintChecker *52
6.4 调度过程的实现 *57
6.4.* 开始调度 *57
6.4.2 更新任务状态 *59
6.4.3 调度或更新消费者 *63
6.5 任务的*署 *63
6.6 Execution对象在调度过程中的行为 *66
6.7 总结 *73
第7章 任务的生命周期 *74
7.* 任务的提交 *74
7.*.* TaskDeploymentDescriptor *76
7.*.2 ResultPartitionDeployment Descriptor *78
7.*.3 InputGateDeployment Descriptor *80
7.*.4 ShuffleDescriptor *8*
7.*.5 ProducerDescriptor和PartitionDescriptor *85
7.*.6 TaskDeploymentDescriptor的提交 *88
7.2 任务的初始化 *89
7.2.* Task的初始化 *89
7.2.2 ResultPartition的初始化 *9*
7.2.3 InputGate的初始化 *94
7.3 任务的执行 *97
7.3.* StreamTask的初始化 202
7.3.2 StreamTask中的重要概念 204
7.3.3 StreamTask的实现类 2*9
7.3.4 StreamTask的生命周期 222
7.3.5 DataSourceTask、BatchTask和DataSinkTask 227
7.4 总结 237
第8章 数据传输 238
8.* 基本概念与设计思想 238
8.*.* 从逻辑执行图到物理执行图 239
8.*.2 用同*套模型应对批处理和流处理 242
8.*.3 混洗 242
8.*.4 流量控制 245
8.2 数据的输出 252
8.2.* ResultPartitionType 253
8.2.2 ResultPartitionWriter 256
8.2.3 ResultSubpartition 262
8.3 数据的读取 265
8.3.* ResultSubpartitionView 266
8.3.2 InputGate 269
8.3.3 InputChannel 273
8.4 反压机制的原理 278
8.5 总结 283
第9章 时间与窗口 284
9.* 基本概念和设计思想 284
9.*.* 从批处理到流处理 284
9.*.2 数据流模型的设计思想 287
9.*.3 Flink中与窗口操作相关的核心概念 289
9.2 WindowedStream 290
9.3 窗口相关模型的实现 292
9.3.* Window类 292
9.3.2 WindowAssigner类 293
9.3.3 Trigger类 294
9.3.4 Evictor类 296
9.4 WindowOperator 297
9.5 水位线 299
9.5.* 产生水位线 300
9.5.2 多个数据流传来的水位 303
9.6 定时器 304
9.7 总结 307
第 *0章 状态与容错 308
*0.* 基本概念与设计思想 308
*0.*.* 状态与容错的基本概念 308
*0.*.2 Hadoop与Spark如何设计容错机制 3**
*0.*.3 Flink中容错机制的设计思想 3**
*0.*.4 Flink的状态与容错机制的核心概念 3*3
*0.2 状态存储 3*5
*0.2.* 检查点的触发 3*6
*0.2.2 栅栏的传输 323
*0.2.3 状态数据的更新和存储 33*
*0.2.4 元信息的存储 336
*0.3 状态恢复 34*
*0.3.* 元信息的读取 342
*0.3.2 状态的重分配 344
*0.3.3 状态数据的恢复 347
*0.4 状态的重分配策略 349
*0.4.* 操作符状态的重分配 350
*0.4.2 键控状态的重分配 352
*0.5 总结 353
第二*分 *性开发篇
第 **章 动态调整并行度 357
**.* 模型设计 357
**.*.* 传统模型的局限 357
**.*.2 DS2模型的核心概念 358
**.*.3 算法原理 359
**.*.4 架构设计 360
**.*.5 使用DS2模型的注意事项 36*
**.2 指标收集 36*
**.3 指标管理 364
**.4 总结 366
第 *2章 自适应查询执行 367
*2.* Flink框架下的自适应查询执行 368
*2.*.* 执行*段的划分 368
*2.*.2 *化流程 368
*2.*.3 *化策略 370
*2.2 统计信息的收集 373
*2.3 执行图与调度拓扑的修改 374
*2.4 上下游关系的建立 377
*2.5 总结 378
第 *3章 Flink Sort-Merge Shuffle 379
*3.* 混洗机制的对比 379
*3.2 Flink混洗机制 38*
*3.3 Blink混洗的数据流转 382
*3.3.* ExternalResultPartition 383
*3.3.2 PartitionMergeFileWriter 384
*3.4 Blink混洗的Sort-Merge过程 386
*3.4.* PushedUnilateralSort Merger 387
*3.4.2 NormalizedKeySorter 390
*3.4.3 排序线程 393
*3.4.4 溢写线程 393
*3.4.5 合并线程 395
*3.5 文件的读取和元信息管理 398
*3.5.* ExternalBlockResultPartition Manager 398
*3.5.2 ExternalBlockResultPartition Meta 399
*3.5.3 ExternalBlockSubpartition View 400
*3.6 总结 402
第 *4章 修改检查点的状态 403
*4.* 状态修改的原理 403
*4.*.* 状态元信息的读取 404
*4.*.2 状态数据的读取 405
*4.2 状态处理器API 407
*4.2.* 数据的读取 409
*4.2.2 数据的写出 4*3
*4.3 总结 4*4
- 人民邮电出版社有限公司 （微信公众号认证）
- 人民邮电出版社微店，为您提供最全面，最专业的一站式购书服务
- 扫描二维码，访问我们的微信店铺
- 随时随地的购物、客服咨询、查询订单和物流...
