Kafka是大数据应用开发中常用的消息中间件，具有缓冲消息、流量削峰的功能，也具有很强的扩展性，使消息的生产者与消费者解耦。Kafka具有强大的大数据技术生态，通过使用Kafka，开发人员可以轻松构建大数据相关的应用。本书共有10章，其中第1～2章主要介绍Kafka的核心概念、入门使用及常用的操作命令，第3～5章主要介绍生产者、消费者、broker的相关概念，第6～7章主要介绍Kafka与springboot集成、Kafka常见问题，第8章介绍了Kafka监控工具Kafka Eagle的安装与使用方法、Kafka集群动态扩缩容的方法，第9章主要介绍了Kafka源码阅读环境搭建、Kafka源码阅读方法，第10章主要介绍了Kafka消息可靠性与生产调优的方法。本书既可以作为高等院校计算机专业学生学习Kafka消息中间件的指导用书，也可以作为对Kafka消息中间件感兴趣的开发人员的参考书。曾庆跃 2010年毕业 于上海大学计算机学院 硕士研究生。曾在中兴通讯、东方航空、上海复旦微电子等知名公司任职java软件工程师岗位第1章 ?Kafka概述11.1 ?Kafka是什么11.2 ?消息队列21.3 ?使用Kafka的几个理由31.4 ?Kafka的核心概念31.4.1 ?主题31.4.2 ?分区41.4.3 ?副本41.4.4 ?主题、分区、副本之间的关系51.5 ?Kafka的使用初体验61.5.1 ?在Windows中单机安装、使用Kafka61.5.2 ?Kafka发送消息和消费消息6第2章 ?Kafka集群环境搭建82.1 ?Kafka集群环境搭建过程82.2 ?Kafka环境启动122.3 ?Kafka集群的使用122.3.1 ?Kafka主题常用命令122.3.2 ?Kafka生产者常用命令132.3.3 ?Kafka消费者常用命令142.3.4 ?Kafka消费者组常用命令142.4 ?Kafka自带性能测试工具的使用152.5 ?Windows中的Kafka集群环境搭建152.5.1 ?Windows中的Kafka集群环境搭建过程152.5.2 ?Windows中的Kafka常用命令172.5.3 ?Windows中的Kafka消费者组常用命令18第3章 ?Kafka生产者213.1 ?生产者213.2 ?生产者分区分配223.2.1 ?指定partition223.2.2 ?不指定partition指定key243.2.3 ?不指定partition也不指定key263.3 ?生产者发送消息283.3.1 ?拦截器283.3.2 ?序列化器303.3.3 ?分区器323.3.4 ?应用示例333.4 ?消息发送353.5 ?Kafka事务373.5.1 ?Kafka幂等性373.5.2 ?Kafka事务api373.5.3 ?Kafka事务应用场景373.5.4 ?Kafka事务示例383.6 ?生产者数据有序性403.7 ?生产者数据可靠性413.8 ?生产者乱序42第4章 ?Kafka消费者434.1 ?消费者434.2 ?消费模式444.3 ?消费者组444.4 ?消费者消费过程454.5 ?消费者消费分区分配策略474.6 ?消费者消费消息494.6.1 ?反序列化器494.6.2 ?拦截器504.7 ?消费者偏移量514.8 ?AR、ISR、OSR534.9 ?HW、LEO544.10 ?分区副本故障554.11 ?消息的漏消费与重复消费554.12 ?消息有序性564.12.1 ?消息生产有序574.12.2 ?消息消费有序594.13 ?消息消费的几种方式604.13.1 ?多线程消费614.13.2 ?线程池消费624.14 ?消费分区重平衡问题65第5章 ?Kafka broker675.1 ?Kafka broker的位置675.1.1 ?ZooKeeper在Kafka中的作用675.1.2 ?ZooKeeper主要目录的作用685.2 ?消息存储715.2.1 ?log文件与index文件的关系715.2.2 ?log文件与timeindex文件的关系745.3 ?消息格式775.4 ?Kafka消息保留机制785.4.1 ?消息保留策略795.4.2 ?消息清理策略795.5 ?消息压缩805.6 ?控制器815.7 ?broker端配置参数详解82第6章 ?Kafka与Spring Boot集成856.1 ?Spring Boot集成Kafka856.2 ?监听器消费Kafka消息896.2.1 ?设置消费者数量896.2.2 ?消费者手动提交偏移量926.3 ?线程池消费Kafka消息936.4 ?顺序消费966.5 ?重复消费幂等处理986.5.1 ?集成mybatis_plus986.5.2 ?生成业务处理类996.6 ?Kafka常用配置1016.6.1 ?生产者配置1016.6.2 ?消费者配置1026.6.3 ?broker端配置1036.7 ?Kafka使用综合示例1046.7.1 ?生产者示例1046.7.2 ?消费者示例1056.8 ?Kafka与Flink集成108第7章 ?Kafka常见问题1127.1 ?消息重复问题1127.2 ?消息丢失问题1127.3 ?消息积压问题1137.3.1 ?消息积压判断方法1137.3.2 ?消息积压产生的原因1147.3.3 ?消息积压解决方法1157.3.4 ?消息积压示例1157.4 ?提高消费者消费能力问题1177.5 ?消息重复消费问题1177.5.1 ?消息重复消费判断方法1177.5.2 ?消息重复消费的原因1187.5.3 ?消息重复消费解决方法1187.6 ?消息消费有序性问题1197.6.1 ?单分区单线程有序消费1197.6.2 ?单主题多分区多线程有序消费1207.6.3 ?单分区线程池有序消费1217.7 ?消息精确一次消费1247.8 ?Kafka环境隔离问题124第8章 ?Kafka Eagle监控1268.1 ?安装MySQL与Kafka Eagle1268.1.1 ?安装MySQL数据库1268.1.2 ?安装Kafka Eagle1288.2 ?使用Kafka Eagle监控数据1338.3 ?集群增加broker节点1408.3.1 ?增加节点1418.3.2 ?topic分区重分配1418.4 ?集群减少broker节点1438.4.1 ?删除节点1438.4.2 ?分区分配情况1468.5 ?增加分区1478.6 ?分区副本的增加和减少1478.6.1 ?分区副本的增加1478.6.2 ?分区副本的减少148第9章 ?Kafka源码阅读1509.1 ?Kafka源码阅读环境搭建1509.1.1 ?Scala安装1509.1.2 ?Gradle安装1529.1.3 ?ZooKeeper安装1539.1.4 ?Kafka源码下载1539.2 ?Kafka生产者源码1589.2.1 ?生产者测试入口1589.2.2 ?生产者初始化1599.2.3 ?生产者组装待发送的消息1619.2.4 ?生产者发送消息1719.3 ?Kafka消费者源码1769.3.1 ?消费者测试入口1769.3.2 ?消费者初始化1799.3.3 ?消费者消息拉取1829.3.4 ?消费者消息拉取过程分析1839.3.5 ?偏移量提交1949.4 ?Kafka服务端源码1979.4.1 ?Reactor线程模型1979.4.2 ?Kafka broker测试入口1979.4.3 ?Kafka网络模块初始化2029.4.4 ?Kafka请求处理2059.4.5 ?Kafka响应处理218第10章 ?Kafka消息可靠性与生产调优22310.1 ?生产者可靠性22310.2 ?消费者可靠性22510.3 ?broker可靠性22610.4 ?Kafka调优22710.5 ?Kafka集群规划228附录A229