KAFKA STREAMS实战

第 一部分　开启Kafka Streams之旅

第　1章 欢迎来到Kafka Streams　3

1.1　大数据的发展以及它是如何改变程序设计方式的　3

1.1.1　大数据起源　4

1.1.2　MapReduce中的重要概念　5

1.1.3　批处理还不够　7

1.2　流式处理简介　8

1.3　处理购买交易　9

1.3.1　权衡流式处理的选择　9

1.3.2　将需求解构为图表　10

1.4　改变看待购买交易的视角　10

1.4.1　源节点　11

1.4.2　信用卡屏蔽节点　11

1.4.3　模式节点　11

1.4.4　奖励节点　12

1.4.5　存储节点　13

1.5　Kafka Streams在购买处理节点图中的应用　13

1.6　Kafka Streams在购买交易流中的应用　14

1.6.1　定义源　15

1.6.2　第 一个处理器：屏蔽信用卡号码　15

1.6.3　第二个处理器：购买模式　16

1.6.4　第三个处理器：客户奖励　17

1.6.5　第四个处理器：写入购买记录　18

1.7　小结　18

第　2章 Kafka快速指南　20

2.1　数据问题　20

2.2　使用Kafka处理数据　21

2.2.1　ZMart原始的数据平台　21

2.2.2　一个Kafka销售交易数据中心　22

2.3　Kafka架构　23

2.3.1　Kafka是一个消息代理　23

2.3.2　Kafka是一个日志　24

2.3.3　Kafka日志工作原理　25

2.3.4　Kafka和分区　25

2.3.5　分区按键对数据进行分组　26

2.3.6　编写自定义分区器　27

2.3.7　指定一个自定义分区器　28

2.3.8　确定恰当的分区数　29

2.3.9　分布式日志　29

2.3.10　ZooKeeper：领导者、追随者和副本　30

2.3.11　Apache ZooKeeper　31

2.3.12　选择一个控制器　31

2.3.13　副本　31

2.3.14　控制器的职责　32

2.3.15　日志管理　33

2.3.16　日志删除　33

2.3.17　日志压缩　35

2.4　生产者发送消息　36

2.4.1　生产者属性　38

2.4.2　指定分区和时间戳　39

2.4.3　指定分区　39

2.4.4　Kafka中的时间戳　40

2.5　消费者读取消息　40

2.5.1　管理偏移量　41

2.5.2　自动提交偏移量　42

2.5.3　手动提交偏移量　42

2.5.4　创建消费者　43

2.5.5　消费者和分区　43

2.5.6　再平衡　43

2.5.7　更细粒度的消费者分配　44

2.5.8　消费者示例　44

2.6　安装和运行Kafka　45

2.6.1　Kafka本地配置　45

2.6.2　运行Kafka　46

2.6.3　发送第 一条消息　47

2.7　小结　49

第二部分　Kafka Streams开发篇

第3章　开发Kafka Streams　53

3.1　流式处理器API　53

3.2　Kafka Streams的Hello World　54

3.2.1　构建“Yelling App”的拓扑　55

3.2.2　Kafka Streams配置　58

3.2.3　Serde的创建　59

3.3　处理客户数据　60

3.3.1　构建一个拓扑　61

3.3.2　创建一个自定义的Serde　67

3.4　交互式开发　69

3.5　下一步　71

3.5.1　新需求　71

3.5.2　将记录写入Kafka之外　76

3.6　小结　78

第4章　流和状态　79

4.1　事件的思考　79

4.2　将状态操作应用到Kafka Stream　81

4.2.1　值转换处理器　82

4.2.2　有状态的客户奖励　82

4.2.3　初始化值转换器　84

4.2.4　使用状态将Purchase对象映射为Reward Accumulator　84

4.2.5　更新奖励处理器　88

4.3　使用状态存储查找和记录以前看到的数据　89

4.3.1　数据本地化　90

4.3.2　故障恢复和容错　91

4.3.3　Kafka Streams使用状态存储　91

4.3.4　其他键/值存储供应者　92

4.3.5　状态存储容错　93

4.3.6　配置变更日志主题　93

4.4　连接流以增加洞察力　94

4.4.1　设置数据　95

4.4.2　生成包含客户ID的键来执行连接　96

4.4.3　构建连接　98

4.4.4　其他连接选项　102

4.5　Kafka Streams中的时间戳　104

4.5.1　自带的时间戳提取器实现类　105

4.5.2　WallclockTimestampExtractor　106

4.5.3　自定义时间戳提取器　106

4.5.4　指定一个时间戳提取器　107

4.6　小结　108

第5章　KTable API　109

5.1　流和表之间的关系　110

5.1.1　记录流　110

5.1.2　更新记录或变更日志　111

5.1.3　事件流与更新流对比　113

5.2　记录更新和KTable配置　115

5.2.1　设置缓存缓冲大小　115

5.2.2　设置提交间隔　116

5.3　聚合和开窗操作　117

5.3.1　按行业汇总股票成交量　118

5.3.2　开窗操作　122

5.3.3　连接KStream和KTable　128

5.3.4　GlobalKTable　130

5.3.5　可查询的状态　133

5.4　小结　133

第6章　处理器API　135

6.1　更高阶抽象与更多控制的权衡　135

6.2　使用源、处理器和接收器创建一个拓扑　136

6.2.1　添加一个源节点　136

6.2.2　添加一个处理器节点　137

6.2.3　增加一个接收器节点　140

6.3　通过股票分析处理器深入研究处理器API　141

6.3.1　股票表现处理器应用程序　142

6.3.2　process()方法　145

6.3.3　punctuator执行　147

6.4　组合处理器　148

6.5　集成处理器API和Kafka Streams API　158

6.6　小结　159

第三部分　管理Kafka Streams

第7章　监控和性能　163

7.1　Kafka基本监控　163

7.1.1　测评消费者和生产者性能　164

7.1.2　检查消费滞后　165

7.1.3　拦截生产者和消费者　166

7.2　应用程序指标　169

7.2.1　指标配置　171

7.2.2　如何连接到收集到的指标　172

7.2.3　使用JMX　172

7.2.4　查看指标　176

7.3　更多Kafka Streams调试技术　177

7.3.1　查看应用程序的表现形式　177

7.3.2　获取应用程序各种状态的通知　178

7.3.3　使用状态监听器　179

7.3.4　状态恢复监听器　181

7.3.5　未捕获的异常处理器　184

7.4　小结　184

第8章　测试Kafka Streams应用程序　185

8.1　测试拓扑　186

8.1.1　构建测试用例　188

8.1.2　测试拓扑中的状态存储　190

8.1.3　测试处理器和转换器　191

8.2　集成测试　193

8.3　小结　199

第四部分　Kafka Streams进阶

第9章　Kafka Streams的高级应用　203

9.1　将Kafka与其他数据源集成　204

9.1.1　使用Kafka Connect集成数据　205

9.1.2　配置Kafka Connect　205

9.1.3　转换数据　207

9.2　替代数据库　211

9.2.1　交互式查询的工作原理　213

9.2.2　分配状态存储　213

9.2.3　创建和查找分布式状态存储　215

9.2.4　编写交互式查询　216

9.2.5　查询服务器内部　218

9.3　KSQL　221

9.3.1　KSQL流和表　222

9.3.2　KSQL架构　222

9.3.3　安装和运行KSQL　224

9.3.4　创建一个KSQL流　224

9.3.5　编写KSQL查询　226

9.3.6　创建一张KSQL表　227

9.3.7　配置KSQL　227

9.4　小结　228

附录A　额外的配置信息　229

附录B　精确一次处理语义　234