构建Apache Kafka流数据应用

其他生产者配置 40

Java编程语言：Kafka生产者示例 42

常见的消息发布模式 44

*佳实践 46

总 结 48

第4章 深入研究Kafka消费者 49

Kafka消费者内部机制 50

理解Kafka消费者的职责 50

Kafka消费者API 52

消费者配置 52

订阅和轮询 54

提交和轮询 56

其他配置 59

利用Java实现Kafka消费者 60

利用Scala实现Kafka消费者 62

Rebalance listeners 64

常用的消息消费模式 64

*佳实践 67

总 结 68

第5章 集成Kafka 构建Spark Streaming应用 69

Spark介绍 70

Spark架构 70

Spark的核心 72

Spark生态系统 73

Spark Streaming 75

Receiver-based集成 75

Receiver-based approach的缺点 77

Receiver-based集成的Java示例 77

Receiver-based集成的Scala示例 79

Direct approach 80

Direct approach的Java示例 82

Direct approach的Scala示例 83

日志处理用例—欺诈IP检测 84

Maven 85

生产者 89

Reader属性 89

生产者代码 90

欺诈IP查找 92

暴露Hive表 93

Streaming代码 94

总 结 97

第6章 集成Kafka构建Storm应用 98

Apache Storm介绍 98

Storm集群架构 99

Storm应用程序的概念 100

Apache Heron介绍 101

Heron架构 102

Heron topology架构 103

集成Apache Kafka与Apache Storm - Java 104

示 例 105

集成Apache Kafka与Apache Storm - Scala 110

用例—使用Storm、Kafka和Hive处理日志 114

生产者 118

生产者代码 119

欺诈IP查找 122

Storm应用程序 123

运行项目 132

总 结 133