实时分析实战:构建实时流处理应用和分析系统

目录序1前言3第1章 实时分析简介71.1 什么是事件流71.2 理解流数据91.3 什么是实时分析91.4 实时分析的优势111.4.1 新的收入来源111.4.2 及时洞察客户121.4.3 降低基础设施成本121.4.4 改善整体客户体验121.5 实时分析用例121.5.1 面向用户的分析131.5.2 个性化131.5.3 指标141.5.4 异常检测和根本原因分析141.5.5 可视化141.5.6 即时分析151.5.7 日志分析/文本搜索151.6 对实时分析应用程序进行分类151.6.1 面向内部与面向外部161.6.2 面向机器与面向人类171.7 本章小结17第2章 实时分析生态系统192.1 定义实时分析生态系统192.2 经典流处理技术栈212.2.1 复杂事件处理212.2.2 大数据时代222.3 现代流处理技术栈252.3.1 事件生成器272.3.2 流处理数据平台292.3.3 流处理层312.3.4 服务层332.3.5 前端372.4 本章小结38第3章 介绍AATD：比萨外卖店的实时分析393.1 现有架构403.2 设置423.2.1 MySQL433.2.2 Apache Kafka463.2.3 ZooKeeper473.2.4 订单服务483.2.5 启动组件493.3检查数据493.4 实时分析的应用533.5 本章小结54第4章 使用Kafka Streams进行查询554.1 什么是Kafka Streams564.2 什么是Quarkus584.3 Quarkus应用程序584.3.1 安装Quarkus CLI584.3.2 创建Quarkus应用程序594.3.3 创建拓扑结构604.3.4 查询键值存储624.3.5 创建HTTP端点654.4 运行应用程序664.5 查询HTTP端点664.6 Kafka Streams的局限性664.7 本章小结67第5章 服务层—Apache Pinot685.1 为什么不能使用其他流处理器695.2 为什么不能使用数据仓库695.3 什么是Apache Pinot695.4 Pinot如何对数据进行建模和存储715.4.1 数据模式715.4.2 表725.5 配置725.6 数据摄取735.7 Pinot数据浏览器765.8 索引785.9 更新Web应用程序805.10 本章小结83第6章 构建实时分析仪表盘846.1 仪表盘架构846.2 什么是 Streamlit856.3 配置856.4构建仪表盘866.5 本章小结94第7章 通过CDC获取产品变化957.1 从业务数据库获取更改信息957.2 CDC967.2.1 为什么需要CDC967.2.2 什么是CDC977.2.3 实施CDC的策略977.2.4 基于日志的数据采集987.2.5 CDC系统的需求997.2.6 Debezium 1007.3 将CDC应用于AATD1017.3.1 配置1017.3.2 将 Debezium 连接到 MySQL1027.3.3查询商品数据流1037.3.4 更新产品1047.4 本章小结106第 8 章 使用Kafka Streams连接流1078.1 使用Kafka Streams丰富订单数据1078.2 将订单项添加到 Pinot1138.3更新订单服务信息1168.4 刷新 Streamlit 仪表盘1218.5 本章小结123第9章 服务层的插入更新1249.1 订单状态1249.2 丰富订单流信息1269.3 Apache Pinot 的插入更新1299.4 更新订单服务1339.4.1 创建用户资源文件1349.4.2 添加一个所有用户的端点1349.4.3 为用户端点添加订单1359.4.4 添加单个订单端点1369.4.5 实现跨资源共享1399.5 前端应用程序1399.6 仪表盘上的订单状态1429.6.1 每个订单状态的耗时1429.6.2 可能被延误的订单1449.7 本章小结148第10章 地理空间查询14910.1 交付状态15010.2 更新 Apache Pinot15210.2.1 订单15210.2.2 交付状态15410.3 更新订单服务16110.3.1 个人订单16210.3.2 按地区划分的延迟订单16410.3.3 使用新的 API 端点16610.4 本章小结167第11章 生产环境中的注意事项16911.1 前期准备16911.1.1 容量规划16911.1.2 数据分区17111.1.3 吞吐量17311.1.4 数据保留17411.1.5 数据粒度17511.1.6 总数据大小17511.1.7 复制因子17611.2 部署平台17611.2.1 自身技能17611.2.2 数据隐私和安全17611.2.3 成本17711.2.4 控制17811.3 后期管理17811.3.1 监控和报警17811.3.2 数据治理17911.4 本章小结180第12章 现实世界中的实时分析18112.1 内容推荐(专业社交网络)18112.1.1 问题18212.1.2 解决方案18212.1.3 收益18312.2 运营分析(流媒体服务)18412.2.1 问题18512.2.2 解决方案18512.2.3 收益18712.3 实时广告分析(网上商城)18712.3.1 问题18812.3.2 解决方案18812.3.3 收益18912.4 面向用户的分析(协作