storm:大数据流式计算及应用实践

目 录 **篇 理论篇 流式数据处理概论 第1章 大数据环境下的云计算与物联网 3 1.1 云计算与物联网 3 1.1.1 云计算 3 1.1.2 物联网 6 1.2 大数据下的新挑战 8 1.2.1 大数据及其特征 8 1.2.2 大数据处理的技术挑战 11 1.3 本章小结 14 第2章 流式实时数据处理：理论与技术 15 2.1 流式数据与流式实时计算 15 2.1.1 流式数据 15 2.1.2 流式实时计算 18 2.2 流式数据处理的系统与应用 20 2.2.1 发展与挑战 20 2.2.2 Hadoop 2.0生态圈 22 2.3 Storm 27 2.3.1 起源与发展：Twitter的开源与影响 27 2.3.2 功能 29 2.3.3 特色：可扩展、可靠的分布式流式数据处理 30 2.4 其他开源流式数据处理系统 34 2.4.1 Yahoo S4 34 2.4.2 Spark Streaming 37 2.4.3 Facebook Puma 41 2.5 本章小结 42 第3章 实际案例：城市道路车辆 数据的实时监控分析系统 43 3.1 背景与需求分析 43 3.1.1 背景 43 3.1.2 数据处理的业务需求 45 3.2 数据处理系统的架构设计与技术选型 46 3.2.1 架构设计 46 3.2.2 技术选型 48 3.3 本章小结 49 第二篇 应用基础篇 流式数据处理系统Storm的基础原理 第4章 Storm的系统模型：架构与组成 53 4.1 系统架构与部署模式 53 4.1.1 系统架构 53 4.1.2 单机/分布式部署 56 4.1.3 本地模式 58 4.2 系统节点 59 4.2.1 Zookeeper：协调节点 59 4.2.2 nimbus：主控节点 63 4.2.3 supervisor：工作节点 65 4.2.4 UI：控制台节点 68 4.3 本章小结 70 第5章 Storm的通信模型 71 5.1 Thrift: 可扩展且跨语言的通信软件框架 71 5.1.1 Thrift的基础概念 71 5.1