大数据采集技术与应用

第1章 大数据采集技术与应用概述 1 1.1 大数据概述 1 1.1.1 大数据时代 2 1.1.2 大数据的概念 5 1.1.3 大数据的特征 5 1.1.4 大数据的应用 8 1.1.5 大数据关键技术 9 1.1.6 大数据处理流程 10 1.2 大数据采集技术概述 11 1.2.1 数据采集与大数据采集 11 1.2.2 大数据采集流程 14 1.3 大数据采集技术应用 15 1.3.1 大数据处理平台介绍 15 1.3.2 政务大数据融合平台 16 1.3.3 交通大数据融合平台 16 1.3.4 出入境大数据融合平台 17 本章小结 18 课后作业 18 第2章 大数据同步技术——Datax 19 2.1 Datax概述 19 2.1.1 Datax介绍 20 2.1.2 Datax特点 21 2.1.3 Datax结构模式 22 2.1.4 Datax的优势 26 2.2 Datax安装与配置 30 2.2.1 配置Java环境 30 2.2.2 安装Python 31 2.2.3 安装Datax 31 2.3 Datax应用实例 33 2.3.1 跨文件系统数据同步 33 2.3.2 跨数据库数据同步 37 2.3.3 同类数据库数据同步 41 本章小结 43 课后作业 43 第3章 大数据清洗技术——Kettle 44 3.1 Kettle概述 44 3.1.1 Kettle概念 45 3.1.2 Kettle设计原则 47 3.1.3 Kettle设计模块 48 3.1.4 Kettle应用场景 60 3.2 Kettle安装与配置 61 3.2.1 配置Java环境 61 3.2.2 安装Kettle 61 3.2.3 安装MySQL 64 3.3 Kettle应用实例 66 3.3.1 数据表记录去重 66 3.3.2 数据表记录过滤 69 3.3.3 数据表记录聚合 71 本章小结 73 课后作业 73 第4章 大数据日志采集技术——Logstash 74 4.1 Logstash概述 74 4.1.1 Logstash概念 75 4.1.2 Logstash工作原理 75 4.1.3 Logstash优势 76 4.2 Logstash安装与配置 76 4.2.1 安装Logstash 76 4.2.2 配置Logstash 80 4.2.3 Logstash运行方式 94 4.3 Logstash应用实例 95 4.3.1 日志数据整合 95 4.3.2 日志数据过滤 96 4.3.3 日志数据分析 98 本章小结 100 课后作业 100 第5章 大数据实时采集技术——Kafka 101 5.1 Kafka概述 101 5.1.1 Kafka概念与特性 102 5.1.2 Kafka基本架构 103 5.1.3 Kafka应用场景 105 5.2 Kafka安装与部署 105 5.2.1 安装Kafka 106 5.2.2 搭建单机版Kafka 108 5.2.3 搭建多个Broker的Kafka集群 109 5.2.4 搭建完全分布式Kafka集群 111 5.3 Kafka应用实例 113 5.3.1 Kafka生产者实例 113 5.3.2 Kafka消费者实例 119 5.3.3 Kafka生产者与消费者综合实例 124 本章小结 132 课后作业 132 第6章 态势感知——舆情热点大数据平台中的数据采集技术 133 6.1 项目背景 133 6.2 舆情热点大数据平台数据采集需求分析 134 6.2.1 项目目标与意义 134 6.2.2 项目特色 135 6.2.3 项目准备 135 6.2.4 项目需求分析 136 6.3 舆情热点大数据平台数据采集设计与实现 137 6.3.1 舆情热点数据采集 137 6.3.2 舆情热点数据抽取 156 6.3.3 舆情热点数据清洗 160 本章小结 163 课后作业 163 参考文献 164