大数据综合应用实践

第1章大数据综合应用概述001 1.1大数据技术概述001 1.1.1大数据基本概念001 1.1.2大数据技术的发展历程001 1.1.3大数据的技术框架002 1.1.4大数据生态圈及处理工具003 1.1.5大数据技术的发展趋势006 1.2大数据综合应用概述007 1.2.1大数据产业007 1.2.2大数据的应用领域008 1.2.3大数据的典型应用及特征009 1.2.4大数据应用前景与展望011 1.3本章小结012 第2章基于Python+MySQL+Kettle的点评网数据采集分析及可视化013 2.1项目概述013 2.2项目环境部署014 2.2.1模拟点评网站的部署014 2.2.2项目实践环境部署020 2.3项目技术知识030 2.3.1网页解析030 2.3.2网络爬虫037 2.3.3数据清洗042 2.3.4数据统计分析与可视化045 2.4项目实践046 2.4.1点评网网页分析046 2.4.2Python爬取点评网数据050 2.4.3Kettle数据清洗064 2.4.4统计分析与PyEcharts可视化079 2.5项目小结090 2.6项目拓展训练090大数据综合应用实践 目录 第3章基于Hive+MySQL+Spark的零售数据分析及可视化091 3.1项目概述091 3.2项目环境部署092 3.2.1安装Java092 3.2.2安装Hadoop098 3.2.3安装MySQL102 3.2.4安装Hive107 3.2.5安装Sqoop113 3.2.6安装Spark115 3.2.7利用Echarts可视化117 3.3项目技术知识123 3.3.1Spark基本原理123 3.3.2Hive数据仓库130 3.3.3PySpark简介134 3.3.4Spark SQL概述137 3.3.5MLlib和关联分析138 3.4项目实践141 3.4.1基于Hive+MySQL+Sqoop的数据存储与传输142 3.4.2基于零售交易数据的Spark数据处理与分析150 3.4.3可视化展示161 3.5项目小结189 3.6项目拓展训练190 第4章基于Elasticsearch+Logstash+Kibana+Filebeat的日志收集分析及可视化191 4.1项目概述191 4.2项目环境部署192 4.2.1Elasticsearch安装193 4.2.2Logstash安装194 4.2.3Kibana安装195 4.2.4Filebeat安装195 4.2.5Kafka安装196 4.3项目技术知识198 4.3.1ELKF Stack数据处理工具198 4.3.2Beats轻量级日志采集器198 4.3.3Logstash日志分析过滤工具204 4.3.4Elasticsearch分布式日志搜索引擎213 4.3.5Kibana日志汇总、分析和搜索展示系统227 4.3.6Kafka分布式消息系统234 4.4项目实践235 4.4.1网约车平台日志数据收集236 4.4.2网约车平台日志数据传输和过滤238 4.4.3日志数据汇集及存储240 4.4.4日志数据分析及可视化展示240 4.5项目小结252 4.6项目拓展训练252 参考文献253