实战大数据—— 分布式大数据分析处理系统开发与应用

前言 第1章 大数据概述1 1.1 大数据的基本概念1 1.1.1 何谓大数据1 1.1.2 大数据的产生阶段2 1.1.3 大数据的核心技术和计算模式2 1.2 大数据的应用2 1.2.1 大数据的应用场景2 1.2.2 大数据系统的作用2 1.3 大数据技术生态圈3 1.3.1 Linux操作系统3 1.3.2 Hadoop生态系统6 1.3.3 Spark对Hadoop的完善8 1.4 大数据技术的新发展9 1.4.1 Hadoop 3.0的新特性9 1.4.2 大数据引擎Flink10 1.4.3 智能化大数据分析处理11 本章小结12 第2章 大数据分析的基本流程与工具13 2.1 数据采集13 2.1.1 网络爬虫采集数据13 2.1.2 使用Excel爬取数据14 2.2 数据存储16 2.2.1 关系型数据的存储—基于MySQL16 2.2.2 非关系型数据的存储—基于 Redis、HBase17 2.3 数据分析与数据处理18 2.3.1 数据分析常用工具—pandas19 2.3.2 分布式计算框架19 2.3.3 分布式数据挖掘和深度学习20 2.4 数据可视化22 2.4.1 Python数据可视化库Matplotlib22 2.4.2 Python数据可视化库pyecharts22 2.4.3 数据可视化图表库ECharts23 2.4.4 数据可视化工具Apache Superset24 本章小结24 第3章 分布式大数据分析处理系统 概述25 3.1 什么是分布式大数据分析处理 系统25 3.2 分布式大数据分析处理系统的 作用26 3.3 分布式大数据分析处理系统的 应用场景26 3.4 分布式大数据分析处理系统的 构成30 3.4.1 数据采集子系统30 3.4.2 数据存储系统30 3.4.3 数据分析处理系统31 3.4.4 数据可视化系统32 3.5 分布式大数据分析处理系统的 实现32 3.5.1 系统前端—HTML、CSS、jQuery32 3.5.2 系统后端—SpringBoot、SSM33 3.5.3 Web服务器端—Tomcat35 本章小结35 第4章 构建大数据集群环境36 4.1 部署大数据处理环境36 4.1.1 搭建Hadoop集群36 4.1.2 ZooKeeper的安装部署42 4.1.3 Kafka的安装部署45 4.1.4 Spark集群搭建47 4.2 部署大数据存储环境49 4.2.1 MySQL的安装部署49 4.2.2 Hive的安装部署50 4.2.3 HBase的安装部署51 4.2.4 Redis的安装部署55 本章小结57 第5章 构建基于LayUI的集群管理 系统58 5.1 集群管理系统概述58 5.1.1 需求分析58 5.1.2 系统架构—系统+集群+UI59 5.2 系统开发的前期准备操作60 5.2.1 本机环境配置60 5.2.2 集群环境配置62 5.2.3 构建项目工程结构74 5.3 系统的代码实现75 5.3.1 Controller层实现75 5.3.2 构造系统所需工具包90 5.3.3 核心类实现97 5.4 构造系统UI界面—基于 LayUI100 本章小结105 第6章 基于HBase的大数据离线分析 系统106 6.1 系统架构概述106 6.1.1 需求分析106 6.1.2 系统架构—HBase+SpringBoot+ ECharts107 6.2 采集股份转让数据108 6.2.1 使用爬虫抓取数据108 6.2.2 数据采集模块测试111 6.3 数据存储和处理模块实现113 6.3.1 数据库设计113 6.3.2 使用HBase存储并处理数据114 6.3.3 数据存储和处理模块测试119 6.4 数据可视化模块实现120 6.4.1 数据可视化模块后端设计— 基于SpringBoot120 6.4.2 数据可视化模块前端设计— 基于ECharts122 6.4.3 数据可视化页面展示125 本章小结126 第7章 基于Hive+Hadoop+Spark的 大数据离线分析系统127 7.1 系统架构概述127 7.1.1 需求分析127 7.1.2 数据存储—Hive+Hadoop129 7.1.3 数据处理与可视化— Spark+SSM+ECharts129 7.2 采集旅游相关数据130 7.2.1 使用爬虫采集城市、景点数据130 7.2.2 数据采集模块测试133 7.3 数据存储模块实现135 7.3.1 数据库设计135 7.3.2 使用HDFS和Hive存储数据137 7.3.3 数据存储模块测试138 7.4 数据分析处理模块实现139 7.4.1 Spark处理数据139 7.4.2 分词处理和情感分析— 基于jieba+SnowNLP库139 7.4.3 数据分析处理模块测试142 7.5 数据可视化模块实现143 7.5.1 数据可视化模块后端设计— 基于SSM143 7.5.2 数据可视化模块前端设计— 基于ECharts154 7.5.3 数据可视化页面展示161 本章小结167 第8章 基于MySQL+Spark的大数据 离线分析系统168 8.1 系统架构概述168 8.1.1 需求分析168 8.1.2 数据存储—MySQL170 8.1.3 数据处理与可视化— Spark Streaming +Apache Superset170 8.2 采集电商数据170 8.2.1 使用爬虫爬取商品信息170 8.2.2 数据采集模块测试182 8.3 数据分析处理模块实现183 8.3.1 数据库设计183 8.3.2 Spark处理商品数据185 8.3.3 数据分析处理模块测试192 8.4 数据可视化模块实现193 8.4.1 使用Apache Superset绘制数据 可视化图表193 8.4.2 数据可视化页面展示193 本章小结196 第9章 基于Redis+Kafka+Spark的 大数据实时分析系统197 9.1 系统架构概述197 9.1.1 需求分析197 9.1.2 数据存储—Redis198 9.1.3 数据处理与可视化—Kafka+ Spark Streaming+SSM+ECharts199 9.2 采集汽车网站数据199 9.2.1 使用爬虫获取汽车和用户 数据199 9.2.2 数据采集模块测试201 9.3 数据存储模块实现201 9.3.1