数据工程应用微服务开发实践

第1章 微服务与数据工程概述……………………………………………………………… 1 1.1 微服务概述 ………………………………………………………………………… 1 1.1.1 Spring MVC ……………………………………………………………… 1 1.1.2 SpringBoot ……………………………………………………………… 3 1.1.3 SpringCloud……………………………………………………………… 3 1.2 数据工程原理与应用概述 ………………………………………………………… 6 1.2.1 相关概念…………………………………………………………………… 6 1.2.2 数据工程发展历程 ……………………………………………………… 13 1.2.3 数据工程与信息工程领域的关系 ……………………………………… 14 1.3 基于微服务的数据工程应用开发………………………………………………… 17 1.3.1 数据工程应用微服务架构 ……………………………………………… 17 1.3.2 基于微服务的数据工程应用开发原则 ………………………………… 19 1.3.3 基于微服务的数据工程应用开发流程 ………………………………… 22 第2章 基于微服务的数据工程应用开发环境构建 ……………………………………… 25 2.1 安装与配置Java环境 …………………………………………………………… 25 2.1.1 Linux下JDK1.8环境的安装与配置 ………………………………… 25 2.1.2 Windows下JDK1.8环境的安装与配置……………………………… 27 2.2 安装与配置 Eclipse ……………………………………………………………… 28 2.2.1 Linux下 Eclipse的安装与配置 ………………………………………… 28 2.2.2 Windows下 Eclipse的安装与配置 …………………………………… 30 2.3 安装与配置 Maven ……………………………………………………………… 33 2.3.1 Linux下 Maven的安装与配置 ………………………………………… 33 2.3.2 Windows下 Maven的安装与配置 …………………………………… 34 2.4 安装与配置 SpringBoot ………………………………………………………… 38 2.5 安装与配置 SpringCloud ……………………………………………………… 41 2.5.1 EurekaServer配置 ……………………………………………………… 42 2.5.2 EurekaClient配置 ……………………………………………………… 43 2.5.3 Feign配置 ……………………………………………………………… 43 第3章 基于微服务的数据工程应用服务运行与跟踪 …………………………………… 45 3.1 微服务启动与运行………………………………………………………………… 45 3.1.1 服务拆分 ………………………………………………………………… 45 3.1.2 服务注册与发现 ………………………………………………………… 48 3.1.3 服务消费 ………………………………………………………………… 52 3.2 微服务负载均衡…………………………………………………………………… 54 3.2.1 Ribbon负载均衡 ………………………………………………………… 54 3.2.2 Feign应用负载均衡 …………………………………………………… 55 3.3 微服务保护………………………………………………………………………… 56 3.3.1 服务熔断 ………………………………………………………………… 56 3.3.2 服务自动扩展 …………………………………………………………… 59 3.4 微服务跟踪………………………………………………………………………… 62 3.4.1 Zipkin微服务跟踪 ……………………………………………………… 62 3.4.2 Sleuth微服务跟踪 ……………………………………………………… 66 3.4.3 ELK 微服务跟踪 ………………………………………………………… 70 第4章 基于微服务的数据工程应用服务通信与配置 …………………………………… 75 4.1 微服务消息驱动…………………………………………………………………… 75 4.1.1 RabbitMQ 框架 ………………………………………………………… 75 4.1.2 ApacheKafka框架 ……………………………………………………… 82 4.2 微服务集群网关…………………………………………………………………… 86 4.2.1 Nginx集群网关 ………………………………………………………… 87 4.2.2 Zuul集群网关 …………………………………………………………… 91 4.3 微服务集群配置…………………………………………………………………… 94 4.3.1 SpringCloudConfig集群配置中心 …………………………………… 95 4.3.2 ZooKeeper集群管理 …………………………………………………… 95 第5章 基于微服务的国产自主可控数据库实践………………………………………… 100 5.1 微服务通用数据库配置与部署 ………………………………………………… 100 5.1.1 离线安装 MySQL ……………………………………………………… 100 5.1.2 集群配置整合应用……………………………………………………… 102 5.1.3 配置 MySQL …………………………………………………………… 103 5.2 达梦数据库的配置与部署 ……………………………………………………… 105 5.2.1 安装简介………………………………………………………………… 105 5.2.2 硬件环境需求…………………………………………………………… 105 5.2.3 软件环境需求…………………………………………………………… 105 5.2.4 达梦数据库的安装……………………………………………………… 106 5.2.5 达梦数据库的卸载……………………………………………………… 117 5.2.6 许可证安装……………………………………………………………… 120 5.3 神通数据库配置与部署 ………………………………………………………… 120 5.3.1 启动安装程序…………………………………………………………… 120 5.3.2 安装过程………………………………………………………………… 120 5.3.3 数据库配置……………………………………………………………… 126 5.3.4 停止数据库服务………………………………………………………… 131 5.4 人大金仓数据库的配置与部署 ………………………………………………… 131 5.4.1 软硬件环境需求………………………………………………………… 131 5.4.2 金仓数据库的安装……………………………………………………… 132 5.4.3 数据库初始化…………………………………………………………… 139 5.5 GBase8s数据库配置与部署 …………………………………………………… 141 5.5.1 GBase8s数据库软硬件环境需求 ……………………………………… 141 5.5.2 环境准备………………………………………………………………… 142 5.5.3 GBase8s数据库安装 …………………………………………………… 142 5.5.4 GBase8s数据库的卸载 ………………………………………………… 146 5.5.5 启动/停止数据库服务 ………………………………………………… 147 第6章 基于微服务的数据汇聚系统开发实践…………………………………………… 150 6.1 数据汇聚系统功能概述 ………………………………………………………… 150 6.1.1 权限与安全……………………………………………………………… 150 6.1.2 数据融合………………………………………………………………… 151 6.2 用户权限与安全模块的设计与开发 …………………………………………… 151 6.2.1 前端页面设计…………………………………………………………… 151 6.2.2 数据库结构设计………………………………………………………… 154 6.2.3 权限与安全模块编码开发……………………………………………… 155 6.3 数据融合模块的设计与开发 …………………………………………………… 161 6.3.1 前端页面设计…………………………………………………………… 162 6.3.2 数据库结构设计………………………………………………………… 163 6.3.3 模块编码开发…………………………………………………………… 165 第7章 数据获取与分析应用微服务开发与实践………………………………………… 172 7.1 相关环境与配置 ………………………………………………………………… 172 7.1.1 Python3环境安装与配置 ……………………………………………… 172 7.1.2 Redis环境安装与配置 ………………………………………………… 173 7.2 数据分析应用服务架构设计 …………………………………………………… 175 7.3 数据库设计与实践 ……………………………………………………………… 176 7.4 数据获取微服务的开发与实践 ………………………………………………… 176 7.5 数据分析微服务开发与实践 …………………………………………………… 178 7.5.1 定义神经网络变量……………………………………………………… 179 7.5.2 LSTM 函数定义 ……………………………………………………… 179 7.5.3 训练模型函数…………………………………………………………… 180 7.5.4 预测模型………………………………………………………………… 180 7.5.5 结果对比………………………………………………………………… 182 参考文献……………………………………………………………………………………… 185