云计算与大数据技术(微课版)

第 1章 云计算和大数据基础 1
【本章知识结构图】 1
【本章学习目标】 1
1.1 云计算概述 1
1.1.1 云计算发展历程 2
1.1.2 云计算基本概念 3
1.1.3 云计算基本特征 4
1.1.4 云计算关键技术 4
1.2 大数据技术概述 8
1.2.1 大数据发展历程 8
1.2.2 大数据基本概念 9
1.2.3 大数据基本特征 10
1.2.4 大数据关键技术 11
1.3 云计算、大数据与其他技术的关系 13
习题 14

第 2章 云计算架构 16
【本章知识结构图】 16
【本章学习目标】 17
2.1 云计算架构概述 17
2.2 云计算架构设计与部署 18
2.2.1 通用架构设计与部署 18
2.2.2 高可用性架构设计与部署 19
2.2.3 高性能架构设计与部署 21
2.2.4 容灾架构设计与部署 22
2.2.5 云安全架构设计与部署 23
2.2.6 云桌面架构设计与部署 26
2.3 云计算架构优化 27
2.3.1 云计算架构优化概念 27
2.3.2 云计算架构优化案例 27
2.4 几种典型的云计算架构 29
2.4.1 谷歌云计算架构 30
2.4.2 阿里云计算架构 30
2.4.3 腾讯云计算架构 32
2.4.4 华为云计算架构 33
2.5 实践：腾讯云部署Web应用 35
2.5.1 概述 35
2.5.2 基础环境 36
2.5.3 实践条件 36
2.5.4 实践流程 36
习题 39

第3章 虚拟化技术 41
【本章知识结构图】 41
【本章学习目标】 41
3.1 虚拟化概述 42
3.1.1 虚拟化发展历程 42
3.1.2 虚拟化的几个重要概念 42
3.1.3 虚拟化的主要特性 44
3.1.4 虚拟化常见的架构类型 44
3.2 虚拟化的关键技术 47
3.2.1 CPU虚拟化 47
3.2.2 存储虚拟化 49
3.2.3 网络虚拟化 51
3.2.4 服务器虚拟化 54
3.2.5 虚拟桌面 54
3.2.6 应用程序虚拟化 55
3.3 几种典型的虚拟化软件 56
3.3.1 KVM 57
3.3.2 Xen 57
3.3.3 VMware ESXi 58
3.3.4 Microsoft Hyper-V 58
3.4 实践：轻量级虚拟化——Docker容器实战 58
3.4.1 Docker简述 58
3.4.2 Docker案例 59
习题 61

第4章 云计算技术 64
【本章知识结构图】 64
【本章学习目标】 65
4.1 云计算技术概述 65
4.2 分布式存储技术 66
4.2.1 GFS 66
4.2.2 Swift 68
4.2.3 Ceph 71
4.2.4 Lustre 75
4.2.5 主流分布式存储技术的比较 76
4.3 云计算网络 76
4.3.1 数据中心网络 77
4.3.2 软件定义网络 77
4.3.3 租户网络管理 81
4.4 云计算安全 82
4.4.1 云安全风险 82
4.4.2 云计算安全技术 82
4.5 云操作系统 85
4.5.1 云操作系统基本概念 85
4.5.2 云操作系统管理平台功能 85
4.5.3 云操作系统资源调度 86
4.5.4 云操作系统实例 87
4.6 云开发 87
4.6.1 云开发与传统开发 87
4.6.2 一站式后端Serverless服务 88
4.6.3 应用场景 88
4.7 云计算运维 89
4.8 实践 89
4.8.1 使用OpenStack搭建云计算管理平台 89
4.8.2 云开发实践 91
习题 91

第5章 大数据技术架构 93
【本章知识结构图】 93
【本章学习目标】 94
5.1 大数据技术架构概述 94
5.1.1 大数据技术参考模型 94
5.1.2 大数据技术处理平台 95
5.2 大数据技术架构设计 97
5.2.1 Lambda架构 97
5.2.2 Kappa架构 98
5.2.3 IOTA架构 99
5.3 Hadoop生态架构 101
5.3.1 Hadoop基本概念 101
5.3.2 Hadoop生态系统 101
5.3.3 Hadoop生态架构特点 103
5.3.4 Hadoop生态架构缺点 103
5.4 Spark生态架构 103
5.4.1 Spark基本概念 103
5.4.2 Spark生态系统 104
5.4.3 Spark基本流程 105
5.4.4 Spark适用场景 106
5.4.5 Spark与Hadoop的区别 106
5.5 Flink生态架构 106
5.5.1 Flink基本概念 106
5.5.2 Flink架构体系 107
5.5.3 Flink架构特性 108
5.5.4 流处理应用的基本组件 108
5.5.5 Flink API 109
5.5.6 Flink扩展库 110
5.5.7 Flink基础编程模型 111
5.5.8 Flink作业执行过程 112
5.5.9 Flink应用场景 112
5.5.10 Flink和Spark Streaming的区别 113
5.6 实践：Hadoop安装与配置 114
5.6.1 Hadoop基础环境配置 114
5.6.2 Hadoop配置 114
5.6.3 格式化文件系统 116
5.6.4 启动和验证Hadoop 116
5.6.5 Hadoop Web管理工具 116
习题 117

第6章 大数据技术 119
【本章知识结构图】 119
【本章学习目标】 120
6.1 大数据处理过程 120
6.2 大数据采集与预处理 120
6.2.1 大数据采集概述 121
6.2.2 数据采集 121
6.2.3 数据预处理 122
6.3 大数据存储技术 123
6.3.1 HDFS 123
6.3.2 NoSQL数据库 125
6.4 大数据计算技术 128
6.4.1 批处理计算 128
6.4.2 流计算 130
6.4.3 查询分析计算 131
6.4.4 图计算 133
6.5 数据挖掘与可视化分析 133
6.5.1 数据挖掘 133
6.5.2 可视化分析 134
6.6 实践：某招聘网站信息抓取可视化分析 135
6.6.1 爬虫概述 135
6.6.2 基本数据概述 136
6.6.3 模块及库文件 137
6.6.4 数据爬取 137
6.6.5 利用pyecharts进行数据可视化 142
习题 146

第7章 云计算与大数据应用 148
【本章知识结构图】 148
【本章学习目标】 148
7.1 云计算与大数据在数字政府中的应用 149
7.1.1 城市智能运行中心 149
7.1.2 社会治理 150
7.1.3 互联网 监管 152
7.2 云计算与大数据在工业领域中的应用 153
7.2.1 工业互联网 153
7.2.2 生产过程优化 154
7.2.3 工业数字孪生 155
7.3 云计算与大数据在医疗健康中的应用 157
7.3.1 数字化医院 157
7.3.2 医药云 158
7.3.3 基因测序 160
7.4 云计算与大数据在教育行业中的应用 161
7.4.1 智慧校园 161
7.4.2 科研云 163
7.4.3 智慧教学 164
7.5 云计算与大数据在金融领域中的应用 165
7.5.1 互联网银行 166
7.5.2 证券智能营销 167
7.5.3 保险 168
习题 169

第8章 综合实践：搭建云平台并进行大数据处理分析 171
【本章知识结构图】 171
【本章学习目标】 172
8.1 案例介绍 172
8.2 搭建云平台 172
8.2.1 OpenStack概述 172
8.2.2 OpenStack基础环境 174
8.2.3 安装和部署Keystone身份服务 178
8.2.4 安装和部署Glance镜像服务 180
8.2.5 安装和部署Placement放置服务 182
8.2.6 安装和部署Nova计算服务 183
8.2.7 安装和部署Neutron网络服务 186
8.2.8 安装和部署Horizon仪表板 193
8.2.9 创建和操作虚拟机实例 195
8.3 搭建大数据平台 196
8.3.1 数据仓库 196
8.3.2 安装Hive 197
8.3.3 安装Spark 197
8.3.4 安装Zeppelin 198
8.3.5 安装Sqoop 198
8.3.6 安装Flume 199
8.4 大数据采集与预处理 199
8.4.1 数据采集 199
8.4.2 数据预处理 200
8.5 大数据实时分析 200
8.5.1 订单指标分析——订单总数量 201
8.5.2 订单指标分析——预约订单 非预约订单占比 201
8.5.3 订单指标分析——不同时段订单占比 202
8.5.4 订单指标分析——不同地域订单占比 202
8.5.5 订单指标分析——不同年龄段 时段订单占比 203
8.6 用户行为可视化 204
习题 206

参考文献 208