云计算与大数据(第二版)

**篇 基 础 篇 第1章 绪论 2 1.1 云计算的来历与发展 2 1.1.1 云计算的萌发 2 1.1.2 云计算的诞生 2 1.1.3 云计算的发展 2 1.2 云计算的概念及特征 5 1.2.1 云计算的概念 5 1.2.2 云计算的特征 6 1.3 云计算的应用及云计算与其他计算 服务模式的区别 8 1.3.1 云计算的应用范围 8 1.3.2 云计算与其他计算 服务模式的区别 8 1.4 大数据的提出及发展 10 1.4.1 大数据的提出 10 1.4.2 大数据的发展 10 1.5 大数据的概念、特征及挑战 12 1.5.1 大数据的概念 12 1.5.2 大数据的特征 12 1.6 大数据的作用与挑战 14 1.6.1 大数据的作用 14 1.6.2 大数据的挑战 16 1.7 大数据和云计算的关系 17 第2章 大数据环境下的云计算架构 18 2.1 大数据环境的技术特征 18 2.2 云计算的架构及标准化 20 2.2.1 云计算的架构 20 2.2.2 云计算标准化情况 22 2.3 国内外的云计算架构 27 2.3.1 国外的云计算架构 27 2.3.2 国内的云计算架构 27 2.4 云计算应用领域 28 第二篇 技术与应用篇 第3章 大数据关键技术与应用 32 3.1 大数据技术总体框架 32 3.1.1 总体目标 32 3.1.2 架构设计原则 33 3.1.3 总体架构的特点 33 3.2 大数据采集与预处理技术 34 3.2.1 大数据采集 34 3.2.2 数据预处理 40 3.3 大数据存储技术 48 3.3.1 大数据时代对数据存储的挑战 48 3.3.2 分布式文件系统 49 3.3.3 NoSQL数据库 50 3.3.4 NoSQL数据库的分类 51 3.3.5 NoSQL 数据库面临的挑战 53 3.4 大数据处理技术 54 3.4.1 大数据处理模式 54 3.4.2 大数据处理Storm平台 54 3.5 大数据分析技术 57 3.5.1 大数据分析特点及技术路线 57 3.5.2 大数据分析过程 59 3.5.3 大数据分析方法 60 3.6 大数据可视化技术 63 3.6.1 大数据可视化技术概述 64 3.6.2 大数据可视化技术基础 67 3.6.3 大数据可视化应用 72 3.6.4 大数据可视化软件和工具 75 第4章 云存储 77 4.1 认识云存储 77 4.1.1 云存储的概念 77 4.1.2 云存储的实现前提 78 4.2 云存储技术 79 4.2.1 云存储结构 79 4.2.2 云存储技术的两种架构 81 4.2.3 云存储的种类 82 4.3 云存储的应用及面临的问题 83 4.3.1 云存储的应用领域 83 4.3.2 云存储对大数据存储的支持 83 4.3.3 云存储应用面临的问题 85 第5章 云服务与云安全 86 5.1 认识云服务 86 5.1.1 云服务的概念 86 5.1.2 云服务的类型 86 5.2 云服务的发展历程 88 5.2.1 国际云服务发展 88 5.2.2 我国云服务发展 89 5.3 云部署及云计算对大数据的支持 89 5.3.1 云计算云部署方式 89 5.3.2 云计算对大数据的支持 90 5.4 云安全 91 5.4.1 大数据环境下的安全需求 91 5.4.2 大数据环境下的安全问题 93 5.4.3 云计算安全问题 95 5.4.4 云计算安全的技术手段 96 5.4.5 云计算安全的非技术手段 101 第6章 云计算应用 102 6.1 云计算与物联网 102 6.1.1 物联网概述 102 6.1.2 物联网中的云计算 105 6.1.3 典型应用 108 6.2 云计算与移动互联网 113 6.2.1 移动互联网概述 113 6.2.2 云计算助力移动互联网 114 6.3 云计算企业实践案例 117 6.3.1 Google云计算方案 117 6.3.2 Amazon弹性计算云方案 118 6.3.3 IBM云计算BlueCloud方案 121 6.3.4 Oracle云计算方案 123 6.3.5 微软云计算Windows Azure 方案 126 6.3.6 Platform云计算方案 129 6.3.7 阿里云计算方案 130 第三篇 实 践 篇 第7章 虚拟化技术 136 7.1 虚拟化技术简介 136 7.2 虚拟化软件技术架构 138 7.2.1 指令体系结构的虚拟化 139 7.2.2 硬件抽象层的虚拟化 139 7.3 虚拟机软件介绍 140 7.3.1 基于VirtualBox的虚拟化技术 140 7.3.2 基于VMware的虚拟化技术 142 7.3.3 基于KVM的硬件虚拟化技术 143 7.3.4 基于Xen的虚拟化系统 144 实验1 VMware虚拟机的安装与配置 145 第8章 Hadoop和Spark平台 156 8.1 认识Hadoop 156 8.1.1 Hadoop的起源及特点 156 8.1.2 Hadoop版本变化 157 8.2 Hadoop的组成和部署 158 8.2.1 Hadoop的组成 158 8.2.2 Hadoop的部署 160 8.3 认识Spark 162 8.3.1 Spark概述 162 8.3.2 Spark的框架 163 实验2 CentOS环境下Hadoop的 安装与配置 164 实验3 Spark平台的安装与配置 177 第9章 分布式文件系统及 并行计算框架 181 9.1 分布式文件系统HDFS 181 9.1.1 HDFS的结构及文件访问 181 9.1.2 HDFS的数据管理 183 9.1.3 HDFS操作命令与编程接口 186 9.2 并行计算框架MapReduce 193 9.2.1 MapReduce原理 194 9.2.2 MapReduce处理过程 194 9.2.3 WordCount实例解析 195 实验4 HDFS的文件操作命令及 API编程 196 实验5 Eclipse下的MapReduce编程 201 第10章 分布式数据存储与 大数据挖掘 208 10.1 分布式数据库HBase 208 10.1.1 HBase简介 208 10.1.2 Hbase的体系结构 209 10.1.3 Hbase的数据模型 211 10.1.4 HBase的基本操作 212 10.2 分布式数据仓库Hive 215 10.2.1 Hive简介 215 10.2.2 Hive的体系结构 216 10.2.3 Hive的数据模型 217 10.2.4 Hive的基本操作 220 10.3 大数据挖掘计算平台Mahout 221 10.3.1 Mahout简介 221 10.3.2 Mahout中的协同过滤 225 10.3.3 Mahout中的分类和聚类 229 实验6 基于Hive的数据统计 235 实验7 基于Mahout的聚类实验 241 附录 244 附录1 全球大数据公司盘点 244 附录2 Python语言简介 250 参考文献 259