包邮云计算与大数据技术应用 第2版

第1章 云计算概述1 1.1 什么是云计算1 1.1.1 云计算的定义1 1.1.2 云计算的概念模型2 1.1.3 云计算的特点3 1.2 云计算技术发展背景3 1.3 典型的云计算基础架构8 1.4 云计算的主要服务模式9 1.4.1 基础设施即服务（IaaS）9 1.4.2 平台即服务（PaaS）11 1.4.3 软件即服务（SaaS）11 1.4.4 三种服务模式之间的关系12 1.5 云计算的主要部署模式13 1.6 云计算是商业模式的创新14 1.7 典型的云计算产品15 1.7.1 Amazon的AWS15 1.7.2 Windows Azure Platform16 1.7.3 IBM蓝云解决方案17 1.7.4 阿里云18 1.8 云计算技术的新发展20 1.8.1 软件定义存储（SDS）20 1.8.2 超融合基础架构（HCI）20 1.8.3 软件定义数据中心（SDDC）和 DevOps21 1.8.4 混合云服务兴起22 1.8.5 边缘计算22 1.8.6 分布式云24 1.8.7 信创云25 1.8.8 安全性成为关键26 1.9 我国的云计算产业现状27 1.9.1 政府推动云计算产业发展27 1.9.2 我国云计算产业高速发展27 习题28 第2章 大数据技术概述29 2.1 大数据技术的产生29 2.1.1 大数据的基本概念29 2.1.2 大数据产生的原因29 2.1.3 大数据概念的提出32 2.1.4 第四范式—大数据对科学研究 产生的影响33 2.1.5 云计算与大数据的关系33 2.2 大数据的4V特征34 2.3 大数据的主要应用及行业推动 力量35 2.3.1 大数据的主要应用35 2.3.2 企业推动大数据行业发展35 2.3.3 我国政府推动大数据行业发展36 2.4 大数据的关键技术37 2.5 典型的大数据计算架构38 习题38 第3章 虚拟化技术39 3.1 虚拟化技术简介39 3.1.1 虚拟化技术的概念39 3.1.2 虚拟化技术的分类41 3.1.3 虚拟化技术的优势和劣势45 3.1.4 虚拟化技术与云计算46 3.2 虚拟化技术原理46 3.2.1 虚拟机技术原理47 3.2.2 CPU虚拟化原理47 3.2.3 内存虚拟化原理49 3.2.4 网络虚拟化原理50 3.2.5 CGroups相关原理50 3.3 虚拟化技术解决方案51 3.3.1 OpenStack51 3.3.2 KVM52 3.3.3 Hyper-V53 3.3.4 VMware53 3.3.5 Xen54 3.3.6 Docker55 3.4 常见虚拟化技术的应用实践56 3.4.1 虚拟化环境的搭建56 3.4.2 克隆虚拟机58 3.4.3 虚拟机做快照60 习题63 第4章 数据中心与云存储技术64 4.1 数据中心的概念64 4.1.1 数据中心的定义、作用及分类64 4.1.2 云计算、大数据时代的数据中心 发展趋势66 4.2 云存储概述66 4.2.1 云存储的概念66 4.2.2 云存储系统的结构67 4.2.3 云存储的实现基础69 4.2.4 云存储的特性71 4.3 云存储与云计算72 4.4 云存储发展的关注点72 习题73 第5章 并行计算与集群技术74 5.1 并行计算概述74 5.1.1 并行计算的概念74 5.1.2 并行计算的层次75 5.1.3 并行计算机的发展76 5.1.4 并行计算与分布式计算78 5.1.5 并行计算与云计算79 5.2 云计算基础架构—集群技术80 5.2.1 集群的基本概念80 5.2.2 集群系统的分类81 5.2.3 集群文件系统81 5.3 并行计算的分类82 5.3.1 按Flynn分类83 5.3.2 按应用的计算特征分类84 5.3.3 按结构模型分类84 5.4 并行计算相关技术86 5.4.1 并行计算的关键技术86 5.4.2 并行计算的性能估算87 5.5 并行程序设计—MPI编程88 5.5.1 MPI简介88 5.5.2 一个简单的MPI程序实现90 5.5.3 MPI消息91 5.5.4 MPI的消息传递过程92 5.5.5 MPI常用基本函数92 5.5.6 有消息传递的并行程序93 习题95 第6章 OpenStack—功能强大的 IaaS平台96 6.1 OpenStack架构96 6.2 计算服务模块Nova97 6.3 网络服务模块Neutron100 6.3.1 Neutron的主要组件100 6.3.2 Neutron网络102 6.4 块存储服务模块Cinder103 6.5 对象存储服务模块Swift104 6.6 身份认证模块Keystone108 6.7 镜像模块Glance112 6.8 仪表盘服务模块Horizon114 6.9 监控计量服务模块Ceilometer115 习题116 第7章 Docker—用途广泛的 容器技术117 7.1 Docker概述117 7.1.1 Docker安装117 7.1.2 运行**个容器119 7.1.3 Docker基本命令120 7.2 Docker镜像与仓库121 7.2.1 什么是Docker镜像121 7.2.2 发布和获取Docker镜像122 7.2.3 镜像操作123 7.2.4 构建私有仓库124 7.3 Dockerfile定制镜像125 7.3.1 Dockerfile介绍125 7.3.2 Dockerfile命令详解126 7.3.3 构建定制镜像126 7.4 Kubernetes容器编排技术127 7.4.1 Kubernetes简介127 7.4.2 部署Kubernetes128 习题130 第8章 Hadoop—分布式大数据 开发平台131 8.1 Hadoop简介131 8.1.1 Hadoop与分布式开发技术131 8.1.2 Hadoop的体系架构132 8.1.3 Hadoop集群的架构134 8.2 分布式文件系统HDFS136 8.2.1 分布式文件系统概述136 8.2.2 HDFS的架构及读写流程138 8.3 分布式计算框架MapReduce141 8.3.1 MapReduce编程模型141 8.3.2 MapReduce数据流143 8.3.3 MapReduce任务运行流程144 8.4 列式数据库HBase147 8.4.1 HBase列式数据库介绍147 8.4.2 理解HBase的表结构148 8.5 搭建Hadoop开发环境151 8.5.1 相关准备工作151 8.5.2 JDK的安装配置152 8.5.3 安装Hadoop并配置Hadoop 环境变量153 8.5.4 修改Hadoop配置文件153 8.5.5 将配置好的Hadoop文件复制到 其他节点并格式化154 8.5.6 启动、停止Hadoop155 8.5.7 运行测试程序WordCount156 习题157 第9章 Storm—基于拓扑的流数据 实时计算框架158 9.1 Storm简介158 9.2 Storm原理及其体系架构161 9.2.1 Storm编程模型原理161 9.2.2 Storm体系架构163 9.3 Storm-Yarn简介164 9.3.1 Storm-Yarn的产生背景164 9.3.2 Storm-Yarn的体系架构165 9.4 Flink与Storm166 9.5 搭建Storm开发环境167 9.5.1 Storm安装说明167 9.5.2 Storm安装步骤168 9.5.3 Storm设置170 9.5.4 Storm的启动171 9.5.5 Storm的常用操作命令172 9.6 Storm应用实践173 9.6.1 使用Maven管理storm-starter173 9.6.2 WordCountTopology源代码分析176 习题179 第10章 Spark—基于内存的大数据 计算框架180 10.1 Spark概述180 10.2 Spark的运行机制181 10.3 Spark的运行模式183 10.3.1 Standalone模式184 10.3.2 Spark Yarn模式185 10.3.3 Spark Mesos模式188 10.4 Spark RDD188 10.4.1 RDD的特点189 10.4.2 RDD的创建190 10.4.3 RDD基本操作191 10.4.4 RDD持久化（缓存）193 10.4.5 Spark共享变量194 10.5 Spark生态系统196 10.5.1 Spark SQL196 10.5.2 Spark Streaming197 10.5.3 GraphX201 10.5.4 MLlib203 习题204 第11章 云计算仿真205 11.1 云计算仿真系统—CloudSim205 11.1.1 CloudSim基础205 11.1.2 CloudSim的体系结构206 11.2 CloudSim的模型使用场景208 11.3 CloudSim应用实践209 11.3.1 准备环境209 11.3.2 数据中心仿真实例210 11.3.3 网络仿真实例215 习题218 参考文献219