云计算与大数据技术(第2版·微课视频·题库版)

**部分云计算理论与技术 第1章云计算概论 1.1什么是云计算 1.2云计算的产生背景 1.3云计算的发展历史 1.4如何学好云计算 1.5小结 习题 第2章云计算基础 2.1分布式计算 2.2云计算的基本概念 2.3分布式计算和云计算的区别与联系 2.4云计算的关键技术 2.4.1分布式海量数据存储 2.4.2虚拟化技术 2.4.3云管理平台技术 2.4.4并行编程技术 2.4.5数据管理技术 2.5云交付模型 2.5.1SaaS 2.5.2PaaS 2.5.3IaaS 2.5.4基本云交付模型的比较 2.6云部署模式 2.6.1公有云 2.6.2私有云 2.6.3混合云 2.7云计算的优势与挑战 2.8典型的云应用 2.8.1云存储 2.8.2云服务 2.8.3云物联 2.9云计算与大数据 2.10小结 习题 第3章云计算机制 3.1云基础设施机制 3.1.1虚拟网络边界 3.1.2虚拟服务器 3.1.3云存储设备 3.1.4就绪环境 3.2云管理机制 3.2.1远程管理系统 3.2.2资源池化管理 3.2.3服务等级协议管理系统 3.2.4计费管理系统 3.2.5资源备份 3.2.6云监控 3.2.7自动化运维 3.2.8服务模板管理 3.2.9云CMDB及流程管理 3.2.10服务目录管理 3.2.11租户及用户管理 3.2.12容量规划及管理 3.3特殊云机制 3.3.1自动伸缩监听器 3.3.2负载均衡器 3.3.3故障转移系统 3.3.4资源集群 3.3.5多设备代理 3.3.6状态管理数据库 3.4小结 习题 第4章虚拟化 4.1虚拟化简介 4.1.1什么是虚拟化 4.1.2虚拟化的发展历史 4.1.3虚拟化带来的好处 4.2虚拟化的分类 4.2.1服务器虚拟化 4.2.2网络虚拟化 4.2.3存储虚拟化 4.2.4应用虚拟化 4.2.5技术比较 4.3系统虚拟化 4.4虚拟化与云计算 4.5开源技术 4.5.1Xen 4.5.2KVM 4.5.3OpenVZ 4.6虚拟化未来的发展趋势 4.7小结 习题 第5章云计算的应用 5.1概述 5.2亚马逊公司的弹性计算云 5.2.1开放的服务 5.2.2灵活的工作模式 5.2.3带来的好处 5.3Microsoft Azure 5.3.1简介 5.3.2Microsoft Azure的架构 5.3.3Microsoft Azure服务平台 5.3.4开发步骤 5.4谷歌公司的云计算平台与应用 5.4.1MapReduce分布式编程环境 5.4.2分布式大规模数据库管理系统BigTable 5.4.3谷歌的云应用 5.5阿里云 5.5.1简介 5.5.2阿里云的主要产品 5.6IBM公司的蓝云云计算平台 5.6.1蓝云云计算平台中的虚拟化 5.6.2蓝云云计算平台中的存储结构 5.7清华大学的透明计算平台 5.8小结 习题 第二部分大数据理论与技术 第6章大数据概念和发展背景 6.1什么是大数据 6.2大数据的特点 6.3大数据的发展 6.4大数据的应用 6.5小结 习题 第7章大数据系统架构概述 7.1总体架构概述 7.1.1总体架构设计原则 7.1.2总体架构参考模型 7.2运行架构概述 7.2.1物理架构 7.2.2集成架构 7.2.3安全架构 7.3主流大数据系统厂商 7.3.1Cloudera 7.3.2Hortonworks 7.3.3亚马逊 7.3.4谷歌 7.3.5微软 7.3.6阿里云数加平台 7.4小结 习题 第8章分布式通信与协同 8.1数据编码传输 8.1.1数据编码概述 8.1.2LZSS算法 8.1.3Snappy压缩库 8.2分布式通信系统 8.2.1远程过程调用 8.2.2消息队列 8.2.3应用层多播通信 8.2.4Hadoop IPC应用 8.3分布式协同系统 8.3.1Chubby锁服务 8.3.2ZooKeeper 8.3.3ZooKeeper在HDFS高可用中使用 8.4小结 习题 第9章大数据存储 9.1大数据存储技术的发展 9.2海量数据存储的关键技术 9.2.1数据分片与路由 9.2.2数据复制与一致性 9.3重要数据结构和算法 9.3.1Bloom Filter 9.3.2LSM树 9.3.3Merkle哈希树 9.3.4Cuckoo哈希 9.4分布式文件系统 9.4.1文件存储格式 9.4.2GFS 9.4.3HDFS 9.5分布式数据库NoSQL 9.5.1NoSQL数据库概述 9.5.2KV数据库 9.5.3列式数据库 9.5.4图数据库 9.5.5文档数据库 9.6HBase数据库搭建与使用 9.6.1HBase伪分布式运行 9.6.2HBase分布式运行 9.7大数据存储技术的趋势 9.8小结 习题 第10章分布式处理 10.1CPU多核和POSIX Thread 10.2MPI并行计算框架 10.3Hadoop MapReduce 10.4Spark 10.5数据处理技术的发展 10.6小结 习题 第11章Hadoop MapReduce解析 11.1Hadoop MapReduce架构 11.2Hadoop MapReduce与高性能计算、网格计算的区别 11.3MapReduce工作机制 11.3.1Map 11.3.2Reduce 11.3.3Combine 11.3.4Shuffle 11.3.5Speculative Task 11.3.6任务容错 11.4应用案例 11.4.1WordCount 11.4.2WordMean 11.4.3Grep 11.5MapReduce的缺陷与不足 11.6小结 习题 第12章Spark解析 12.1Spark RDD 12.2Spark与MapReduce对比 12.3Spark工作机制 12.3.1DAG工作图 12.3.2Partition 12.3.3Lineage容错方法 12.3.4内存管理 12.3.5数据持久化 12.4数据读取 12.4.1HDFS 12.4.2Amazon S3 12.4.3HBase 12.5应用案例 12.5.1日志挖掘 12.5.2判别西瓜好坏 12.6Spark的发展趋势 12.7小结 习题 第13章流计算 13.1流计算概述 13.2流计算与批处理系统对比 13.3Storm流计算系统 13.4Samza流计算系统 13.5集群日志文件实时分析 13.6流计算的发展趋势 13.7小结 习题 第14章集群资源管理与调度 14.1集群资源统一管理系统 14.1.1集群资源管理概述 14.1.2Apache YARN 14.1.3Apache Mesos 14.1.4Google Omega 14.2资源管理模型 14.2.1基于slot的资源表示模型 14.2.2基于*大*小公平原则的资源分配模型 14.3资源调度策略 14.3.1调度策略概述 14.3.2Capacity Scheduler调度 14.3.3Fair Scheduler调度 14.4YARN上运行计算框架 14.4.1MapReduce on YARN 14.4.2Spark on YARN 14.4.3YARN程序设计 14.5小结 习题 第15章机器学习 15．1机器学习概述 15．1．1关键术语 15．1．2机器学习的分类 15．1．3机器学习的模型构造过程 15．2监督学习 15．2．1线性回归 15．2．2逻辑斯特回归 15．2．3*小近邻法 15．2．4线性判别分析法 15．2．5朴素贝叶斯分类算法 15．2．6决策树分类算法
15．2．7支持向量机分类算法 15．3非监督学习 15．3．1划分式聚类方法 15．3．2层次化聚类方法 15．3．3基于密度的聚类方法 15．4强化学习 15．4．1强化学习VS监督学习和非监督学习 15．4．2强化学习问题描述 15．4．3强化学习问题分类 15．5神经网络和深度学习 15．5．1感知器模型 15．5．2前馈神经网络 15．5．3卷积神经网络 15．5．4其他类型结构的神经网络 15．6案例： 银行贷款用户筛选 15.7小结 习题 第三部分综 合 实 践 第16章实验： AWS 16.1实验一： 创建一个EC2实例 16.2实验二： 创建一个弹性高可用的博客 16.3实验三： 使用S3来实现静态网站 16.4实验四： AWS关系型数据库入门 16.5实验五： AWS大数据系列平台 16.6实验六： AWS计算存储网络基础入门 16.7实验七： AWS上的Kubernetes创建、管理及DevOps 第17章实验： 阿里云 17.1实验一： 创建阿里云服务器 17.2实验二： 配置SSH远程连接 17.3实验三： 安装Python环境 17.4实验四： 部署并启动Django服务 第18章实验： Docker 18.1Docker的核心概念 18.2实验一： Docker的安装 18.3实验二： 容器操作 18.4实验三： 搭建一个Docker应用栈 18.5实验四： 实现私有云 第19章实验： Hadoop、HDFS、MapReduce、Spark 19.1Hadoop 19.1.1实验一： 构建虚拟机网络 19.1.2实验二： 大数据环境安装 19．2HDFS 19．2．1实验一： 文件创建与读/写 19．2．2实验二： 文件上传 19．2．3实验三： 文件下载 19．2．4实验四： 使用字符流读取数据 19．2．5实验五： 删除文件 19．2．6实验六： 删除文件夹 19．2．7实验七： 自定义数据输入流 19．3MapReduce 19．3．1实验一： 合并去重 19．3．2实验二： PageRank算法 19．4Spark 19．4．1实验一： 安装Spark 19．4．2实验二： 使用Spark Shell编写代码 19．4．3实验三： 使用Java编写Spark应用程序 第20章案例： 基于Docker的云计算服务平台搭建 20．1方案介绍 20．1．1云平台总体架构 20．1．2网络架构 20．1．3集群架构 20．1．4性能监控 20．1．5Docker架构 20．1．6镜像架构 20．2系统分析 20．2．1优点 20．2．2局限性 20．2．3应用场景 20．3门户界面 20．3．1注册 20．3．2登录 20．3．3用户主界面 20．3．4管理员界面 20．4服务器Docker配置 第21章案例： 使用Spark实现数据统计分析及性能优化 21.1系统架构 21.1.1总体方案 21.1.2详细设计 21.1.3优化设计 21.2具体实现 21.2.1数据获取 21.2.2数据可视化 21.3性能优化 21.3.1读取优化 21.3.2查询优化 21.3.3Spark参数级优化 第22章实验： 基于OpenStack和Hadoop的大数据分析 22.1实验一： OpenStack安装准备 22.2实验二： OpenStack在线安装 22.3实验三： 初始化OpenStack中的环境 22.4实验四： 搭建OpenStack中的虚拟机 22.5实验五： 大数据分析案例 参考文献