大数据技术基础教程

第1章 绪论 1 1.1 大数据的发展历程 1 1.2 大数据的概念 4 1.3 大数据的特征 5 1.4 大数据的应用 6 1.5 大数据分析方法 10 1.6 大数据面临的挑战 11 习题 12 第2章 分布式计算编程基础 13 2.1 分布式系统 13 2.2 分布式计算架构 15 2.3 分布式文件系统 16 2.4 CAP 定理 18 习题 21 第3章 大数据处理框架 Hadoop 22 3.1 Hadoop简介 22 3.2 Hadoop 生态系统 24 3.3 Hadoop 的安装与使用 31 习题 40 第4章 Hadoop 分布式文件系统 42 4.1 HDFS 简介 42 4.2 HDFS的设计原则 43 4.3 HDFS 的核心概念 44 4.4 HDFS 的体系结构 45 4.5 HDFS 的存储原理 47 4.6 HDFS 的数据读写流程 49 4.7 HDFS 的编程实现 53 习题 57 第5章 分布式数据库 HBase 59 5.1 HBase 简介 59 5.2 HBase 数据模型 60 5.3 HBase 的系统架构 64 5.4 HBase 表结构设计 67 5.5 HBase 的数据读写流程 69 5.6 HBase 编程实践 72 习题 76 第6章 分布式计算框架 MapReduce 77 6.1 MapReduce 简介 77 6.2 MapReduce 的计算模型 77 6.3 MapReduce 的工作原理 78 6.4 MapReduce 编程实践 81 习题 89 第7章 数据仓库 Hive 91 7.1 Hive 简介 91 7.2 Hive 的架构 93 7.3 Hive 的数据类型及应用 95 7.4 Hive 的数据模型 97 7.5 DDL 的应用 98 7.6 DML 的应用 101 7.7 JDBC 访问 103 习题 104 第8章 Spark Streaming 105 8.1 流计算概述 105 8.2 流计算的概念 106 8.3 Spark 概述 107 8.4 Spark Standalone 模式的架构 108 8.5 Spark Streaming简介 110 8.6 编写 Spark Streaming 程序的基本步骤 111 8.7 创建 StreamingContext