Hadoop大数据分析

第1部分 Hadoop核心基础 第1章 Hadoop简介 2 1.1 Hadoop产生背景 2 1.2 Hadoop简要历史 3 1.3 Hadoop生态系统组件 3 1.4 Hadoop版本和商用支持 5 1.5 Hadoop的基础环境配置 6 1.6 Hadoop的安装 7 1.7 Hadoop的配置 11 1.8 Hadoop的运行 14 小结 19 习题 19 第2章 HDFS文件系统 20 2.1 HDFS简介 20 2.2 HDFS架构 20 2.3 HDFS文件块 21 2.4 HDFS常用操作 22 小结 24 习题 24 第3章 YARN资源管理 25 3.1 YARN架构 25 3.2 YARN调度策略 26 3.3 YARN常用操作 28 小结 30 习题 31 第4章 MapReduce计算框架 32 4.1 MapReduce原理 32 4.2 MapReduce作业数据流 33 4.3 Hadoop流处理 35 4.4 MapReduce程序实现词频 统计 35 4.5 MapReduce程序的Reducer 数量 40 4.6 MapReduce程序的Combiner 41 4.7 MapReduce程序实现数据 连接 43 小结 49 习题 49 第2部分 Hive数据仓库 第5章 Hive简介 52 5.1 Hive概述 52 5.2 Hive的安装 53 5.3 Hive的运行 56 小结 59 习题 59 第6章 Hive数据定义 60 6.1 数据库操作 60 6.2 数据表基本操作 62 6.3 存储格式和行格式 65 6.4 数据类型 67 6.5 外部表 70 6.6 分区表 72 小结 74 习题 74 第7章 Hive数据操作 75 7.1 数据导入 75 7.2 数据插入 78 7.3 数据导出 82 小结 84 习题 84 第8章 Hive数据查询 85 8.1 基本查询 85 8.2 数据聚合 87 8.3 数据连接 90 小结 92 习题 93 第3部分 Spark数据分析 第9章 Spark简介 96 9.1 Spark概述 96 9.2 Spark原理 97 9.3 Spark的安装 98 9.4 Spark运行方式 99 9.5 Spark运行位置 101 9.6 Spark运行参数 104 小结 104 习题 104 第10章 Spark大数据处理 105 10.1 数据框的创建 105 10.2 数据框的选择 107 10.3 数据框的运算和聚合 110 10.4 数据框的增加、删除 和修改 114 10.5 数据框的连接 116 10.6 数据框的变形 119 小结 120 习题 120 第11章 Spark机器学习流程 121 11.1 数据探索 122 11.2 数据划分 123 11.3 数据填充 124 11.4 类别变量处理 125 11.5 特征选择 128 11.6 建模与调优 131 11.7 测试与评估 133 小结 135 习题 135 第12章 Spark有监督学习模型 136 12.1 线性回归模型 140 12.2 逻辑回归模型 142 12.3 决策树模型 145 12.4 随机森林模型 152 12.5 神经网络 158 12.6 协同过滤 163 小结 166 习题 166 第13章 Spark无监督学习模型 167 13.1 k均值聚类模型 168 13.2 主成分分析模型 172 13.3 关联分析模型 173 小结 176 习题 176