Hadoop大数据技术项目化教程

项目 1? 云计算和大数据基础概论 …………………………………………………………… 1
任务 1 认识云计算 ……………………………………………………………………… 1
任务 2 云计算中的虚拟化技术 ………………………………………………………… 7
任务 3 云计算与大数据 …………………………………………………………………13
任务 4 大数据的技术架构 ………………………………………………………………16
任务 5 大数据的应用前景 ………………………………………………………………18
任务 6 大数据的发展历程及其面临的挑战 ……………………………………………22
项目 2? CentOS 的安装与网络配置 ……………………………………………………… 27
任务 1 Linux 操作系统概述 ……………………………………………………………27
任务 2 使用 VMware 虚拟机安装 CentOS ……………………………………………32
任务 3 CentOS 网络环境配置 …………………………………………………………54
任务 4 yum 源设置及使用 ………………………………………………………………62
项目 3? MPI 集群部署及应用 ……………………………………………………………… 72
任务 1 NTP 时间同步设置 ……………………………………………………………72
任务 2 SSH 证书登录……………………………………………………………………78
任务 3 使用 NFS 设置共享目录 ………………………………………………………82
任务 4 MPI 的安装及测试 ………………………………………………………………86
任务 5 MPI 编程实战 ……………………………………………………………………91
项目 4? Hadoop 集群部署及应用 ………………………………………………………… 100
任务 1 Hadoop 集群部署前的准备工作 …………………………………………… 100
任务 2 Hadoop 的安装 ……………………………………………………………… 106
任务 3 Hadoop 伪分布式部署及应用 ……………………………………………… 110
任务 4 Hadoop 分布式部署及应用 ………………………………………………… 114
项目 5? MapReduce 基本原理及应用 …………………………………………………… 122
任务 1 MapReduce 工作原理及工作流程 …………………………………………… 122
任务 2 词频统计编程实践 …………………………………………………………… 125
任务 3 数据合并去重编程实践 ……………………………………………………… 136
任务 4 数据排序编程实践 …………………………………………………………… 140
项目 6? HBase 数据库的搭建及使用 …………………………………………………… 146
任务 1 HBase 安装及伪分布式部署 ………………………………………………… 146
任务 2 HBase 完全分布式部署 ……………………………………………………… 150
任务 3 HBase 操作实践 ……………………………………………………………… 156
任务 4 HBase 编程实践 ……………………………………………………………… 163
项目 7? Hive 数据仓库的安装及应用 …………………………………………………… 175
任务 1 Hive 基本概念………………………………………………………………… 175
任务 2 Hive 安装及部署……………………………………………………………… 178
任务 3 Hive 基本命令和应用………………………………………………………… 190
项目 8? Pig 数据分析 ……………………………………………………………………… 208
任务 1 Pig 基本概念 ………………………………………………………………… 208
任务 2 Pig 安装及部署 ……………………………………………………………… 211
任务 3 Pig 命令语法和使用 ………………………………………………………… 216
任务 4 Pig 简单编程 ………………………………………………………………… 235
项目 9? Sqoop 数据迁移…………………………………………………………………… 244
任务 1 Sqoop 基本概念 ……………………………………………………………… 244
任务 2 Sqoop 安装及部署 …………………………………………………………… 247
任 务 3 利 用 Sqoop 工具实现 MySQL 与
HDFS 之间数据迁移 …………………………………………………………………… 254
任务 4 利用 Sqoop 工具实现 MySQL 与 Hive/HBase 之间数据迁移……………… 265
项目 10? Flume 日志收集系统 …………………………………………………………… 278
任务 1 Flume 系统概述 ……………………………………………………………… 278
任务 2 Flume 安装和部署 …………………………………………………………… 282
任务 3 Flume 应用案例 ……………………………………………………………… 291
项目 11? Spark 部署及数据分析 ………………………………………………………… 305
任务 1 Spark 基本概念 ……………………………………………………………… 305
任务 2 Spark 安装及部署 …………………………………………………………… 308
任务 3 Spark 数据分析 ……………………………………………………………… 317
任务 4 Spark 应用案例 ……………………………………………………………… 332
项目 12? 大数据技术编程实例 …………………………………………………………… 347
任务 1 能耗数据分析及处理 ………………………………………………………… 347
任务 2 餐饮大数据分析及处理 ……………………………………………………… 360
参考文献……………………………………………………………………………………… 371