Hadoop+HBase技术项目教程(计算机类专业高等职业教育系列教材)

目录

前言
项目1 Hadoop 安装
1.1 大数据认知
1.1.1 大数据是什么
1.1.2 大数据应用领域
1.1.3 大数据的特点
1.1.4 大数据的技术架构
1.2 Hadoop 认知
1.2.1 Hadoop 起源
1.2.2 Hadoop 的特点
1.2.3 Hadoop 生态圈
1.2.4 Hadoop 核心架构
项目实现
任务1 安装前准备
任务2 虚拟机的安装
任务3 Ubuntu 的安装
任务4 解压与压缩命令
任务5 JDK 安装和配置
任务6 Hadoop 的安装
拓展项目
课后练习
项目2 Hadoop 集群部署
2.1 Linux 环境设置
2.1.1 Linux 常用命令
2.1.2 用户（组）创建
2.1.3 FileZilla 文件传输
2.1.4 apt 更新
2.1.5 vim 编辑器的应用
2.1.6 网络配置
2.2 Hadoop 配置文件
2.2.1 环境变量的配置
2.2.2 SSH 安装
2.2.3 core-site.xml 配置文件
2.2.4 hdfs-site.xml 配置文件
2.2.5 Hadoop 伪分布式运行实例
2.3 YARN 认知
2.3.1 初识YARN
2.3.2 YARN 基本服务组件
2.3.3 YARN 执行过程
项目实现
任务1 部署前准备
任务2 集群网络配置
任务3 配置文件的设置
任务4 集群部署
拓展项目
课后练习
项目3 HDFS-电影信息管理
3.1 HDFS 认知
3.1.1 HDFS 简介
3.1.2 HDFS 特点
3.1.3 HDFS 设计原则
3.1.4 HDFS 核心概念
3.2 HDFS 常用Shell 命令和基础编程开发
3.2.1 HDFS 常用Shell 命令
3.2.2 用HDFS API 实现上传本地文件
3.2.3 用HDFS API 实现创建HDFS 文件
3.2.4 用HDFS API 实现读取和写入文件
3.2.5 用HDFS API 实现创建HDFS 目录
3.2.6 用HDFS API 实现查找文件所在位置
3.3 HDFS 工作机制
3.3.1 HDFS 写数据流程
3.3.2 HDFS 读数据流程
3.3.3 NameNode 工作机制
3.3.4 DataNode 工作机制
项目实现
任务1 环境搭建
任务2 写入电影信息
任务3 读取电影信息
拓展项目
课后练习
项目4 用MapReduce 统计网站*大访问次数
4.1 MapReduce 认知
4.1.1 MapReduce 的由来
4.1.2 MapReduce 的执行过程
4.1.3 Mapper 过程
4.1.4 Reduce 过程
4.1.5 Shuffle 过程
4.2 MapReduce 程序开发
4.2.1 IDEA 安装
4.2.2 MapReduce 输入/输出类型
4.2.3 MapReduce 输入处理类
4.2.4 MapReduce 输出处理类
4.2.5 典型案例：WordCount
项目实现
任务1 POJO 类编写
任务2 Map 网站访问数据
任务3 Reduce 网站访问数据
任务4 项目驱动类编写
拓展项目
课后练习
项目5 用MapReduce 实现课程名称和成绩的二次排序
5.1 MapReduce 高级开发一
5.1.1 Combiner 合并编程
5.1.2 Partitioner 分区编程
5.1.3 RecordReader 编程
5.2 MapReduce 高级开发二
5.2.1 MapReduce 连接操作
5.2.2 MapReduce 排序操作
5.2.3 MapReduce 多文件联合查询
项目实现
任务1 POJO 类编写
任务2 Map 课程和成绩数据
任务3 Reduce 课程和成绩数据
任务4 项目驱动类编写
拓展项目
课后练习
项目6 用Hive 实现购物用户数据清洗
6.1 Hive 认知
6.1.1 Hive 简介
6.1.2 Hive 体系结构
6.1.3 Hive 设计特征
6.2 Hive 安装
6.2.1 伪分布式安装与配置Hive
6.2.2 安装与配置MySQL
6.3 Hive 基本操作
6.3.1 Hive 数据类型
6.3.2 数据库操作
6.3.3 内部表操作
6.3.4 外部表操作
6.3.5 分区表操作
6.3.6 分桶表操作
6.3.7 Hive 数据操作
项目实现
任务1 导入数据
任务2 数据分析
任务3 数据导出
拓展项目
课后练习
项目7 用HBase 实现学生成绩管理
7.1 HBase 认知
7.1.1 HBase 简介
7.1.2 HBase 体系结构
7.1.3 HBase 写数据流程
7.1.4 HBase 读数据流程
7.2 HBase 安装
7.2.1 下载软件
7.2.2 伪分布式安装与配置
7.3 HBase shell 操作命令
7.3.1 HBase 数据模型
7.3.2 数据表空间操作
7.3.3 数据表操作
7.3.4 数据操作
7.4 HBase API 操作
7.4.1 HBase 常用的API
7.4.2 Configuration 对象
7.4.3 HTable 句柄创建
7.4.4 HBase 数据的CRUD 操作
项目实现
任务1 学生成绩表数据准备
任务2 学生成绩表设计分析
任务3 学生成绩表代码实现
拓展项目
课后练习
项目8 Sqoop 导入导出
8.1 概述
8.1.1 Sqoop 产生背景
8.1.2 Sqoop 是什么
8.1.3 为什么选择 Sqoop
8.2 工作原理
8.2.1 导入机制
8.2.2 导出机制
8.3 安装
8.4 Sqoop 的基本命令
8.4.1 基本操作
8.4.2 示例
项目实现
任务1 从RDBMS 导入到HDFS
任务2 从MySQL 导入到Hive
任务3 从MySQL 导入到HBase
课后练习
Hadoop 综合实例—网络交易数据统计
9.1 项目概述
9.1.1 项目实现的思路
9.1.2 项目流程
9.2 准备工作
9.2.1 项目环境的搭建
9.2.2 Hadoop+HBase+Hive 集成
9.2.3 HBase 数据库设计原则
9.2.4 数据概况
项目实现
项目9
任务1 POJO 类编写
任务2 统计不同品牌手机的销售数量
任务3 统计不同品牌手机销量和销售额占比
任务4 统计某年每个月的手机销售数量的比例
任务5 统计每个月份各市区县的手机销售数量
任务6 统计购买手机的男女比例
任务7 统计不同手机品牌购买用户的年龄区间人数
课后练习