Hadoop 核心技术与实战

基础篇 第1章Hadoop基础 1．1Hadoop简介 1．1．1什么是Hadoop 1.1.2Hadoop项目及其结构 1.1.3Hadoop体系结构 1.1.4Hadoop与分布式开发 1.1.5Hadoop计算模型——MapReduce on Yarn 1.1.6Hadoop数据管理 1．1．7Hadoop集群安全策略 1．2Hadoop的安装与配置 1.2.1安装JDK 1．8与配置SSH免密码登录 1.2.2安装并运行Hadoop 第2章Hadoop存储： HDFS 2．1HDFS的基本操作 2.1.1HDFS的命令行操作 2.1.2HDFS的Web界面 2.1.3通过distcp进行并行复制 2.1.4使用Hadoop归档文件 2.2WebHDFS 2.2.1WebHDFS的配置 2.2.2WebHDFS命令 2.3HDFS常见的Java API介绍 2.3.1使用Hadoop URL读取数据 2.3.2使用FileSystem API读取数据 2.3.3创建目录 2.3.4写数据 2.3.5删除数据 2.3.6文件系统查询 第3章Hadoop计算： MapReduce 3.1MapReduce应用程序编写 3.1.1实例描述 3.1.2设计思路 3.1.3代码数据流 3.1.4程序代码 3.1.5代码解读 3.1.6程序执行 3.1.7代码结果 3.2使用MapReduce求每年*低温度 3.2.1作业描述 3.2.2程序代码 3.2.3准备输入数据 3.2.4运行程序 高级篇 第4章数据仓库： Hive 4．1Hive的安装和配置 4．1．1安装详细步骤 4．1．2Hive内部是什么 4．2数据定义 4．2．1Hive中的数据库 4．2．2修改数据库 4．2．3创建表 4．2.4分区表 4．2．5删除表 4．2．6修改表 第5章Hive数据操作与查询 5．1数据操作 5．1．1向管理表中装载数据 5．1．2通过查询语句向表中插入数据 5．1．3单个查询语句中创建表并加载数据 5．1．4导出数据 5．2数据查询 5．2．1SELECT…FROM语句 5．2．2WHERE语句 5．2．3GROUP BY语句 5.2.4HAVING语句 5．2．5JOIN语句 5．2．6ORDER BY和SORT BY 5．2．7含有SORT BY 的DISTRIBUTE BY 5．2．8CLUSTER BY 5．2．9类型转换 5．2．10抽样查询 5．2．11UNION ALL 5.3Hive实战 5．3．1背景 5．3．2实战数据及要求 5．3．3实验步骤 第6章Hadoop数据库： HBase 6．1HBase概述 6．1．1HBase的发展历史 6．1．2HBase的发行版本 6．1．3HBase的特性 6．1．4HBase与Hadoop的关系 6．1．5HBase的核心功能模块 6．2HBase的安装和配置 6．2．1HBase的运行模式 6．2．2HBase的Web UI 6．2．3Hbase Shell工具使用 6．2．4停止HBase集群 第7章HBase数据操作 7．1Shell工具的使用 7．1．1命令分类 7．1．2常规命令 7．1．3DDL命令 7．1．4DML命令 7．1．5工具命令Tools 7．1．6复制命令 7．1．7安全命令 7．2Java客户端的使用 7．2．1客户端配置 7．2．2创建表 7．2．3删除表 7．2．4插入数据 7．2．5查询数据 7．2．6删除数据 第8章并行数据流处理引擎： Pig 8．1Pig概述 8．1．1Pig是什么 8．1．2Pig的发展简史 8．2Pig的安装和使用 8．2．1下载和安装Pig 8．2．2命令行使用以及配置选项介绍 8．2．3返回码 8．3命令行交互工具 8．3．1Grunt概述 8．3．2在Grunt中输入Pig Latin脚本 8．3．3在Grunt中使用HDFS命令 8．3．4在Grunt中控制Pig 第9章Pig Latin的使用 9．1Pig Latin概述 9．1．1基础知识 9．1．2输入和输出 9．2关系操作 9．2．1foreach 9．2．2Filter 9．2．3Group 9．2．4Order by 9．2．5distinct 9．2．6Join 9．2．7Limit 9．2．8Sample 9．2．9Parallel 9．3用户自定义函数UDF 9．3．1注册UDF 9．3．2define命令和UDF 9．3．3调用静态Java函数 第10章SQL to Hadoop： Sqoop 10．1Sqoop概述 10．1．1Sqoop的产生背景 10.1.2Sqoop是什么 10.1.3为什么选择Sqoop 10.1.4Sqoop1和 Sqoop2的异同 10.1.5Sqoop1与Sqoop2的架构图 10.1.6Sqoop1与Sqoop2的优缺点 10．2Sqoop安装部署 10.2.1下载Sqoop 10.2.2设置/etc/profile参数 10.2.3设置bin/configuresqoop配置文件 10.2.4设置conf/sqoopenv．sh配置文件 10.2.5验证安装完成 10.3Sqoop常用命令介绍 10.3.1如何列出帮助 10.3.2Export 10.3.3Import 10.3.4Job作业 10.4数据操作 10.4.1MySQL数据导入到HDFS中 10.4.2HDFS数据导入到MySQL中 实战篇 第11章项目实战 11.1项目背景与数据情况 11.1.1项目概述 11.1.2项目分析指标 11.1.3项目开发步骤 11.1.4表结构设计 11.2环境搭建 11.2.1MySQL的安装 11.2.2Eclipse的安装 11.3数据清洗 11.3.1数据分析 11.3.2数据清洗流程 11.4数据统计分析 11.4.1建立分区表 11.4.2使用HQL统计关键指标 11.4.3使用Sqoop将数据导入到MySQL数据表 11.5定时任务处理 11.5.1日志数据定时上传 11.5.2日志数据定期清理 11.5.3数据定时统计分析 参考文献