大数据离张分析

目录 绪论001 第1章走进Hive003 1.1Hive简介003 1.1.1Hive发展史003 1.1.2体系结构004 1.2Hive的安装部署005 1.2.1安装配置Hive005 1.2.2启动Hive008 1.3Hive命令009 1.3.1Hive命令行选项009 1.3.2CLI命令行界面010 1.3.3Hive中CLI命令的快速编辑011 1.3.4Hive中的脚本011 1.3.5dfs命令的执行013 1.4数据类型和文件格式014 1.4.1基本数据类型014 1.4.2集合数据类型015 1.4.3文本文件数据编码016 本章小结018 习题018 第2章HiveQL数据定义020 2.1数据库的创建与查询020 2.2数据库的修改与删除021 2.3创建表022 2.3.1管理表023 2.3.2外部表023 2.3.3查看表结构024 2.4修改表025 2.5删除表026大数据 离线分析 目录 2.6分区表027 2.6.1外部分区表028 2.6.2自定义表的存储格式030 2.6.3增加、修改和删除分区表031 2.7桶表031 本章小结032 习题033 第3章HiveQL数据操作034 3.1数据加载与导出034 3.1.1数据加载034 3.1.2数据导出036 3.2数据查询037 3.2.1SELECT ... FROM语句037 3.2.2WHERE语句040 3.2.3GROUP BY语句与HAVING语句042 3.2.4JOIN语句043 3.2.5ORDER BY语句和SORT BY语句046 3.2.6CLUSTER BY语句047 3.2.7UNION ALL语句048 3.3抽样查询048 3.3.1数据块抽样049 3.3.2分桶表的输入裁剪049 本章小结051 习题051 第4章HiveQL视图和索引052 4.1视图052 4.1.1创建视图052 4.1.2显示视图053 4.1.3删除视图054 4.2索引054 4.2.1创建索引055 4.2.2重建索引055 4.2.3显示索引056 4.2.4删除索引056 本章小结057 习题057 第5章Hive的函数058 5.1函数简介058 5.1.1发现和描述函数058 5.1.2调用函数059 5.1.3标准函数059 5.1.4聚合函数061 5.1.5表生成函数067 5.2用户自定义函数UDF068 5.3用户自定义聚合函数UDAF072 5.4用户自定义表生成函数UDTF074 5.5UDF的标注075 5.5.1定数性标注(deterministic)076 5.5.2状态性标注(stateful)076 5.5.3唯一性标注(distinctLike)076 本章小结076 习题077 第6章认识Pig078 6.1初识Pig078 6.1.1Pig是什么078 6.1.2Pig的应用场景078 6.1.3Pig的设计思想079 6.1.4Pig的发展简史080 6.2安装、运行Pig080 6.2.1安装Pig080 6.2.2运行Pig081 本章小结082 习题082 第7章Pig基础084 7.1命令行工具Grunt084 7.1.1输入Pig Latin脚本084 7.1.2使用HDFS命令085 7.1.3控制Pig087 7.2Pig数据类型088 7.2.1基本类型088 7.2.2复杂类型089 7.2.3NULL值089 7.2.4类型转换090 本章小结092 习题092 第8章Pig Latin编程093 8.1Pig Latin介绍093 8.1.1基础知识093 8.1.2输入和输出094 8.2关系操作095 8.2.1foreach语句096 8.2.2filter语句096 8.2.3group语句097 8.2.4order语句097 8.2.5distinct语句098 8.2.6join语句098 8.2.7limit语句098 8.2.8sample语句099 8.2.9parallel语句099 8.3用户自定义函数UDF101 8.3.1注册UDF102 8.3.2define命令和UDF103 8.3.3调用Java函数104 8.4开发工具104 8.4.1describe104 8.4.2explain105 8.4.3illustrate107 8.4.4Pig统计信息109 8.4.5M/R作业状态信息111 8.4.6调试技巧112 本章小结113 习题113 第9章数据ETL工具Sqoop115 9.1安装Sqoop115 9.2数据导入117 9.2.1导入实例118 9.2.2导入数据的使用119 9.2.3数据导入代码生成120 9.3数据导出121 9.3.1导出实例121 9.3.2导出和SequenceFile123 本章小结123 习题124 第10章Hadoop工作流引擎Oozie125 10.1Oozie是什么125 10.2Oozie的安装125 10.3Oozie的编写与运行131 10.3.1Workflow组件131 10.3.2Coordinator组件133 10.3.3Bundle组件134 10.3.4作业的部署与执行134 10.3.5向作业传递参数136 10.4Oozie控制台136 10.4.1控制台界面136 10.4.2获取作业信息137 10.5Oozie的高级特性139 10.5.1自定义Oozie Workflow139 10.5.2使用Oozie JavaAPI141 本章小结143 习题143 第11章离线计算实例145 11.1微博历史数据分析145 11.1.1数据结构145 11.1.2需求分析146 11.1.3需求实现146 11.2电商销售数据分析160 11.2.1数据结构160 11.2.2需求分析161 11.2.3需求实现161 本章小结169 参考文献