深入理解HIVE:从基础到高阶

第1篇 准 备 第1章 大数据时代的查询引擎 2 1.1 大数据初探 2 1.1.1 数据处理的引擎 2 1.1.2 计算框架的数据处理机制 3 1.2 大数据处理的引擎之选 7 1.2.1 大数据时代的利器 7 1.2.2 揭秘Hadoop的核心要素 8 1.3 数据仓库Hive的重要性 9 1.3.1 Hive与MapReduce 10 1.3.2 解读Hive的不足 10 1.4 快速解锁Hive核心 11 1.4.1 数据仓库 11 1.4.2 数据单元 12 1.5 Hive的设计理念 14 1.5.1 设计初衷 14 1.5.2 解读Hive的性 14 1.5.3 使用场景 15 1.6 本章小结 16 第2章 快速搭建Hive学环境 17 2.1 基础环境安装与配置的完整步骤 17 2.1.1 基础软件下载 17 2.1.2 实例：Linux作系统的安装与配置 18 2.1.3 实例：SSH的安装与配置 20 2.1.4 实例：Java运行环境的安装与配置 21 2.1.5 实例：安装与配置ZooKeeper 23 2.1.6 实例：Hadoop的安装与配置 27 2.2 安装Hive 41 2.2.1 实例：单机模式署 41 2.2.2 实例：分布式模式署 44 2.3 Hive在线编辑器安装指南 50 2.3.1 实例：在Linux系统环境编译Hue源代码并获得安装 50 2.3.2 实例：安装Hue安装 51 2.4 学Hive的建议 54 2.4.1 看透本书理论，模仿实战例子 54 2.4.2 利用编程工具自主学 54 2.4.3 建立高的逻辑思维模式 55 2.4.4 控制代码版本，降低犯错的代 56 2.4.5 获取新、全的学资料 57 2.4.6 学会自己发现和解决问题 57 2.4.7 善于提问，成功一半 58 2.4.8 积累总结，举一反三 59 2.5 本章小结 60 2.6 题 60 第2篇 入 门 第3章 实理解Hive的数据类型和存储方式 62 3.1 掌握Hive的基本数据类型 62 3.1.1 字段类型 62 3.1.2 实例：快速构建含常用类型的表 64 3.1.3 实例：NULL值的处理和使用 68 3.1.4 允许隐式转换 70 3.2 Hive文件格式应用实践 70 3.2.1 TextFile 70 3.2.2 SequenceFile 72 3.2.3 RCFile 73 3.2.4 AvroFile 74 3.2.5 ORCFile 77 3.2.6 Parquet 79 3.2.7 选择不同的文件类型 82 3.3 存储方式应用实践 82 3.3.1 数据压缩存储 83 3.3.2 实例：压缩数据大小和原始数据大小对比 85 3.4 本章小结 89 3.5 题 89 第4章 Hive数据管理与查询技巧 90 4.1 了解Hive命令 90 4.1.1 Hive命令列表 90 4.1.2 Hive命令分类 91 4.2 选择不同的客户端执行Hive命令 95 4.2.1 实例：使用Hive CLI客户端执行Hive命令 95 4.2.2 实例：使用Beeline客户端执行Hive命令 96 4.2.3 实例：使用Hue客户端执行Hive命令 100 4.3 使用Hive的变量 102 4.3.1 Hive变量 102 4.3.2 实例：使用Hive CLI客户端设置系统环境变量 103 4.3.3 实例：使用Hive CLI客户端设置属性变量 103 4.3.4 实例：使用Hive CLI客户端设置自定义变量 103 4.3.5 实例：使用Hive CLI客户端设置Java属性变量 104 4.4 实例：使用Hive的拓展工具——HCatalog 104 4.5 本章小结 106 4.6 题 106 第5章 智能数据治理 107 5.1 Hive的数据库性 107 5.1.1 Hive数据库 107 5.1.2 如何管理Hive数据库 109 5.2 认识表类型 111 5.2.1 内表 111 5.2.2 外表 112 5.2.3 临时表 113 5.3 管理表 114 5.3.1 实例：创建表 114 5.3.2 实例：修改表 119 5.3.3 实例：删除表 122 5.4 管理表分区 126 5.4.1 实例：新增表分区 127 5.4.2 实例：重命名表分区 128 5.4.3 实例：交换表分区 128 5.4.4 实例：删除表分区 130 5.5 导入与导出表数据 130 5.5.1 实例：将业务数据导入Hive表 130 5.5.2 实例：从Hive表中导出业务数据 136 5.6 本章小结 140 5.7 题 140 第6章 智能数据库查询 141 6.1 使用SELECT语句 141 6.1.1 实例：分组详解 141 6.1.2 实例：排序详解 145 6.1.3 实例：JOIN查询详解 153 6.1.4 实例：UNION查询详解 165 6.2 使用用户自定义函数 168 6.2.1 了解用户自定义函数 168 6.2.2 开发用户自定义函数功能 171 6.3 使用窗口函数与分析函数来查询数据 178 6.3.1 了解窗口函数和分析函数 178 6.3.2 实例：窗口函数和分析函数详解 179 6.4 本章小结 185 6.5 题 185 第7章 数据智能应用：以视图简化查询流程 186 7.1 什么是视图 186 7.2 管理视图 187 7.2.1 创建视图 187 7.2.2 修改视图 191 7.2.3 删除视图 192 7.3 物化视图 193 7.3.1 非视图非表 193 7.3.2 创建物化视图 194 7.3.3 物化视图的生命周期 198 7.4 本章小结 200 7.5 题 200 第3篇 进 第8章 使用Hive RPC服务 202 8.1 RPC的重要性 202 8.1.1 什么是RPC 202 8.1.2 了解RPC的用途 203 8.2 HiveServer2和MetaStore 205 8.2.1 HiveServer2的架构 205 8.2.2 MetaStore元存储管理 206 8.3 HiveServer2和MetaStore的关系及区别 207 8.3.1 使用不同模式下的MetaStore 208 8.3.2 使用HiveServer2服务 210 8.4 维护Hive集群服务 212 8.4.1 实例：编写自动化脚本让服务维护变得简单 212 8.4.2 实例：编写监控脚本让服务状态变得透明 215 8.5 HiveServer2服务应用实战 216 8.5.1 嵌入式模式访问 216 8.5.2 远程模式访问 218 8.6 本章小结 223 8.7 题 223 第9章 引入机制证Hive数据 224 9.1 数据的重要性 224 9.1.1 数据 224 9.1.2 数据的三大原则 225 9.1.3 大数据的性 226 9.2 Hive中的权限认证 226 9.2.1 授权与回收权限 226 9.2.2 传统模式授权 227 9.2.3 基于文件存储的授权 231 9.2.4 基于SQL标准的授权 233 9.3 使用Apache Ranger管理Hive权限 236 9.3.1 大数据组件方案对比 236 9.3.2 什么是Apache Ranger 239 9.3.3 Apache Ranger的安装与署 240 9.3.4 使用Apache Ranger对HDFS授权 245 9.3.5 使用Apache Ranger对Hive库表授权 248 9.4 本章小结 252 9.5 题 252 第10章 数据提取与多维呈现：深度解析Hive编程 253 10.1 使用编程语言作Hive 253 10.2 Java作Hive实践 254 10.2.1 环境准备 261 10.2.2 实例：实现简易天气分析系统 261 10.3 Python作Hive实践 274 10.3.1 选择Python作Hive SQL 274 10.3.2 使用JayDeBeApi实现Python访问Hive 275 10.4 数据洞察与分析 278 10.4.1 数据洞察的值 278 10.4.2 数据洞察的方法论 279 10.4.3 数据洞察可视化实践 279 10.5 本章小结 283 10.6 题 283 第4篇 项目实战 第11章 基于Hive的高效推荐系统实践 286 11.1 什么是推荐系统 286 11.1.1 推荐系统的发展历程 286 11.1.2 推荐系统解决的核心问题 287 11.1.3 推荐系统的应用领域 287 11.2 数据仓库驱动的推荐系统设计 288 11.2.1 推荐系统类型详解 288 11.2.2 建立推荐系统的核心步骤 293 11.2.3 设计一个简易的推荐系统架构 294 11.2.4 构建推荐系统模型 297 11.3 代码如何实现推荐效果 306 11.3.1 构建数据仓库 306 11.3.2 数据清洗 311 11.3.3 协同过滤算法实现 314 11.4 本章小结 329 11.5 题 330 第12章 基于AI的Hive大数据分析实践 331 12.1 融合ChatGPT与Hive的数据智能探索 331 12.1.1 开启数据智能新纪元：ChatGPT简介 331 12.1.2 ChatGPT在Hive数据分析中的角色 336 12.2 构建智能化的Hive数据处理引擎 337 12.2.1 ChatGPT与Hive的集成实现 337 12.2.2 智能引擎应用案例分析 338 12.3 ChatGPT的自然语言处理与Hive数据分析与挖掘 341 12.3.1 聚变智慧：ChatGPT与Hive技术的革新整合 341 12.3.2 自然语言处理在Hive数据分析中的应用 343 12.4 ChatGPT与Hive数据分析未来展望 347 12.4.1 ChatGPT技术发展前景 347 12.4.2 未来Hive数据分析中的ChatGPT潜在应用 348 12.5 本章小结 350 12.6 题 350