大数据存储技术与应用

第1章 大数据存储技术与应用概述 1 1.1 大数据概述 1 1.1.1 大数据的概念 1 1.1.2 大数据的特征 2 1.1.3 大数据的分类 3 1.1.4 大数据关键技术 5 1.1.5 大数据处理流程 6 1.2 大数据存储技术概述 7 1.2.1 大数据存储架构 7 1.2.2 大数据存储技术路线 10 1.2.3 大数据存储关键技术 12 1.2.4 大数据存储系统 13 1.3 大数据存储技术应用 13 1.3.1 智能大数据处理平台 14 1.3.2 医疗大数据融合平台 15 1.3.3 智慧国土大数据融合平台 15 1.3.4 能源电力大数据融合平台 16 本章小结 16 课后作业 17 第2章 大数据分布式文件存储技术 18 2.1 分布式文件系统概述 18 2.1.1 计算机集群结构 18 2.1.2 分布式文件系统结构 19 2.2 HDFS存储技术 20 2.2.1 HDFS的概念和特点 20 2.2.2 HDFS体系架构 21 2.2.3 HDFS存储原理 23 2.3 HDFS基本操作 26 2.3.1 HDFS的安装与配置 26 2.3.2 HDFS Shell命令 28 2.3.3 HDFS Web操作 31 2.4 大数据分布式文件存储技术应用实例 32 2.4.1 本地文件上传远程服务器 32 2.4.2 远程服务器文件上传HDFS 35 2.4.3 DanaStudio平台HDFS数据导入PostgreSQL 40 本章小结 46 课后作业 46 第3章 大数据结构化数据存储技术 47 3.1 结构化数据存储技术概述 47 3.2 HBase存储技术 47 3.2.1 HBase概述 48 3.2.2 HBase基本操作 48 3.2.3 HBase存储技术应用实例 52 3.3 Hive存储技术 56 3.3.1 Hive概述 56 3.3.2 Hive基本操作 56 3.3.3 Hive存储技术应用实例 61 3.4 Stork关系型数据库存储技术 64 3.4.1 Stork概述 64 3.4.2 Stork基本操作 65 3.4.3 Stork存储技术应用实例 70 3.5 Teryx关系型数据库存储技术 74 3.5.1 Teryx概述 74 3.5.2 Teryx基本操作 75 3.5.3 Teryx存储技术应用实例 78 本章小结 80 课后作业 80 第4章 大数据半结构化数据存储技术 82 4.1 半结构化数据存储技术概述 82 4.1.1 半结构化数据概述 82 4.1.2 半结构化数据存储技术 83 4.2 NoSQL存储技术 84 4.2.1 NoSQL概述 84 4.2.2 关系型数据库与NoSQL的区别 85 4.2.3 NoSQL代表 86 4.3 ElasticSearch存储技术 88 4.3.1 ElasticSearch概述 89 4.3.2 ElasticSearch基本操作 90 4.3.3 ElasticSearch存储技术应用实例 93 4.4 Eagles存储技术 96 4.4.1 Eagles概述 96 4.4.2 Eagles基本操作 100 4.4.3 Eagles存储技术应用实例 109 本章小结 118 课后作业 118 第5章 大数据非结构化数据存储技术 119 5.1 非结构化数据存储技术概述 119 5.1.1 非结构化数据概述 119 5.1.2 非结构化数据存储特点 119 5.2 Cayman存储技术 120 5.2.1 Cayman概述 120 5.2.2 Cayman系统架构 122 5.2.3 Cayman的技术特性 123 5.2.4 Cayman的安装与配置 126 5.2.5 Cayman管理员操作 129 5.2.6 Cayman租户操作 135 5.2.7 Cayman开发人员操作 148 5.2.8 Cayman存储技术应用实例 150 本章小结 154 课后作业 154 第6章 态势感知——舆情热点大数据平台中的数据存储技术 155 6.1 项目背景 155 6.1.1 背景概述 155 6.1.2 网络舆情特征 156 6.2 态势感知——舆情热点大数据平台数据存储需求分析 156 6.2.1 态势感知——舆情热点大数据平台功能需求 157 6.2.2 态势感知——舆情热点大数据平台数据存储需求 158 6.3 态势感知——舆情热点大数据平台数据存储设计与实现 158 6.3.1 态势感知——舆情热点大数据平台数据存储设计 158 6.3.2 态势感知——舆情热点大数据平台数据存储实现 161 本章小结 169 课后作业 169 参考文献 170