大数据技术科普2——大数据采集、存储与管理

第1章 大数据采集 1.1 概述 1.2 网页数据的爬取 1.2.1 网络爬虫概述 1.2.2 网络爬虫的实现 1.2.3 网页爬取策略 1.3 日志文件的采集 1.3.1 Apache软件组织 1.3.2 文件采集工具Flume 1.3.3 实验：Flume的使用方法 小结 第2章 分布式文件存储 2.1 Hadoop概述 2.1.1 Hadoop的诞生与发展 2.1.2 Hadoop生态系统 2.1.3 Hadoop版本演进 2.1.4 Hadoop的发行版本 2.2 HDFS分布式文件系统 2.2.1 HDFS概述 2.2.2 HDFS设计思想 2.2.3 HDFS实现机制 2.2.4 HDFS数据读取和写入 2.2.5 HDFS文件操作方式 2.3 HDFS分布式部署实战 2.3.1 虚拟化技术 2.3.2 实验设计 2.3.3 实验过程 小结 第3章 NoSQL数据库 3.1 数据管理技术的发展 3.2 关系型数据库技术 3.3 NoSQL技术概述 3.3.1 传统数据库面临的挑战 3.3.2 NoSQL技术的特点 3.3.3 NoSQL的理论基础 3.4 常见的NoSQL数据库 3.4.1 NoSQL数据库的分类 3.4.2 键值数据库 小结 第4章 列族数据库 4.1 概述 4.2 HBase数据模型 4.2.1 列族数据模型 4.2.2 一个网页的数据实例 4.3 HBase体系结构 4.4 常用命令 4.4.1 表操作 4.4.2 数据操作 小结 第5章 文档数据库