大数据采集与预处理技术

第1章 大数据概述 1．1 大数据的概念 1．2 大数据关键技术 1．3 大数据采集与数据预处理技术 1．3．1 大数据采集技术 1．3．2 数据预处理技术 1．4 小结 习题 第2章 数据采集基础 2．1 传统数据采集技术 2．1．1 数据采集概述 2．1．2 数据采集系统架构 2．1．3 数据采集关键技术 2．2 大数据采集基础 2．2．1 数据的发展 2．2．2 大数据来源 2．2．3 大数据采集技术 2．3 小结 习题 第3章 大数据采集架构 3．1 概述 3．2 chukwa数据采集 3．3 Flume数据采集 3．4 scribe数据采集 3．5 Kafka数据采集 3．6 小结 习题 第4章 大数据迁移技术 4．1 数据迁移概念 4．2 数据迁移相关技术 4．2．1 基于主机的迁移方式 4．2．2 基于存储的迁移方式 4．2．3 备份恢复的方式 4．2．4 基于主机逻辑卷的数据迁 4．2．5 基于数据库的迁移技术 4．2．6 服务器虚拟化的迁移 4．2．7 其他数据迁移技术 4．3 数据迁移工具 4．3．1 Apache Sqoop 4．3．2 ETL 4．4 Kettle数据迁移实例 4．5 小结 习题 第5章 互联网数据抓取与处理技术 5．1 网络爬虫概述 5．1．1 网络爬虫的概念 5．1．2 网络爬虫的抓取策略 5．1．3 网页*新策略 5．2 常用网络爬虫方法 5．2．1 批量型爬虫 ……