数据采集与预处理技术应用

目 录
出版说明
前言

第1章 数据采集与预处理概述1
1.1 大数据简介1
1.1.1 数据的概念、类型、组织形式1
1.1.2 大数据的概念、特点与作用3
1.1.3 大数据的技术应用4
1.2 数据分析简介5
1.2.1 数据分析的基本流程5
1.2.2 数据分析的方法与技术6
1.3 数据采集简介8
1.3.1 数据采集的三大方式及工具8
1.3.2 数据采集的应用场景11
1.4 数据预处理简介12
1.4.1 数据预处理的目的与意义13
1.4.2 数据预处理的流程13
1.4.3 数据预处理的工具介绍15
习题17
第2章 大数据开发环境的搭建18
2.1 安装Python与JDK18
2.1.1 Java和Python概述18
2.1.2 Python的安装与配置19
2.1.3 JDK的安装与配置20
2.1.4 Python与Java的IDE介绍21
2.2 MySQL数据库的安装与配置22
2.2.1 SQL概述22
2.2.2 安装MySQL数据库23
2.2.3 MySQL数据库的基本使用24
2.3 Hadoop的安装与配置26
2.3.1 单节点环境26
2.3.2 伪分布式环境27
2.3.3 节点间免密通信28
2.3.4 Hadoop的启动和测试29
2.4 在Hadoop集群上运行
WordCount31
2.4.1 运行Java版本WordCount实例31
2.4.2 运行Python版本WordCount
实例33
习题36
第3章 使用Flume采集系统日志
数据37
3.1 Flume概述37
3.2 Flume的安装运行38
3.3 Flume的核心组件38
3.3.1 Agent39
3.3.2 Source40
3.3.3 Sink40
3.3.4 Channel40
3.3.5 Event41
3.4 Flume拦截器与选择器41
3.4.1 Flume内置拦截器41
3.4.2 自定义拦截器46
3.5 Flume负载均衡与故障转移49
3.6 实践案例：使用Flume采集数据
上传到HDFS52
习题54
第4章 使用Kafka采集系统日志
数据55
4.1 Kafka概述55
4.1.1 消息队列55
4.1.2 Kafka的特点56
4.1.3 Kafka与Flume的区别57
4.2 Kafka的安装部署57
4.2.1 集群规划57
4.2.2 安装Zookeeper57
4.2.3 安装Kafka59
4.3 Kafka的基本架构60
4.3.1 Kafka的消息系统60
4.3.2 Producer与Consumer60
4.3.3 主题与分区61
4.3.4 Broker与Kafka集群61
4.3.5 Zookeeper在Kafka中的作用62
4.4 实践案例：使用Kafka采集本地
日志数据63
4.5 实践案例：Kafka与Flume结合
采集日志数据65
习题67
第5章 其他常用的系统日志数据采集
工具68
5.1 Scribe68
5.1.1 Scribe简介68
5.1.2 Scribe的配置文件68
5.1.3 实践案例：使用Scribe采集系统
日志数据70
5.2 Chukwa71
5.2.1 Chukwa简介71
5.2.2 Chukwa架构与数据采集72
5.2.3 实践案例：使用Chukwa采集系统
日志数据74
5.3 Splunk75
5.3.1 Splunk概述75
5.3.2 Splunk的安装与基本使用75
5.3.3 实践案例：使用Splunk采集系统
日志数据77
5.4 日志易80
5.4.1 日志易的特点80
5.4.2 注册日志易账号81
5.4.3 实践案例：使用日志易采集搜索
本地日志文件82
5.5 Logstash90
5.5.1 Logstash简介90
5.5.2 Logstash的工作原理90
5.5.3 Logstash安装与部署90
5.5.4 实践案例：使用Logstash采集并
处理系统日志数据91
5.5.5 实践案例：使用Logstash将数据
导入Elasticsearch93
5.6 Fluentd94
5.6.1 Fluentd简介95
5.6.2 Fluentd的安装与配置95
5.6.3 Fluentd的基本命令96
5.6.4 实践案例：使用Fluentd采集系统
日志数据97
习题99
第6章 使用网络爬虫采集Web
数据100
6.1 网络爬虫概述100
6.1.1 网络爬虫的基本原理100
6.1.2 网络爬虫的类型100
6.2 网络爬虫基础101
6.2.1 网络爬虫的基本爬取方式101
6.2.2 使用正则表达式进行字符串
匹配103
6.2.3 使用解析库解析网页104
6.2.4 Ajax数据的爬取106
6.2.5 使用selenium抓取动态渲染
页面106
6.3 常见的网络爬虫框架107
6.3.1 Scrapy框架107
6.3.2 WebMagic框架110
6.3.3 Crawler4j框架111
6.3.4 WebCollector框架113
6.4 实践案例：使用Scrapy爬取电商
网站数据114
习题118
第7章 Python数据预处理库的使用119
7.1 Python与数据分析119
7.1.1 Python的特点119
7.1.2 为何使用Python进行数据分析120
7.2 NumPy：数组与向量计算120
7.3 Pandas：数据结构化操作123
7.4 SciPy：科学化计算127
7.5 Matplotlib：数据可视化130
7.6 实践案例：使用Python预处理
旅游路线数据137
习题143
第8章 使用ETL工具Kettle进行
数据预处理144
8.1 Kettle概述144
8.2 Kettle的安装与配置144
8.3 Kettle的基本使用145
8.3.1 Kettle的使用界面145
8.3.2 新建转换与任务146
8.3.3 数据获取149
8.3.4 数据清洗与转换156
8.3.5 数据迁移和装载160
8.4 实践案例：使用Kettle处理某
电商网站数据163
习题167
第9章 其他常用的数据预处理工具168
9.1 Pig168
9.1.1 Pig概述168
9.1.2 Pig的安装和配置169
9.1.3 Pig Latin的基本概念170
9.1.4 使用Pig进行数据预处理176
9.2 OpenRefine182
9.2.1 OpenRefine概述183
9.2.2 OpenRefine创建项目183
9.2.3 OpenRefine的基本使用186
9.3 实践案例：使用Pig和
OpenRefine预处理