数据采集与预处理

基础知识 1
一、大数据概念 3
二、数据采集技术 6
三、数据预处理技术10
习题12
项目1　使用爬虫技术进行数据采集13
任务1　爬取静态页面数据15
任务2　使用Scrapy框架爬取动态数据 24
任务3　使用Nutch爬取数据32
小结50
习题50
项目2　使用传感器进行数据采集53
任务1　利用传感器采集农业数据55
任务2　利用传感器智能生产68
小结75
习题75
项目3　使用Kettle进行数据迁移和采集77
任务1　使用Kettle工具进行数据迁移79
任务2　利用Kettle建立作业，定时执行转换95
小结98
习题98
项目4　使用Python进行数据存储101
任务1　利用列表、元组、集合与字典进行数据存储 103
任务2　利用Numpy数组对象进行数据存储109
任务3　利用Series与DataFrame进行数据存储118
任务4　读写不同数据源数据126
任务5　合并数据134小结144
习题145
项目5　使用Python进行数据处理147
任务1　数据清洗149
任务2　数据标准化160
任务3　分组与聚合163
任务4　透视表与交叉表172
任务5　哑变量178
小结180
习题180
参考文献182