大数据采集与预处理

前言
**部分基础理论实践
任务1Python环境搭建——编写“Welcome to Python！”程序
1.1任务描述
1.2Python概述
1.3Python编程环境搭建
1.3.1在Windows环境下的安装
1.3.2在 Linux 环境下的安装
1.3.3在macOS环境下的安装
1.4安装集成开发环境PyCharm
1.4.1PyCharm概述
1.4.2PyCharm的安装和运行
1.5Python基础语法
1.5.1整型
1.5.2浮点型
1.5.3字符串
1.5.4列表
1.5.5集合
1.5.6字典
1.5.7元组
1.6Python语句与函数
1.6.1条件判断语句
1.6.2循环语句
1.6.3自定义函数
1.7任务实现
1.8小结
1.9习题
任务2实现简单数据采集——采集业务网站页面数据
2.1任务描述
2.2爬虫基础知识
2.2.1网络爬虫概述
2.2.2爬虫的法律和道德
2.2.3Python爬虫的工作过程
2.3网络知识基础
2.3.1HTML
2.3.2URI和URL
2.3.3HTTP
2.3.4Request和Response
2.4requests库
2.4.1requests库概述
2.4.2requests库安装
2.4.3requests库的基本用法
2.5lxml库和BeautifulSoup库
2.5.1lxml库概述
2.5.2BeautifulSoup库概述
2.5.3lxml库和BeautifulSoup库安装
2.5.4lxml库和BeautifulSoup库的基本用法
2.6任务实现
2.7数据预处理基础
2.7.1数据预处理概述
2.7.2数据清洗
2.7.3数据集成
2.7.4数据转换
2.7.5数据规约
2.7.6数据预处理工具
2.8小结
2.9习题
任务3存储数据——学生就业信息数据读写和数据持久化
3.1任务描述
3.2MySQL
3.2.1MySQL概述
3.2.2MySQL安装
3.2.3MySQL Workbench的操作
3.3PyMySQL
3.3.1PyMySQL和MySQL的区别
3.3.2PyMySQL安装
3.3.3PyMySQL的用法
3.4CSV和JSON
3.4.1CSV概述
3.4.2输出CSV文件头部
3.4.3使用Python读取CSV文件数据
3.4.4使用Python写入CSV文件数据
3.4.5JSON概述
3.4.6使用Python读取JSON文件数据
3.4.7使用Python写入JSON文件数据
3.5任务实现
3.6小结
3.7习题
任务4requests库技术应用案例——静态数据和动态数据采集
4.1任务描述
4.2静态数据和动态数据
4.2.1静态数据基本概念
4.2.2动态数据基本概念
4.2.3AJAX的起源
4.2.4AJAX概述
4.2.5AJAX的特点
4.3子任务1：业务网站A静态数据采集
4.3.1页面分析
4.3.2获取静态数据
4.3.3数据持久化保存
4.3.4网页分页爬取的翻页操作实现
4.3.5数据预处理
4.3.6任务实现
4.4子任务2：业务网站B静态数据采集
4.4.1页面分析
4.4.2获取静态数据
4.4.3数据持久化保存
4.4.4数据预处理
4.4.5任务实现
4.5子任务3：业务网站C动态数据采集
4.5.1页面分析
4.5.2获取动态数据
4.5.3数据持久化保存
4.5.4任务实现
4.6子任务4：业务网站D静态数据采集
4.6.1业务网站D概述
4.6.2业务网站D的基本用法
4.6.3Web API概述
4.6.4业务网站D开放API的数据特点
4.6.5业务网站D的API请求数据
4.6.6获取API的响应数据
4.6.7处理API的响应数据
4.6.8任务实现
4.7小结
4.8习题
任务5ChromeDriver和Selenium技术应用案例——网站数据采集
5.1任务描述
5.2ChromeDriver
5.2.1ChromeDriver概述
5.2.2ChromeDriver安装
5.3Selenium
5.3.1Selenium概述
5.3.2Selenium安装
5.4任务实现：业务网站数据采集
5.4.1页面分析
5.4.2数据获取
5.4.3数据持久化保存
5.5小结
5.6习题
任务6Scrapy技术应用案例——框架式数据采集
6.1任务描述
6.2Scrapy
6.2.1Scrapy概述
6.2.2Scrapy工作原理
6.2.3Scrapy安装
6.3Scrapy组件
6.3.1Selector
6.3.2Spider
6.3.3Downloader Middleware
6.3.4Item Pipeline
6.4任务实现：业务网站数据采集
6.4.1页面分析
6.4.2数据获取
6.4.3数据持久化保存
6.5小结
6.6习题
第二部分综合案例
任务7数据采集与可视化案例
7.1任务描述
7.2数据可视化技术
7.2.1Flask概述
7.2.2ECharts概述
7.3任务实现：业务网站二手房数据采集与可视化
7.3.1页面分析
7.3.2数据获取
7.3.3数据持久化保存
7.3.4数据可视化
7.3.5数据探索与转换
7.3.6任务实现
7.4小结
7.5习题
任务8爬取指定业务网站案例8.1任务描述
8.2页面分析
8.3模拟登录
8.3.1模拟登录的总体步骤
8.3.2模拟登录业务逻辑和代码详解
8.4获取静态数据
8.4.1静态数据获取的总体步骤
8.4.2静态数据获取业务逻辑和代码详解
8.5获取动态数据
8.5.1动态数据获取的总体步骤
8.5.2动态数据获取业务逻辑和代码详解
8.6数据持久化保存
8.7数据预处理
8.8小结
8.9习题
任务9Hadoop平台的Flume日志数据采集应用案例
9.1任务描述
9.2Hadoop介绍
9.2.1Hadoop核心组件和工作原理
9.2.2Hadoop生态圈简介
9.3Flume介绍
9.4Flume安装和配置
9.4.1Flume的安装
9.4.2Flume的配置
9.5Flume的应用
9.5.1采集文件夹下的增量数据到HDFS
9.5.2采集TCP端口数据到控制台
9.6小结
9.7习题
参考文献