数据采集与预处理(微课版)

第 1章 数据采集与预处理概述

1.1 数据采集简介

1.1.1 数据采集的工具

1.1.2 爬虫的原理与分类

1.1.3 网络爬虫核心流程

1.1.4 爬虫的应用场景

1.2 数据预处理简介

1.2.1 数据预处理的目的与意义

1.2.2 数据预处理的流程

1.2.3 数据预处理的工具介绍

1.3 Python数据采集与预处理常用库

1.3.1 请求库

1.3.2 解析库

1.3.3 数据存储库

1.3.4 处理库

1.4 习题

第 2章 数据采集与存储

2.1 数据类型与操纵

2.1.1 数据类型介绍

2.1.2 JSON格式数据

2.1.3 CSV格式数据

2.2 网页抓取：爬虫基础

2.2.1 爬虫基本流程介绍

2.2.2 HTTP基本原理

2.2.3 网页基础

2.2.4使用urllib库

2.2.5使用requests库请求网站

2.2.6正则表达式提取数据

2.2.7代理的使用

2.2.8使用Cookie登录

2.3解析库的使用

2.3.1使用Beautiful Soup解析网页

2.3.2使用XPath来处理HTML

2.4数据存储

2.4.1存储为JSON格式

2.4.2存储为CSV格式

2.4.3存储到MySQL数据库中

2.5 习题

第3章 数据采集进阶

3.1 Ajax数据爬取

3.1.1 什么是Ajax

3.1.2 为什么要学习Ajax爬取

3.1.3 怎样进行Ajax数据的爬取

3.2 使用Selenium抓取动态渲染页面

3.2.1 Selenium的基本介绍与安装方法

3.2.2 Selenium的简单使用

3.2.3 Selenium的应用实例

3.2.4 Selenium的高级操作

3.3 爬虫框架介绍

3.3.1 爬虫框架介绍

3.3.2 爬虫框架机制

3.4 Scrapy爬虫框架

3.4.1 Scrapy的简介与安装

3.4.2 Scrapy的基本使用

3.4.3 创建Scrapy项目

3.4.4 编写Spider

3.4.5 编写Item Pipeline

3.4.6 设置Settings模块

3.5 习题

第4章 数据清洗

4.1 数据清洗概述

4.2 缺失数据处理

4.2.1 数据缺失的原因

4.2.2 缺失值的主要处理方法

4.3 异常值和重复值处理

4.3.1 删除重复值

4.3.2 检测异常值

4.3.3 过滤异常值

4.4 数据转换

4.4.1 数据类型转换

4.4.2 用函数或映射进行数据转换

4.4.3 重命名轴索引

4.4.4 连续数据离散化

4.4.5 哑变量处理类别型数据

4.4.6 数据标准化

4.5 习题

第5章 数据规整与分组聚合

5.1 数据规整

5.1.1 数据联合与合并

5.1.2 分层索引

5.1.3 数据重塑

5.2 数据分组

5.2.1 创建分组数据

5.2.2 运用GroupBy机制分组

5.3 数据聚合

5.3.1 groupby中预置的聚合方法

5.3.2 aggregate()函数与transform()函数

5.3.3 使用apply()函数

5.4 习题

第6章 豆瓣电影排行榜数据采集与预处理

6.1 豆瓣电影榜数据采集目标

6.2 豆瓣网页结构分析

6.2.1 宏观整体页面分析

6.2.2 微观具体信息爬取

6.3 创建爬虫

6.3.1 准备URL

6.3.2 请求及响应

6.3.3 提取数据

6.3.4 保存数据

6.4 数据预处理

6.5 数据可视化

6.6 习题

第7章 使用Scrapy框架与Selenium数据采集与可视化

7.1 采集目标和准备工作

7.2 大数据网页结构分析

7.3 使用Scrapy与Selenium爬取信息

7.3.1 编写item.py与spider.py

7.3.2 编写middlewares.py

7.3.3 编写pipelines.py

7.3.4 设置settings.py

7.3.5 运行结果

7.4 某电商数据预处理与可视化

7.4.1 数据预处理

7.4.2 数据可视化

7.5 习题

第8章 房产数据预处理

8.1 研究背景和目标分析

8.2 数据描述与探索

8.3 数据预处理

8.3.1 属性规约

8.3.2 数据缺失值处理

8.3.3 数据异常值处理

8.3.4 数据转换

8.3.5 保存数据

8.4 习题