PYTHON爬虫与数据采集

项目一 静态网页爬取与解析 任务1 搭建静态网页爬虫环境 任务分析 导学 学习资料 1.爬虫基本概念 2.爬虫实现原理 3.静态网页爬虫环境搭建 任务实施 任务评价 任务2 爬取北京市旅游景点信息 任务分析 导学 学习资料 1.HTTP 2.网页组成 3.urllib库 4.Requests模块 任务实施 任务评价 任务3 解析并保存北京市旅游景点 数据 任务分析 导学 学习资料 1.正则表达式 2.使用XPath 3.Beautiful Soup库 任务实施 任务评价 项目二 爬取动态内容 任务1 安装Selenium 任务分析 导学 学习资料 任务实施 任务评价 任务2 利用Selerlium爬取京东商品信息数据 任务分析 导学 学习资料 1.Selenium简介 2.Selenium的应用 任务实施 任务评价 项目三 利用爬虫框架Scrapy爬虫 任务1 安装Scrapy框架 任务分析 导学 学习资料 1.Anaconda安装 2.Windows下的安装 任务实施 任务评价 任务2 利用Scrapy框架制作Spiders爬取网页数据 任务分析 导学 学习资料 1.Scrapy框架介绍 2.Scrapy的数据流 3.Scrapy常用命令 任务实施 任务评价 项目四 爬虫代理和模拟登录 任务1 爬虫代理 任务分析 导学 学习资料 1.代理基本原理 2.代理的作用 3.代理分类 4.Requests库使用IP代理的方法 5.构建代理池 任务实施 任务评价 任务2 模拟登录 任务分析 导学 学习资料 1.用户登录 2.Cookie 3.Session 4.JWT 5.基于Session和Cookie的模拟登录 6.基于Session和Cookie的模拟登录实例 任务实施 任务评价 项目五 App的爬取 任务1 App爬虫环境搭建 任务分析 导学 学习资料 1.App爬取的主要流程 2.Charles的安装 3.安装JAVA JDK 4.安装Android SDK Tools 5.Appium的安装 任务实施 任务评价 任务2 爬取微博主页推荐信息 任务分析 导学 学习资料 1.Charles简介 2.Appium简介 任务实施 任务评价 参考文献