网络爬虫技术

项目1 网页构造的认识 任务1.1 认识网络爬虫 1.1.1 大数据与网络爬虫 1.1.2 编程环境及工具包 任务1.2 网页构造 1.2.1 HTTP和HTTPS 1.2.2 HTML和CSS 1.2.3 Session和Cookie 1.2.4 多线程和多进程 项目2 静态网页爬取 任务2.1 实现HTTP请求 2.1.1 Requests库的使用 2.1.2 HTTPX库的使用 2.1.3 任务实施 任务2.2 解析网页数据 2.2.1 BeautifulSoup库的使用 2.2.2 lxml库的使用 2.2.3 正则表达式 2.2.4 Parsel库的使用 2.2.5 任务实施 任务2.3 基础爬虫案例分析与实战 项目3 数据存储 任务3.1 存储到文件 3.1.1 存储为文本文件 3.1.2 存储为CSV文件 3.1.3 存储为JSON文件 3.1.4 任务实施 任务3.2 存储到数据库 3.2.1 存储到MySQL数据库 3.2.2 存储到MongoDB数据库 3.2.3 任务实施 任务3.3 中间件使用 3.3.1 Redis的使用 3.3.2 Kafka的使用 3.3.3 RabbitMQ的使用 3.3.4 任务实施 项目4 动态网页爬取 任务4.1 逆向分析爬取 4.1.1 Ajax与数据爬取 4.1.2 网站加密与JavaScript Hook 4.1.3 PyExecJS库的使用 4.1.4 任务实施 任务4.2 使用Selenium模拟浏览器 4.2.1 Selenium爬虫应用 4.2.2 任务实施 任务4.3 动态网站分析与爬虫案例实战 项目5 反爬限制技术 任务5.1 图片校验码 5.1.1 OCR技术的使用 5.1.2 手机验证码的处理技术 任务5.2 账号限制 任务5.3 IP限制 任务5.4 反爬分析与爬虫案例实战 项目6 Scrapy爬虫框架 任务6.1 初探Scrapy 6.1.1 Scrapy框架入门 6.1.2 Spider的使用 6.1.3 Selector的使用 6.1.4 任务实施 任务6.2 Scrapy拓展 6.2.1 对接Selenium的应用 6.2.2 对接Splash的应用 6.2.3 任务实施 任务6.3 Scrapy爬虫案例实战 附录 爬虫的法律法规