Python快乐编程-网络爬虫

目录 第1章Python网络爬虫入门 1.1所需技能与Python版本 1.1.1所需技术能力 1.1.2选择Python的原因 1.1.3选择Python 3.x的原因 1.2初识网络爬虫 1.2.1网络爬虫的概念 1.2.2网络爬虫的应用 1.2.3Robots协议 1.3搜索引擎核心 1.4快速爬取网页示例 1.5本章小结 1.6习题 第2章爬虫基础知识 2.1Cookie的使用 2.1.1Cookie的概念 2.1.2使用Cookiejar处理Cookie 2.2正则表达式 2.2.1正则表达式的概念 2.2.2正则表达式详解 2.3标记语言 2.4XPath 2.5JSON 2.6BeautifulSoup 2.6.1安装BeautifulSoup 2.6.2BeautifulSoup的使用 2.7本章小结 2.8习题 第3章urllib与requests 3.1urllib库 3.1.1urllib库的概念 3.1.2urllib库的使用 3.2设置HTTP请求方法 3.2.1GET请求实战 3.2.2设置代理服务 3.3异常处理 3.3.1URLError异常处理 3.3.2HTTPError异常处理 3.4requests库 3.4.1安装requests库 3.4.2发送请求 3.4.3响应接收 3.4.4会话对象 3.5本章小结 3.6习题 第4章网络爬虫实例 4.1图片爬虫实例 4.2链接爬虫实例 4.3文字爬虫实例 4.4微信文章爬虫 4.5多线程爬虫及实例 4.6本章小结 4.7习题 第5章数据处理 5.1存储HTML正文内容 5.1.1存储为JSON格式 5.1.2存储为CSV格式 5.2存储媒体文件 5.3Email提醒 5.4pymysql模块 5.5本章小结 5.6习题 第6章数据库存储 6.1SQLite 6.1.1SQLite介绍 6.1.2安装SQLite 6.1.3Python与SQLite 6.1.4创建SQLite表 6.1.5添加SQLite表记录 6.1.6查询SQLite表记录 6.1.7更新SQLite表记录 6.1.8删除SQLite表记录 6.2MongoDB 6.2.1MongoDB简介 6.2.2MongoDB适用场景 6.2.3MongoDB的安装 6.2.4MongoDB基础 6.2.5在Python中操作MongoDB 6.3Redis 6.3.1Redis简介 6.3.2Redis适用场景 6.3.3Redis的安装 6.3.4Redis数据类型与操作 6.3.5在Python中操作Redis 6.4本章小结 6.5习题 第7章抓取动态网页内容 7.1JavaScript简介 7.1.1JS语言特性 7.1.2JS简单示例 7.1.3JavaScript库 7.1.4Ajax简介 7.2爬取动态网页的工具 7.2.1Selenium库 7.2.2PhantomJS浏览器 7.2.3Firefox的headless模式 7.2.4Selenium的选择器 7.2.5Selenium等待方式 7.2.6客户端重定向 7.3爬取动态网页实例 7.4本章小结 7.5习题 第8章浏览器伪装与定向爬取 8.1浏览器伪装介绍 8.1.1抓包工具Fiddler 8.1.2浏览器伪装过程分析 8.1.3浏览器伪装技术实战 8.2定向爬虫 8.2.1定向爬虫分析 8.2.2定向爬虫实战 8.3本章小结 8.4习题 第9章初探Scrapy爬虫框架 9.1了解爬虫框架 9.1.1初识Scrapy框架 9.1.2初识Crawley框架 9.1.3初识Portia框架 9.1.4初识Newspaper框架 9.2Scrapy介绍 9.2.1安装Scrapy 9.2.2Scrapy程序管理 9.2.3Scrapy项目的目录结构 9.3常用命令 9.3.1Scrapy全局命令 9.3.2Scrapy项目命令 9.3.3Scrapy的Item对象 9.4编写Spider程序 9.4.1初识Spider 9.4.2Spider文件参数传递 9.5Spider反爬虫机制 9.6本章小结 9.7习题 第10章深入Scrapy爬虫框架 10.1Scrapy核心架构 10.2Scrapy组件详解 10.3Scrapy数据处理 10.3.1Scrapy数据输出 10.3.2Scrapy数据存储 10.4Scrapy自动化爬取 10.4.1创建项目并编写items.py 10.4.2编写pipelines.py 10.4.3修改settings.py 10.4.4编写爬虫文件 10.4.5执行自动化爬虫 10.5CrawlSpider 10.5.1创建CrawlSpider 10.5.2LinkExtractor 10.5.3CrawlSpider部分源代码分析 10.5.4实例CrawlSpider 10.6本章小结 10.7习题 第11章Scrapy实战项目 11.1文章类项目 11.1.1需求分析 11.1.2实现思路 11.1.3程序设计 11.1.4请求分析 11.1.5循环网址 11.1.6爬虫运行 11.2图片类项目 11.2.1需求分析 11.2.2实现思路 11.2.3程序设计 11.2.4项目实现 11.3登录类项目 11.3.1需求分析 11.3.2实现思路 11.3.3程序设计 11.3.4项目实现 11.4本章小结 11.5习题 第12章分布式爬虫 12.1简单分布式爬虫 12.1.1进程及进程间通信 12.1.2简单分布式爬虫结构 12.1.3控制节点 12.1.4爬虫节点 12.2Scrapy与分布式爬虫 12.2.1Scrapy中集成Redis 12.2.2MongoDB集群 12.3Scrapy分布式爬虫实战 12.3.1创建爬虫 12.3.2定义Item 12.3.3爬虫模块 12.3.4编写Pipeline 12.3.5修改Settings 12.3.6运行项目 12.4去重优化 12.5本章小结 12.6习题