Python爬虫超详细实战攻略

目录

源码下载

第1章Python基础知识

1.1Python语言简介

1.2Python语法基础

1.2.1Python数据类型

1.2.2序列数据结构

1.2.3Python控制语句

1.2.4Python函数与模块

1.3Python面向对象设计

1.3.1定义和使用类

1.3.2构造函数__init__

1.3.3析构函数

1.3.4实例属性和类属性

1.3.5私有成员与公有成员

1.3.6方法

1.3.7类的继承

1.3.8多态

1.4Python 图形界面设计

1.4.1创建Windows窗口

1.4.2几何布局管理器

1.4.3Tkinter 组件

1.4.4Python事件处理

1.5Python文件的使用

1.5.1打开(建立)文件

1.5.2读取文本文件

1.5.3写文本文件

1.5.4文件的关闭

1.5.5操作Excel文档

1.6Python的第三方库

第2章HTML基础知识和Python文本处理

2.1HTML基础

2.1.1什么是HTML

2.1.2HTML的历史

2.2HTML 4基础和HTML 5新特性

2.2.1HTML 4基础知识

2.2.2HTML 4基本标签

2.2.3HTML 5的新特性

2.2.4在浏览器中查看HTML源代码

2.3CSS语法基础

2.3.1CSS基本语句

2.3.2在HTML文档中应用CSS样式

2.3.3CSS 选择器

2.4Python文本处理

2.4.1字符串基本处理

2.4.2正则表达式

2.4.3正则表达式语法

2.4.4re模块

2.4.5正则表达式的实际应用案例

2.5XPath

2.5.1lxml库安装

2.5.2XPath语法

2.5.3在Python中使用XPath

第3章网络通信基础知识

3.1网络协议

3.1.1互联网TCP/IP协议

3.1.2IP协议和端口

3.1.3TCP和UDP协议

3.1.4HTTP和HTTPS协议

3.1.5HTTP基本原理与机制

3.1.6使用Fiddler抓包验证请求信息和响应信息

3.2Socket编程

3.2.1Socket的概念

3.2.2Socket提供的函数方法

3.2.3TCP协议编程

第4章小试牛刀——下载网站图片

4.1HTTP下载网站图片功能介绍

4.2程序设计的思路

4.3关键技术

4.3.1urllib库简介

4.3.2urllib库的基本使用

4.3.3图片文件下载到本地

4.4程序设计的步骤

第5章调用百度API获取数据——小小翻译器

5.1小小翻译器功能介绍

5.2程序设计的思路

5.3关键技术

5.3.1urllib库的高级使用

5.3.2使用User Agent隐藏身份

5.3.3JSON使用

5.4程序设计的步骤

5.4.1设计界面

5.4.2使用百度翻译开放平台API

5.5API调用拓展——爬取天气预报信息

第6章动态网页爬虫应用——抓取百度图片

6.1程序功能介绍

6.2程序设计的思路

6.3关键技术

6.3.1Ajax动态网页

6.3.2BeautifulSoup库概述

6.3.3BeautifulSoup库操作解析HTML文档树

6.3.4requests库的使用

6.3.5Ajax动态网页爬取

6.4程序设计的步骤

6.4.1分析网页源代码和网页结构

6.4.2设计代码

6.5动态网页爬虫拓展——爬取今日头条新闻

6.5.1找到JavaScript请求的数据接口

6.5.2分析JSON数据

6.5.3请求和解析数据接口

第7章Selenium操作浏览器应用——模拟登录豆瓣网站

7.1模拟登录程序功能介绍

7.2程序设计的思路

7.3关键技术

7.3.1安装Selenium库

7.3.2Selenium详细用法

7.3.3Selenium应用实例

7.4程序设计的步骤

7.4.1Selenium定位iframe(多层框架)

7.4.2模拟登录豆瓣网站

7.5基于Cookie绕过验证码实现自动登录

7.5.1为什么要使用Cookie

7.5.2查看Cookie

7.5.3使用Cookie绕过百度验证码自动登录账户

7.6Selenium实现Ajax动态加载抓取今日头条新闻

7.6.1Selenium处理滚动条

7.6.2Selenium 动态加载抓取今日头条新闻

7.7Selenium实现动态加载抓取新浪国内新闻

第8章微信网页版协议API应用——微信机器人

8.1微信网页版机器人功能介绍

8.2微信网页版机器人设计思路

8.2.1分析微信网页版API

8.2.2API汇总

8.2.3其他说明

8.3程序设计步骤

8.3.1微信网页版运行流程

8.3.2程序目录

8.3.3微信网页版运行代码实现

8.4微信网页版机器人扩展功能

8.4.1自动回复

8.4.2群发消息、定时发送消息、好友状态检测

8.4.3自动邀请好友加入群聊

8.5微信库itchat实现微信聊天机器人

8.5.1安装itchat

8.5.2itchat的登录微信

8.5.3itchat的消息类型

8.5.4itchat回复消息

8.5.5itchat获取账号

8.5.6itchat的一些简单应用

8.5.7Python调用图灵机器人API实现简单的人机交互

8.5.8程序设计的步骤

8.5.9开发消息同步机器人

第9章爬虫应用——校园网搜索引擎

9.1校园网搜索引擎功能分析

9.2校园网搜索引擎系统设计

9.3关键技术

9.3.1中文分词

9.3.2安装和使用jieba

9.3.3jieba添加自定义词典

9.3.4文本分类的关键词提取

9.3.5deque(双向队列)

9.4程序设计的步骤

9.4.1信息采集模块——网络爬虫实现

9.4.2索引模块——建立倒排词表

9.4.3网页排名和搜索模块

第10章SQLite数据库存储——大河报纸媒爬虫

10.1大河报纸媒爬虫功能介绍

10.2大河报纸媒爬虫设计思路

10.3关键技术

10.3.1访问SQLite数据库的步骤

10.3.2创建数据库和表

10.3.3数据库的插入、更新和删除操作

10.3.4数据库表的查询操作

10.3.5数据库使用实例——学生通讯录

10.3.6requestshtml库

10.4程序设计步骤

10.4.1获取网页

10.4.2数据入库

第11章MySQL数据库存储——微博采集爬虫

11.1微博采集爬虫功能介绍

11.2微博采集爬虫设计思路

11.3关键技术

11.3.1查看Cookie

11.3.2模拟登录实例

11.3.3使用Python操作MySQL数据库

11.3.4Base64加密

11.4程序设计步骤

11.4.1模拟登录

11.4.2获取网页

11.4.3数据入库

第12章Scrapy框架爬虫

12.1Scrapy框架简介与安装

12.1.1Scrapy框架简介

12.1.2Scrapy安装

12.2**个Scrapy爬虫

12.2.1项目需求

12.2.2创建项目

12.2.3分析页面

12.2.4定义数据类

12.2.5实现爬虫

12.2.6配置爬虫

12.2.7运行爬虫

12.3Spider开发流程

12.3.1继承scrapy.Spider

12.3.2为spider起名字

12.3.3设置起始爬取点

12.3.4实现页面解析函数

12.4Scrapy选择器

12.4.1Selector类

12.4.2Response内置Selector

12.4.3使用CSS选择器

12.4.4爬取京东商品信息

12.5Scrapy数据容器

12.5.1Item和Field

12.5.2Item扩展

12.5.3爬取百度贴吧信息

12.6Scrapy常用命令行工具

12.6.1全局命令

12.6.2项目命令

12.7Scrapy数据处理

12.7.1实现Item Pipeline

12.7.2Item Pipeline举例

12.7.3启用Item Pipeline

12.8爬取文件和图片

12.8.1FilesPipeline

12.8.2FilesPipeline实例

12.8.3ImagePipeline

12.8.4爬取百度图片

12.9Scrapy模拟登录

12.9.1模拟登录分析

12.9.2代码实现

第13章词云实战——爬取豆瓣影评生成词云

13.1功能介绍

13.2程序设计的思路

13.3关键技术

13.3.1安装WordCloud词云

13.3.2使用WordCloud词云

13.4程序设计的步骤

参考文献