Python数据可视化方法、实践与应用

第1章 数据采集 1 1.1 处理网络数据 2 1.1.1 解析HTML和XML数据 2 1.1.2 处理HTTP 数据 11 1.1.3 处理URL 数据 17 1.2 网络爬虫技术 21 1.2.1 网络爬虫基础 21 1.2.2 使用Beautiful Soup爬取网络数据 22 1.2.3 使用XPath爬取网络数据 24 1.2.4 爬取体育新闻信息并保存到XML文件 26 1.2.5 爬取XX百科 29 1.3 使用专业爬虫库Scrapy 32 1.3.1 Scrapy框架基础 33 1.3.2 搭建Scrapy环境 34 1.3.3 创建**个Scrapy项目 34 1.3.4 爬取某电影网的热门电影信息 38 1.3.5 爬取某网站中的照片并保存到本地 42 1.3.6 爬取某网站中的主播照片并保存到本地 43 第2章 使用数据库保存数据 45 2.1 操作SQLite 3数据库 46 2.1.1 sqlite3模块介绍 46 2.1.2 使用sqlite3模块操作SQLite 3数据库 53 2.1.3 SQLite和Python的类型 56 2.2 操作MySQL数据库 60 2.2.1 搭建PyMySQL环境 61 2.2.2 实现数据库连接 62 2.2.3 创建数据库表 62 2.3 使用MariaDB数据库 63 2.3.1 搭建MariaDB数据库环境 63 2.3.2 在Python程序中使用MariaDB数据库 66 2.3.3 使用MariaDB创建MySQL数据库 68 2.4 使用MongoDB数据库 71 2.4.1 搭建MongoDB环境 71 2.4.2 在Python程序中使用MongoDB数据库 72 2.5 使用ORM(对象关系映射)操作数据库 75 2.5.1 Python和ORM 75 2.5.2 使用SQLAlchemy 76 2.5.3 使用mongoengine 80 第3章 绘制散点图和折线图 83 3.1 绘制散点图 84 3.1.1 绘制一个简单的点 84 3.1.2 添加标题和标签 84 3.1.3 绘制10个点 85 3.1.4 修改散点的大小 86 3.1.5 设置散点的颜色和透明度 87 3.1.6 修改散点的形状 87 3.1.7 绘制两组数据的散点图 88 3.1.8 为散点图设置图例 89 3.1.9 自定义散点图样式 89 3.1.10 使用pygal绘制散点图 91 3.2 绘制折线图 92 3.2.1 绘制*简单的折线 92 3.2.2 设置标签文字和线条粗细 93 3.2.3 绘制1000个点组成折线图 94 3.2.4 绘制渐变色的折线图 95 3.2.5 绘制多幅子图 96 3.2.6 绘制正弦函数和余弦函数曲线 97 3.2.7 绘制3条不同的折线 100 3.2.8 绘制浏览器市场占有率变化折线图 101 3.2.9 绘制XY线图 102 3.2.10 绘制水平样式的浏览器市场占有率变化折线图 103 3.2.11 绘制叠加折线图 104 3.2.12 绘制某网站用户访问量折线图 105 3.3 绘制其他类型的散点图和折线图 106 3.3.1 绘制随机漫步图 106 3.3.2 大数据可视化分析某地的天气情况 110 3.3.3 在Tkinter中使用Matplotlib绘制图表 113 3.3.4 绘制包含点、曲线、注释和箭头的统计图 115 3.3.5 在两栋房子之间绘制箭头指示符 117 3.3.6 根据坐标绘制行走路线图 118 3.3.7 绘制方程式曲线图 120 3.3.8 绘制星空图 122 3.4 绘制BTC(比特币)和ETH(以太币)的价格走势图 122 3.4.1 抓取数据 122 3.4.2 绘制BTC/美元价格曲线 123 3.4.3 绘制BTC和ETH的历史价格曲线图 124 3.5 Flask+pygal+SQLite实现数据分析 125 3.5.1 创建数据库 125 3.5.2 绘制统计图 126 第4章 绘制柱状图 129 4.1 绘制基本的柱状图 130 4.1.1 绘制只有一个柱子的柱状图 130 4.1.2 绘制有两个柱子的柱状图 130 4.1.3 设置柱状图的标签 132 4.1.4 设置柱状图的颜色 135 4.1.5 绘制堆叠柱状图 136 4.1.6 绘制并列柱状图 137 4.1.7 绘制2002—2013年网页浏览器使用变化柱状图 138 4.1.8 绘制直方图 139 4.1.9 绘制横向柱状图 140 4.1.10 绘制有图例横向柱状图 141 4.1.11 绘制分组柱状图 142 4.1.12 模拟电影票房柱状图 144 4.1.13 绘制正负柱状图 145 4.1.14 绘制不同商品销量的统计 柱状图 145 4.2 可视化分析掷骰子游戏的结果次数 146 4.2.1 使用库pygal实现模拟掷骰子功能 147 4.2.2 同时掷两个骰子 148 4.3 可视化分析*受欢迎的开源项目 150 4.3.1 统计前30名*受欢迎的Python库 150 4.3.2 使用pygal实现数据可视化 152 4.4 可视化统计显示某网店各类口罩的销量 154 4.4.1 准备CSV文件 154 4.4.2 可视化CSV文件中的数据 155 4.5 数据挖掘：可视化处理文本情感分析数据 156 4.5.1 准备CSV文件 156 4.5.2 可视化两个剧本的情感分析数据 157 第5章 绘制饼状图 161 5.1 绘制基本的饼状图 162 5.1.1 绘制简易的饼状图 162 5.1.2 修饰饼状图 164 5.1.3 突出显示某个饼状图的部分 165 5.1.4 为饼状图添加图例 166 5.1.5 使用饼状图可视化展示某地区程序员的工龄 166 5.1.6 绘制多个饼状图 167 5.1.7 绘制多系列饼状图 171 5.1.8 绘制圈状饼状图 171 5.1.9 绘制环状饼状图 172 5.1.10 绘制半饼状图 173 5.1.11 使用库pandas、numpy 和matplotlib绘制饼状图 174 5.2 爬取热门电影信息并制作可视化分析饼状图 174 5.2.1 创建MySQL数据库 174 5.2.2 爬取并分析电影数据 176 5.3 机器学习实战：Scikit-Learn聚类分析并可视化处理 179 5.3.1 准备饼状图 179 5.3.2 聚类处理 180 5.3.3 生成统计柱状图 180 5.4 可视化展示名著《西游记》中出现频率*多的文字 182 5.4.1 单元测试文件 182 5.4.2 GUI界面 182 5.4.3 设置所需显示的出现频率 185 第6章 绘制其他图形 187 6.1 绘制雷达图 188 6.1.1 创建极坐标图 188 6.1.2 设置极坐标的正方向 188 6.1.3 绘制一个基本的雷达图 189 6.1.4 绘制XX战队2020绝地求生战绩的雷达图 190 6.1.5 使用雷达图比较两名研发部同事的能力 191 6.1.6 绘制汽车性能雷达图 192 6.1.7 使用pygal绘制雷达图 193 6.1.8 绘制主流编程语言的雷达图 194 6.2 绘制热力图 195 6.2.1 绘制热力图的函数 195 6.2.2 绘制一个简单的热力图 197 6.2.3 使用库matplotlib绘制热力图 197 6.3 将Excel文件中的地址信息可视化为交通热力图 199 6.3.1 将地址转换为JS格式 199 6.3.2 将JS地址转换为坐标 199 6.3.3 在地图中显示地址的热力信息 201 6.4 使用热点图可视化展示电视剧的收视率 202 6.4.1 爬虫爬取电视剧资料 202 6.4.2 使用热点图实现可视化 204 6.5 行人重识别并绘制行走热力图 207 6.5.1 安装第三方库pytorch 208 6.5.2 编写识别程序和绘图程序 208 6.6 绘制词云图 210 6.6.1 绘制B站词云图 210 6.6.2 绘制知乎词云图 211 6.7 使用热力图可视化展示某城市的房价信息 212 6.7.1 准备数据 212 6.7.2 使用热力图可视化展示信息 213 第7章 商业应用：电影票房数据可视化 217 7.1 需求分析 218 7.2 模块架构 218 7.3 爬虫抓取数据 219 7.3.1 分析网页 219 7.3.2 破解反爬 220 7.3.3 构造请求头 223 7.3.4 实现具体爬虫功能 224 7.3.5 将爬取的信息保存到数据库 226 7.4 数据可视化分析 227 7.4.1 电影票房TOP10 227 7.4.2 电影评分TOP10 229 7.4.3 电影人气TOP10 230 7.4.4 每月电影上映数量 231 7.4.5 每月电影票房 233 7.4.6 中外票房对比 234 7.4.7 名利双收TOP10 236 7.4.8 叫座不叫好TOP10 237 7.4.9 电影类型分布 238 第8章 商业应用：房地产市场数据可视化 241 8.1 背景介绍 242 8.2 需求分析 242 8.3 模块架构 242 8.4 系统设置 243 8.4.1 选择版本 243 8.4.2 保存日志信息 244 8.4.3 设置创建的文件名 244 8.4.4 设置抓取城市 245 8.4.5 处理区县信息 247 8.5 破解反爬机制 249 8.5.1 定义爬虫基类 249 8.5.2 浏览器用户代理 250 8.5.3 在线IP代理 251 8.6 爬虫抓取信息 251 8.6.1 设置解析元素 251 8.6.2 爬取二手房信息 252 8.6.3 爬取楼盘信息 255 8.6.4 爬取小区信息 258 8.6.5 抓取租房信息 262 8.7 数据可视化 266 8.7.1 爬取数据并保存到数据库 266 8.7.2 可视化济南市房价*贵的4个小区 270 8.7.3 可视化济南市主要地区的房价均价 271 8.7.4 可视化济南市主要地区的房源数量 272 8.7.5 可视化济南市各区的房源数量所占百分比 274 第9章 商业应用：交通数据可视化 277 9.1 系统架构分析 278 9.2 从CSV文件读取数据 278 9.2.1 读取显示CSV文件中的前3条骑行数据 278 9.2.2 读取显示CSV文件中指定列的数据 283 9.2.3 用统计图可视化CSV文件中的数据 283 9.2.4 选择指定数据 284 9.3 日期相关操作 290 9.3.1 统计每个月的骑行数据 290 9.3.2 展示某街道前5天的骑行数据信息 291 9.3.3 统计周一到周日每天的数据 292 9.3.4 使用matplotlib图表可视化展示统计数据 293 第10章 商业应用：招聘信息 可视化 297 10.1 系统背景介绍 298 10.2 系统架构分析 298 10.3 系统设置 299 10.4 网络爬虫 299 10.4.1 建立和数据库的连接 300 10.4.2 设置HTTP请求头 User-Agent 300 10.4.3 抓取信息 301 10.4.4 将抓取的信息添加到 数据库 302 10.4.5 处理薪资数据 303 10.4.6 清空数据库数据 304 10.4.7 执行爬虫程序 304 10.5 信息分离统计 304 10.5.1 根据“工作经验”分析 数据 305 10.5.2 根据“工作地区”分析 数据 306 10.5.3 根据“薪资水平”分析 数据 307 10.5.4 根据“学历水平”分析 数据 308 10.6 数据可视化 309 10.6.1 Flask Web架构 309 10.6.2 Web主页 311 10.6.3 数据展示页面 312 10.6.4 数据可视化页面 314