PYTHON数据挖掘实战——数据陷阱与异常检测

第 1章 Python编程基础知识 …………………………………………………………… 11. 1 Python编程快速入门 ……………………………………………………………… 31. 1. 1 快速入门的几个问题 ……………………………………………………… 31. 1. 2 安装 Anaconda ……………………………………………………………… 31. 1. 3 **个案例 ………………………………………………………………… 61. 2 常见类型数据载入 ………………………………………………………………… 81. 2. 1 读取 Excel文件 ……………………………………………………………… 81. 2. 2 读取 txt文件 ………………………………………………………………… 81. 2. 3 读取 pdf文件 ………………………………………………………………… 91. 2. 4 网页文本数据获取 ………………………………………………………… 111. 2. 5 图片数据读取 ……………………………………………………………… 121. 2. 6 视频数据读取 ……………………………………………………………… 121. 3 pandas数据处理 …………………………………………………………………… 131. 3. 1 pandas中的数据结构 ……………………………………………………… 131. 3. 2 创建 DateFrame数据表 …………………………………………………… 141. 3. 3 查看数据集基本信息 ……………………………………………………… 151. 3. 4 增加行、列 ………………………………………………………………… 171. 3. 5 删除行、列 ………………………………………………………………… 191. 3. 6 筛选 ……………………………………………………………………… 201. 3. 7 选择指定数据 ……………………………………………………………… 221. 3. 8 修改列名 …………………………………………………………………… 251. 3. 9 索引的处理 ………………………………………………………………… 261. 3. 10 缺失值处理 ………………………………………………………………… 291. 3. 11 重复值处理 ………………………………………………………………… 331. 3. 12 替换 ………………………………………………………………………… 341. 3. 13 排序 ………………………………………………………………………… 361. 3. 14 连接与合并 ………………………………………………………………… 381. 3. 15 分列 ………………………………………………………………………… 401. 3. 16 分组 ………………………………………………………………………… 411. 3. 17 日期处理 …………………………………………………………………… 411. 3. 18 数据统计 …………………………………………………………………… 421. 3. 19 数据计算 …………………………………………………………………… 431. 3. 20 遍历 ………………………………………………………………………… 441. 3. 21 应用函数 …………………………………………………………………… 451. 4 数据呈现 …………………………………………………………………………… 461. 4. 1 折线图 ……………………………………………………………………… 461. 4. 2 柱状图 ……………………………………………………………………… 471. 4. 3 饼图 ………………………………………………………………………… 471. 4. 4 箱型图 ……………………………………………………………………… 481. 4. 5 小提琴图 …………………………………………………………………… 511. 4. 6 散点图 ……………………………………………………………………… 511. 4. 7 矩阵热力图 ………………………………………………………………… 531. 4. 8 词云图 ……………………………………………………………………… 541. 4. 9 动漫风格图表 ……………………………………………………………… 55本章小结 …………………………………………………………………………………… 62第 2章 不同阶段常见的数据陷阱 …………………………………………………… 632. 1 数据采集阶段 ……………………………………………………………………… 652. 1. 1 数据量不足 ………………………………………………………………… 652. 1. 2 选择偏差 …………………………………………………………………… 672. 1. 3 幸存者偏差 ………………………………………………………………… 672. 1. 4 中心极限定理 ……………………………………………………………… 672. 2 数据分析阶段 ……………………………………………………………………… 692. 2. 1 大数定律 …………………………………………………………………… 692. 2. 2 蒙地卡罗谬误 ……………………………………………………………… 702. 2. 3 误判相关因果 ……………………………………………………………… 752. 2. 4 忽略均值回归 ……………………………………………………………… 772. 2. 5 谁在偷懒 …………………………………………………………………… 782. 2. 6 蒙提 ·霍尔悖论 …………………………………………………………… 812. 2. 7 黑天鹅事件 ………………………………………………………………… 832. 3 数据呈现阶段 ……………………………………………………………………… 832. 3. 1 选择性呈现 ………………………………………………………………… 832. 3. 2 辛普森悖论 ………………………………………………………………… 852. 3. 3 用图表改变数据 …………………………………………………………… 892. 4 数据建模中的常见问题 ………………………………………………………… 912. 4. 1 忽略异常值 ………………………………………………………………… 912. 4. 2 过拟合与欠拟合 …………………………………………………………… 922. 4. 3 如何应对数据量不足 ……………………………………………………… 952. 4. 4 非均衡数据处理 …………………………………………………………… 96本章小结 …………………………………………………………………………………… 97目 录第 3章 利用本福特定律分析公司年报 ……………………………………………… 993. 1 准备工作 …………………………………………………………………………… 1013. 1. 1 财报造假识别理论 ———本福特定律 ……………………………………… 1013. 1. 2 建模思路 …………………………………………………………………… 1023. 1. 3 编程环境 …………………………………………………………………… 1023. 2 利用本福特定律判断 Meta公司年报可信度 ………………………………… 1033. 2. 1 获取 Meta公司年报数据 ………………………………………………… 1043.2.2 “全选、复制 ”网页文本 …………………………………………………… 1053.2.3 “正则表达式 ”提取网页中的数字 ……………………………………… 1063. 2. 4 提取首位数字 ……………………………………………………………… 1083. 2. 5 利用本福特定律建模 ……………………………………………………… 1103. 2. 6 可信度判断 ………………………………………………………………… 1113. 2. 7 形成结论 …………………………………………………………………… 1143. 3 利用本福特定律分析 A股上市公司的年报 ………………………………… 1143. 3. 1 载入 pdf格式的公司年报 ………………………………………………… 1143. 3. 2 中文年报文本数据分析 …………………………………………………… 1153. 3. 3 年份数字对本福特定律的影响 …………………………………………… 1183. 3. 4 提取表格内数字并分析 …………………………………………………… 1203. 3. 5 结论 ………………………………………………………………………… 1233. 4 本福特定律的延伸 ……………………………………………………………… 1243. 4. 1 还有哪些数据可能符合本福特定律 ……………………………………… 1243. 4. 2 本福特定律应用场景 ……………………………………………………… 124本章小结 ………………………………………………………………………………… 125第 4章 利用规模法则发现财务数据异常 ………………………………………… 1274. 1 规模法则 …………………………………………………………………………… 1294. 1. 1 认识规模法则 ……………………………………………………………… 1294. 1. 2 如何将规模法则用于监测公司财务数据异常 …………………………… 1294. 2 探索性数据分析 ………………………………………………………………… 1314. 2. 1 获取 A股上市公司财务数据 …………………………………………… 1314. 2. 2 缺失数据可视化 …………………………………………………………… 1334. 2. 3 统一收入单位 ……………………………………………………………… 1344. 2. 4 数据集分布形态 …………………………………………………………… 1354. 2. 5 数据集关系分析 …………………………………………………………… 1364. 2. 6 对数变换 …………………………………………………………………… 1374. 3 利用规模法则进行数据建模 …………………………………………………… 1394. 3. 1 变量选取 …………………………………………………………………… 1394. 3. 2 线性回归 …………………………………………………………………… 1404. 3. 3 财务数据异常的公司名单 ………………………………………………… 142Python数据挖掘实战 ———数据陷阱与异常检测本章小结 ………………………………………………………………………………… 145第 5章 利用决策树进行信贷数据异常检测 ……………………………………… 1475. 1 数据可视化与异常数据处理 …………………………………………………… 1495. 1. 1 数据集概览 ………………………………………………………………… 1495. 1. 2 数据缺失情况统计 ………………………………………………………… 1515. 1. 3 利用直方图查看数据分布 ………………………………………………… 1535. 1. 4 利用箱型图查看异常数据 ………………………………………………… 1565. 1. 5 异常值处理 ………………………………………………………………… 1585. 1. 6 利用小提琴图展示异常值处理后的数据 ………………………………… 1595. 2 利用决策树进行逾期风险预判 ………………………………………………… 1615. 2. 1 决策树建模流程 …………………………………………………………… 1615. 2. 2 决策树原理简介 …………………………………………………………… 1615. 2. 3 模型实现 …………………………………………………………………… 1665. 2. 4 模型优化 …………………………………………………………………… 172本章小结 ………………………………………………………………………………… 177第 6章 利用 AP聚类算法识别电商平台刷单行为 ……………………………… 1796. 1 数据建模 …………………………………………………………………………… 1816. 1. 1 问题转换思路 ……………………………………………………………… 1816. 1. 2 数据获取 …………………………………………………………………… 1816. 1. 3 建模工具 …………………………………………………………………… 1836. 2 探索性数据分析 ………………………………………………………………… 1846. 2. 1 商品颜色分析 ……………………………………………………………… 1846. 2. 2 商品尺码分析 ……………………………………………………………… 1876. 2. 3 评论时间异常分析 ………………………………………………………… 1886. 2. 4 利用词袋模型分析 ………………………………………………………… 1906. 3 利用 AP聚类识别刷评论行为 ………………………………………………… 1946.3.1 AP聚类基本概念 ………………………………………………………… 1946. 3. 2 模型设计 …………………………………………………………………… 1956. 3. 3 程序实现 …………………………………………………………………… 1966. 3. 4 聚类算法 …………………………………………………………………… 204本章小结 ………………………………………………………………………………… 204