PYTHON数据分析实战——思路详解与案例实践

第1章　数据分析的统计学基础 1
1.1　统计学中的一些概念 2
1.1.1　总体与样本 2
1.1.2　参数与统计量 2
1.1.3　变量的度量类型 3
1.1.4　变量的分布类型 3
1.1.5　正态分布 4
1.1.6　Z分数 4
1.2　假设检验基础 6
1.2.1　假设检验的基本要点 7
1.2.2　大数定律和中心极限定理 9
1.3　Z检验 10
1.3.1　基本原理 10
1.3.2　Python实现Z检验 11
1.4　t检验 13
1.4.1　单样本t检验 13
1.4.2　双样本t检验 14
1.5　方差分析 17
1.5.1　基本原理 18
1.5.2　Python 实现方差分析 20
1.6　卡方检验 23
1.7　相关分析（相关系数与热力图） 24
1.7.1　Pearson相关系数 25
1.7.2　热力图 26
1.7.3　相关系数的显著性检验 27 第2章　多元线性回归实现房价预测 29
2.1　线性回归 30
2.1.1　简单线性回归原理 30
2.1.2　多元线性回归 31
2.2　Python实现多元线性回归 33
2.3　模型分析与评估 36
2.3.1　模型的评估指标（R方与调整R方） 36
2.3.2　回归系数的显著性检验 37
2.3.3　虚拟变量的设置 38
2.3.4　多重共线性的诊断 40
2.3.5　残差分析 43
2.3.6　线性回归模型评估小结 48 第3章　逻辑回归预测电信客户流失情况 49
3.1　逻辑回归 50
3.1.1　从相关性分析到逻辑回归 51
3.1.2　逻辑回归公式原理 53
3.2　Python中实现逻辑回归 57
3.3　分类模型的评估 60
3.3.1　模型预测 60
3.3.2　一致对、不一致对与相等对 61
3.3.3　混淆矩阵 63
3.3.4　ROC曲线与AUC值 67 第4章　决策树实现信贷违约预测 70
4.1　决策树的原理 71
4.1.1　节点、分支与深度 71
4.1.2　决策树的分类思想 72
4.1.3　信息熵、条件熵与信息增益 74
4.2　决策树的算法 76
4.2.1　ID3算法与Python实现 77
4.2.2　可视化决策树（传统和交互） 77
4.2.3　C4.5算法与Python实现 80
4.2.4　CART算法建树原理 84
4.3　决策树实现信贷违约预测的具体代码 86
4.3.1　网格搜索调优 89
4.3.2　优化决策边界 91 第5章　随机森林预测宽带订阅用户离网 94
5.1　集成学习简介 95
5.1.1　概述：Bagging与Boosting 96
5.1.2　Bagging原理与Python实现 97
5.2　随机森林的原理 100
5.3　随机森林预测宽带订阅用户离网的具体代码 103 第6章　深入浅出层次聚类 106
6.1　聚类算法概述 107
6.1.1　聚类算法的应用场景 107
6.1.2　聚类算法的变量特点 107
6.1.3　几种常用的聚类算法 108
6.2　聚类算法的分类逻辑 108
6.2.1　欧氏距离 108
6.2.2　余弦相似度 109
6.2.3　闵氏距离 110
6.3　层次聚类 110
6.3.1　层次树怎么看？ 110
6.3.2　点与点、簇与簇之间的距离 113
6.3.3　Python实现层次聚类 117
6.4　聚类模型的评估 120
6.4.1　轮廓系数 120
6.4.2　平方根标准误差 121
6.4.3　R方 121
6.4.4　评估指标的选择 121
6.5　Python实现聚类算法评估 121
6.6　结果分析 123 第7章　K-Means聚类实现客户分群 124
7.1　K-Means聚类原理 125
7.2　Python实现K-Means聚类 126
7.3　数据转换方法 127
7.4　模型评估 131
7.5　结果分析 132 第8章　基于不平衡分类算法的反欺诈模型 134
8.1　不平衡分类背景 135
8.2　欠采样法 136
8.2.1　随机欠采样法 137
8.2.2　Tomek Link法 137
8.3　过采样法 138
8.3.1　随机过采样法 138
8.3.2　SMOTE法 138
8.4　综合采样法 139
8.5　Python代码实战 140
8.5.1　数据探索 140
8.5.2　过采样处理 141
8.5.3　决策树建模 142
8.5.4　结果分析与优化 143 第9章　主成分分析实现客户信贷评级 145
9.1　PCA中的信息压缩 146
9.2　主成分分析原理 147
9.2.1　信息压缩的过程 147
9.2.2　主成分的含义 149
9.3　Python实现主成分分析 150 第10章　Apriori算法实现智能推荐 155
10.1　常见的推荐算法 156
10.2　购物篮分析简介 156
10.3　关联规则 158
10.3.1　关联三度 158
10.3.2　Apriori算法原理 160
10.4　Python实现关联规则 160
10.4.1　数据探索 160
10.4.2　Apriori实现关联规则 162
10.4.3　筛选互补品与互斥品 163
10.5　根据关联规则结果推荐商品 164
10.5.1　以获得*高的营销响应率为目标 164
10.5.2　以*大化总体销售额为目标 165
10.5.3　用户并未产生消费，为其推荐某样商品 166
10.6　使用Apriori算法的注意事项 166 第11章　从变量到指标体系 168
11.1　变量与指标 169
11.2　从单个指标到指标体系 170 第12章　零售超市业绩评估 171
12.1　增长率分析法 172
12.2　比例分析法 175
12.3　投入产出比法 177
12.4　评估小结 178 第13章　广告营销渠道分析 179
13.1　漏斗分析法 180
13.2　整体结构分析法 183
13.3　渠道分析小结 184 第14章　网约车司机单日工作情况分析 185
14.1　单维度分类 187
14.2　两维度分类 189
14.3　数据解读小结 196 第15章　网约车城市运营情况分析 198
15.1　多维度分析法 199
15.2　指标关系梳理 200
15.3　多指标分析顺序 201
15.3.1　各城市完单情况分析 201
15.3.2　各城市过程指标分析 203
15.3.3　转化率分析 204
15.3.4　供需端分析 208
15.4　多维度分析小结 215 第16章　AB测试-教育类网站改版分析 216
16.1　AB测试原理 217
16.2　问题探索 219
16.3　改版效果检测 223
16.3.1　分层抽样函数 224
16.3.2　主页点击率 226
16.3.3　课程详情页注册率和浏览时长 226
16.3.4　课程学习页完课率 228
16.3.5　分析汇总 229
16.4　AB测试的不足 229 第17章　用户价值分析 232
17.1　RFM分析基础 233
17.1.1　R、F、M的打分方式 233
17.1.2　RFM模型的使用 235
17.2　Python实现RFM模型 235
17.2.1　计算R值 237
17.2.2　计算F值 238
17.2.3　计算M值 238
17.2.4　维度打分 239
17.2.5　客户分层 240
17.3　RFM模型指导实际业务 241
17.3.1　F、M 矩阵分析 242
17.3.2　识别对价格敏感的用户 243
17.3.3　识别囤货用户 244
17.3.4　把R也考虑进来 245
17.4　RFM小结 245 第18章　用户留存分析 247
18.1　同期群分析基础 248
18.1.1　从同期群分析表看餐厅经营状况 248
18.1.2　从另一个视角看餐厅经营状况 249
18.2　Python实现同期群分析 250
18.2.1　神奇的 intersect1d 和 setdiff1d 250
18.2.2　单月新增和留存情况 251
18.2.3　循环构建每个月的新增和留存 253
18.2.4　延伸应用 257 第19章　ChatGPT在数据分析领域的应用 259
19.1　ChatGPT的提问框架 260
19.2　用ChatGPT做数据分析 261
19.2.1　GPT处理数据 261
19.2.2　GPT实现假设检验 264
19.2.3　GPT实现分类算法 267
19.3　用ChatGPT分析业务问题 269
19.4　ChatGPT应用小结 272