统计至简

绪论 1
第1章 概率统计全景 7
1.1 必 备数学工具：一个线性代数小测验 8
1.2 统计描述 9
1.3 概率 10
1.4 高斯 16
1.5 随机 19
1.6 频率派 19
1.7 贝叶斯派 20
1.8 椭圆三部曲 21
第2章 统计描述 23
2.1 统计两大工具：描述、推断 25
2.2 直方图：单特征数据分布 26
2.3 散点图：两特征数据分布 31
2.4 有标签数据的统计可视化 33
2.5 集中度：均值、质心 36
2.6 分散度：极差、方差、标准差 38
2.7 分位：四分位、百分位等 40
2.8 箱型图：小提琴图、分布散点图 42
2.9 中心距：均值、方差、偏度、峰度 44
2.10 多元随机变量关系：协方差矩阵、相关性系数矩阵 47

第3章 古典概率模型 51
3.1 无处不在的概率 52
3.2 古典概率：离散均匀概率律 56
3.3 回顾：杨辉三角和概率 64
3.4 事件之间的关系：集合运算 65
3.5 条件概率：给定部分信息做推断 67
3.6 贝叶斯定理：条件概率、边缘概率、联合概率关系 70
3.7 全概率定理：穷举法 73
3.8 独立、互斥、条件独立 76
第4章 离散随机变量 79
4.1 随机：天地不仁，以万物为刍狗 80
4.2 期望值：随机变量的可能取值加权平均 89
4.3 方差：随机变量离期望距离平方的平均值 91
4.4 累积分布函数（CDF）：累加 94
4.5 二元离散随机变量 95
4.6 协方差、相关性系数 97
4.7 边缘概率：偏求和，相当于降维 100
4.8 条件概率：引入贝叶斯定理 101
4.9 独立性：条件概率等于边缘概率 104
4.10 以鸢尾花数据为例：不考虑分类标签 107
4.11 以鸢尾花数据为例：考虑分类标签 116
4.12 再谈概率1：展开、折叠 120
第5章 离散分布 123
5.1 概率分布：高度理想化的数学模型 124
5.2 离散均匀分布：不分厚薄 125
5.3 伯努利分布：非黑即白 128
5.4 二项分布：杨辉三角 129
5.5 多项分布：二项分布推广 132
5.6 泊松分布：建模随机事件的发生次数 135
5.7 几何分布：滴水穿石 136
5.8 超几何分布：不放回 138
第6章 连续随机变量 141
6.1 一元连续随机变量 142
6.2 期望、方差和标准差 145
6.3 二元连续随机变量 147
6.4 边缘概率：二元PDF偏积分 149
6.5 条件概率：引入贝叶斯定理 151
6.6 独立性：比较条件概率和边缘概率 153
6.7 以鸢尾花数据为例：不考虑分类标签 154
6.8 以鸢尾花数据为例：考虑分类标签 162
第7章 连续分布 171
7.1 连续均匀分布：离散均匀分布的连续版 172
7.2 高斯分布：*重要的概率分布，没有之一 173
7.3 逻辑分布：类似高斯分布 177
7.4 学生t-分布：厚尾分布 179
7.5 对数正态分布：源自正态分布 181
7.6 指数分布：泊松分布的连续随机变量版 183
7.7 卡方分布：若干IID标准正态分布平方和 184
7.8 F-分布：和两个服从卡方分布的独立随机变量有关 185
7.9 Beta分布：概率的概率 187
7.10 Dirichlet分布：多元Beta分布 190
第8章 条件概率 197
8.1 离散随机变量：条件期望 198
8.2 离散随机变量：条件方差 204
8.3 离散随机变量的条件期望和条件方差：以鸢尾花为例 206
8.4 连续随机变量：条件期望 215
8.5 连续随机变量：条件方差 216
8.6 连续随机变量：以鸢尾花为例 217
8.7 再谈如何分割“1” 221
第9章 一元高斯分布 231
9.1 一元高斯分布：期望值决定位置，标准差决定形状 232
9.2 累积概率密度：对应概率值 234
9.3 标准高斯分布：期望为0，标准差为1 236
9.4 68-95-99.7 法则 239
9.5 用一元高斯分布估计概率密度 243
9.6 经验累积分布函数 244
9.7 QQ图：分位-分位图 245
9.8 从距离到一元高斯分布 249

第10章 二元高斯分布 253
10.1 二元高斯分布：看见椭圆 254
10.2 边缘分布：一元高斯分布 258
10.3 累积分布函数：概率值 262
10.4 用椭圆解剖二元高斯分布 264
10.5 聊聊线性相关性系数 268
10.6 以鸢尾花数据为例：不考虑分类标签 272
10.7 以鸢尾花数据为例：考虑分类标签 281
第11章 多元高斯分布 287
11.1 矩阵角度：一元、二元、三元到多元 288
11.2 高斯分布：椭圆、椭球、超椭球 293
11.3 解剖多元高斯分布PDF 298
11.4 平移 → 旋转 302
11.5 平移 → 旋转 → 缩放 308
第12章 条件高斯分布 311
12.1 联合概率和条件概率关系 312
12.2 给定X条件下，Y的条件概率：以二元高斯分布为例 316
12.3 给定Y条件下，X的条件概率：以二元高斯分布为例 321
12.4 多元正态条件分布：引入矩阵运算 325
第13章 协方差矩阵 331
13.1 计算协方差矩阵：描述数据分布 332
13.2 相关性系数矩阵：描述Z分数分布 338
13.3 特征值分解：找到旋转、缩放 340
13.4 SVD分解：分解数据矩阵 345
13.5 Cholesky分解：列向量坐标 349
13.6 距离：欧氏距离 VS 马氏距离 350
13.7 几何视角：超椭球、椭球、椭圆 353
13.8 合并协方差矩阵 362
第14章 随机变量的函数 367
14.1 随机变量的函数：以鸢尾花为例 368
14.2 线性变换：投影视角 369
14.3 单方向投影：以鸢尾花两特征为例 372
14.4 正交系投影：以鸢尾花两特征为例 376
14.5 以椭圆投影为视角看线性变换 380
14.6 主成分分析：换个视角看数据 383
第15章 蒙特卡洛模拟 387
15.1 蒙特卡洛模拟：基于伪随机数发生器 388
15.2 估算平方根 389
15.3 估算积分 390
15.4 估算体积 391
15.5 估算圆周率 391
15.6 布丰投针估算圆周率 393
15.7 接受-拒绝抽样法 395
15.8 二项分布随机漫步 397
15.9 两个服从高斯分布的随机变量相加 399
15.10 产生满足特定相关性的随机数 400
第16章 频率派统计推断 411
16.1 统计推断：两大学派 412
16.2 频率学派的工具 414
16.3 中心极限定理：渐近于正态分布 416
16.4 *大似然：鸡兔比例 419
16.5 *大似然：以估算均值、方差为例 421
16.6 区间估计：总体方差已知，均值估计 424
16.7 区间估计：总体方差未知，均值估计 427
16.8 区间估计：总体均值未知，方差估计 429
第17章 概率密度估计 431
17.1 概率密度估计：从直方图说起 432
17.2 核密度估计：若干核函数加权叠合 435
17.3 带宽：决定核函数的高矮胖瘦 439
17.4 核函数：八种常见核函数 441
17.5 二元KDE：概率密度曲面 443
第18章 贝叶斯分类 447
18.1 贝叶斯定理：分类鸢尾花 448
18.2 似然概率：给定分类条件下的概率密度 450
18.3 先验概率：鸢尾花分类占比 451
18.4 联合概率：可以作为分类标准 451
18.5 证据因子：和分类无关 452
18.6 后验概率：也是分类的依据 453
18.7 单一特征分类：基于KDE 457
18.8 单一特征分类：基于高斯 461
第19章 贝叶斯分类进阶 467
19.1 似然概率：给定分类条件下的概率密度 468
19.2 联合概率：可以作为分类标准 470
19.3 证据因子：和分类无关 472
19.4 后验概率：也是分类的依据 474
19.5 独立：不代表条件独立 477
19.6 条件独立：不代表独立 478
第20章 贝叶斯推断入门 483
20.1 贝叶斯推断：更贴合人脑思维 484
20.2 从一元贝叶斯公式说起 486
20.3 走地鸡兔：比例完全不确定 488
20.4 走地鸡兔：很可能一半一半 495
20.5 走地鸡兔：更一般的情况 504
第21章 贝叶斯推断进阶 511
21.1 除了鸡兔，农场发现了猪 512
21.2 走地鸡兔猪：比例完全不确定 517
21.3 走地鸡兔猪：很可能各1/3 520
21.4 走地鸡兔猪：更一般的情况 525
第22章 马尔可夫链蒙特卡洛 529
22.1 归一化因子没有闭式解？ 530
22.2 鸡兔比例：使用PyMC3 534
22.3 鸡兔猪比例：使用PyMC3 537
第23章 马氏距离 543
23.1 马氏距离：考虑数据分布的距离度量 544
23.2 欧氏距离：*基本的距离 546
23.3 标准化欧氏距离：两个视角 547
23.4 马氏距离：两个视角 549
23.5 马氏距离和卡方分布 553
第24章 线性回归 557
24.1 再聊线性回归 558
24.2 *小二乘法 561
24.3 优化问题 562
24.4 投影视角 563
24.5 线性方程组：代数视角 563
24.6 条件概率 564
24.7 *大似然估计（MLE） 568
第25章 主成分分析 571
25.1 再聊主成分分析 572
25.2 原始数据 574
25.3 特征值分解协方差矩阵 575
25.4 投影 577
25.5 几何视角看PCA 583
25.6 奇异值分解 586
25.7 优化问题 591
25.8 数据还原和误差 592