智能系统与技术丛书机器学习中的概率统计:Python语言描述

第1章 概率思想：构建理论基础 1

1.1 理论基石：条件概率、独立性与贝叶斯 1

1.1.1 从概率到条件概率 1

1.1.2 条件概率的具体描述 2

1.1.3 条件概率的表达式分析 3

1.1.4 两个事件的独立性 4

1.1.5 从条件概率到全概率公式 5

1.1.6 聚焦贝叶斯公式 6

1.1.7 本质内涵：由因到果，由果推因 7

1.2 事件的关系：深入理解独立性 8

1.2.1 重新梳理两个事件的独立性 8

1.2.2 不相容与独立性 8

1.2.3 条件独立 9

1.2.4 独立与条件独立 11

1.2.5 独立重复实验 11

第2章 变量分布：描述随机世界 13

2.1 离散型随机变量：分布与数字特征 13

2.1.1 从事件到随机变量 13

2.1.2 离散型随机变量及其要素 14

2.1.3 离散型随机变量的分布列 15

2.1.4 分布列和概率质量函数 16

2.1.5 二项分布及二项随机变量 17

2.1.6 几何分布及几何随机变量 21

2.1.7 泊松分布及泊松随机变量 24

2.2 连续型随机变量：分布与数字特征 27

2.2.1 概率密度函数 27

2.2.2 连续型随机变量区间概率的计算 29

2.2.3 连续型随机变量的期望与方差 29

2.2.4 正态分布及正态随机变量 30

2.2.5 指数分布及指数随机变量 33

2.2.6 均匀分布及其随机变量 35

2.3 多元随机变量（上）：联合、边缘与条件 38

2.3.1 实验中引入多个随机变量 38

2.3.2 联合分布列 38

2.3.3 边缘分布列 39

2.3.4 条件分布列 40

2.3.5 集中梳理核心的概率理论 44

2.4 多元随机变量（下）：独立与相关 46

2.4.1 随机变量与事件的独立性 46

2.4.2 随机变量之间的独立性 47

2.4.3 独立性示例 48

2.4.4 条件独立的概念 48

2.4.5 独立随机变量的期望和方差 50

2.4.6 随机变量的相关性分析及量化方法 52

2.4.7 协方差及协方差矩阵 52

2.4.8 相关系数的概念 54

2.5 多元随机变量实践：聚焦多元正态分布 55

2.5.1 再谈相关性：基于二元标准正态分布 55

2.5.2 二元一般正态分布 57

2.5.3 聚焦相关系数 60

2.5.4 独立和相关性的关系 64

2.6 多元高斯分布：参数特征和几何意义 66

2.6.1 从一元分布到多元分布 66

2.6.2 多元高斯分布的参数形式 67

2.6.3 二元高斯分布的具体示例 68

2.6.4 多元高斯分布的几何特征 71

2.6.5 二元高斯分布几何特征实例分析 74

第3章 参数估计：探寻*大可能 77

3.1 极限思维：大数定律与中心极限定理 77

3.1.1 一个背景话题 77

3.1.2 大数定律 78

3.1.3 大数定律的模拟 80

3.1.4 中心极限定理 83

3.1.5 中心极限定理的工程意义 84

3.1.6 中心极限定理的模拟 85

3.1.7 大数定律的应用：蒙特卡罗方法 86

3.2 推断未知：统计推断的基本框架 89

3.3 极大似然估计 100

3.4 含有隐变量的参数估计问题 110

3.5 概率渐增：EM算法的合理性 118

3.6 探索EM公式的底层逻辑与由来 123

3.7 探索高斯混合模型：EM 迭代实践 127

3.8 高斯混合模型的参数求解 132

第4章 随机过程：聚焦动态特征 145

4.1 由静向动：随机过程导引 145

4.2 状态转移：初识马尔可夫链 155

4.3 变与不变：马尔可夫链的极限与稳态 164

4.4 隐马尔可夫模型：明暗两条线 176

4.5 概率估计：隐马尔可夫模型观测序列描述 183

4.6 状态解码：隐马尔可夫模型隐状态揭秘 194

4.7 连续域上的无限维：高斯过程 204

第5章 统计推断：贯穿近似策略 215

5.1 统计推断的基本思想和分类 215

5.2 随机近似方法 219

5.3 采样绝佳途径：借助马尔可夫链的稳态性质 228

5.4 马尔可夫链-蒙特卡罗方法详解 242

5.5 Gibbs采样方法简介 253