PYTHON贝叶斯建模与计算

第1章　贝叶斯推断 1
1.1 贝叶斯建模 1
1.1.1 贝叶斯模型 2
1.1.2 贝叶斯推断介绍 2
1.2 一个自制采样器，不要随意尝试 5
1.3 支持自动推断，反对自动建模 9
1.4 量化先验信息的方法 12
1.4.1 共轭先验 13
1.4.2 客观先验 15
1.4.3 *大熵先验 17
1.4.4 弱信息先验与正则化先验 20
1.4.5 先验预测分布用于评估先验选择 21
1.5 练习 21
第2章　贝叶斯模型的探索性分析 25
2.1 贝叶斯推断前后的工作 25
2.2 理解你的假设 26
2.3 理解你的预测 28
2.4 诊断数值推断 32
2.4.1 有效样本量 33
2.4.2 潜在尺度缩减因子( ) 35
2.4.3 蒙特卡罗标准差 35
2.4.4 轨迹图 37
2.4.5 自相关图 38
2.4.6 秩图 38
2.4.7 散度 40
2.4.8 采样器的参数和其他诊断方法 42
2.5 模型比较 43
2.5.1 交叉验证和留一法 44
2.5.2 对数预测密度的期望 47
2.5.3 帕累托形状参数 47
2.5.4 解读帕累托参数 较大时的p_loo 48
2.5.5 LOO-PIT 49
2.5.6 模型平均 50
2.6 练习 51
第3章　线性模型与概率编程语言 55
3.1 比较两个或多个组 55
3.2 线性回归 63
3.2.1 一个简单的线性模型 65
3.2.2 预测 67
3.2.3 中心化处理 68
3.3 多元线性回归 70
3.4 广义线性模型 74
3.4.1 逻辑回归 75
3.4.2 分类模型 76
3.4.3 解释对数赔率 81
3.5 回归模型的先验选择 82
3.6 练习 85
第4章　扩展线性模型 87
4.1 转换预测变量 87
4.2 可变的不确定性 90
4.3 引入交互效应 91
4.4 鲁棒的回归 93
4.5 池化、多级模型和混合效应 97
4.5.1 非池化参数 98
4.5.2 池化参数 100
4.5.3 组混合与公共参数 102
4.6 分层模型 104
4.6.1 后验几何形态很重要 107
4.6.2 分层模型的优势 112
4.6.3 分层模型的先验选择 114
4.7 练习 114
第5章　样条 117
5.1 多项式回归 117
5.2 扩展特征空间 118
5.3 样条的基本原理 120
5.4 使用Patsy软件库构建设计矩阵 123
5.5 用PyMC3拟合样条 125
5.6 选择样条的结点和先验 127
5.7 用样条对二氧化碳吸收量建模 129
5.8 练习 134
第6章　时间序列 137
6.1 时间序列问题概览 137
6.2 将时间序列分析视为回归问题 138
6.2.1 时间序列的设计矩阵 143
6.2.2 基函数和广义加性模型 144
6.3 自回归模型 147
6.3.1 隐AR过程和平滑 152
6.3.2 (S)AR(I)MA(X) 154
6.4 状态空间模型 157
6.4.1 线性高斯状态空间模型与卡尔曼滤波 158
6.4.2 ARIMA模型的状态空间表示 161
6.4.3 贝叶斯结构化的时间序列 164
6.5 其他时间序列模型 168
6.6 模型的评判和先验选择 168
6.7 练习 170
第7章　贝叶斯加性回归树 173
7.1 决策树 173
7.2 BART模型 176
7.3 BART模型先验 177
7.3.1 先验的独立性 177
7.3.2 树结构 的先验 177
7.3.3 叶结点值μij和树数量m的先验 178
7.4 拟合贝叶斯加性回归树 178
7.5 自行车数据的BART模型 178
7.6 广义BART模型 180
7.7 BART的可解释性 181
7.7.1 部分依赖图 182
7.7.2 个体条件期望图 183
7.8 预测变量的选择 185
7.9 PyMC3中BART的先验选择 187
7.10 练习 188
第8章　逼近贝叶斯计算 191
8.1 超越似然 191
8.2 逼近的后验 192
8.3 用ABC逼近拟合一个高斯 194
8.4 选择距离函数、?和统计量 195
8.4.1 选择距离函数 196
8.4.2 选择? 197
8.4.3 选择统计量 199
8.5 g-and-k分布 199
8.6 逼近移动平均 203
8.7 在ABC场景中做模型比较 205
8.7.1 边际似然与LOO 205
8.7.2 模型选择与随机森林 209
8.7.3 MA模型的模型选择 209
8.8 为ABC选择先验 211
8.9 练习 211
第9章　端到端贝叶斯工作流 213
9.1 工作流、上下文和问题 213
9.2 获取数据 216
9.2.1 抽样调查 216
9.2.2 试验设计 216
9.2.3 观察性研究 216
9.2.4 缺失数据 217
9.2.5 应用示例：收集航班延误数据 217
9.3 构建不止一个模型 218
9.3.1 在构建贝叶斯模型前需要问的问题 218
9.3.2 应用示例：选择航班延误的似然 218
9.4 选择先验和预测先验 220
9.5 推断和推断诊断 222
9.6 后验图 223
9.7 评估后验预测分布 224
9.8 模型比较 225
9.9 奖励函数和决策 228
9.10 与特定受众分享结果 230
9.10.1 分析流程的可重复性 231
9.10.2 理解受众 232
9.10.3 静态视觉辅助 233
9.10.4 可重复的计算环境 234
9.10.5 应用示例：展示航班延误模型和结论 234
9.11 试验性示例：比较两个组 235
9.12 练习 239
第10章 概率编程语言 241
10.1 PPL的系统工程视角 241
10.2 后验计算 242
10.2.1 计算梯度 243
10.2.2 示例：近实时推断 244
10.3 应用编程接口 245
10.3.1 示例：Stan和Slicstan 246
10.3.2 示例：PyMC3和PyMC4 247
10.4 PPL驱动的转换 248
10.4.1 对数概率 248
10.4.2 随机变量和分布转换 250
10.4.3 示例：有界和无界随机变量之间的采样比较 251
10.5 操作图和自动重参数化 252
10.6 异常处理 255
10.7 基础语言、代码生态系统、模块化 257
10.8 设计PPL 258
10.9 应用贝叶斯从业者的注意事项 265
10.10 练习 265
第11章 附加主题 267
11.1 概率背景 267
11.1.1 概率 268
11.1.2 条件概率 269
11.1.3 概率分布 270
11.1.4 离散随机变量及其分布 271
11.1.5 连续随机变量和分布 275
11.1.6 联合、条件和边际分布 279
11.1.7 概率积分转换 282
11.1.8 期望 284
11.1.9 转换 285
11.1.10 极限 286
11.1.11 马尔可夫链 288
11.2 熵 290
11.3 Kullback-Leibler散度 292
11.4 信息标准 294
11.5 深入介绍LOO 296
11.6 Jeffrey先验求导 297
11.6.1 关于θ的二项似然的Jeffrey先验 298
11.6.2 关于 的二项似然的Jeffrey先验 299
11.6.3 二项似然的Jeffrey后验 299
11.7 边际似然 300
11.7.1 调和平均估计器 300
11.7.2 边际似然和模型比较 301
11.7.3 贝叶斯因子与WAIC和LOO 303
11.8 移出平面 304
11.9 推断方法 307
11.9.1 网格方法 307
11.9.2 Metropolis-Hastings 308
11.9.3 哈密顿蒙特卡罗 310
11.9.4 序贯蒙特卡罗 314
11.9.5 变分推断 315
11.10 编程参考 317
11.10.1 选择哪种编程语言 317
11.10.2 版本控制 317
11.10.3 依赖项管理和包仓库 317
11.10.4 环境管理 318
11.10.5 文本编辑器、集成开发环境、笔记 318
11.10.6 本书使用的专用工具 319
词汇表 321
参考文献(在线提供) 325