概率深度学习 使用Python、Keras和TensorFlow Probability

第Ⅰ部分 深度学习基础

第1章 概率深度学习简介 3

1.1 概率模型初探 4

1.2 初步了解深度学习 7

1.3 分类 10

1.3.1 传统图像分类方法 11

1.3.2 深度学习图像分类方法 15

1.3.3 非概率分类 17

1.3.4 概率分类 18

1.3.5 贝叶斯概率分类 19

1.4 曲线拟合 21

1.4.1 非概率曲线拟合 21

1.4.2 概率曲线拟合 23

1.4.3 贝叶斯概率曲线拟合 25

1.5 何时使用和何时不使用深度学习 26

1.5.1 不宜使用深度学习的情况 27

1.5.2 适宜使用深度学习的情况 27

1.5.3 何时使用和何时不使用概率模型 28

1.6 你将在本书中学到什么 28

1.7 小结 29

第2章 神经网络架构 31

2.1 全连接神经网络(fcNN) 32

2.1.1 人工神经网络的生物学原型 33

2.1.2 神经网络的实现入门 35

2.1.3 使用全连接神经网络对图像进行分类 48

2.2 用于图像类数据的卷积神经网络 56

2.2.1 卷积神经网络架构中的主要思想 57

2.2.2 “边缘爱好者”*小卷积神经网络 61

2.2.3 卷积神经网络架构的生物学起源 64

2.2.4 建立和理解卷积神经网络 66

2.3 用于序列数据的一维卷积神经网络 72

2.3.1 时序数据格式 73

2.3.2 有序数据有何特别之处 74

2.3.3 时间序列数据网络架构 75

2.4 小结 77

第3章 曲线拟合原理 79

3.1 曲线拟合中的“Hello World” 81

3.2 梯度下降法 88

3.2.1 具有一个模型自由参数的损失函数 89

3.2.2 具有两个模型自由参数的损失函数 93

3.3 深度学习中的特殊技巧 98

3.3.1 小批量梯度下降 99

3.3.2 使用随机梯度下降改进算法来加快学习速度 100

3.3.3 自动微分 100

3.4 深度学习框架中的反向传播 101

3.4.1 静态图框架 102

3.4.2 动态图框架 112

3.5 小结 114

第Ⅱ部分 概率深度学习模型的*大似然方法

第4章 *大似然定义损失函数 117

4.1 损失函数之母——*大似然原则 118

4.2 分类问题损失函数推导 124

4.2.1 二元分类问题 125

4.2.2 两个以上类别分类问题 133

4.2.3 负对数似然、交叉熵和K-L散度之间的关系 137

4.3 回归问题损失函数推导 140

4.3.1 使用无隐藏层、单输出神经网络对输入与输出的线性关系进行建模 140

4.3.2 采用具有隐藏层的神经网络对输入与输出的非线性关系进行建模 151

4.3.3 采用两输出神经网络对异方差回归任务进行建模 153

4.4 小结 159

第5章 基于TensorFlow概率编程的概率深度学习模型 161

5.1 不同概率预测模型的评价和比较 165

5.2 TFP概率编程概述 166

5.3 基于TFP概率编程的连续数据建模 171

5.3.1 常量方差线性回归模型的拟合与评估 172

5.3.2 变方差线性回归模型的拟合与评估 176

5.4 基于TFP的计数数据建模 182

5.4.1 适用于计数数据的泊松分布 187

5.4.2 扩展泊松分布为零膨胀泊松(ZIP)分布 193

5.5 小结 197

第6章 “野外世界”中的概率深度学习模型 198

6.1 高级深度学习模型中的灵活概率分布 200

6.1.1 多项式分布作为一种灵活分布 201

6.1.2 理解离散逻辑混合 204

6.2 案例研究：巴伐利亚公路伤亡事故 208

6.3 与流同行：标准化流(NF)简介 210

6.3.1 标准化流的基本原理 212

6.3.2 概率变量变换 215

6.3.3 标准化流模型拟合 222

6.3.4 链接流以实现深度变换 224

6.3.5 高维空间变换* 229

6.3.6 流操作的网络实现 232

6.3.7 有趣的流模型：人脸图像采样 239

6.4 小结 245

第Ⅲ部分 概率深度学习模型的贝叶斯方法

第7章 贝叶斯学习 249

7.1 非贝叶斯深度学习的弊端，以房间里的大象为例 250

7.2 初始贝叶斯方法 255

7.2.1 贝叶斯模型：黑客式 255

7.2.2 我们刚刚做了什么 260

7.3 贝叶斯概率模型 261

7.3.1 贝叶斯模型训练和预测 263

7.3.2 投掷硬币，贝叶斯模型的“Hello World” 270

7.3.3 贝叶斯线性回归模型回顾 282

7.4 小结 288

第8章 贝叶斯神经网络 289

8.1 贝叶斯神经网络概述 291

8.2 变分推理贝叶斯近似 293

8.2.1 深入了解变分推理* 294

8.2.2 变分推理简单应用* 300

8.3 变分推理TFP实现 309

8.4 蒙特卡罗dropout贝叶斯近似 312

8.4.1 经典dropout训练方法 313

8.4.2 在训练和测试过程中采用蒙特卡罗dropout 317

8.5 案例研究 320

8.5.1 回归中的外推问题 320

8.5.2 分类任务中新类别问题 326

8.6 小结 336

术语和缩写词的词表 337