白话深度学习的数学

第 1章 神经网络入门 1
1．1　对神经网络的兴趣 2
1．2　神经网络所处的位置 4
1．3　关于神经网络 6
1．4　神经网络能做的事情 13
1．5　数学与编程 20
专栏　神经网络的历史 23

第 2章 学习正向传播 29
2．1　先来学习感知机 30
2．2　感知机的工作原理 32
2．3　感知机和偏置 35
2．4　使用感知机判断图像的长边 38
2．5　使用感知机判断图像是否为正方形 41
2．6　感知机的缺点 44
2．7　多层感知机 48
2．8　使用神经网络判断图像是否为正方形 52
2．9　神经网络的权重 55
2．10　激活函数 66
2．11　神经网络的表达式 69
2．12　正向传播 74
2．13　神经网络的通用化 80
专栏　激活函数到底是什么 83

第3章 学习反向传播 89
3．1　神经网络的权重和偏置 90
3．2　人的局限性 92
3．3　误差 95
3．4　目标函数 100
3．5　梯度下降法 107
3．6　小技巧：德尔塔 119
3．7　德尔塔的计算 130
3．7．1　输出层的德尔塔 130
3．7．2　隐藏层的德尔塔 134
3．8　反向传播 141
专栏　梯度消失到底是什么 145

第4章 学习卷积神经网络 151
4．1　擅长处理图像的卷积神经网络 152
4．2　卷积过滤器 154
4．3　特征图 162
4．4　激活函数 165
4．5　池化 167
4．6　卷积层 168
4．7　卷积层的正向传播 176
4．8　全连接层的正向传播 186
4．9　反向传播 190
4．9．1　卷积神经网络的反向传播 190
4．9．2　误差 192
4．9．3　全连接层的更新表达式 197
4．9．4　卷积过滤器的更新表达式 201
4．9．5　池化层的德尔塔 205
4．9．6　与全连接层相连的卷积层的德尔塔 207
4．9．7　与卷积层相连的卷积层的德尔塔 212
4．9．8　参数的更新表达式 217
专栏　交叉熵到底是什么 221

第5章 实现神经网络 227
5．1　使用Python 实现 228
5．2　判断长宽比的神经网络 229
5．2．1　神经网络的结构 232
5．2．2　正向传播 234
5．2．3　反向传播 239
5．2．4　训练 244
5．2．5　小批量 250
5．3　手写数字的图像识别与卷积神经网络 255
5．3．1　准备数据集 257
5．3．2　神经网络的结构 263
5．3．3　正向传播 266
5．3．4　反向传播 278
5．3．5　训练 286
专栏　后话 297

附录
A．1　求和符号 302
A．2　微分 303
A．3　偏微分 307
A．4　复合函数 310
A．5　向量和矩阵 312
A．6　指数与对数 316
A．7　Python 环境搭建 319
A．8　Python 基础知识 322