深入浅出人工神经网络

第 1章　背景知识 1

1.1　什么是智能 /　1

1.2　大脑与神经元 /　2

1.3　关于人工智能/机器学习/神经网络/深度学习 /　7

第　2章 函数　10

2.1　函数的极限 /　10

2.2　函数的连续性 /　13

2.3　导数 /　14

2.4　凹凸性与拐点 /　21

2.5　极值与驻点 /　23

2.6　曲率 /　25

2.7　二元函数 /　27

第3章　梯度　34

3.1　矢量的概念 /　34

3.2　矢量的运算 /　35

3.3　矢量与坐标 /　37

3.4　方向角与方向余弦 /　39

3.5　矢量的数量积 /　40

3.6　函数的梯度 /　42

第4章　矩阵　50

4.1　矩阵的概念及运算 /　50

4.2　矩阵的初等变换 /　54

4.3　矢量的矩阵表示法 /　57

4.4　矩阵的秩 /　58

4.5　矩阵的逆 /　63

4.6　从标量函数到矩阵函数 /　69

第5章　MCP模型及感知器（Perceptron）　80

5.1　MCP模型 /　80

5.2　模式识别初探 /　84

5.3　感知器 /　88

5.4　凸集与单层感知器 /　94

5.5　XOR问题 /　98

第6章　多层感知器（MLP）　100

6.1　纵向串接 /　100

6.2　MLP的基本架构 /　102

6.3　BP算法 /　108

6.4　梯度下降法 /　120

6.5　极小值问题 /　121

6.6　学习率 /　123

6.7　批量训练 /　125

6.8　欠拟合与过拟合 /　127

6.9　容量 /　128

6.10　拓扑 /　130

6.11　收敛曲线 /　132

6.12　训练样本集 /　133

6.13　权值连接方式 /　135

第7章　径向基函数神经网络（RBFNN）　137

7.1　插值的概念 /　137

7.2　RBF /　141

7.3　从精确插值到RBFNN /　148

7.4　Cover定理 /　151

7.5　空间分割问题 /　154

7.6　训练策略 /　156

第8章　卷积神经网络（CNN）　157

8.1　卷积运算与相关运算 /　157

8.2　卷积核与特征映射图 /　188

8.3　CNN的一般结构 /　195

8.4　三种思想 /　207

8.5　边界策略 /　209

8.6　池化 /　211

8.7　CNN网络实例 /　214

8.8　Hubel-Wiesel实验 /　225

第9章　循环神经网络（RNN）　228

9.1　N-Gram模型 /　228

9.2　RNN示例 /　232

9.3　单向RNN /　237

9.4　BPTT算法 /　240

9.5　填空问题 /　255

9.6　双向RNN /　263

9.7　梯度爆炸与梯度消失 /　265

9.8　LSTM /　269

结束语　278