TensorFlow神经网络到深度学习

目录
第1章 走进TENSORFLOW 1
1．1 TensorFlow介绍 1
1．1．1 TensorFlow特性 1
1．1．2 谁可以使用TensorFlow 2
1．1．3 为什么Google要开源这个
神器 3
1．2 TensorFlow的环境搭建 4
1．2．1 安装环境介绍 4
1．2．2 安装TensorFlow 5
1．2．3 Cuda和CuDNN的安装 7
1．2．4 Geany开发环境 9
1．3 TensorFlow基本使用 10
1．3．1 计算图 10
1．3．2 构建图 10
1．3．3 在一个会话中启动图 11
1．3．4 交互式使用 12
1．3．5 Fetch 12
1．3．6 Feed 13
1．4 变量 13
1．5 TensorFlow的队列 16
1．5．1 队列的创建 16
1．5．2 线程同步与停止 19
1．5．3 队列中数据的读取 20
1．6 TensorBoard可视化 23
1．6．1 在TensorBoard中查看
图结构 24
1．6．2 数据变化趋势 25
第2章 计算机视觉与深度学习 28
2．1 计算机视觉 28
2．1．1 人类视觉的启迪 28
2．1．2 计算机视觉的难点和
人工神经网络 29
2．1．3 深度学习 30
2．1．4 前深度学习时代的
计算机视觉 31
2．1．5 仿生学角度看深度学习 31
2．1．6 应用深度学习解决计算机
视觉问题 32
2．2 深度学习在视觉上的应用 33
2．2．1 人脸识别 33
2．2．2 图片问答问题 33
2．2．3 物体检测问题 34
2．2．4 物体跟踪 36
2．3 计算机视觉的学习方式和
未来趋势 36
2．4 机器学习 37
2．4．1 机器学习发展的历程 37
2．4．2 机器学习的步骤 38
2．4．3 机器学习的分类 38
2．4．4 机器学习的基本算法 40
第3章 深度神经网络的基础 42
3．1 生物神经元 42
3．2 人工神经元 43
3．2．1 人工神经元的数学模型 43
3．2．2 人工神经网络 44
3．2．3 激活函数 45
3．2．4 神经元之间的连接形式 46
3．2．5 人工神经网络的分类 47
3．3 激活函数 47
3．3．1 sigmoid激活函数 47
3．3．2 tanh激活函数 49
3．3．3 relu激活函数 50
3．3．4 dropout激活函数 53
3．4 softmax处理分类问题 54
3．4．1 什么是softmax 54
3．4．2 softmax原理 54
3．5 损失函数 56
3．5．1 均值平方差 56
3．5．2 交叉熵 56
3．5．3 自定义损失函数 57
3．6 梯度下降法 59
3．6．1 梯度下降法的作用与分类 59
3．6．2 退化学习率 61
3．7 优化函数 62
3．7．1 随机梯度下降优化算法 62
3．7．2 基于冲量优化算法 63
3．7．3 Adadelta优化算法 64
3．7．4 Adam优化算法 65
3．8 拟合 67
3．8．1 过拟合和欠拟合 68
3．8．2 正则化的方法 68
第4章 全连接神经网络 72
4．1 前馈神经网络简介 72
4．2 感知机 74
4．2．1 感知机定义 74
4．2．2 学习策略 78
4．2．3 感知机学习算法 78
4．3 全连接 83
4．3．1 全连接结构 83
4．3．2 前向传播算法 84
4．4 线性模型的局限性 87
4．5 多层网络解决异域运算 91
4．6 全连接神经网络的经典实战 93

第5章 卷积神经网络 99
5．1 人类视觉原理 99
5．2 卷积运算 100
5．2．1 卷积运算 101
5．2．2 卷积函数实现 102
5．2．3 标注图像感兴趣的区域 106
5．2．4 池化运算 107
5．2．5 加强卷积特征提取 110
5．3 反卷积、反池化操作 111
5．3．1 反卷积操作 111
5．3．2 反池化操作 114
5．4 卷积神经网络的介绍 117
5．4．1 卷积神经网络的一般框架 117
5．4．2 卷积神经网络的训练 119
5．4．3 利用卷积神经网络实现
数据集分类 121
5．5 图像数据处理 126
5．5．1 图像编码处理 127
5．5．2 翻转图像 128
5．5．3 图像色彩调整 129
5．5．4 图像标准化处理 132
5．5．5 调整图像大小 133
5．5．6 图像的标注框 137
第6章 高级卷积神经网络 140
6．1 LeNet-5卷积神经网络 140
6．1．1 LeNet-5模型 140
6．1．2 TensorFlow 实现简单的
卷积神经网络 142
6．2 AlexNet卷积神经网络 145
6．2．1 AlexNet概述 145
6．2．2 AlexNet结构 148
6．2．3 AlexNet实现 150
6．3 VGGNet卷积神经网络 154
6．3．1 VGGNet模型结构 155
6．3．2 VGGNet实现 157
6．4 Inception v3卷积神经网络 162
6．4．1 几种 Inception模型 162
6．4．2 Inception v3原理及实现 163
6．5 ResNet卷积神经网络 175
6．5．1 ResNet模型结构 175
6．5．2 ResNet实现 177
第7章 循环神经网络 184
7．1 RNN基础概念和结构 184
7．2 RNN前后向传播算法 186
7．2．1 RNN前向传播 186
7．2．2 RNN后向传播 187
7．3 循环神经网络的梯度 191
7．4 LSTM单元 193
7．4．1 LSTM单元基本结构 193
7．4．2 LSTM的变体 200
7．5 RNN的实现 201
7．6 自然语言建模与词向量 214
7．6．1 统计学语言模型 214
7．6．2 独热编码 217
7．6．3 词向量与Word2vec 217
7．7 LSTM实现语音识别 226
7．7．1 语音特征介绍 226
7．7．2 算法流程 227
7．7．3 TensorFlow实现语音识别 228
第8章 对抗神经网络 235
8．1 理论知识 235
8．1．1 GAN网络结构 235
8．1．2 GAN原理 236
8．1．3 基本架构 236
8．1．4 GAN 的特点及优缺点 237
8．2 DCGAN网络 243
8．3 InfoGAN网络 248
8．4 WGAN-GP网络 255
8．4．1 WGAN网络的理论 255
8．4．2 WGAN网络的
改进WGAN-GP网络 256
8．4．3 WGAN-GP网络的实现 257
8．5 SRGAN网络 260
8．5．1 超分辨率技术 260
8．5．2 ESPCN网络实现数据的
超分辨率重建 261
第9章 其他监督学习 264
9．1 支持向量机 264
9．1．1 支持向量机的含义 264
9．1．2 线性不可分支持向量机与
核函数 273
9．1．3 SMO原理及实现 280
9．2 朴素贝叶斯 286
9．2．1 统计学知识 286
9．2．2 朴素贝叶斯的模型 287
9．2．3 朴素贝叶斯的推断过程 287
9．2．4 朴素贝叶斯的参数估计 288
9．2．5 朴素贝叶斯算法过程 289
9．2．6 朴素贝叶斯的实现 290
9．3 决策树 292
9．3．1 认识决策树 293
9．3．2 ID3算法的介绍 294
9．3．3 C4．5算法的介绍 296
9．3．4 决策树的实现 297
9．4 k近邻算法 300
9．4．1 kNN算法三要素 300
9．4．2 kd树实现原理 301
9．4．3 kNN算法的优缺点 302
9．4．4 kNN算法的实现 303
第10章 非监督学习 305
10．1 主成分分析 305
10．1．1 PCA思想 305
10．1．2 基于*小投影距离 306
10．1．3 基于*大投影方差 307
10．1．4 PCA算法流程 308
10．1．5 PCA的优缺点 308
10．1．6 PCA的实现 309
10．2 k均值聚类 312
10．2．1 距离测试 312
10．2．2 k均值聚类原理 317
10．2．3 传统k均值算法流程 318
10．2．4 K-Means++聚类算法 322
10．3 自组织映射神经网络 324
10．3．1 自组织映射算法 325
10．3．2 与k均值的比较 325
10．4 受限玻尔兹曼机 330
10．5 谱聚类 336
10．5．1 谱聚类的基础知识 336
10．5．2 谱聚类之切图聚类 339
10．5．3 谱聚类算法的实现 343
第11章 自动编码机 345
11．1 自动编码机原理 345
11．2 标准自动编码机 346
11．3 稀疏自动编码机 351
11．4 去噪自动编码机 355
11．5 卷积自动编码机 360
第12章 强化学习 366
12．1 强化学习的概述 366
12．2 强化学习的学习过程 367
12．3 OpenAI Gym原理及应用 369
12．4 Q learning原理及应用 371
12．5 DQN原理及应用 377
参考文献 384