TensorFlow深度学习应用实践

目 录 目 录 第1章 星星之火 1 1.1 计算机视觉与深度学习 1 1.1.1 人类视觉神经的启迪 2 1.1.2 计算机视觉的难点与人工神经网络 3 1.1.3 应用深度学习解决计算机视觉问题 4 1.2 计算机视觉学习的基础与研究方向 5 1.2.1 学习计算机视觉结构图 5 1.2.2 计算机视觉的学习方式和未来趋势 6 1.3 本章小结 7 第2章 Python的安装与使用 8 2.1 Python基本安装和用法 8 2.1.1 Anaconda的下载与安装 9 2.1.2 Python编译器PyCharm的安装 12 2.1.3 使用Python计算softmax函数 16 2.2 Python常用类库中的threading 17 2.2.1 threading库的使用 18 2.2.2 threading模块中*重要的Thread类 18 2.2.3 threading中的Lock类 19 2.2.4 threading中的join类 20 2.3 本章小结 21 第3章 深度学习的理论基础——机器学习 22 3.1 机器学习基本分类 22 3.1.1 基于学科的分类 22 3.1.2 基于学习模式的分类 23 3.1.3 基于应用领域的分类 23 3.2 机器学习基本算法 24 3.2.1 机器学习的算法流程 24 3.2.2 基本算法的分类 25 3.3 算法的理论基础 26 3.3.1 小学生的故事——求圆的面积 27 3.3.2 机器学习基础理论——函数逼近 27 3.4 回归算法 29 3.4.1 函数逼近经典算法——线性回归 29 3.4.2 线性回归的姐妹——逻辑回归 31 3.5 机器学习的其他算法——决策树 32 3.5.1 水晶球的秘密 32 3.5.2 决策树的算法基础——信息熵 33 3.5.3 决策树的算法基础——ID3算法 34 3.6 本章小结 35 第4章 Python类库的使用——数据处理及可视化展示 37 4.1 从小例子起步——NumPy的初步使用 37 4.1.1 数据的矩阵化 37 4.1.2 数据分析 39 4.1.3 基于统计分析的数据处理 40 4.2 图形化数据处理——Matplotlib包使用 41 4.2.1 差异的可视化 41 4.2.2 坐标图的展示 42 4.2.3 玩个大的 44 4.3 深度学习理论方法——相似度计算 46 4.3.1 基于欧几里得距离的相似度计算 46 4.3.2 基于余弦角度的相似度计算 47 4.3.3 欧几里得相似度与余弦相似度的比较 48 4.4 数据的统计学可视化展示 49 4.4.1 数据的四分位 49 4.4.2 数据的四分位示例 50 4.4.3 数据的标准化 53 4.4.4 数据的平行化处理 55 4.4.5 热点图——属性相关性检测 57 4.5 Python实战——某地降水的关系处理 58 4.5.1 不同年份的相同月份统计 58 4.5.2 不同月份之间的增减程度比较 59 4.5.3 每月降水不相关吗 60 4.6 本章小结 61 第5章 OpenCV的基础使用 62 5.1 OpenCV基本的图片读取 62 5.1.1 基本的图片存储格式 62 5.1.2 图像的读取与存储 64 5.1.3 图像的转换 65 5.1.4 使用NumPy模块对图像进行编辑 66 5.2 OpenCV的卷积核处理 68 5.2.1 计算机视觉的三种不同色彩空间 68 5.2.2 卷积核与图像特征提取 68 5.2.3 卷积核进阶 70 5.3 本章小结 72 第6章 OpenCV与TensorFlow的融合 73 6.1 图片的自由缩放以及边缘裁剪 73 6.1.1 图像的扩缩裁挖 73 6.1.2 图像色调的调整 74 6.1.3 图像的旋转、平移和翻转 76 6.2 使用OpenCV扩大图像数据库 77 6.2.1 图像的随机裁剪 77 6.2.2 图像的随机旋转变换 78 6.2.3 图像色彩的随机变换 79 6.2.4 对鼠标的监控 80 6.3 本章小结 81 第7章 Let’s play TensorFlow 82 7.1 TensorFlow游乐场 82 7.1.1 I want to play a game 82 7.1.2 TensorFlow游乐场背后的故事 86 7.1.3 如何训练神经网络 88 7.2 初识Hello TensorFlow 89 7.2.1 TensorFlow名称的解释 89 7.2.2 TensorFlow基本概念 89 7.2.3 TensorFlow基本架构 92 7.3 本章小结 93 第8章 Hello TensorFlow，从0到1 94 8.1 TensorFlow的安装 94 8.2 TensorFlow常量、变量和数据类型 96 8.3 TensorFlow矩阵计算 100 8.4 Hello TensorFlow 102 8.5 本章小结 107 第9章 TensorFlow重要算法基础 108 9.1 BP神经网络简介 108 9.2 BP神经网络中的两个基础算法 110 9.2.1 *小二乘法（LS算法）详解 111 9.2.2 道士下山的故事——梯度下降算法 113 9.3 TensorFlow实战——房屋价格的计算 116 9.3.1 数据收集 117 9.3.2 模型的建立与计算 117 9.3.3 TensorFlow程序设计 119 9.4 反馈神经网络反向传播算法 121 9.4.1 深度学习基础 121 9.4.2 链式求导法则 122 9.4.3 反馈神经网络原理与公式推导 124 9.4.4 反馈神经网络原理的激活函数 129 9.4.5 反馈神经网络原理的Python实现 130 9.5 本章小结 136 第10章 TensorFlow数据的生成与读取详解 137 10.1 TensorFlow的队列 137 10.1.1 队列的创建 137 10.1.2 线程同步与停止 141 10.1.3 队列中数据的读取 142 10.2 CSV文件的创建与读取 143 10.2.1 CSV文件的创建 143 10.2.2 CSV文件的读取 144 10.3 TensorFlow文件的创建与读取 146 10.3.1 TFRecords文件的创建 146 10.3.2 TFRecords文件的读取 149 10.3.3 图片文件的创建与读取 150 10.4 本章小结 155 第11章 回归分析——从TensorFlow 陷阱与细节开始 156 11.1 TensorFlow线性回归 156 11.1.1 线性回归详解与编程实战 157 11.1.2 线性回归编程中的陷阱与细节设计 159 11.1.3 TensorFlow多元线性回归 163 11.2 多元线性回归实战编程 166 11.2.1 多元线性回归实战的编程——房屋价格计算 166 11.2.2 多元线性回归实战的推广——数据的矩阵化 168 11.3 逻辑回归详解 174 11.3.1 逻辑回归不是回归算法 174 11.3.2 常用的逻辑回归特征变化与结果转换 175 11.3.3 逻辑回归的损失函数 176 11.3.4 逻辑回归编程实战——胃癌的转移判断 178 11.4 本章小结 181 第12章 TensorFlow编程实战——MNIST手写体识别 183 12.1 MNIST数据集 183 12.1.1 MNIST是什么 183 12.1.2 MNIST数据集的特征和标签 185 12.2 MNIST数据集实战编程 187 12.2.1 softmax激活函数 187 12.2.2 MNIST编程实战 189 12.2.3 为了更高的准确率 192 12.2.4 增加更多的深度 193 12.3 初识卷积神经网络 195 12.3.1 卷积神经网络 196 12.3.2 卷积神经网络的程序编写 196 12.3.3 多层卷积神经网络的程序编写 199 12.4 本章小结 201 第13章 卷积神经网络原理 202 13.1 卷积运算基本概念 202 13.1.1 卷积运算 203 13.1.2 TensorFlow中卷积函数实现详解 204 13.1.3 使用卷积函数对图像感兴趣区域进行标注 208 13.1.4 池化运算 210 13.1.5 使用池化运算加强卷积特征提取 212 13.2 卷积神经网络的结构详解 213 13.2.1 卷积神经网络原理 213 13.2.2 卷积神经网络的应用实例——LeNet5网络结构 216 13.2.3 卷积神经网络的训练 218 13.3 TensorFlow实现LeNet实例 219 13.3.1 LeNet模型分解 219 13.3.2 使用ReLU激活函数代替sigmoid 223 13.3.3 程序的重构——模块化设计 227 13.3.4 卷积核和隐藏层参数的修改 231 13.4 本章小结 237 第14章 卷积神经网络公式推导与应用 238 14.1 反馈神经网络算法 238 14.1.1 经典反馈神经网络正向与反向传播公式推导 238 14.1.2 卷积神经网络正向与反向传播公式推导 241 14.2 使用卷积神经网络分辨CIFAR-10数据集 249 14.2.1 CIFAR-10数据集下载与介绍 249 14.2.2 CIFAR-10模型的构建与数据处理 251 14.2.3 CIFAR-10模型的细节描述与参数重构 260 14.3 本章小结 261 第15章 猫狗大战——实战AlexNet 262 15.1 AlexNet简介 263 15.1.1 AlexNet模型解读 263 15.1.2 AlexNet程序的实现 266 15.2 实战猫狗大战——AlexNet模型 270 15.2.1 数据的收集与处理 271 15.2.2 模型的训练与存储 276 15.2.3 使用训练过的模型预测图片 281 15.2.4 使用Batch_Normalization正则化处理数据集 288 15.3 本章小结 297 第16章 我们都爱Finetuning——复用VGG16进行猫狗大战 298 16.1 TensorFlow模型保存与恢复详解 298 16.1.1 TensorFlow保存和恢复函数的使用 298 16.1.2 多次模型的保存和恢复 299 16.1.3 实战TensorFlow模型的存储与恢复 300 16.2 更为细化的保存和恢复方法 304 16.2.1 存储文件的解读 304 16.2.2 更细节地对模型进行恢复和处理 305 16.3 VGGNet实现 309 16.3.1 VGGNet模型解读及与AlexNet比较 309 16.3.2 VGGNet模型的TensorFlow实现 311 16.4 使用已训练好的模型和权重复现VGGNet 315 16.4.1 npz文件的读取 316 16.4.2 复用的VGGNet模型定义 317 16.4.3 保存复用的VGGNet模型为TensorFlow格式 323 16.5 猫狗大战V2—— Finetuning使用VGGNet进行图像判断 324 16.5.1 Finetuning基本理解 324 16.5.2 猫狗大战——Finetuning使用VGGNet 326 16.6 本章小结 336 第17章 开始找工作吧——深度学习常用面试问题答疑 337 17.1 深度学习面试常用问题答疑 337 17.1.1 如何降低过拟合 338 17.1.2 全连接层详解 342 17.1.3 激活函数起作用的原因 342 17.1.4 卷积后的图像大小 343 17.1.5 池化层的作用 343 17.1.6 为什么在*后分类时使用softmax而不是传统的SVM 343 17.2 卷积神经网络调优面试问答汇总 343 17.2.1 数据集的注意事项 343 17.2.2 卷积模型训练的注意事项 344 17.3 NIN模型介绍 344 17.3.1 NIN模型简介 344 17.3.2 猫狗大战——NIN的代码实现 345 17.4 “deeper is better”——GoogLeNet 模型介绍 350 17.4.1 GoogLeNet模型的介绍 350 17.4.2 GoogLeNet模型单元的TensorFlow实现 352 17.4.3 GoogLeNet模型的一些注意事项 354 17.5 本章小结 355 第18章 暂时的冠军——ResNet简介及TensorFlow实现 356 18.1 ResNet模型简介 356 18.1.1 ResNet模型定义 357 18.1.2 定义工具的TensorFlow实现 359 18.1.3 ResNet模型的TensorFlow实现 360 18.2 新兴的卷积神经模型简介 362 18.2.1 SqueezeNet模型简介 362 18.2.2 Xception模型简介 365 18.3 本章小结 366 第19章 TensorFlow高级API—— Slim使用入门 368 19.1 Slim详解 368 19.2 Slim使用方法介绍 369 19.2.1 Slim中变量使用方法介绍 369 19.2.2 Slim中层的使用方法介绍 373 19.2.3 Slim中参数空间使用方法介绍 375 19.3 实战——使用Slim定义VGG16 377 19.3.1 VGG16结构图和TensorFlow定义 377 19.3.2 使用Slim创建VGG16并训练 379 19.4 实战——使用Slim设计多层感知器（MLP） 382 19.4.1 MLP的Slim实现 383 19.4.2 MLP模型的评估 392 19.5 Slim数据读取方式 394 19.5.1 Slim数据读取格式 394 19.5.2 生成TFRecords格式数据 395 19.5.3 使用Slim读取TFRecords格式数据 398 19.6 本章小结 399 第20章 Slim使用进阶 400 20.1 使用Slim创建卷积神经网络（CNN） 400 20.1.1 数据集获取 400 20.1.2 创建卷积神经网络 403 20.1.3 训练Slim创建的卷积网络 405 20.2 使用Slim预训练模型进行Finetuning 407 20.2.1 Inception-ResNet-v2模型简介 407 20.2.2 使用Inception-ResNet-v2预训练模型参数 408 20.2.3 修改Inception-ResNet-v2预训练模型输出层级 415 20.3 本章小结 419 第21章 全卷积神经网络图像分割入门 420 21.1 全卷积神经网络进行图像分割的理论基础 420 21.1.1 全连接层和全卷积层 421 21.1.2 反卷积（upsampling）计算 423 21.2 全卷积神经网络进行图像分割的分步流程与编程基础 425 21.2.1 使用VGG16进行图像识别 425 21.2.2 上采样（upsampling）详解 428 21.2.3 一种常用的卷积核——双线插值 430 21.2.4 实战——使用VGG16全卷积网络进行图像分割 434 21.3 本章小结 438 第22章 不服就是GAN——对抗生成网络 439 22.1 对抗生成网络详解 439 22.1.1 GAN的基本原理介绍 440 22.1.2 简单GAN的TensorFlow实现 443 22.2 从0到1——实战：使用GAN生成手写体数字 449 22.2.1 分步骤简介 450 22.2.2 GAN网络的训练 455 22.3 本章小结 458