深度学习的数学原理与实现

目 录 第1章 Hello World—从计算机视觉与人类视觉谈起 1 1.1 人类的视觉 1 1.1.1 人类视觉神经的启迪 1 1.1.2 计算机视觉的难点与人工神经网络 2 1.1.3 应用深度学习解决计算机视觉问题 3 1.2 计算机视觉学习的基础与研究方向 4 1.2.1 学习计算机视觉结构图 4 1.2.2 计算机视觉的学习方式和未来趋势 5 1.3 本章小结 6 第2章 道士下山—故事的开始 7 2.1 BP神经网络简介 7 2.2 BP神经网络的两个基础算法详解 11 2.2.1 *小二乘法 11 2.2.2 梯度下降法 13 2.3 反馈神经网络反向传播算法 16 2.3.1 深度学习基础 16 2.3.2 链式求导法则 17 2.3.3 反馈神经网络原理与公式推导 18 2.3.4 反馈神经网络原理的激活函数 23 2.3.5 反馈神经网络原理的Python实现 24 2.4 本章小结 29 第3章 猫还是狗—深度学习中的卷积与其他函数 30 3.1 卷积运算基本概念 30 3.1.1 卷积运算 31 3.1.2 卷积核 33 3.1.3 卷积神经网络原理 33 3.2 卷积神经网络公式推导 35 3.2.1 经典反馈神经网络正向与反向传播公式推导 36 3.2.2 卷积神经网络正向与反向传播公式推导 38 3.3 激活、分类以及池化函数简介 45 3.3.1 别偷懒—激活函数是分割器 45 3.3.2 太多了，我只要一个—池化运算 49 3.3.3 全连接层详解 50 3.3.4 *终的裁判—分类函数 52 3.3.5 每次都是一个新模型—随机失活层简介 54 3.4 本章小结 55 第4章 水晶球的秘密—信息熵、决策树与交叉熵 56 4.1 水晶球的秘密 56 4.1.1 水晶球的秘密概述 57 4.1.2 决策树的算法基础—信息熵 57 4.1.3 决策树的算法基础—ID3算法 59 4.2 信息熵*重要的应用—交叉熵 60 4.2.1 交叉熵基本原理详解 61 4.2.2 交叉熵的表述 63 4.2.3 把无用的利用起来—交叉熵的改进1（你想做科研吗？） 64 4.2.4 交叉熵的作用与改进—解决正负样本数量差异过大 66 4.2.5 交叉熵的作用与改进—解决样本的难易分类 68 4.2.6 统一后的交叉熵 68 4.3 本章小结 69 第5章 Mission Impossible！—把不可能变成可能的机器学习 70 5.1 机器学习基本分类 71 5.1.1 应用学科的分类 71 5.1.2 学习模式的分类 72 5.1.3 应用领域的分类 72 5.2 机器学习基本算法 73 5.2.1 机器学习的算法流程 73 5.2.2 基本算法的分类 74 5.3 算法的理论基础 75 5.3.1 小学生的故事—求圆的面积 76 5.3.2 机器学习基础理论—函数逼近 76 5.4 回归算法 77 5.4.1 函数逼近经典算法—线性回归算法 78 5.4.2 逻辑回归不是回归—逻辑回归算法 79 5.5 本章小结 80 第6章 书中自有黄金屋—横扫股市的时间序列模型 81 6.1 长短期记忆网络 81 6.1.1 Hochreiter & Schmidhuber和LSTM 82 6.1.2 循环神经网络与长短期记忆网络 83 6.1.3 LSTM的“处理单元”详解 85 6.1.4 LSTM的实现与股市预测 87 6.2 LSTM的研究发展与应用 90 6.2.1 LSTM的研究发展 91 6.2.2 LSTM的应用前景 92 6.3 本章小结 93 第7章 书中自有颜如玉—GAN is a girl 94 7.1 GAN的工作原理详解 94 7.1.1 生成器与判别器共同构成一个GAN 95 7.1.2 GAN是怎么工作的 96 7.2 GAN的数学原理详解 97 7.2.1 GAN的损失函数 97 7.2.2 生成器的数学原理—相对熵简介 98 7.2.3 GAN的应用前景 99 7.3 本章小结 103 第8章 休息一下，让我们玩一把TensorFlow 104 8.1 TensorFlow游乐场 104 8.1.1 让我们一起来玩吧 104 8.1.2 TensorFlow游乐场背后的故事 108 8.1.3 如何训练神经网络 109 8.2 你好，TensorFlow 110 8.2.1 TensorFlow名称的解释 110 8.2.2 TensorFlow基本概念 111 8.2.3 TensorFlow基本架构 113 8.3 本章小结 114 第9章 你喜欢什么我全知道—推荐系统的原理 115 9.1 传统方法的推荐系统 115 9.1.1 基于内容的推荐算法 116 9.1.2 多种相似度的计算方法 116 9.1.3 基于内容推荐算法的数学原理—以文档特征提取的TF-IDF为例 120 9.1.4 基于协同过滤的推荐算法 122 9.2 基于深度学习的推荐系统 127 9.2.1 基于模型的推荐算法 127 9.2.2 基于用户画像的推荐算法 128 9.2.3 基于深度学习推荐系统的总结 129 9.3 本章小结 130 第10章 整齐划一画个龙—深度学习中的归一化、正则化与初始化 131 10.1 常用的数据归一化方法 131 10.1.1 数据归一化的作用 132 10.1.2 几种常用的数据归一化 133 10.2 不那么深的深度学习模型的正则化方法 134 10.2.1 “浅度”学习中的正则化 135 10.2.2 关于过拟合问题的解决 136 10.2.3 批量归一化详解 138 10.2.4 深度学习中的随机失活 143 10.2.5 深度学习中的初始化 143 10.3 本章小结 145 第11章 众里寻她千百度—人脸识别的前世今生 146 11.1 人脸识别简介 147 11.1.1 人脸识别的发展历程 147 11.1.2 人脸识别的一般方法 148 11.1.3 人脸识别的通用流程 149 11.2 基于深度学习的人脸识别 151 11.2.1 基于深度学习的人脸识别简介 152 11.2.2 用于深度学习的人脸识别数据集 154 11.2.3 基于深度学习的人脸识别模型 157 11.3 人脸识别中的softmax激活函数 162 11.3.1 softmax基本原理详解 162 11.3.2 AMsoftmax基本原理详解 163 11.3.3 softmax的一些改进 165 11.4 本章小结 166 第12章 梅西-阿根廷+意大利=？—有趣的词嵌入向量 167 12.1 文本数据处理 168 12.1.1 数据集和数据清洗 168 12.1.2 停用词的使用 170 12.1.3 词向量训练模型word2vec的使用 173 12.1.4 文档主题的提取：基于TF-IDF 176 12.1.5 文档主题的提取：基于TextRank（选学） 180 12.2 更多的词嵌入向量方法—fastText和预训练词向量 183 12.2.1 fastText的原理与基础算法 183 12.2.2 使用fastText训练词嵌入向量 185 12.2.3 使用其他预训练参数（中文） 190 12.3 针对文本的卷积神经网络模型—字符卷积 191 12.3.1 字符（非单词）文本的处理 191 12.3.2 卷积神经网络文档分类模型的实现—conv1d（一维卷积） 198 12.4 针对文档的卷积神经网络模型—词卷积 200 12.4.1 单词的文本处理 201 12.4.2 卷积神经网络文档分类模型的实现—conv2d（二维卷积） 203 12.5 使用卷积对文档分类的补充内容 206 12.5.1 中文的文本处理 206 12.5.2 其他细节 209 12.6 本章小结 210