Python深度学习入门与实践

**部分 入门篇 1 深度学习概述 2 1.1 让机器学会学习 2 1.1.1 什么是人工智能 2 1.1.2 从数据中学习 3 1.1.3 数据表示 3 1.2 深度学习之“深度” 4 1.2.1 深度神经网络 5 1.2.2 神经网络的学习 7 1.3 深度学习的数据表示 9 1.3.1 标量、向量、矩阵与张量 9 1.3.2 现实世界中的张量数据 11 1.4 为什么要用深度学习 14 1.4.1 深度学习有何不同 14 1.4.2 深度学习的大众化 15 本章小结 15 2 神经网络入门 16 2.1 神经元 16 2.1.1 人工神经元 16 2.1.2 激活函数 18 2.2 多层神经网络 19 2.2.1 分类问题与独热编码 19 2.2.2 MNIST数据集 20 2.2.3 神经网络 22 2.2.4 神经网络的输出 23 2.2.5 softmax函数 24 2.3 神经网络的前向传播 26 2.3.1 各层间数据传递 27 2.3.2 多个样本情况 28 2.3.3 识别精度 29 2.4 监督学习与损失函数 30 2.4.1 监督学习 31 2.4.2 损失函数 32 2.5 梯度下降法 36 2.5.1 梯度下降 36 2.5.2 梯度的实现 38 2.5.3 梯度下降法的实现 39 2.6 学习算法的实现 41 2.6.1 两层神经网络模型 42 2.6.2 神经网络的训练 44 2.6.3 基于测试数据的评价 45 2.7 练习题 47 本章小结 47 3 神经网络的反向传播 48 3.1 反向传播的基础知识 48 3.2 反向传播的实现 49 3.2.1 ReLU层 49 3.2.2 sigmoid层 51 3.2.3 Linear层 51 3.2.4 softmax-with-Loss层 53 3.3 学习算法的实现 55 3.3.1 构建多层神经网络模型 55 3.3.2 随机梯度下降法 60 3.4 训练与预测 61 3.4.1 构建训练器 62 3.4.2 训练与推理 66 3.5 练习题 71 本章小结 72 4 改善神经网络 73 4.1 优化算法 73 4.1.1 动量法 75 4.1.2 AdaGrad 76 4.1.3 RMSpro