MindSpore深度学习入门与实践

**部分 理 论 第1章 深度学习与MindSpore 2 1.1 机器学习 2 1.1.1 围棋与人工智能 2 1.1.2 什么是机器学习 3 1.2 深度学习 4 1.2.1 什么是深度学习 4 1.2.2 深度学习的现实应用 5 1.3 常用的深度学习框架 8 1.4 MindSpore简介 9 1.4.1 MindSpore架构 9 1.4.2 端云协同架构 12 参考文献 13 第2章 深度学习基础知识 15 2.1 神经网络 15 2.1.1 人工神经网络 15 2.1.2 神经网络的发展历史 16 2.2 回归问题 18 2.2.1 模型 18 2.2.2 模型训练 18 2.3 分类问题 22 2.4 前向传播 23 2.5 梯度下降 24 2.5.1 梯度 24 2.5.2 梯度下降 24 2.5.3 梯度下降法的一般过程 25 2.5.4 常见的梯度下降法 25 2.6 链式法则与反向传播 26 2.7 优化器 29 2.7.1 梯度下降算法 (Gradient Descent，GD) 29 2.7.2 动量法(Momentum) 31 2.7.3 Nesterov Accelerated Gradient (NAG) 31 2.7.4 AdaGrad 32 2.7.5 Adadelta 32 2.8 过拟合与欠拟合 33 参考文献 34 第3章 卷积神经网络 35 3.1 卷积 35 3.2 池化 39 3.2.1 平均值池化 40 3.2.2 *大值池化 41 3.3 激活函数 41 3.3.1 激活函数的作用 41 3.3.2 常用的激活函数 42 3.4 卷积神经网络的整体结构 44 参考文献 45 第4章 循环神经网络 46 4.1 循环神经网络概述 46 4.2 循环神经网络基本结构 46 4.2.1 基本循环神经网络 46 4.2.2 双向循环神经网络 47 4.3 循环神经网络变种 49 4.3.1 RNN的局限性 49 4.3.2 LSTM 50 4.3.3 GRU 56 参考文献 57 第5章 生成对抗网络 58 5.1 生成对抗网络概述 58 5.1.1 GAN理论与实现 59 5.1.2 生成网络 60 5.1.3 判别网络 60 5.2 条件生成对抗网络 60 5.3 深度卷积生成对抗网络 61 5.4 GAN的典型应用 62 5.4.1 生成数据 62 5.4.2 图像超分辨率 63 5.4.3 风格转换 63 参考文献 63 第6章 深度强化学习 65 6.1 深度强化学习概述 65 6.1.1 强化学习 65 6.1.2 深度强化学习 66 6.2 深度强化学习算法 67 6.2.1 Q-Learning 67 6.2.2 DQN 68 6.2.3 Policy Gradient Method 69 6.3 深度强化学习的应用 69 6.3.1 机器人 70 6.3.2 导航与自动驾驶 70 6.3.3 智能医疗 71 参考文献 72 第二部分 实 践 第7章 实验环境的安装和使用 74 7.1 Anaconda 74 7.1.1 Anaconda简介 74 7.1.2 Anaconda的安装 74 7.2 MindSpore的安装 76 7.2.1 安装对应的Python版本 77 7.2.2 安装Windows cpu版本 MindSpore 77 7.3 选择合适的IDE 79 7.3.1 PyCharm简介 79 7.3.2 VSCode简介 80 7.3.3 MindStudio简介 80 7.3.4 Jupyter Notebook简介 81 7.4 总结 82 第8章 MindSpore快速入门 84 8.1 MindSpore中的一些基本概念 及操作 84 8.1.1 张量(Tensor)初始化及其属性 84 8.1.2 张量运算 86 8.2 MindSpore数据加载及处理 88 8.2.1 数据加载 88 8.2.2 数据处理及增强 90 8.3 总结 93 第9章 实现简单线性函数拟合 94 9.1 实例背景 94 9.2 解决方案设计 94 9.3 方案实现 95 9.3.1 生成数据集 95 9.3.2 定义训练网络 97 9.3.3 拟合过程可视化准备 99 9.3.4 执行训练 101 9.4 总结 103 第10章 使用LeNet-5网络实现手写 数字识别 104 10.1 LeNet-5网络 104 10.1.1 LeNet-5网络概述 104 10.1.2 各层参数详解 104 10.2 Mnist数据集 107 10.2.1 Mnist数据集简介 107 10.2.2 数据集下载 107 10.2.3 数据读取 108 10.2.4 数据处理 109 10.2.5 定义训练网络 111 10.2.6 训练网络 113 10.2.7 推理预测 114 10.3 总结 116 第11章 使用AlexNet网络实现 图像分类 117 11.1 AlexNet网络 117 11.1.1 AlexNet网络概述 117 11.1.2 各层参数详解 117 11.2 CIFAR-10数据集 120 11.2.1 CIFAR-10数据集简介 120 11.2.2 数据集下载 121 11.2.3 数据读取 122 11.3 使用AlexNet网络实现图像分类 123 11.3.1 使用Cifar10Dataset加载并 处理输入图像 123 11.3.2 构建网络模型 126 11.3.3 训练网络 128 11.3.4 验证模型 131 11.4 总结 131 第12章 ResNet网络的实现 133 12.1 ResNet网络 133 12.1.1 ResNet网络概述 133 12.1.2 ResNet网络结构 133 12.2 ResNet网络的实现 136 12.2.1 数据载入及处理 136 12.2.2 构建模型 137 12.2.3 训练模型 144 12.2.4 评估模型 145 12.3 总结 146 第13章 LSTM网络的实现 147 13.1 aclImdb_v1数据集 147 13.2 LSTM网络的实现 148 13.2.1 准备数据集 148 13.2.2 生成适用于MindSpore的 数据集 148 13.2.3 构建模型 155 13.2.4 训练模型 158 13.3 总结 160