深度学习模型与算法基础

第1章绪论 1．1人工神经网络发展史 1．1．1人工神经网络的提出 1．1．2人工神经网络的陨落 1．1．3人工神经网络的兴起 1．1．4深度学习的提出 1．2人工神经网络学习机理 1．2．1生物学机理 1．2．2浅层学习 1．2．3深度学习 1．2．4特征学习 第2章神经网络基础 2．1概述 2．2感知器 2．2．1感知器学习规则 2．2．2感知器原理 2．3线性单元 2．4δ学习规则 2．5BP神经网络结构 2．5．1BP神经网络原理 2．5．2BP神经元偏移量 2．5．3BP神经网络非线性表达能力 2．6反向传播算法 2．6．1误差项推导 2．6．2误差反向传播算法流程 2．6．3误差反向传播算法计算示例 2．7梯度检查 2．8超参数的确定 2．9模型训练与评估 2．10向量化编程 第3章自编码器 3．1自编码器原理 3．2不同种类的自编码器 3．2．1正则自编码器 3．2．2稀疏自编码器 3．2．3去噪自编码器 3．3堆叠自编码器 3．4预训练与深度学习 3．5Softmax与交叉熵函数融合 3．6深度神经网络权值初始化方法 3．6．1Xavier初始化方法 3．6．2Kaiming初始化方法 3．6．3LeCun初始化方法 第4章卷积神经网络 4．1全连接神经网络局限性 4．2卷积神经网络原理 4．3卷积神经网络前向计算 4．3．1新的激活函数 4．3．2卷积层 4．3．3池化层 4．3．4全连接层 4．4卷积网络计算实例 4．5卷积神经网络训练 4．5．1池化层误差传递 4．5．2卷积层误差传递 4．5．3卷积层参数训练 4．5．4卷积神经网络训练流程 4．5．5卷积神经网络训练计算实例 4．6深度神经网络计算模式 4．6．1卷积计算加速 4．6．2自动微分方法 第5章卷积神经网络结构演化 5．1典型的卷积神经网络 5．1．1卷积网络加深 5．1．2卷积网络拓宽 5．1．3残差网络 5．2轻量化网络 5．3卷积操作模式设计 5．4全卷积网络 第6章深度残差网络 6．1概述 6．2残差网络结构 6．3残差网络讨论 6．4Highway Network 6．5残差网络变体 6．5．1Wide Residual Network 6．5．2ResNeXt 6．5．3DenseNet 6．5．4DPN 第7章目标检测算法 7．1传统目标检测方法 7．2基于深度学习的目标检测方法 7．2．1目标检测常用技术 7．2．2RCNN 7．2．3SPPNet 7．2．4Fast RCNN 7．2．5Faster RCNN 7．2．6YOLO 7．2．7SSD 7．3目标检测算法的改进 第8章循环神经网络 8．1循环神经网络概述 8．1．1循环神经网络原理 8．1．2双向循环神经网络 8．1．3深度循环神经网络 8．1．4典型循环神经网络结构 8．2循环神经网络训练算法 8．2．1BPTT训练算法 8．2．2实时循环学习算法 8．2．3梯度爆炸与消失问题 8．3RNN应用
第9章长短时记忆网络 9．1LSTM原理 9．2LSTM前向计算 9．3LSTM网络训练 9．3．1网络训练算法 9．3．2误差项沿时间传递 9．3．3误差项沿网络层次传递 9．4GRU 9．4．1GRU前向计算 9．4．2GRU训练算法 第10章Transformer 10．1神经网络注意力机制 10．1．1神经网络注意力机制原理 10．1．2自注意力机制 10．2Transformer模型 10．2．1编码器模块 10．2．2解码器模块 10．3神经网络语言模型 10．3．1GPT模型 10．3．2BERT模型 10．3．3GLM模型 第11章生成式模型 11．1概述 11．2生成对抗网络 11．2．1生成模型 11．2．2判别模型 11．2．3目标函数 11．2．4典型生成对抗网络 11．3变分自编码器 11．3．1模型推导 11．3．2讨论 11．3．3VAE实现 11．4自回归模型 11．5扩散模型 第12章深度学习框架 12．1计算图 12．2典型深度学习框架 12．2．1国外深度学习框架 12．2．2国内深度学习框架 参考文献