深度学习的理论基础与核心算法

第1章数学基础 1．1线性代数 1．1．1向量及其运算 1．1．2矩阵及其运算 1．1．3矩阵分解 1．2概率论 1．2．1概率与随机变量 1．2．2期望、方差和协方差 1．2．3常见的概率分布 1．2．4共轭分布 1．3信息论 1．3．1熵的定义 1．3．2互信息 1．3．3交叉熵 1．3．4KullbackLeibler散度 参考文献 第2章深度神经网络的逼近基础理论 2．1函数的*佳平方逼近 2．1．1正交多项式的定义与性质 2．1．2常用的正交多项式 2．1．3构造正交多项式的一般方法 2．1．4*佳平方逼近的概念及计算 2．1．5用正交多项式做*佳平方逼近 2．2曲线拟合的*小二乘法 2．2．1*小二乘法 2．2．2用多项式作*小二乘曲线拟合 2．3三角多项式逼近与快速傅里叶变换 2．3．1*佳平方三角逼近与三角插值 2．3．2快速傅里叶变换 2．4多项式的万能逼近性质 2．5从函数逼近的角度解释神经网络 2．6本章小结 参考文献 第3章深度神经网络的函数逼近 3．1基本的ReLU网络定义 3．2乘法、多项式、光滑函数的逼近 3．2．1乘法函数的逼近 3．2．2多项式函数的逼近 3．2．3光滑函数的逼近 3．3正余弦函数的逼近 3．3．1余弦函数的逼近 3．3．2正弦函数的逼近 3．4神经网络的万能逼近性质和深度的必要性 3．5本章小结 附录 参考文献 第4章深度神经网络的复杂函数逼近 4．1神经网络的逼近 4．1．1KolmogorovDonoho数据率失真理论 4．1．2字典逼近 4．1．3神经网络的表示 4．1．4神经网络*佳M项逼近表示 4．1．5字典逼近转换为神经网络逼近 4．2仿射系统的神经网络逼近 4．2．1仿射系统的定义 4．2．2仿射系统对神经网络逼近的影响 4．2．3神经网络对仿射系统逼近证明 4．3振荡纹理 4．3．1振荡纹理的定义 4．3．2振荡纹理的多项式逼近 4．3．3振荡纹理的指数级逼近 4．4Weierstrass函数 4．4．1Weierstrass函数的定义 4．4．2Weierstrass函数的指数级逼近 4．5本章小结 参考文献 第5章深度神经网络与多尺度几何逼近系统 5．1小波分析与多尺度几何分析 5．1．1由傅里叶到小波分析理论 5．1．2Gabor系统的逼近 5．2多尺度几何分析的基础 5．2．1由小波到多尺度几何理论 5．2．2脊波变换 5．2．3曲波变换 5．2．4楔波变换 5．2．5小线变换 5．2．6条带波变换 5．2．7轮廓波变换 5．2．8剪切波变换 5．2．9梳状波变换 5．2．10方向波变换 5．3多尺度几何变换的逼近性质 5．4本章小结 参考文献 第6章深度特征网络的构造理论 6．1前馈神经网络构造理论 6．1．1前馈神经网络的结构 6．1．2前馈神经网络的前向传播 6．1．3前馈神经网络的误差反向传播算法 6．1．4前馈神经网络的梯度下降法 6．1．5常见前馈神经网络 6．2卷积神经网络构造理论 6．2．1卷积运算 6．2．2非线性激活层 6．2．3池化 6．2．4常见的距离度量方法 6．2．5常见的激活函数 6．2．6卷积神经网络的生物学启发 6．2．7卷积神经网络的发展 6．3递归神经网络 6．3．1循环神经网络 6．3．2深度循环网络 6．3．3递归神经网络 6．4图卷积网络 6．4．1图的基本定义 6．4．2图信号处理 6．4．3图上的滤波器 6．4．4图卷积网络 6．4．5图卷积网络的过度平滑问题 6．4．6图小波神经网络 6．5自组织网络构造理论 6．5．1自注意力模型 6．5．2多头自注意力模型 6．5．3Transformer模型 6．5．4稀疏自注意力机制 6．5．5结合卷积的自注意力机制 6．5．6强化自注意力模型 6．5．7结合先验的自注意力机制 6．6本章小结 参考文献 第7章学习表征编码器的构造理论 7．1自编码器 7．1．1欠完备自编码器 7．1．2正则自编码器 7．1．3稀疏自编码器 7．1．4去噪自编码器 7．1．5卷积自编码器 7．2线性编码器 7．2．1概率PCA 7．2．2独立成分分析 7．2．3慢特征分析 7．2．4稀疏编码 7．3生成模型 7．3．1玻耳兹曼机 7．3．2生成随机网络 7．3．3生成对抗网络 7．4变分推断 7．5部分整体层次结构 7．6因果推理 7．6．1从相关性到因果关系 7．6．2预测和因果推理的区别 7．6．3因果推理的表示方式 7．7本章小结 参考文献 第8章多尺度几何深度网络理论 8．1小波神经网络 8．2多小波网 8．3散射网 8．4深度散射网 8．5深度曲线波散射网 8．6轮廓波卷积神经网络 8．7本章小结 参考文献 第9章复数深度学习网络 9．1复数深度神经网络的相关概念 9．1．1复数值的表征 9．1．2复数卷积 9．1．3复数可微性 9．1．4复数激活 9．1．5复数批归一化 9．1．6复数权重初始化 9．2复数卷积神经网络 9．2．1数学计算过程 9．2．2网络结构 9．3复数轮廓波网络 9．3．1原理描述 9．3．2数学计算过程 9．3．3网络参数 9．4半监督复数GAN 9．5复数Transformer网络 9．6本章小结 参考文献 第10章拟合问题 10．1拟合方法介绍 10．1．1线性回归 10．1．2复杂函数拟合 10．1．3通用逼近定理 10．2拟合数据划分 10．2．1留出法 10．2．2交叉验证法 10．2．3自助法 10．3拟合能力度量 10．3．1错误率和精度 10．3．2精准率和召回率 10．3．3精准率召回率曲线 10．3．4F1度量与交并比 10．3．5受试者工作特征曲线 10．3．6曲线下的面积与平均精度 10．3．7代价敏感错误率与代价曲线 10．3．8欠拟合与过拟合 10．4计算复杂度 10．4．1计算复杂性理论基本问题 10．4．2判定问题类 10．5本章小结 参考文献 第11章正则化理论 11．1常用范数特性 11．2正则化理论 11．2．1良态问题 11．2．2Tikhonov正则化定义 11．2．3Tikhonov正则化近似解求解 11．2．4L曲线准则 11．3正则化方法 11．3．1参数范数惩罚 11．3．2权重衰减 11．3．3噪声注入 11．3．4数据增强 11．3．5多任务学习 11．3．6提前终止 11．3．7Dropout 11．3．8Drop Connect 11．3．9SelfNorm与CrossNorm 11．4本章小结 参考文献 第12章泛化理论 12．1泛化的定义 12．2泛化理论 12．2．1机器学习的泛化理论 12．2．2基于模型复杂度的泛化理论 12．2．3基于信息论的泛化理论 12．2．4基于随机梯度下降算法的泛化理论 12．2．5基于损失曲面几何结构的泛化理论 12．2．6基于傅里叶分析的泛化理论 12．2．7基于未标记数据的泛化理论 12．3泛化方法 12．3．1数据处理 12．3．2特征表示 12．3．3训练策略 12．3．4学习方法 12．4本章小结 参考文献 第13章学习可解释性 13．1深度学习的可解释性基本概念 13．1．1可解释性的概念 13．1．2研究可解释性的必要性 13．2深度学习的可解释性分类方法 13．2．1学习深度过程的可解释性方法 13．2．2学习深度网络表示的可解释性方法 13．2．3学习深度系统自身可解释的生成方法 13．2．4其他类别方法 13．3深度卷积框架的可解释性 13．3．1卷积的Hankel矩阵表示 13．3．2Hankel矩阵分解和卷积框架 13．3．3深度卷积框架进行多分辨率分析 13．4本章小结 参考文献 第14章收敛性理论 14．1收敛问题 14．1．1收敛问题定义 14．1．2收敛与一致收敛之间的差异 14．2单隐藏层神经网络的收敛性 14．2．1基本假设与判定指标 14．2．2基于SGD算法的收敛性 14．2．3基于自适应梯度算法的收敛性 14．2．4基于动量自适应算法的收敛性 14．3非线性神经网络的收敛性 14．3．1基本假设与判定指标 14．3．2基于SGD算法的收敛性 14．3．3基于自适应梯度算法的收敛性 14．4深度神经网络的收敛性 14．4．1深度线性神经网络的收敛性 14．4．2深度非线性神经网络的收敛性 14．5本章小结 参考文献 第15章学习模型的复杂度 15．1复杂度的基本概念 15．2与动态训练无关 15．2．1VC维及其扩展 15．2．2表达能力 15．3与动态训练相关 15．3．1Rademacher复杂度 15．3．2表达能力 15．3．3有效复杂度 15．4表达能力与有效复杂度 15．5本章小结 参考文献 第16章一阶优化方法 16．1导数和梯度 16．2梯度下降算法 16．2．1批量梯度下降 16．2．2随机梯度下降 16．2．3小批量梯度下降 16．3动量 16．4自适应学习率 16．4．1Adagrad 16．4．2RMSprop 16．4．3Adadelta 16．4．4Adam 16．4．5AmsGrad 16．4．6Adamax 16．4．7Nadam 16．4．8SparseAdam 16．5减少方差的方法 16．6交替方向乘子法 16．7FrankWolfe方法 16．8投影梯度下降算法 16．9本章小结 参考文献 第17章高阶优化方法 17．1共轭梯度法 17．2牛顿法及其变体 17．2．1牛顿法 17．2．2切割牛顿法 17．2．3拟牛顿法 17．2．4DFP法 17．2．5BFGS法 17．2．6随机拟牛顿法 17．3不含海森矩阵的*优化方法 17．4自然梯度法 17．5信任区域法 17．6本章小结 参考文献 第18章启发式学习优化 18．1启发式算法 18．1．1传统启发式算法 18．1．2元启发式算法 18．2基于PSO算法的深度神经网络学习 18．2．1PSO算法 18．2．2基于PSO的深度神经网络算法的学习 18．3基于免疫优化算法的深度神经网络学习 18．3．1免疫优化算法 18．3．2基于免疫优化的RBF深度神经网络算法的学习 18．4基于量子优化算法的网络学习 18．4．1量子优化算法发展及研究现状 18．4．2基于量子离散多目标粒子群算法的学习 18．5本章小结 参考文献 第19章进化深度学习 19．1进化计算与深度学习 19．1．1进化计算 19．1．2基于进化计算的深度学习 19．2收敛性分析 19．2．1基于压缩映射的收敛性分析 19．2．2基于熵方法的收敛性分析 19．3网络结构优化 19．3．1神经网络结构搜索 19．3．2基于单目标进化的神经网络架构搜索 19．3．3基于多目标进化的NAS 19．4网络权重优化 19．4．1梯度反向传播的局限性 19．4．2基于进化算法的神经网络权重优化 19．4．3基于进化与反向传播结合的权重优化 19．5学习规则优化
19．6本章小结 参考文献 第20章离散优化问题 20．1经典离散优化问题 20．2精确方法求解离散优化问题 20．2．1分支定界算法 20．2．2割平面方法 20．3深度学习求解离散优化问题 20．4启发式算法与超启发式算法 20．4．1启发式算法 20．4．2超启发式算法 20．5本章小结 参考文献 第21章非凸优化 21．1非凸优化的基本概念 21．1．1非凸优化的动机 21．1．2非凸优化的示例 21．2非凸优化的算法 21．2．1非凸投影梯度下降法 21．2．2随机优化技术 21．3非凸优化的应用 21．3．1线性回归模型 21．3．2低秩矩阵恢复 21．3．3张量分解 21．3．4深度神经网络 21．4本章小结 参考文献 第22章非负矩阵深度学习分解 22．1非负矩阵分解概述 22．2经典非负矩阵分解算法 22．2．1非负矩阵分解 22．2．2稀疏非负矩阵分解 22．2．3正交非负矩阵分解 22．2．4半非负矩阵分解 22．3深层非负矩阵分解 22．3．1基于系数矩阵的深层非负矩阵分解 22．3．2基于基矩阵的深层非负矩阵分解 22．3．3深层非负矩阵分解的优化 22．4深度学习求解非负矩阵分解 22．4．1基于自编码器的非负矩阵分解 22．4．2深度非负矩阵分解网络 22．4．3基于生成对抗网络的非负矩阵分解 22．5本章小结 参考文献 第23章稀疏张量深度学习分解 23．1张量表示 23．1．1张量的符号表示 23．1．2张量的图形表示 23．1．3张量展开 23．1．4张量收缩 23．2稀疏张量分解 23．2．1张量Tucker 分解 23．2．2张量CP分解 23．2．3张量BTD 23．2．4张量TTD 23．2．5张量TRD 23．3张量分解的应用 23．3．1张量分解的神经网络压缩 23．3．2张量分解的数据补全和去噪 23．3．3张量分解的图像融合 23．3．4张量分解的多维信号压缩 23．4张量网络 23．4．1数据编码 23．4．2网络模型 23．4．3优化方法 23.5本章小结 参考文献 第24章线性方程组的深度学习求解 24．1线性方程组 24．1．1定义 24．1．2矩阵表示 24．1．3向量表示 24．1．4齐次与非齐次线性方程组 24．2稀疏线性逆问题 24．3线性方程组的深度求解算法 24．3．1LISTA算法 24．3．2LAMP算法 24．3．3LVAMP算法 24．4本章小结 参考文献 第25章微分方程的深度学习求解 25．1微分方程简介 25．1．1常微分方程简介 25．1．2偏微分方程简介 25．2基于常微分方程的网络架构设计 25．2．1基于欧拉法的网络架构设计 25．2．2基于龙格库塔法的网络架构设计 25．3基于常微分方程的优化算法设计 25．3．1梯度下降法 25．3．2Nesterov加速算法 25．3．3ODENet逆模自动微分 25．4偏微分方程的深度求解 25．4．1Deep Ritz method 25．4．2Deep Galerkin Method 25．5本章小结 参考文献 第26章深度学习分类 26．1深度贝叶斯学习 26．1．1朴素贝叶斯 26．1．2贝叶斯深度学习 26．2深度决策树学习 26．2．1决策树 26．2．2深度森林 26．3深度近邻学习 26．3．1近邻法 26．3．2深度K近邻算法 26．4深度支持向量机学习 26．4．1支持向量机 26．4．2小波支持向量机 26．4．3*小二乘支持向量机 26．4．4深度支持向量机 26．5深度关联规则学习 26．5．1规则学习 26．5．2深度关联学习 26．6深度集成学习 26．6．1集成学习 26．6．2快速深度集成学习 26．7深度特征学习 26．8深度损失学习 26．8．1交叉熵损失 26．8．2对比和三元组损失 26．8．3大边距损失 26．8．4双正则支持向量机损失 26．8．5Focal Loss 26．8．6骰子损失 26．9本章小结 参考文献 第27章深度学习聚类 27．1聚类基础 27．1．1聚类定义 27．1．2聚类过程 27．1．3性能度量 27．2基本聚类算法 27．2．1基于质心的聚类方法 27．2．2基于密度的聚类方法 27．2．3层次聚类 27．2．4基于图论的聚类方法 27．2．5基于模型的聚类方法 27．2．6基于网格的聚类方法 27．2．7其他聚类方法 27．3深度学习聚类 27．4深度聚类网络架构 27．4．1基于自编码器的聚类方法 27．4．2基于深度神经网络的聚类方法 27．4．3基于生成对抗网络的聚类方法 27．5深度聚类损失 27．6深度聚类的簇更新 27．7本章小结 参考文献 第28章深度学习回归 28．1回归分析 28．2基于深度学习的线性回归分析 28．2．1线性回归 28．2．2深度学习线性回归 28．3基于深度学习的逻辑回归分析 28．3．1逻辑回归 28．3．2深度学习逻辑回归 28．4基于深度学习的岭回归分析 28．4．1岭回归 28．4．2深度学习岭回归 28．5基于深度学习的LASSO回归分析 28．5．1LASSO回归 28．5．2深度学习LASSO回归 28．6本章小结 参考文献