深度学习理论与实战

目录

第1章支持向量机

1．1SVM的原理

1．2SVM求解

1．3核函数

1．4软间隔

1．5小结

第2章线性回归与非线性回归

2．1线性回归

2．1．1线性回归问题的一般形式

2．1．2线性回归中的*优化问题

2．1．3问题的求解

2．2非线性回归分析

2．3初见梯度下降

2．4Python图解梯度下降

2．5小结

第3章基于规则的决策树模型

3．1决策树发展史

3．2决策树算法

3．2．1ID3算法

3．2．2C4．5

3．2．3CART

3．2．4随机森林

3．3Boosting家族

3．3．1XGBoost

3．3．2LightGBM

3．3．3CatBoost

3．4小结

第4章遗传算法家族

4．1遗传算法

4．1．1编码

4．1．2初始化种群

4．1．3自然选择

4．1．4交叉重组

4．1．5基因突变

4．1．6收敛

4．1．7遗传算法总结

4．2蚁群算法

4．2．1蚂蚁系统

4．2．2精英蚂蚁系统

4．2．3*大*小蚂蚁系统

4．2．4小结

第5章神经网络

5．1基本组成

5．1．1神经元

5．1．2层

5．2反向传播

5．2．1复习

5．2．2铺垫

5．2．3公式推导

5．3反向传播神经网络

5．4卷积神经网络

5．4．1卷积运算

5．4．2卷积层

5．4．3池化层

5．5循环神经网络

5．5．1RNN用途

5．5．2RNN结构

5．5．3RNN的反向传播——BPTT

5．6小结

第6章深度神经网络

6．1概述

6．2VGG网络

6．3GoogLeNet

6．3．1Inception v1

6．3．2Inception v2/v3

6．3．3Inception v4

6．3．4InceptionResnet

6．3．5GoogLeNet小结

6．4Resnet

6．5MobileNet

6．5．1CNN计算量如何计算

6．5．2深度可分离卷积

6．5．3ReLU6

6．5．4倒残差

6．6EfficientNet

6．6．1模型的数学表达

6．6．2复合缩放

6．7风格迁移

6．7．1内容损失函数

6．7．2风格损失函数

6．7．3风格迁移的梯度下降

第7章循环神经网络

7．1长短期记忆网络

7．1．1LSTM结构

7．1．2LSTM出现原因

7．2GRU

7．3注意力机制

7．3．1编码解码框架

7．3．2Attention结构

第8章无监督学习

8．1什么是无监督学习

8．2聚类算法

8．2．1Kmeans算法

8．2．2分级聚类

8．2．3具有噪声的基于密度的聚类方法

8．3生成对抗网络

8．3．1通俗易懂的解释

8．3．2原理推导

8．3．3损失函数的问题

8．3．4条件生成对抗网络

8．4自编码器

8．4．1自编码器概述

8．4．2去噪自编码器

8．4．3变分自编码器

第9章目标检测

9．1目标检测概述

9．1．1通俗理解

9．1．2铺垫知识点

9．1．3发展史

9．2YOLO v1

9．2．1输出

9．2．2网络

9．2．3输入

9．2．4损失函数

9．2．5小结

9．3YOLO v2

9．3．1mAP

9．3．2改进

9．3．3整体流程

9．3．4小结

9．4YOLO v3

第10章强化学习

10．1铺垫知识

10．1．1什么是RL

10．1．2马尔可夫决策过程

10．1．3回报Return

10．1．4价值函数

10．1．5贝尔曼方程

10．2DQN

10．2．1DQN损失函数

10．2．2DQN训练技巧

10．2．3DDQN

10．2．4基于优先级的记忆回放

10．2．5Dueling DQN

10．3全面讲解基础知识

10．3．1策略梯度

10．3．2ActorCritic行动者评论家算法

10．3．3A2C与优势函数

10．3．4Offpolicy

10．3．5连续动作空间

第11章GAN进阶与变种

11．1基础GAN存在的问题

11．2DCGAN

11．2．1反卷积(转置卷积+微步卷积)

11．2．2空洞卷积

11．3WGAN

11．3．1GAN问题的再探讨

11．3．2解决方案

11．4WGANGP

11．4．1WGAN的问题

11．4．2梯度惩罚

11．5VAEGAN

11．6CVAEGAN

第12章实战1： 决策树与随机森林

12．1数据集介绍

12．1．1乳腺癌数据简介

12．1．2任务介绍

12．2解决思路

12．2．1Pandas库与Sklearn介绍

12．2．2探索数据

12．2．3决策树模型

12．2．4随机森林模型

12．3小结

第13章实战2： MNIST手写数字分类

13．1数据集介绍

13．1．1MNIST简介

13．1．2任务介绍

13．2解决思路

13．2．1图像处理

13．2．2构建模型的三要素

13．2．3训练模型

13．2．4评估模型

13．3进一步改进finetune

13．4小结

第14章实战3： GAN基础之手写数字对抗生成

14．1GAN任务描述

14．2GAN解决过程及讲解

14．2．1数据准备

14．2．2模型搭建

14．2．3训练过程(核心)

14．3GAN进化——CGAN

14．4小结

14．5问题发现

第15章实战4： GAN进阶与优化

15．1前情提要

15．2WGAN(2017)

15．3WGANGP(2017)

15．4DCGAN(2016)

15．5CVAEGAN

第16章实战5： 风格迁移

16．1任务介绍

16．2解决思路

16．2．1加载模型

16．2．2加载图片

16．2．3获取特征图和Gram矩阵

16．2．4AI作画

16．3小结

第17章实战6： 目标检测(YOLO)

17．1Darknet．py

17．1．1__init__(self)

17．1．2forward(self,x)

17．1．3小结

17．2Detect．py

第18章实战7： 人脸检测

18．1什么是MTCNN

18．2MTCNN流程

18．2．1图像金字塔

18．2．2PNet

18．2．3RNet

18．2．4ONet

18．3训练过程

第19章实战8： 自然语言处理

19．1正则表达式

19．2快速上手textblob

19．2．1极性分析和词性标注

19．2．2词干提取和拼写校正

19．2．3单词字典

19．3基本概念

19．3．1朴素贝叶斯

19．3．2Ngram模型

19．3．3混淆矩阵

19．4基于朴素贝叶斯的垃圾邮件分类

19．5基于随机森林的垃圾邮件分类

第20章Python与PyTorch相关

20．1PyTorch模型类

20．2PyTorch的data类

20．3激活函数

20．4损失函数

20．4．1均方误差

20．4．2交叉熵

20．5model．train()与model．eval()

20．6Python的命令行库argparse

第21章机器学习相关

21．1训练集、测试集、验证集

21．2epoch、batch、minibatch等

21．3规范化

21．3．1内部协变量偏移

21．3．2批规范化

21．3．3BN vs LN

21．4SGD与MBGD

21．5适应性矩估计

21．5．1Momentum

21．5．2AdaGrad

21．5．3RMSProp

21．5．4Adam算法小结

21．6正则化与范式

21．7标签平滑正则化

21．8RBM与DBN

21．9图片的RGB和HSV

21．10网中网结构

21．11K近邻算法

21．12模拟退火算法

21．13流形学习

21．14端侧神经网络GhostNet(2019)

21．14．1Ghost Module

21．14．2分组卷积

21．14．3SE Module

参考文献