神经网络与深度学习(微课视频版)

第1章绪论

1.1神经网络的概念

1.2神经网络的发展历史

1.2.1启蒙时期

1.2.2萧条时期

1.2.3复兴时期

1.2.4高潮时期

1.3神经网络的研究内容

1.3.1神经元模型

1.3.2神经网络的结构

1.3.3神经网络与深度学习的学习算法

1.4神经网络的应用领域

1.4.1自然语言处理

1.4.2推荐系统

1.4.3医学领域

1.4.4网络空间安全

1.4.5控制领域

1.4.6交通领域

1.4.7心理学领域

1.5神经网络与深度学习的关系

1.6习题

第2章神经网络基础

2.1生物神经系统

2.1.1生物神经元的结构

2.1.2生物神经元的功能

2.1.3生物神经元和人工神经元的区别

2.2人工神经元模型

2.2.1人工神经元的结构

2.2.2激活函数

2.2.3其他常用激活函数

2.3MP神经元模型

2.3.1基础MP神经元模型

2.3.2延时MP模型

2.3.3改进的MP模型

2.4神经网络的互连结构

2.5神经网络的学习

2.5.1神经网络的学习方式

2.5.2神经网络的学习规则

2.6本章实践

2.7习题

第3章感知机

3.1感知机原理

3.1.1单层感知机

3.1.2多层感知机

3.2感知机模型

3.3感知机算法

3.3.1随机梯度下降法

3.3.2感知机学习算法

3.4感知机改进算法

3.5本章实践

3.6习题

第4章误差反向传播神经网络

4.1BP神经网络结构

4.2BP学习算法

4.2.1BP算法的过程

4.2.2BP神经网络的优化算法

4.3BP神经网络学习算法的改进与优化

4.3.1BP神经网络的优点

4.3.2BP算法存在的问题

4.3.3累积误差算法的BP神经网络

4.3.4Sigmoid函数输出限幅的BP算法

4.3.5增加动量项的BP算法

4.3.6学习率自适应调整算法

4.4BP神经网络的应用

4.5本章实践

4.6习题

第5章Hopfield神经网络

5.1Hopfield神经网络概述

5.2离散型Hopfield神经网络

5.2.1离散型Hopfield神经网络结构及工作方式

5.2.2离散型Hopfield神经网络的吸引子与能量函数

5.2.3离散型Hopfield神经网络的连接权值设计

5.2.4离散型Hopfield神经网络的信息存储容量

5.3连续型Hopfield神经网络

5.3.1连续型Hopfield神经网络的结构

5.3.2连续型Hopfield神经网络的神经元

5.3.3连续型Hopfield神经网络的能量函数

5.4Hopfield神经网络的应用

5.4.1离散型Hopfield神经网络的应用

5.4.2连续型Hopfield神经网络的应用

5.5本章实践

5.5.1离散型Hopfield神经网络实践

5.5.2连续型Hopfield神经网络实践

5.6习题

第6章玻耳兹曼机

6.1随机型神经网络概述

6.2玻耳兹曼机原理

6.2.1玻耳兹曼机的网络结构

6.2.2玻耳兹曼机的能量函数及玻耳兹曼分布

6.2.3玻耳兹曼机的运行规则

6.2.4玻耳兹曼机的联想记忆

6.3受限玻耳兹曼机原理

6.3.1受限玻耳兹曼机的网络结构

6.3.2受限玻耳兹曼机的能量函数

6.3.3受限玻耳兹曼机的运行规则

6.3.4受限玻耳兹曼机的应用

6.4本章实践

6.5习题

第7章自组织神经网络

7.1自组织神经网络概述

7.2竞争学习

7.2.1竞争学习的概念

7.2.2竞争学习规则

7.3自组织神经网络原理

7.3.1自组织神经网络的概念

7.3.2自组织神经网络的结构

7.3.3自组织神经网络的设计

7.3.4自组织神经网络的权值调整域

7.3.5自组织神经网络的运行原理与学习算法

7.3.6自组织神经网络应用实例

7.4改进的自组织神经网络模型

7.4.1采用混合高斯模型的自组织神经网络

7.4.2动态自组织神经网络模型

7.5本章实践

7.6习题

第8章深度神经网络

8.1深度神经网络概述

8.2深度神经网络的网络结构

8.2.1深度神经网络的基本结构

8.2.2深度神经网络的前向传播

8.2.3深度神经网络的反向传播

8.3深度神经网络的优化

8.3.1损失函数的选择

8.3.2参数优化

8.3.3正则优化

8.4深度神经网络的应用

8.5本章实践

8.6习题

第9章深度置信网络

9.1深度置信网络概述

9.2深度置信网络的网络结构

9.2.1深度置信网络的基础结构

9.2.2DBNDNN的训练过程

9.3改进的深度置信网络算法

9.4深度置信网络的应用

9.5本章实践

9.6习题

第10章卷积神经网络

10.1卷积神经网络概述

10.2卷积神经网络基本部件

10.2.1输入层

10.2.2卷积层

10.2.3池化层

10.2.4激活层

10.2.5全连接层

10.2.6目标函数

10.2.7卷积神经网络的基本特征

10.3卷积神经网络的网络结构

10.3.1基本结构

10.3.2前向传播

10.3.3反向传播

10.4改进的卷积神经网络

10.4.1AlexNet神经网络

10.4.2VGGNets神经网络

10.5卷积神经网络的应用

10.6本章实践

10.7习题

第11章循环神经网络

11.1循环神经网络概述

11.2循环神经网络的网络结构

11.2.1基本结构

11.2.2前向传播

11.2.3反向传播

11.3循环神经网络的优化算法

11.3.1门控算法

11.3.2深度算法

11.4循环神经网络的应用

11.5本章实践

11.6习题

第12章生成式对抗网络

12.1生成式对抗网络概述

12.2生成式对抗网络的结构

12.2.1生成式对抗网络的判别器

12.2.2生成式对抗网络的生成器

12.2.3生成式对抗网络的运行流程

12.3改进的生成式对抗网络

12.3.1生成式对抗网络的优势与缺陷

12.3.2生成式对抗网络的问题分析及改进

12.4生成式对抗网络的应用

12.5本章实践

12.6习题

第13章图神经网络

13.1图神经网络概述

13.2图

13.2.1图的基本定义

13.2.2图的基本类型

13.2.3邻居和度

13.2.4子图与路径

13.3图神经网络模型

13.3.1图卷积神经网络

13.3.2图注意力网络

13.3.3图自动编码器

13.3.4图生成网络

13.3.5递归图神经网络

13.4GNN的应用

13.5本章实践

13.6习题

参考文献