深入浅出图神经网络:GNN原理解析

前言

第1章　图的概述 1

1.1　图的基本定义 1

1.1.1　图的基本类型 2

1.1.2　邻居和度 4

1.1.3　子图与路径 4

1.2　图的存储与遍历 5

1.2.1　邻接矩阵与关联矩阵 5

1.2.2　图的遍历 6

1.3　图数据的应用场景 7

1.4　图数据深度学习 10

1.5　参考文献 13

第2章　神经网络基础 17

2.1　机器学习基本概念 17

2.1.1　机器学习分类 17

2.1.2　机器学习流程概述 18

2.1.3　常见的损失函数 21

2.1.4　梯度下降算法 23

2.2　神经网络 25

2.2.1　神经元 25

2.2.2　多层感知器 27

2.3　激活函数 29

2.3.1　S型激活函数 30

2.3.2　ReLU及其变种 30

2.4　训练神经网络 33

2.4.1　神经网络的运行过程 34

2.4.2　反向传播 34

2.4.3　优化困境 36

2.5　参考文献 38

第3章　卷积神经网络 39

3.1　卷积与池化 39

3.1.1　信号处理中的卷积 39

3.1.2　深度学习中的卷积操作 42

3.1.3　池化 46

3.2　卷积神经网络 46

3.2.1　卷积神经网络的结构 47

3.2.2　卷积神经网络的特点 49

3.3　特殊的卷积形式 51

3.3.1　1×1卷积 51

3.3.2　转置卷积 52

3.3.3　空洞卷积 54

3.3.4　分组卷积 55

3.3.5　深度可分离卷积 55

3.4　卷积网络在图像分类中的应用 56

3.4.1　VGG 56

3.4.2　Inception系列 57

3.4.3　ResNet 60

3.5　参考文献 62

第4章　表示学习 65

4.1　表示学习 65

4.1.1　表示学习的意义 65

4.1.2　离散表示与分布式表示 66

4.1.3　端到端学习是一种强大的表示学习方法 68

4.2　基于重构损失的方法—自编码器 69

4.2.1　自编码器 69

4.2.2　正则自编码器 71

4.2.3　变分自编码器 72

4.3　基于对比损失的方法—Word2vec 75

4.4　参考文献 79

第5章　图信号处理与图卷积神经网络 81

5.1　矩阵乘法的三种方式 81

5.2　图信号与图的拉普拉斯矩阵 83

5.3　图傅里叶变换 85

5.4　图滤波器 90

5.4.1　空域角度 93

5.4.2　频域角度 94

5.5　图卷积神经网络 96

5.6　GCN实战 101

5.7　参考文献 109

第6章　GCN的性质 111

6.1　GCN与CNN的联系 111

6.2　GCN能够对图数据进行端对端学习 115

6.3　GCN是一个低通滤波器 120

6.4　GCN的问题—过平滑 122

6.5　参考文献 127

第7章　GNN的变体与框架 129

7.1　GraphSAGE 129

7.1.1　采样邻居 130

7.1.2　聚合邻居 131

7.1.3　GraphSAGE算法过程 132

7.2　GAT 134

7.2.1　注意力机制 134

7.2.2　图注意力层 137

7.2.3　多头图注意力层 138

7.3　R-GCN 140

7.3.1　知识图谱 140

7.3.2　R-GCN 141

7.4　GNN的通用框架 143

7.4.1　MPNN 143

7.4.2　NLNN 146

7.4.3　GN 147

7.5　GraphSAGE实战 148

7.6　参考文献 153

第8章　图分类 155

8.1　基于全局池化的图分类 155

8.2　基于层次化池化的图分类 156

8.2.1　基于图坍缩的池化机制 157

8.2.2　基于TopK的池化机制 165

8.2.3　基于边收缩的池化机制 168

8.3　图分类实战 169

8.4　参考文献 177

第9章　基于GNN的图表示学习 179

9.1　图表示学习 180

9.2　基于GNN的图表示学习 182

9.2.1　基于重构损失的GNN 183

9.2.2　基于对比损失的GNN 184

9.3　基于图自编码器的推荐系统 188

9.4　参考文献 195

第10章　GNN的应用简介 197

10.1　GNN的应用简述 197

10.2　GNN的应用案例 199

10.2.1　3D视觉 199

10.2.2　基于社交网络的推荐系统 203

10.2.3　视觉推理 205

10.3　GNN的未来展望 208

10.4　参考文献 209

附录A　符号声明 211