元学习 基础与应用

前言 1
目录 3
1 元学习介绍 8
1．1 研究背景 13
1．1．1 元学习与深度学习的区别和联系 15
1．1．2 元学习应用举例 19
1．2 元学习起源 21
1．2．1 1987年的Jürgen Schmidhuber 21
1．2．2 1990年的Stuart Russell和Eric H． Wefald 24
1．3 近期发展 25
1．3．1 1997年长短期记忆网络LSTM 26
1．3．2 2001年LSTM元学习系统 27
1．3．3 2017年MAML算法 28
1．3．4 2019年基于LSTM的元学习器 28
1．3．5 2019年基于高效基础学习器的元学习 29
1．4 参考文献和扩展阅读 30
2 元学习框架 32
2．1 元学习研究常用数据集 33
2．2 定义任务 36
2．2．1 元学习任务的定义 37
2．2．2 元强化学习任务的定义 38
2．2．3 任务分解 39
2．3 元学习训练框架 40
2．4 元学习方法分类 42
2．4．1 神经网络适应法 42
2．4．2 度量学习适应法 43
2．4．3 基础学习器和元学习器适应法 44
2．4．4 贝叶斯元学习适应法 44
2．4．5 元学习与其他学习框架结合 45
2．5 元学习方法比较 46
2．6 参考文献和扩展阅读 48
3 元学习神经网络方法 49
3．1 神经网络 51
3．1．1 神经元 51
3．1．2 权重、偏差和激活函数 52
3．1．3 网络反向传播算法 54
3．1．4 学习率、批尺寸、动量和权值衰减 56
3．1．5 神经网络模型的正则化 58
3．1．6 批归一化 59
3．1．7 随机失活 61
3．2 卷积神经网络 62
3．2．1 卷积层和滤波器 62
3．2．2 池化层和下采样层 64
3．2．3 全连接层和上采样层 66
3．2．4 经典卷积神经网络 67
3．3 残差网络 69
3．3．1 残差网络模块 69
3．3．2 高速路神经网络 70
3．3．3 宽残差网络 70
3．4 元学习神经网络模型 71
3．4．1 学会学习的神经网络学习器 72
3．4．2 预训练深度神经网络的适应 73
3．4．3 具有适应性的神经元设计 75
3．5 自动化机器学习 80
3．5．1 超参数优化 80
3．5．2 元学习和自动化机器学习 81
3．5．3 加速自动化机器学习 84
3．5．4 决策式自动化机器学习 88
3．5．5 渐进式自动化机器学习 90
3．6 总结 95
3．7 参考文献和扩展阅读 95
4 基于度量的元学习方法 98
4．1 基于度量的学习 99
4．1．1 度量的定义 100
4．1．2 度量学习的应用 102
4．1．3 有监督度量学习 103
4．1．4 半监督度量学习 106
4．1．5 无监督度量学习 108
4．2 注意力模型 108
4．3 记忆模块 109
4．4 SNAIL算法 113
4．5 Relation Network算法 115
4．6 Prototypical Network算法 118
4．7 TADAM算法 120
4．8 Dynamic Few-Shot算法 123
4．9 mAP算法 128
4．10 总结 132
4．11 参考文献和扩展阅读 133
5 基础学习器和元学习器结合的元学习 134
5．1 基础学习器 137
5．2 元学习器 138
5．3 MAML算法 139
5．4 Reptile算法 145
5．5 Recurrent Neural Network 149
5．5．1 RNN基础结构 149
5．5．2 Bidirectional RNN 152
5．5．3 Long Short-Term Memory 153
5．5．4 Gated Recurrent Unit 156
5．6 RNN元学习算法 158
5．7 Meta-LSTM算法 160
5．8 R2D2算法 164
5．9 LR2D2算法 167
5．10 MetaOptNet算法 170
5．11 Transductive Propagation Network算法 173
5．12 Latent Embedding Optimization算法 178
5．13 参考文献和扩展阅读 182
6 贝叶斯思想下的元学习方法 184
6．1 Bayesian Program Learning算法 186
6．2 Neural Statistician算法 189
6．3 LLAMA算法 192
6．4 BMAML算法 197
6．5 PLATIPUS算法 202
6．6 VERSA算法 204
6．7 参考文献和扩展阅读 207
7 元学习的应用场景 208
7．1 元迁移学习 211
7．2 元强化学习 212
7．3 元模仿学习 213
7．4 在线元学习 213
7．5 无监督元学习 214
7．6 参考文献和扩展阅读 215
8 元强化学习 216
8．1 强化学习 216
8．2 基于MAML的元强化学习 218
8．3 GrBAL算法 219
8．4 参考文献和扩展阅读 222
9 元模仿学习 223
9．1 模仿学习 223
9．2 MAML算法用于元模仿学习 225
9．3 MetaMimic算法 226
9．4 参考文献和扩展阅读 229
10 在线元学习 229
10．1 在线学习 229
10．2 FTML算法 231
10．3 参考文献和扩展阅读 233
11 无监督元学习 233
11．1 无监督学习 233
11．2 CACTUs算法 235
11．3 参考文献和扩展阅读 236