回声状态网络时间序列分类与预测:理论、模型与应用

1 面向时间序列分析的ESN 1.1 时间序列分析面临的挑战 1.1.1 研究背景与意义 充分挖掘庞大的数据资源中存在的有价值的信息，能够为决策者提供决策支持（王方等，2022）。在这些海量数据中，有一类有趣的动态数据称作时间序列数据。时间序列数据是根据时间顺序记录的一系列观测值，即数据值是按时间顺序保存的。时间序列数据客观记录了所观测的系统在各个时刻点的重要信息。一条时间序列是一组序列数据，它通常是在相等间隔的时间段内，依照给定的采样率，对系统中某一个变量（单变量序列）或者多个变量（多变量序列）进行连续观测的结果（孙少龙等，2022）。在现实应用中，许多数据都是以时间序列的形式呈现的，如一个国家消耗电力的月度数据（图1-1），生态学上对于某种现象的观测数据（图1-2），物理学上对于太阳活动的观测数据等。 时间序列数据往往能够映射动态系统具有的特定规律和潜在特性，它能够通过分析时间序列数据的历史值和当前观测值，充分挖掘隐藏信息，然后进行合理的假设和推理，建立能够精确辨识和重构所观测系统动力学行为的模型，并依据该模型对序列未来的发展规律做出估计和判断（Giles et al.，2001）。 然而，现实世界中采集的时间序列数据往往表现出复杂的特点，时间序列在很大程度上会表现出非线性、非平稳性及非周期性等特征（李木易和方颖，2020；赵阳等，2022）。因此，对时间序列数据进行准确分析依然存在巨大的挑战。为了有效应对时间序列分析在实际应用中的挑战，时间序列数据挖掘（time series data mining，TSDM）技术应运而生（Agrawal et al.，1993；Esling and Agon，2012）。自20世纪90年代时间序列数据挖掘被提出来之后，其就受到了国内外研究人员的广泛关注，并且得到了迅猛的发展。通过分析现有关于时间序列数据挖掘的研究资料，可以将其研究热点归纳为以下几个方面：①时间序列近似表示；②时间序列模式发现；③时间序列的相似性度量方法；④时间序列分类；⑤时间序列聚类；⑥时间序列预测。本书的研究工作主要集中在时间序列的预测和分类两个内容上。 如前文所述，时间序列数据在很大程度上会表现出非线性、非平稳性及非周期性等动态特征，使用传统的静态数据分析方法往往效果不佳。人工神经网络（artificial neural network，ANN）是一种以数据为驱动的、自适应的人工智能模型。凭借其良好的非线性逼近能力，ANN被广泛应用在各个领域中。其中，将ANN应用于时间序列分析得到了研究人员的广泛认可。ANN根据信息反馈方式的不同可以划分为前馈人工神经网络（feedforward artificial neural network，FANN）和RNN。理论分析和实验结果表明，RNN非常适合处理无法或者难以建立系统物理模型的时间序列问题，如聚类（Cherif et al.，2011）、模式识别（Chatzis and Demiris，2012）、分类（Skowronski and Harris，2007）和预测（Cao et al.，2012；Jaeger and Haas，2004）等。但是，传统RNN的训练算法是基于误差梯度下降法的，这种类型的训练算法效率低下，导致RNN在实际中的应用受到严重限制。 由Jaeger（2001a）提出的ESN为RNN的研究开辟了新的思路。ESN是储备池计算方法之一，采用储备池作为信息处理媒介，只需要训练储备池到输出层的连接权值，而输入层到储备池和储备池内部连接权值在网络初始化阶段随机生成并保持不变。与传统RNN相比，ESN能够有效避免传统RNN训练效率低下、收敛速度慢、容易陷入局部*优等缺陷。Jaeger和Haas（2004）采用ESN对麦克—格拉斯（Mackey-Glass）混沌时间序列进行预测，其预测精度较过去的研究成果提高了2400倍，文献发表在全球顶级期刊Science上，成为ESN研究的标志性成果。正是因为ESN表现出的杰出性能，其已经成为神经网络领域的研究热点之一，也是时间序列领域的研究热点之一，吸引了国内外学者的广泛关注。 因此，在充分考虑时间序列数据特性的现实基础上，可应用ESN进行时间序列数据挖掘。针对提升挖掘精度，从ESN的改进、与其他方法进行组合等角度开展基于ESN的时间序列预测和分类方法研究，具有很强的理论意义和较高的应用价值。 1.1.2 待解决的关键问题 时间序列数据是一种非常复杂的数据，其复杂性体现如下：时序性、高维度、大体量、含噪声、非线性、非平稳性和快速波动等（Boucheham，2010；Esling and Agon，2012），这些固有的特性使时间序列数据挖掘研究充满了挑战。将ESN应用在时间序列预测和分类的建模时，依然面临以下亟待解决的关键问题。 （1）随着ESN在时间序列预测应用领域研究的不断深入，标准ESN的一些局限和弊端逐渐显现。为此，研究人员提出了各种改进的ESN时间序列预测模型，如自反馈储备池结构ESN模型、多层储备池结构ESN模型、解耦储备池结构ESN模型、环形储备池结构ESN模型和混合循环储备池结构ESN模型等。但是，改进的ESN模型的复杂程度显著提高，训练算法过于复杂，而且改进ESN模型的稳定性和储备池适应性等基本理论问题也没有得到有效的解决。 （2）将单一的ESN应用在时间序列预测问题上能够获得较高的预测精度，但是精度提高到一定程度后，很难再有提高。为此，研究者将ESN与其他模型进行组合，从不同角度提出了各种改进的ESN预测模型。将ESN与其他类型的神经网络模型组合，主要面临如下挑战：①从各种类别的神经网络中选择合适的神经网络作为个体预测模型进行组合是一个难题；②神经网络的性能受其网络结构的影响，如何快速确定各个神经网络的结构也是相当困难的。 （3）将ESN应用于时间序列分类的研究较少，主要是因为时间序列分类本身就是一个很有挑战的任务。将ESN应用于MTS分类问题是一个值得进行深入研究的方向，面临的主要挑战如下：①MTS数据的维度很大且每个样本的长度不一样，如何将样本输入ESN是一个难题。②虽然可以在时间序列上使用特征选择的方法选择特征作为ESN的输入，但是时间序列特征空间的维度很大，特征选择的过程是非常困难的。而且，采用特征选择进行降维操作不仅会增加计算成本，同时也会破坏MTS数据类型自身的数据属性。③神经网络本身具有黑箱性质，虽然使用ESN建立分类器在理论上可行，但是建立一个在实际应用中具有可解释性的分类器是很困难的。 1.1.3 时间序列概述 时间序列是指在生产和科学研究等过程中，按照时间顺序记录得到的一系列观测值，它是某个变量或多个变量在不同时刻上所形成的随机数据，反映了现象的发展变化规律（王海燕和卢山，2006；张浒，2013）。一般而言，时间序列可以分为单变量时间序列（univariate time series，UTS）和MTS。一个有限长度单变量时间序列表示从某一个特定的时期（如）开始，直到另一个时期（如）结束的一系列观测值，即一个长度为U的单变量时间序列可以用一个矩阵表示，公式如下： 其中，表示矩阵的转置矩阵；表示在时刻t的观测值；U表示序列的观测周期长度。通常，可以获取更早一些的观测数据或者是更新一些的观测数据。那么，这个观测样本可视为一个无限序列的有限片段，其中这个无限序列记为 MTS则是一个有限的单变量时间序列的序列，即MTS可以表示为，其中，表示第v个变量的序列观测值；U表示每个变量的观测周期长度；V表示变量的个数（也就是MTS的维度）。一般地，一个长度为U的V维时间序列可以用一个矩阵表示，公式如下： 其中，矩阵中是第v维变量在时间点t上的采样值。 相对于传统静态数据而言，现实世界中采集的时间序列数据往往表现出复杂的特点，如时序性、高维度、大体量、含噪声等；时间序列在很大程度上也会表现出非线性、非平稳性及非周期性等特征。 1.2 ESN原理分析 ESN的基本思想是使用储备池作为信息处理媒介，将输入信号映射到高维且不断变化的复杂动态状态空间，当状态空间足够复杂时，即可以利用输入信号对应的内部状态线性组合出所需要的输出。可以采用线性回归方法计算网络的输出连接权值，而网络的其他连接权值则可以在网络初始化阶段随机生成并在网络训练过程中保持不变。 下面将分析ESN的一些基本理论问题，包括其典型的网络结构、数学模型和储备池的关键参数等，同时也会对ESN的国内外研究现状进行归纳和总结。 1.2.1 网络结构 ESN因为其简单的网络结构和快速且高效的训练算法而受到广泛的关注。ESN是储备池计算方法之一，采用储备池作为信息处理媒介。储备池是指大规模稀疏网络，相当于其他类型神经网络的隐藏层，主要功能是对网络的输入信号进行处理，将输入信号转换成网络状态。储备池在网络初始化阶段随机生成并在整个训练过程中保持不变。为了有效映射输入信号的特征，储备池具备以下几个特点（Jaeger，2001a，2001b）：①与其他类型神经网络相比，ESN储备池中包含数目相对多的神经元；②储备池神经元之间是稀疏连接的；③储备池神经元之间的连接关系是随机的。 储备池特性导致ESN相比于传统RNN有更优越的性能（图1-3）。标准的ESN可以分为三个组成部分：一个输入层（K个节点）、一个隐藏层（N个节点）、一个输出层（L个节点）。其中，隐藏层又称作储备池。 在时刻n，ESN中的输入层节点，储备池内部节点和输出层节点的活动状态分别表示如下： （1-1） （1-2） （1-3） 在标准的ESN中，储备池的神经元通过内部连接权值矩阵相连接，输入层的输入信号和输出层的反馈信号分别通过输入连接权值矩阵和反馈连接矩阵连接到储备池。而且，网络的输入层的输入信号、储备池内部网络状态和输出层的输出信号三个部分通过输出连接权值矩阵连接到网络的输出层。 ESN相对于传统RNN而言，网络结构简单且训练算法高效，主要是因为只有输出连接权值矩阵需要训练，其他的网络各层之间的连接权值矩阵包括储备池内部连接权值矩阵W、输入连接权值矩阵及反馈连接矩阵等在网络初始化阶段随机产生并且在整个训练过程中保持不变。对于，通常可以采用线性回归方法进行计算。基于此，ESN在很大程度上简化了网络的训练过程，提升了网络训练的效率，避免了传统RNN结构难以确定、训练效率低下、收敛速度慢、容易陷入局部*优等缺陷，也可以解决RNN普遍存在的“记忆”渐消问题。