建模与估计(第二版)

绪论 0.1 估计理论的发展过程和估计问题的分类 当今时代是信息时代，是知识爆炸性增长的时代。近三十年来，现代科学技术飞速发展。一方面，各门学科不断分化，分支学科越来越多，各种新詖学科和新领域不断出现；另一方面，各学科和领域之间又不断相互渗透、相互交叉，不断产生许多新的边缘学科和领域。边缘学科和领域是富有生命力的。本书《建模与估计》(modeling and estimation)的内容、理论体系和基本框架是在这种背景下确定的。它涉及系统辨识(system identification)、状态估计(state estimation)、时间序列分析(time series analysis)、多传感器信息融合(multisensor information fusion)四门学科及它们相互交叉、相互渗透的边缘学科和领域。 模型(model)是对事物、现象、过程或系统的简化描述或模仿。有物理模型、数学模型、仿真模型等。定量描写系统或过程的输人输出关系、因果关系、动态和静态特性的模型叫数学模型。建立模型的过程叫“建模”（modeling）通常建模是一项十分复杂而困难的工作。例如，有些建模需要深入掌握系统或过程内在变化的机理，对有些过程的机理人们尚来认识清楚，而对有些过程的机理又过于复杂，必须进行适当的简化处理。在建模中，除了需要系统或过程的机理知识外，观测或实验数据是*基本的依据。通过观测或实验数据建模称为“辨识”(identification)。建立一个数学模型通常包括两方面工作：一是模型结构的确定(包括模型的类型和阶次等），二是模型的参数估计。本书仅讨论模型参数估计问题。建模是对系统或过程进行分析的*重要的、*基本的方法论。人们通过对时间序列建模来实现对时间序列的预测和控制[1]，通过建模实现对随机信号的估计，通过建模实现系统的状态估计，通过建模实现过程控制。 估计理论所要解决的基本问题是：如何从被噪声污染的观测信号（观测数据）中尽可能充分地滤除干扰噪声的影响，在某种意义下求得被估信号的*优估计。由于干扰噪声和被估信号都電能是随机信号，因此只有采用统计学方法才能解决问题。估计理论的眷期工作是1795年髙斯(C.F.Gauss)在研究天体运动轨道间题时提出的*小二乘法参数估计方法，至今在理论和应用上仍富有生命力。现代估计理论是由维纳[5](N.Wiener)和柯尔莫哥洛夫（A.N.Kolmogorov)在20：世纪40年代开创的，他们独立地进行了相似的开创性工作，即提出了Wiener滤波理论，解决在*小均方误差意义下的平稳随机信号*优估计问题。到60年代初，由于计算机应用技术和空间技术发展，卡尔曼[4]CR.E.Kalman)提出了状态估计理论(也称Kalman滤波理论沁解决了多变量、非平稳随机信号或状态*优递推估计问题。70年代以来，由于现代电子和憧息战争的需要，一门新兴的边缘学科——多传感器信息融合逐渐形成，目前巳发展成为备受人们关注的热门领域[7]。信息融合估计是它的一个重要分支和领域。将状态估计与时间序列分析相互渗透，文献[8]？[11]提出了*优滤波新的方法论——现代时间序列分析方法。它以时间序列自回归滑动平均（ARMA)新息模型和白噪声估计理论作为基本工具解决状态或信号估计问题。基于该方法提出了新的多传感器信息融合Kalman滤波理论[3]，且对含未知模型参数和噪声统计系统，与系统辨识相交叉，提出了自校正滤波和自校正信息融合滤波理论[11]，其中提出了收敛性分析新方法和新工具。 本书研究的估计问题可分为五类：模型参数估计，时间序列、信号或状态估计，多传感器信息融合估计，自校正信号或状态估计，自校正信息融合信号或状态估计。从估计的精度或性能来看，估计可分为*优估计、次优估计和自校正估计。*优估计是相对的，是针对一定的性能指标而言的。例如，“*小二乘法”估计、线性*小方差估计、加权*优融合估计等。在一种性能指标下的*优估计可能是在另一种性能指标下的次优估计。自校正估计也叫渐近*优估计，是指估值器在一定意义下收敛于相应的*优估值器，用于解决含未知模型参数和白噪声方差系统的状态或信号估计问题或融合估计问题。在多传感器信息融合领域，*优估计可分为全局(整体)*优估计和局部*优估计。对于全局*优估计而言，局部*优估计是次优的。 此外，还有自适应估计和鲁棒估计问题，这些问题超出本书范围。 0.2 模型参数估计问题 **类*优估计问题是模型参数估计问题。建立数学模型是对时间序列、信号或系统状态进行估计的基础。模型参数估计的*基本的方法是*小二乘法（least squares method)。由于它的原理直观，算法简单，收敛性能好，且不要求先验的统计知识，因而被广泛应用。*小二乘法的基本原理是实际观测值与模型计算值的误差的平方和*小原理，由此得名“*小二乘”法。*小二乘法原理的启发性例子如下。 【例1】快速动态椭圆检测[12]。 在图像处理、机器人等领域，需要对运动图像中的椭圆曲线进行快速检测，这个问题类似于当年高斯提出用*小二乘法确定天体运动轨道。几何上这个问题归结为确定其标准型的五个参数，即椭圆中心位置，长短轴a、b和旋转角，见图1所示。 椭圆和其他二次曲线方程的一般形式为 (0.1) 为了确定椭圆方程的未知参数，如果能精确地检测到椭圆曲线上五个点的坐标，则将它们代人式(0.1)即可得五个方程，解线性方程组即可得椭圆参数，然而通常检测椭圆上的点的坐标是带有测量误差的，通常是微小的随机误差，用上述方法只能粗略地得到椭圆参数，为此人们希望利用椭圆曲线上更多的点的坐标的检测得到较精确的椭圆参数估计。设巳知椭圆上N个点的坐标的检测值(含有检测误差），i=l，2， ，N，将每组检测值代入式(0.1)，则有方程误差，即 (0.2) 方程误差是由于对椭圆上点的坐标的检测误差引起的。通常N远大于5。*小二乘法原理就是用极小化方程误差的平方和来确定未知楠圆模型参数，即它们极小化性能指标 图1 椭圆曲线和检测点 (0.3) 由极值原理，置/关于各参数的偏导数为零，即 (0.4) 可得关于的线性方程组，从而可解出，进而由有关公式可立刻求出标准型楠圆参数。 【例2】对一个未知长度为0的物体进行JV次测量，设每次测量物体长度为，我们来求真实物体长度的估值。设每次测量误差为，则有关系 (0.5) *小二乘法是选择的估值极小化测量误差平方和，即 (0.6) 置J关于的偏导数为零，即 (0.7) 则有的*小二乘法估值为 (0.8) 这是N次测量结果的算术平均值，与常识是一致的。 0.3 时间序列、信号、状态估计问题 第二类*优估计问题是时间序列、信号或状态的*优估计问题。时间序列分析（time series analysis)是概率统计学科中的一个重要分支，广泛应用于气象、水文、金融、经济、信号处理、通信和控制领域。时间序列分析的经典著作是G.E.P.Box和G.M.Jenkins的《Time Series Analysis，Forecasting and Control》[1]一书。经典时间序列分析的主要内容是对时间序列的建模及基于时间序列模型对时间序列进行预报和控制。依离散时间顺序排列的观测数据序列，叫时间序列。例如，某地降雨量时间序列，我国国民经济年增长率时间序列，按天记股票价格时间序列，按秒采样导弹位置时间序列等。这些时间序列的取值均带有随机性，因而叫统计时间序列。 由时间序列目前和过去的观测历史预报估计它的将来值叫预报，例如，气象预报(包括气温、降雨、降雪、沙尘暴等预报），水文预报(包括水位、洪峰、河流流量预报等），经济预报(包括商品销量、产量、经济指标、股市行情预报等），过程控制、目标跟踪、制导中的预报（包括温度、压力、体积、流量、产量、位置、速度等的预报）。在控制领域有一个新分支叫预测控制，就是以预报作为基础的控制理论。 这里*优预报是指线性*小方差预报，即*优预报器是已知观测数据的线性函数，且极小化预报误差方差。 重要的*优预报方法有Box-JenkinS[1]的递推预报方法和Astr6m的预报方法，其中Box-Jenkins递推预报器应用*广泛，但在理论研究中Astr6m预报器应用较多。 除了时间序列*优预报外还有信号和状态估计，也称*优滤波。 从被噪声污染的观测信号中，过滤噪声，求未知真实信号或状态*优估值叫滤波。“滤波”这一术语*初来自无线电领域。 1941年，在第二次世界大战期间，以研究火炮打飞机控制系统为应用背景，控制论创始人Wiener[6]提出了信号的Wiener滤波理论。经典Wiener滤波方法是一种频域方法，其局限性是限于处理平稳时间序列的滤波、预报问题。缺点是不能处理多变量、时变、非平稳时间序列，且算法是非递推的，要求存储全部历史数据，不便于工程应用。但自1979年以来流行的现代Wiener滤波方法——多项式方法[2]可处理多维非平稳时间序列滤波问题。 【例3】Wiener滤波问题。 典型的Wiener信号滤波问题如图2所示。其中未知真实信号S(t)被观测噪声V(t)污染，因而已知观测信号y(t)，即 (0.9) 问题是如何由观测信号中，过滤噪声，在线性*小均方误差准则下，设计Wiener滤波器，它是的线性函数，且极小化均方误差，其中E为均值号，为滤波误差。 图2 信号Wiener滤波问题 图3 信号的Wiener滤波 1960年，美国数学家和控制论学者Kalmar针对Wiener滤波理论的上述缺点和局限性，以及电子技术和计算机应用技术发展的需要，提出了Kalman滤波理论（状态估计理论）。Kalman滤波方法是一种时域方法，它基于状态空间模型和射影理论解决状态估计问题。Kalman滤波算法是递推算法，便于在计算机上实现，且可处理多变量、时变、非平稳时间序列滤波问题，克服了Wiener滤波理论的局限性。Kalman滤波被广泛应用于各种领域，如惯性导航、制导、GPS定位、0标跟踪、通信、信号处理、控制等。在Kalman滤波理论中，系统状态可视具体问题来规定和定义，特别信号也可视为状态或状态的分量，因而Kalman滤波也可解决信号滤波问题。阿波罗登月计划和C-5A飞机导航系统的设计是Kalman早期应用中*成功的实例。 在20世纪60年代初由于电子计算机运算速度和存储量的限制，要求能实时、快速实现滤波算法，要求存储量小、计算量小的滤波算法。满足这些要求的算法就是递推滤波算法。以例2动态测量长度为的物体为例，记基于N个测量值对的估值为 (0.10) 当测量次数N不断增加，即进行动态测量时，则基于N+1个测量值对的估值为 (0.11) 这种计算是非递推的，即彼此独立地计算估值和。当N很大时，计算量增加，而且计算量增加，而且计算有重复的加法运算。为了减小计算负担，是否能在基础上来计算?这就是递推算法的思想。事实上， (0.12) 即有递推公式 (0.13) 因而在估值的基础上，只需计算式(0.13)第二项就立刻得到估值，避免了非递推算法(0.11)的重复加法运算，大大减小了计算量和存储量。对于非递推算法，计算机需存储N+1个测量数据，而对递推算法(0.13)，每次测量仅需存储两个数据和就可实现估值的计算。在(0.13)中第二项为校正量，它是根据误差 (0.14) 的大小来进行校正估值的。因为估值包含了前N次测量的信息，而是第次测量值，估值误差包含了从第N+1次测量中去掉了前N次测量