投影寻踪模型原理及其应用(第2版)(精)

**章 绪论 人类社会的发展历程与自然界的变迁和谐统一。在漫漫的历史长河中，人类学会了认识和利用自然；人类将认识事物的手段做了细致明确的分工，形成了众多的学科，建立了相应的理论体系和研究方法。经过长期的研究与实践，人们发现自然界的变化有着惊人的规律性和秩序性，有着高度的组织性和系统性，它像一个有机生命体，内部的器官间有着丰富、有序的信息传递，同时它与外部还有着信息交换和对外部信息的反应。所有这些为人类认识世界和考察事物提供了信息。在如此庞大和复杂的信息集合中辨识事物现象与其本质间的关系、现象与现象之间的关系是十分有意义的。物质、能源、信息是现代社会大厦的三大支柱。物质是社会的基础，能源是社会的动力，而信息是社会的神经系统，信息的重要性已经被人们所认识，信息理论也已经被广泛地应用到军事、医学、社会学、经济学、工业和农业等各个领域。信息科学的*新发展表明，建立在概率论基础上的 Shannon信息论，只着重表达了信息的传递，但难以表达数据信息本身的含义。而信息科学不仅要研究数据信息“量”的问题，更重要的还要研究数据的信息特征及信息的定性问题。这就涉及数据信息的提取、描述、推理、判断和决策等富有挑战性的工作。 农业系统是国民经济大系统的重要组成部分，农业系统内部结构错综复杂，同时农业系统随时间演变的过程受到众多因素影响，这些因素之间存在着复杂的关系，随着人类活动对农业系统影响的加深，这些因素之间的关系更加复杂，因此对研究方法也提出了更高的要求。要求数理统计方法能够充分描述系统中各个因素之间的相互作用关系，比较全面地揭示农业系统演化规律。 在农业系统研究方法中，不确定分析方法占有重要地位。将不确定分析方法例如随机、模糊、灰色、人工神经网络、混沌等与农业系统结合，建立农业系统的不确定分析模型，研究系统的变化规律。建立模型时，每个独立的因素就是一个独立参数，因此有几个独立影响因素，其参数空间就是几维，研究对象的参数空间视运动复杂程度而定，可以是高维的。研究对象的参数空间常常超过形体或空间界限，描述的是信息架起来的数理模型复杂度，如果系统受到 n个独立因素的影响和制约，就有理由认为此系统处于 n维空间。当独立影响因素增加时，所张开的空间维数随之增加，要建立效果良好的农业系统模型，就要求有足够数量的数据来估计模型参数，在统计学中称之为高维问题。由于农业系统资料十分有限，因此数据量与预测精度之间的矛盾更加突出，高维问题降低了参数估计的稳健性。为此，在建立农业系统多因子模型时，需要引进新的、可靠的方法解决上述问题。 在近代统计学中，出现了一种解决高维问题的统计方法——投影寻踪，其是将高维问题引入低维空间后再进行研究。在农业生产系统研究中，用这种方法可以建立多因子预测、评价模型，解决资料长度与预测精度之间的矛盾。本书是在前人研究的基础上，解决投影寻踪方法在应用时出现的关键问题，解决农业系统领域研究中关于预测、多维评价以及多元复杂性问题，使投影寻踪高维降维技术理论得以发展和完善，并具体与农业系统相结合，解决农业系统中先前诸多悬而未解的实际问题，使该方法在理论与实际应用中上迈上新台阶，为解决农业系统复杂性问题开辟新的研究途径与模式。 **节 投影寻踪简介 一、投影寻踪的产生背景 随着人们对事物复杂性认识不断深入，加之计算机技术日新月异的发展，高维数据的统计分析越来越重要。在许多实际问题中数据的维数相当高，因为事物在其演变过程中必然会受到众多因素的影响和制约。为了避免忽略任何可能的相关信息，在搜集资料时要全面考虑各个因素，所以多元分析方法的应用不但非常普遍而且很重要。但传统的多元分析方法是建立在总体服从正态分布的基础上的，而实际中有许多数据不满足正态假定，需要用稳健的、实用的方法来分析。遗憾的是当数据的维数较高时，这些方法将面临一些困难，主要困难有三：一是随着维数的增加，计算量迅速增大，画出可视的分布图或其他图形不易实现。二是当维数较高时，即使数据的样本点很多，散在高维空间中仍显得非常稀疏。例如，设有一个容量很大的高维点云均匀分布于10维单位球内，则含有点云5%点的小球体半径约占原单位球体半径的74%；如果该小球体的半径只占原单位球体半径的5%，则该小球体只含有(0.05)10≈0个资料点，几乎是个空球。 Bellman[1]在1961年将这种现象称为“维数灾难”。高维点云的稀疏性使许多传统的、在一维情况下比较成功的方法，如关于密度函数估计的核估计法、邻域法等不能适用。因而在研究高维数据时，希望找到降维的方法，如聚类分析、因子分析、典型相关分析等，但这些方法仅着眼于变量间的距离，而忽略了不相干变量的存在，导致无法确定结果的正确性。三是在低维时稳健性很好的统计方法到了高维其稳健性就变差了。以上情况表明，传统的数据分析方法对于高维非正态、非线性数据分析很难收到很好的效果。其原因在于它过于形式化、数学化，难以适应千变万化的客观世界，无法找到数据的内在规律和特征，远不能满足高维非正态分布数据分析的需要。投影寻踪方法就是在这种形势下应运而生的。 推动投影寻踪技术产生的另一背景是人们在了解数据特征过程中对直观性的需求。对于一维和二维的数据结构，常常采用直方图来了解数据的特征。例如非正态的密度图，计算设计洪峰的皮尔逊Ⅲ型分布图就可以在平面上直接绘出。可以通过观测这些图形的变化趋势来判断已有或未来数据的结构。虽然这种观察方式非常粗糙，但也能为进一步研究提供启示。当数据维数大于4时，无法用眼直接观察数据结构，需要将原始数据投影到可以观察到的空间维即1～3维上，通过在低维空间的观测来研究数据在高维空间的结构，在科学研究中也有类似做法，比如在研究多个变量与一个变量的关系时，可以先挑选其中几个变量与一个变量来研究，再挑选另外的变量逐一研究。与这类方法相比，投影的思想更直接一些。 投影寻踪是用来处理和分析高维数据，尤其是来自非正态总体的高维数据的一类统计方法。它既可进行探索性分析，又可进行确定性分析。其基本思想是把高维数据投影到低维子空间上，寻找出能反映高维数据结构或特征的投影，以达到研究分析高维数据的目的。投影寻踪方法的特点主要可以归纳为以下几点。 （1）自然科学中有许多数据不符合正态分布或人们对数据没有多少先验信息，需要从数据本身找出其结构或特征。投影寻踪方法能成功地克服高维数据的“维数灾难”所带来的困难，这是因为它对数据的分析是在低维子空间上进行的，对1～3维的投影空间来说数据点就够密了，足以发现数据在投影空间中的结构或特征。 （2）投影寻踪方法可以排除与数据结构和特征无关的，或关系很小的变量的干扰。 （3）投影寻踪方法为使用一维统计方法解决高维问题开辟了途径。因为投影寻踪方法可以将高维数据投影到一维子空间上，再对投影后的一维数据进行分析，比较不同一维投影的分析结果，找出好的投影。 （4）投影寻踪方法与其他非参数方法一样可以用来解决某种非线性问题。投影寻踪方法虽然是以数据的线性投影为基础，但它找的是线性投影中的非线性结构，因此它可以用来解决某种非线性问题，如多元非线性回归。 投影寻踪方法的关键在于找到观察数据结构的角度，即数学意义上的线、平面维或整体维空间，将所有数据向这个空间投影，得到完全由原始数据构成的低维特征量，反映原始数据的结构特征。 二、投影寻踪研究的主要内容 投影寻踪方法*早出现在20世纪60年代末70年代初。为了发现数据的聚类结构， Kruskal首先使用投影寻踪方法，把高维数据投影到低维空间，通过数值计算，极大化一个反映数据聚类程度的指标，从而找到反映数据结构特征的*优投影[2，3]。1970年， Switzer[4]也通过高维数据的投影和数值计算解决了化石分类问题。1974年，Friedman和 Tukey[5]用数据的一维散布和局部密度的积构造了一类新投影指标，用来进行一维或二维情形下的聚类和分类，并利用这个新指标成功分析了计算机模拟的均匀随机数的散布结构、单纯形顶点上的高斯分布以及有名的鸢尾花聚类问题，并将此方法命名为投影寻踪。他们还领导编制了一个用来寻找数据聚类、散布的超曲面结构的计算机图像系统 PRIM-9[6]。 之后，关于投影寻踪方法的一系列研究成果在理论与应用研究领域引起很大重视。1979年，在美国数理统计学会年会上数据分析专题组织者 P. J. Huber邀请 Friedman做了关于投影寻踪的报告，成为投影寻踪理论研究的引子，随后相继派生出投影寻踪回归[7，8]、投影寻踪聚类[9]、投影寻踪密度估计[10]等方法。1981年，Donoho提出了用 Shannon熵来定义一个投影指标[11]。1985年，李国英和陈忠链[12]用投影寻踪方法给出了散布阵和主成分的一类稳健估计，并讨论了其统计特性，另外有许多统计学工作者还讨论了关于投影寻踪的几个问题[13-17]。 1985年，应 Annals of Statistics杂志的邀稿， Huber[18]发表了关于投影寻踪的综合性学术论文，并附有从事这一研究的理论工作者的讨论文章。至此，投影寻踪在统计学中的独立体系初步建立，大大推动了此方法的深入研究和实际应用。 从投影寻踪的理论与应用研究来看，主要涉及三方面内容，包括：投影寻踪聚类分析、投影寻踪回归以及投影寻踪学习网络。 （一）投影寻踪聚类分析 1936年，Fisher[19]在研究鸢尾花数据的判别问题时，开创了线性判别分析思路，其实质是一种投影寻踪算法。1970年，Switzer[4]对牙买加化石数据进行分类时，引入了 Fisher的上述思想，提出投影寻踪聚类设想。1974年，Friedman和 Tukey[5]明确提出了投影寻踪思想：将数据集投影到低维子空间上，对投影得到的低维构形，通过定义好的投影指标，用计算机寻求使投影指标达到极大的一个（或几个）投影方向（或平面），给出直线（或平面）上的数据投影，由计算机图像系统显示出来，然后直接判断数据结构。以上一系列有代表性的研究为拓宽投影寻踪在实践中应用提供了基本思路。 之后，投影寻踪聚类方法被广泛用于模式识别领域，其基本思路是利用投影寻踪压缩和提取系统的高维特征量后，再对系统模式进行识别。 文献[20]的研究证明，利用投影寻踪技术压缩高维特征的空间维数后，更有利于识别高维系统模式，文中还构造了一个便于实现的投影指标，同时给出了寻找投影方向的新途径。 文献[21]、[22]将投影寻踪技术用于遥感领域，给出了识别卫星云图的新的投影指标。 文献[23]采用投影寻踪的思想构造稳健协差阵，建立了一种新的能抗异常值干扰的稳健判别方法，新方法的计算结果不易受异常值干扰。 文献[24]将投影寻踪聚类分析应用于环境质量综合评价，结果表明投影寻踪聚类分析不仅可以做出环境质量综合评价，而且还可以根据投影分量值分析相应指标影响环境质量的重要性程度，找出影响环境质量的主要因素。 文献[25]利用投影寻踪聚类分析来预测股票的行情，并采取信赖域算法来寻找*优投影方向，以求解此投影寻踪聚类模型。实证分析表明投影寻踪聚类分析对指导股票投资具有有效性和实用性。 文献[26]结合动态聚类思想，对投影寻踪聚类模型进行改进，建立了投影寻踪动态聚类模型。针对多因素聚类问题的高维复杂性，利用线性投影技术将其转换为关于投影特征值的线性聚类问题；根据动态聚类思想构建新的投影指标，对投影特征值序列进行动态聚类，进而在低维空间实现高维数据样本的聚类分析。 文献[27]将模糊聚类迭代理论与投影寻踪技术进行互补融合，构建了模糊投影寻踪聚类模型。该模型采用投影值标准差和投影值欧氏距离平方和来构造投影指标函数，避免了传统投影寻踪模型由于经验性选取密度窗宽导致过于主观的问题。 文献[28]主要对投影寻踪聚类分析模型中的关键因素进行了分析，主要有不同