地理空间异常探测理论与方法

第1章 绪论 1.1 研究背景 随着对地观测技术、传感网技术、网络通信技术、空间科学技术的迅速发展，地理空间数据的获取能力大大增强，地理空间数据量呈指数级增长。如何从这些海量地理空间数据中挖掘人们感兴趣的、隐藏的、潜在有用的信息和知识，是一项极具挑战性的研究难题，称为地理空间数据挖掘(李德仁等， 2006；龚健雅， 2007)。 地理空间数据挖掘是计算机科学与地理信息科学领域的交叉前沿方向。在计算机领域，数据挖掘正是为了解决“数据极度丰富而信息极度匮乏”这一难题而诞生的(Han & Kamber， 2000；Tan et al.， 2006)。数据挖掘*初以“从数据库中发现知识”(knowledge discovery in databases，KDD)的概念诞生于1989年在美国底特律召开的第11届国际联合人工智能学术会议上。此后，美国人工智能协会(Association for the Advancement of Artificial Intelligence，AAAI)每年主办一次KDD国际学术研讨会；自1997年起在欧洲和亚洲地区也每年分别召开一次亚太数据挖掘与知识发现(Data Mining and Knowledge Discovery， DMKD)会议和欧洲DMKD会议。1993年，美国电气和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)中的知识与数据工程(Knowledge and Data Engineering， KDE)会议期刊首次收录了有关KDD的论文集，这些论文对KDD与机器学习、专家系统、数理统计之间的区别及联系进行了详细阐述。1996年，学者Fayyad等首次对数据挖掘进行了详细定义，将数据挖掘描述为从海量的数据集中提取潜在的、有用的、新颖的、有意义的知识和模式的过程(Fayyad et al.， 1996)，这个经典的定义一直沿用至今。1997年，Data Mining and Knowledge Discovery杂志诞生，这是国际上**本有关KDD的正式杂志。2000年，Han和Kamber出版了世界上**本数据挖掘专著Data Mining: Concepts and Techniques(Han & Kamber， 2000)。2006年，Tan等出版了另一部有关数据挖掘的专著Introduction in Data Mining(Tan et al.， 2006)。 数据挖掘融合了数据库技术、机器学习、模式识别、数理统计、专家系统、人工智能等多个领域的相关理论和方法，主要技术手段包括聚类分析、异常探测、关联规则挖掘、分类、预测等，这些技术手段通常可以单独用来挖掘知识(Han & Kamber， 2000; Fayyad et al.， 1996)。当数据集或分布模式较为复杂时，需要融合多种技术手段进行挖掘分析。 空间数据通常具有空间相关性、异质性和尺度依赖性等特征，较传统的事务型数据更为复杂。为了从空间数据库中发现潜在的、有用的、新颖的、有意义的规则、规律和模式等知识，李德仁院士从地理信息系统(geographic information system， GIS)数据库中发现知识，并系统地阐述了空间数据挖掘的特点和方法，标志着空间数据挖掘的概念正式诞生(Li & Cheng， 1994)。空间数据挖掘可以视为传统数据挖掘技术在空间数据库中的扩展，已成为数据挖掘领域的重要发展方向，引起了众多国际学术组织的广泛关注和重视(Miller & Han， 2001; 邸凯昌， 2000)。通过二十多年的相关国际会议主题可以发现，空间数据挖掘一直都是ACM- SIGMD (Asso-ciation for computing Machineny-Special Interest Group on Management of Data)数据管理国际会议、大型空间数据库研讨会(Symposium on Large Spatial Databases， SLSD)、DMKD会议、国际摄影测量遥感(International Society of Photogrammetry and Remote Sensing， ISPRS)会议、空间数据处理(Spatial Data Handling，SDH)会议、国际空间信息理论会议(Conference on Spatial Information Theory， COSIT)等重要国际会议的热点讨论主题。国际著名学者Han、Easter、Miller、Shekhar等均对空间数据挖掘开展了持续性的研究工作，促进了空间数据挖掘的蓬勃发展(Han et al.， 1997；Ester et al.， 1997; Miller & Han， 2001; Shekhar et al.， 2003)。 空间数据通常同时包含空间位置信息(如经纬度)和非空间专题属性信息(如降水、气温等)(王家耀， 2001)。此外，空间数据还可能具有非线性、多尺度、高维、不完备等特性(裴韬等， 2001)，这些特性使得传统的数据挖掘技术不能直接用于空间数据挖掘，而需要在顾及空间数据特性的基础上，融合各种数据挖掘技术来得到空间实体或地理现象之间的联系，以揭示空间实体或地理现象的发展趋势和变化规律。 随着时空数据的空间或时间分辨率不断提高以及时空数据量呈指数倍地急剧增长，如何从海量、复杂的时空数据库中快速、有效地分析挖掘各类潜在的、有用的知识和模式，以深入地理解和预测各种空间实体、地理现象以及它们之间的复杂关系、动态变化和发展趋势，亟须发展时空数据挖掘的理论、技术和方法，主要研究内容包括时空聚类、时空异常探测、时空关联挖掘、时空预测建模等。其中，时空异常具体可表现为极端气候事件、交通拥堵现象、环境污染、疾病暴发等，已引起人们的广泛关注，准确探测时空异常模式并深入分析其内在的关联机制和发展规律将有助于精准预测，从而辅助政府相关部门进行科学决策。 相对来说，时空数据挖掘技术起步较晚，近年来开始受到较为广泛的关注，一些代表性的国际会议包括：空间与时空数据挖掘(Spatial and Spatio-temporal Data Mining， SSDM)、国际知识发现与数据挖掘会议(International Conference on Knowledge Discovery and Data Mining， ICKDDM)、国际数据工程会议(International Conference on Data Engineering， ICDE)、国际地理信息系统发展会议(International Conference on Advances in Geographic Information Systems， ICAGIS)、国际时空数据库发展会议(International Symposium on Advances in Spatial and Temporal Databases， ISASTD)等，时空数据挖掘作为这些会议的重要议题，主要探讨时空数据挖掘的理论、模型、算法和应用等问题。 1.2　研究意义 “异常”*初被定义为严重偏离数据整体分布的观测对象，以至于令人怀疑它由不同机制产生(Hawkins， 1980)。在这种情况下，异常探测一方面可以过滤海量数据中的噪声，以达到数据清理的目的；另一方面可以发现一些不同寻常的行为或变化，以便及时采取应急或预防措施。例如，金融欺诈行为实际上是盗卡人的购买模式，与持卡人通常具有明显差异，通过对这类异常购买行为进行准确识别并进行重点关注，可以帮助持卡人发现信用卡被盗窃，从而**限度地降低持卡人的经济损失。 海量地理空间数据通常蕴含着丰富而又极其复杂的异常信息或异常模式，这些异常信息或异常模式可能是无用的噪声，亦可能代表着事物发展的某种特殊规律，如交通领域的交通拥堵事件、环境领域的土壤重金属污染、气象领域的厄尔尼诺现象、流行病领域的疾病暴发等，在现实生活中这些时空异常模式往往更能引起人们的关注。 ① 城市交通管制。通过有效识别城市交通拥堵事件，进一步分析交通拥堵的内在成因，有助于交通高效管制，方便市民制订合理的出行计划。 ② 环境保护。工业污染一直是严重的环境问题，工厂排出的废水废气严重影响土壤和空气质量，通过探寻污染异常严重的区域，有助于追根溯源，科学制定相关政策进行环境治理。 ③ 极端气候事件探测。十多年来，我国受极端气候的影响较为严重，造成了重大的人员伤亡和经济损失，通过时空异常探测手段对极端气候事件进行准确识别，可有助于深入分析极端气候事件的内在发展规律，为未来极端气候事件的准确预测奠定重要的先验知识。 ④ 流行病爆发热点探测。流行病的爆发通常呈现出时空聚集特性，根据大量的历史数据对流行病爆发热点进行探测识别，将有利于进一步掌握流行病爆发的时空演变规律，实现流行病爆发的准确预测。 因此，地理空间异常模式的高效探测已成为时空数据挖掘的重要研究内容之一，并引起了相关领域学者的广泛关注。 为了能够进一步准确预测时空异常事件(如极端气候事件)的发生和发展，需要研究时空异常事件间的关联机制，其主要目的在于深入挖掘时空异常事件的内因和外因，以及它们之间存在的单向或者双向甚至多向的影响链，亦有助于深入分析时空异常的可靠性。总而言之，时空异常模式属于地理空间数据中的一类特殊知识，可能蕴含着某些未知的、具有特殊意义的时空现象或时空变化规律，在气象、环保、交通等领域将具有重要的实际应用价值。 1.3　地理空间异常研究概况 自“异常”的概念被提出以来，计算机领域的学者针对事务型数据发展了大量异常探测法。随着空间数据挖掘的概念相继被提出(Li & Cheng， 1994)，许多学者针对空间数据的特点提出了一系列空间异常探测方法。进入21世纪以来，学者们开始重点关注空间实体或现象的动态性及其演化规律或发展趋势，研究的注意力也从空间异常探测拓展到时空异常探测，甚至实时异常探测，并提出了诸多代表性方法。 通过对现有地理空间异常探测的相关研究进行归纳总结，本书以异常探测所涉及的数据类型为依据进行分类，大致分为以下类型：①基于位置信息的空间异常探测；②基于位置和属性信息的空间异常探测；③基于时间和位置信息的时空轨迹异常探测；④基于时间、位置和属性信息的时空序列异常探测。学者们针对不同类型的地理空间异常探测，从探测手段的角度进行更为细致的划分，并给出相应的探测方法，整个分类体系如表1.1所示。下面分别对各种类型地理空间异常探测研究进行详细阐述。 1. 基于位置信息的空间异常探测 自Hawkins提出“异常”的概念以来，来自计算机领域的学者们针对事务型数据发展了一系列异常探测方法，*初从全局角度提出了基于统计(Barnett & Lewis， 1994)、基于欧氏距离度量(Knorr & Ng， 1998)等的方法，后来又相继发展了基于局部密度度量(Breunig et al.， 2000)、基于空间聚类(Jiang et al.， 2001)及基于角度度量(Krirgel et al.， 2008)等的方法。这些异常探测方法将数据的多维属性统一为一个高维向量进行差异性度量，因而可以直接用于仅包含位置信息的空间数据(如空间点事件)异常探测分析。 2. 基于位置和属性信息的空间异常探测 Shekhar等学者*早将空间异常定义为与其空间邻域内实体间专题属性值差异明显偏大，而在整体上与其他实体相比可能并无明显差异的空间实体(Shekhar et al.， 2001; Shekhar &a