时空大数据计算分析与应用

第1章概述 1.1 GIS发展历程 GIS—词由三个字母组成，G（geography）表示地理，I（information）表示信息，S在不同的时期给出了不同的定义。S*早与地理信息结合的时候是指代system（系统），随着其内涵改变进而变为science（科学）。service（服务）代表的是地理信息被更广泛地应用于生产生活，smart（智慧）则给予了地理信息发展更高的期望和美誉。 本书将从GIS发展历史说起，不是按照不同时期S隐喻的不同来划分，而是想更多地从地理作为一种信息如何为人类所利用这一角度开启GIS的篇章。这里的S没有特指是哪一个S。 1.1.1空间分析缘起霍乱地图 地图作为表达事物空间分布及联系的载体，可以看作GIS的起源，因为古代的军事作战指挥、描摹土地山川等地理形势都用上了地图①。但是更为大家认同的地图是1854年的霍乱地图。 霍乱袭击了英国伦敦市，英国医生约翰 斯诺绘制了疫情暴发地点、道路、住宅区边界和水系图。当他将这些特征添加到地图上时，发生了一些有趣的事情，大多数病例的住所都围绕在布罗德街（Broad Street）水泵附近，霍乱地图如图1.1所示。 他结合其他证据得出饮用水传播的结论，于是去掉了Broad Street水泵的把手，霍乱*终得到控制。 约翰 斯诺的霍乱地图不仅仅是用地图这一载体表达了疫情分布，而且通过空间分析发现了疾病传播的源头。约翰 斯诺通过把地理层放在一张纸质地图上，拯救了很多人的生命。 1.1.2 GIS发展阶段 2020年新年伊始，全球都被一场前所未有的新冠肺炎疫情笼罩，相比于约翰 斯诺时代的纸质地图，可以看到全球的地理人正在利用各种先进技术手段来获取、表达和分析疫情的时空发展，并期望给疫情防控提出有效建议。从200年前的纸质地图到今天的动态数字地图分析挖掘，从简单空间分析到解决复杂时空问题，GIS经历了几个发展阶段。 20世纪60～80年代是地理信息系统开拓时期。随着计算机技术的进步，学者以及政府部门等以地物坐标作为数据输入，通过大型计算机进行数据存储，使用打印机将图形映射为输出。 加拿大政府有着广袤的土地，管理人员认识到准确掌握关键要素的数据对土地规划和决策至关重要。加拿大在1964年提出土地清查的需求，利用土壤、排水和气候特征来确定作物类型和森林地区的土地容量。罗杰 汤姆林森（Roger Tomlinson）在加拿大政府任职期间，规划和指导了加拿大地理信息系统（Canada geographic information system，CGIS）的建立。CGIS被认为是地理信息系统的根源。罗杰 汤姆林森在1968年出版的《区域规划地理信息系统》一书中首次使用了“地理信息系统”一词，他也因此被誉为“地理信息系统之父”。 1967年美国人口普查局开发了数据格式GBF-DIME（地理基础文件-双独立地图编码）实现了普查的自动地理编码，数字化了人口普查边界、道路和城市地区，为GIS带来了革命性的影响。GBF-DIME文件在1990年演变为TIGER文件。 同一时期，英国的军械测量局也开始了例行的地形图绘制工作。到目前为止，英国军械调查局仍在生产许多不同的地理信息系统数据产品，包括英国每一个地区的每一栋房子、每一道栅栏和每一条河流。 中国的GIS发展起步较晚，陈述彭院士为此做出了巨大贡献。 （1）1977年：陈述彭院士访问英国归来提出发展中国地理信息系统的建议。 （2） 1978年杭州遥感会议：陈述彭院士提出发展中国地理信息系统的倡议。 （3） 1978～1980年腾冲航空遥感试验：**次成立地理信息分析学科组，探讨统计制图、数字地面模型等研究。 （4）1980年中国科学院地学部倡议：陈述彭院士在地学部会议上，提出开展我国地理信息系统研究的建议，并得到了王之卓先生的支持。 由此，中国GIS的星星之火开始燎原。 1.1.3地理信息系统商业化 随着各国政府意识到数字地图的优势，旺盛的需求和计算机软硬件技术的进步促进了地理信息系统技术的极大发展。20世纪70年代中期，哈佛大学计算机图形学实验室开发了**个矢量地理信息系统，称为奥德赛地理信息系统（ODYSSEYGIS），这项工作引发了GIS软件商业化的发展阶段。 20世纪70年代末，地理信息系统的内存大小和图形功能都在改善，新的计算机制图产品，如GIMMS、MAPICS、SURFACE、GRID、IMGRID、GEOMAP和MAP等，陆续出现。20世纪80年代末，越来越多的地理信息系统软件供应商参与其中。 在地理信息系统发展的这一历史时点上，从首次会议可以看到当时的GIS是孤独的。1975年，英国召开了**次地理信息系统会议，只有一小部分学者参加。1981年，**次ESRI用户会议只吸引了18人参加。 20世纪90年代，随着中国沿海经济开发区的发展，以及土地的有偿使用和外资的引进，政府部门对GIS产品服务的需求加速推动了GIS行业在我国的全面发展，使其逐步迈入产业化阶段，涌现出来的GIS软件有中国科学院的SuperMap、中国地质大学（武汉）的MapGIS、武汉测绘科技大学（现武汉大学）的GeoStar等。1989年，武汉测绘科技大学开设地理信息工程专业，此后，中国从事GIS研究和教学的学者队伍不断发展壮大。 1.1.4地理信息科学腾飞 1990～2010年是地理信息系统真正腾飞的时期。更便宜、更快和更强大的计算机，更多、更快、更准的软件和数据可以选择，地理信息系统被引入学校和企业，空间分析在决策中的重要性逐渐被认识。随着更多的卫星进入轨道，遥感技术带来了前所未有的数据增长。全球定位系统（globalpositioning system，GPS）的出现打开了GIS应用领域的另一扇门，GIS从政府部门需求为主转向了大众生活需求旺盛期。 这一时期，GIS从原先简单的数据存储、数据管理、交互分析、地图制图的工具式GIS发展到了桌面组件式GIS，极大地推动了GIS的组件式开发与应用领域的拓展。2005年，Google Map上线运行，开启了互联网地图服务的新时代IT技术融入GIS领域。 地理信息系统、遥感（remote sensing，RS）和全球定位系统的集成，打开了地理信息系统发展的新阶段：开源“爆炸”。 1.1.5地理数据爆炸式增长 随着遥感、传感网、移动通信等技术的快速发展，地理信息进入了“数据爆炸”时代。美国忧思科学家联盟（TheUnion of Concerned Scientists，UCS）发布：截至2021年1月1日，全球共有在轨活跃的遥感卫星909颗。高分系列、资源系列、环境减灾系列等国产卫星数据形成了我国对地观测（earth observation，EO）的数据网络，每天接收的遥感数据量超过PB级。史蒂夫 科斯特于2004年建立的地图开放项目-公开地图（open streetmap，OSM）是由网络大众共同打造的免费开源、可编辑的地图服务，约有150万名注册编辑志愿者，提供了全球免费、开放的重要基础空间数据。基于移动网络与互联网的位置服务与我们的生活息息相关，在公众使用这些免费的服务时，把自己的行为轨迹也贡献给了地图服务商。社交网络服务平台，如微博、马蜂窝、Twitter、Flickr等，用户通过这些平台分享动态，包含了时间、位置、文本、图片以及视频等信息，直接或间接地体现了个体的活动行为，极大丰富了时空数据的内容和维度。目前，我们对现实世界的观测从对地观测转向了对地观测和以社交媒体数据为主的对人观测的综合，这让我们更精准、全面地掌握地球自然、生态以及人类活动信息，从中挖掘潜在的空间规律、行为模式，分析空间布局和观察空间情感变化。 地理信息科学是研究地球表层空间的各种自然地理要素和所有人类社会活动中与空间位置相关的信息及其内在规律的学科，数据的爆炸式增长给地理科学研究带来了重大变化。 1.2地理信息科学研究的发展 移动互联网、物联网、大数据、云计算等科学技术的创新对以空间位置为核心的GIS形成了一系列新的挑战。周成虎院士在2019年中国地理信息产业大会中说道：今天，我们处于一个重大的科学与技术革新的时代。当前，世界进入了智能化与绿色化、网络化、全球化相互交织的时期，并正在改变世界经济和人类社会。这一转变对地理信息科学的发展来说是带来了前所未有的机遇，在ABC（artificial intelligence、big data、cloud computing）支持下进入了一切数据化的时代、计算无处不在的时代、更少人机物混合的时代。 数字时代的地理信息科学与技术的发展为地理时空大数据的管理和应用提供了新的思想和方法，地理时空大数据云平台正是在前沿科技的推动下，为适应当前数据形态和特点而产生的管理和应用方案。 1.2.1地理时空大数据特点 时空数据通常是指具有时间和空间维度的数据。在现实世界中，超过80%的数据都与时空相关。随着数据采集和获取技术的发展，时空数据量呈现爆炸式增长，且覆盖面极广，物理世界和人文社会的各行各业与其都有着千丝万缕的联系。经过体量、速度和种类的量变累积，时空数据已经质变成为地理时空大数据，具有时空依赖、动态变化、多源异构、价值可挖和体量庞大等特点。 1）时空依赖 地理时空大数据*基本的两维特征是时间和空间，其产生于统一的时空框架，具备对空间的依赖性和对时间的依赖性，能够反映特定时空背景下的某一现象。 2）动态变化 万物没有绝对的静止，随着时间的变化，产生的数据也不会是静态的。现象具有演化的过程，而作为现象的反映，地理时空大数据同样具有动态变化的特征。 3）多源异构 地理时空大数据的来源非常广泛，这得益于数据获取设备的丰富和改进。从纸张采集文本信息、相机采集图片信息到物联网的大采集系统，不同的设备决定了地理时空大数据的多源异构特征。目前比较常见的数据格式有矢量、栅格和文本等，从数据组织上来看，既有结构化数据，也有半结构化和非结构化数据。 4）价值可挖 地理时空大数据是社会现实的反映，其中蕴含丰富的价值信息，可以揭示发展变化的客观规律，为总结过去、启发未来服务。但原始数据价值密度低，需要结合数据挖掘手段进行提炼。 5）体量庞大 在大数据时代，数量是*外显的时代标签。地理时空大数据属于大数据的一种，体量的庞大是其*为基础的特征。 1.2.2大数据时代的地理学研究范式 今天的大数据不仅仅是数量的问题，它的种类也更加多样化，包括社交媒体、群体共创、地基传感器网络和监控摄像头，等等，并且获取速度非常快。 大数据正在催生一种新的科研方法论。数据已经不仅仅用来校正、验证和实验，而是变成整个分析的驱动力，所以，在数据分析师的脑海中，数据变成了从真实世界传输过来的具有很宽波谱范围的高速数据流。我们可能会进入第四种科研范式：研究方法是根据数据设计的，而不是像之前那样利用数据去满足研究方法的需求。 《大数据：将会改变我们的生活、工作、思考的革命》这本书中提到了大数据对科学研究的三大挑战，具体到地理学的研究中是什么情况呢？Miller Goodchild对此表示，数据驱动的地理学研究具有如下特征。 （1）总体而不是抽样。传统模型驱动的研究采用抽样方法应对数据和信息超负荷的问题，随机抽样的基本前提是样本必须有代表性，研究结论对于样本的依赖性非常大。我们选用总体数据进行研究，同样存在问题。例如，社交媒体数据能够很好地反映人口分布特征，但是由于社交媒体使用群体的有偏性，结论并不如预期那样反映总体的客观情况。