天空地一体化时空大数据平台关键技术

第1章绪论 互联网、物联网技术的发展，带来了全球信息数据的快速增长。据不完全统计，全球数据总量已突破53 ZB（1 ZB≈1×1012 GB），并始终保持着指数式增长。随着我国“新基建”的不断推动和数据应用的不断发展，可获得的数据仍将保持高速增长，以大数据驱动促进社会、经济快速发展的时代已经来临（李国杰等，2012）。 世界是由物理世界、人类社会和信息世界所组成的三元世界（林海伦等，2017）。物理世界就是客观存在的真实的世界，人类社会就是人类群体及其社会化的活动的总和，信息世界是用信息化技术构建的互联网空间，即客观存在的虚拟空间。信息技术的发展决定了信息世界将覆盖人类社会和物理世界的所有事物及其相互活动行为等，并且信息世界对物理世界和人类社会的影响巨大，数据在信息世界中的流动，可以取代人的活动，支持人的决策和思考。 时间和空间是描述客观事物*基本的维度，时空数据是以地球为对象，基于统一时空基准的要素信息数据。特别是综合对地观测、场景监测、网络，蕴含了巨大的价值，是信息世界发展建设的数据基础。天空地时空大数据不仅包含天、空、地、网的数据，还包含过去、现在、未来的时空数据；不仅具有一般大数据的典型特征[5V：Volume （大量）、Variety （多样）、Velocity （高速）、Value （价值）、Veracity （真实）]，同时也具有位置特征、时间特征、属性特征、尺度特征、多源异构特征、多维动态可视化特征（程学旗等，2014）。如何对天空地时空大数据进行集成、管理、分析挖掘，建立一体化时空大数据平台，达到时空大数据的高效应用，为新模式、新知识和新规律的发现、应用提供基础，为各行业的数字化管理和应用提供全面的支撑，是当前研究的热点。 当前我国加大了云计算、大数据、5G 相关新型基础设施建设的投入，开展了更多围绕天空地时空数据的新型基础设施建设，推进数字中国建设进程，积极参与全球数字化建设，健全了时空大数据管理及应用的基础设施，也为全领域天空地一体化时空大数据平台的建立、发展奠定了基础。 1.1 平台建设背景与意义 随着“一带一路”建设的推进，统筹利用我国现有和规划发展的天基、地面设施资源，综合利用卫星和航拍影像、地面跨时空视频、网络数据、电磁信息和地理信息等多源数据，实现地面网络和设施的互联互通，支撑“一带一路”沿线国家重点领域的综合应用，提升“一带一路”资源整合、文化传播、社会治理、公共安全事件响应与处理等能力已成为国家发展的重大需求（胡伟等，2015）。互联互通、共建共享、开放合作是“一带一路”的合作共识，大数据技术为达成这一共识提供了理念指引与技术支撑。 大力发展大数据技术及相关产品与服务是我国“十三五”“十四五”的重要目标，重点包括“实施国家大数据战略”“加快数字化发展建设数字中国”等促进大数据体系建设的规划纲要。2016 年科技部等部门联合印发了关于《推进“一带一路”建设科技创新合作专项规划》的通知，在通知中提到“加快数据共享平台与信息服务设施建设”“共同开展大数据、云计算、物联网、智慧城市等领域的合作与应用”，实现数据资源的关联融合和服务共享。2018 年，工业和信息化部发布了《关于工业通信业标准化工作服务于“一带一路”建设的实施意见》，明确运用物联网、云计算、信息技术服务、大数据、人工智能等技术推进“一带一路”的建设（工业和信息化部，2018）。2020 年，公安部根据国家的总体战略部署，“大力加强公共安全治理体系建设”，围绕国家建设科技强国、网络强国、数字中国目标，持续推进公安大数据智能化建设应用，健全完善大数据支撑下的高效警务运行体系，进一步提升大数据服务实战应用能力（赵克志，2020）。 无论是传统数据技术还是通用大数据技术，都无法全面有效应对各种时空大数据应用场景。目前时空大数据的研究技术正处于高速发展阶段，但成熟的技术产品尚未形成，如何利用物联网、云计算、大数据等新一代技术，有效地将天空地时空大数据集成、共享及应用，建立天空地一体化时空大数据平台支撑各行业应用是当前面临的重大挑战。 面对天空地一体化资源整合、跨部门的大数据共享，促进时空大数据的标准体系建设，推动时空大数据在各领域行业中的发展应用这一国家发展的重大需求，在科技部、公安部组织下，公安部第三研究所联合中国地质大学（武汉）、东莞中国科学院云计算产业技术创新与育成中心、苏州视锐信息科技有限公司、中国华戎科技集团有限公司、北京数字冰雹信息技术有限公司，依托国家重点研发计划项目，以天空地一体化资源整合、跨部门的大数据共享、服务及应用为建设目标，共同研究了天空地一体化时空大数据平台关键技术。 天空地一体化时空大数据平台利用物联网、云计算、大数据、人工智能等先进技术，联动监控摄像、移动感知、卫星遥感等设备，全面集成海量时空数据，提高对数据的管理能力，挖掘数据背后更大的价值，*后支撑各行业应用。因此，一个标准化、可通用的天空地一体化时空大数据平台的建设价值和意义十分重大。平台在我国“一带一路”涉及的重要地区开展了实地应用，为研判公共安全和应对突发事件风险提供了数据资源基础，提高了对突发事件的处置、救援等各个环节的科技水平。 1.1.1平台总体构成 天空地一体化时空大数据平台要实现天、空、地数据及各类公共专题数据、业务专题数据的关联、融合，并接入多类型行业应用数据，基于统一的时空大数据组织与海量数据管理，融合互联网资源，形成时空大数据资源池，打造时空大数据集成共享体系；通过高性能时空云计算，依托动态任务调度，构建时空大数据实时计算框架，进行时空数据协同，推动数据资源共享共治；利用时空数据可视化技术，将大数据在时空序列上进行展示与分析，支持各部门的业务化服务，达到跨地区、跨部门、跨平台的数据资源汇聚融合、共享共治及协同应用。 天空地一体化时空大数据平台汇集了遥感卫星、无人机、摄像头等感知设备，网络通信和计算存储等基础设施产生的时空数据，包括卫星遥感数据、监测数据、公共专题数据、互联网数据及业务特色数据，对这些数据从获取、感知、存储、处理到集成共享、挖掘分析，*后将数据服务提供给各应用系统。其平台构成如图1.1 所示。 图1.1 时空大数据平台构成 综合时空大数据平台的认识和建设实践（马照亭等 2019；杨梅等2019；向红梅等，2017；Yuan et al.，2007），在时空大数据平台的建设过程中，虽然平台的运行方式、建设需求和解决的问题等存在差别、各具特色，但是其整体框架有许多相同点，一般都包括感知层、网络层、计算存储设备设施层、时空大数据层、服务层和应用层，以及安全保障体系和标准保障体系，其结构如图1.2 所示。通过卫星、航天器、无人机、雷达、摄像头等感知设备获取原始感知数据，然后经过通信网、互联网、局域网各类专网等进行网络传输，将数据汇聚接入至某处，再经过数据加工处理形成标准化的数据，完成数据共享与统一管理并进行应用。 时空大数据包括业务数据、运营数据、感知数据等时空基础数据；面向不同行业领域应用，还提供各类数据服务，是支撑应用的重要组成。平台运行依赖的物理环境是计算设备、存储设备和网络设施，软环境支撑是有相关的政策机制的制度安全保障体系和有标准规范的标准保障体系。 天空地一体化时空大数据平台作为大数据应用系统的重要组成部分，不仅是大数据应用系统的基础信息资源集成平台，也是应用系统进行信息交换和协同应用的平台，为空间和时间构成的多维环境中的应用系统提供时空基础，实现基于统一时空基准的信息资源集成共享。 构建天空地一体化时空大数据平台，需要建设基础设施环境、业务服务支撑体系和专题应用系统，为天空地一体化时空大数据平台的用户提供支撑技术，并奠定跨部门协同办公和监管的基础。 图1.2 天空地一体化时空大数据平台典型结构 1.1.2数据分析 天空地一体化时空大数据平台建设的核心是多源异构时空大数据管理，主要包括基础层、公共数据层、监测层、特色层和管理层的数据。基础层是基础地理空间数据，包括卫星遥感数据，以及由行政区域界线、水系、植被、地名地址等数据构成的基础地理信息。公共数据层是公共管理和服务机构提供的数据。监测层是感知设备数据和网络爬取数据。特色层是业务特色数据。通过数据规范整理将公共数据层、监测层、特色层数据与基础层数据进行套合叠加。管理层管理过程产生的数据，随管理业务实时产生，主要是日志文件和统计表格。 1.多源异构数据 时空大数据来源各异，有飞机、卫星的航拍遥感数据，加工处理的基础地理数据，也有无人机图传数据及摄像头等设备的实时感知数据；数据结构各异，非结构化数据例如图像数据、文本数据，半结构化数据例如超文本标记语言（hypertext markup language，HTML）、JavaScript 对象简谱（javascript object notation，JSON）、可扩展标记语言（extensible markup language，XML ），结构化数据例如表格数据。 2.数据特性时空数据信息化具有的空间特性、可视化特性及空间分析特性，可以提供空间定位服务、可视化的数据管理服务及空间分析服务（宋冰等，2020）。例如社会公共安全生态系统中，利用监控视频、车辆卡口、车辆数据、人员数据、事件数据等组成安全感知网络，构建时空大数据，把特定场景的各种活动，从时间和空间两个维度记录下来，利用人员识别检测、车辆检测和异常行为识别等模型服务，获取各种潜在风险的预警信息，为建设社会公共安全体系提供技术支持。 3.数据价值 通过建立时空大数据平台，可以*大限度地发掘时空大数据的利用潜能，促成各部门形成“用数据说话、用数据决策、用数据管理、用数据创新”的管理新机制，有效发挥时空大数据的基底服务功能，有效支持各应用体系的集约建设，并控制时空大数据的合理使用，建设安全好用的大数据中心，从而提高整体管理水平。 1.1.3关键技术分析 针对时空大数据具有容量大、增速快、时空多维性、多尺度与多粒度、多元异构等特点，设计统一的时空大数据组织与海量数据管理方法，实现不同类型的时空大数据的有效管理；设计基于云计算的动态任务调度方法，提升时空计算时效性与系统计算性能；针对大数据时代的数据孤岛问题，设计时空数据协同链并在此基础上进行时空数据的流式调度，推动数据资源共享共治；时空分析在来源不同、粒度不同、类型不同的多模态数据中整合彼此的增益信息，利用时空可视化技术进行有效的数据融合，从而实现数据特征降维、聚类分析、关联分析及分类预测。 1.时空大数据的统一组织及海量数据管理与集成 随着新兴技术的发展，时空数据的增长尤为迅速，各部门、各单位对基础时空数据、公共专题数据和业务特色数据的时空一体化应用需求更加凸显，在统一的时空基准、统一的标准规范、统一的时间维度及分辨率下对基础地理信息、公共专题数据和业务专题数据及社会舆情等互联网数据进行叠加，形成时空大数据资源池，为各类应用形成资源服务体系，*终达到以时空序列方式表示集基础地理数据、各业务专题数据及互联网数据于一体的时空“一张图”，帮助业务部门基于时空序列对数据进行展示与分析，支持对业务的个性化服务。 2.时空大数据实时计算框架 随着云计算技术的发展与应用，将各类基础设施资源如计算、存储和网络等进行资源池化，能有效降低软硬件资源的投入，并将资源*大化利用。时空大数据平台需建立高性能的时空大数据实时计算框架和高性能、高并发的时空流任务调度机制，扩展当前主流基础设施即服务（infrastructure as a service，IaaS）解决方案的资源池化能力，深度整合平台资源和底层的基础设施资源，构建资源池，实现多级动态时空任务调度，提高计算资源智能弹性调整的能力。时空大数据平台随着时空数据的数