PIE遥感云服务与实践

第1章　绪论 如何充分挖掘遥感大数据，全面快速地实现对地球空间信息的感知与认知，是地球科学领域共同面对的挑战。遥感云平台作为智能化综合性数字信息基础设施的一种形式，具有重要的战略价值。随着技术的发展，以及人类进一步认识地球的需求，遥感云计算平台将得到更多的应用和发展，为更深入理解地学规律、实现人类社会可持续发展提供科学支撑（付东杰等，2021）。相比国外，目前中国的遥感云计算平台尚处于起步阶段，但中国国产卫星的使用将使中国遥感云计算平台具有独特优势。 1.1　概述 近年来，随着国家高分辨率对地观测系统重大专项的实施，空间信息基础设施的建设，国内外卫星商业化的发展，星座计划、微卫星群的开启，航空摄影技术革命，以及无人机的普及等均使遥感信息获取能力大大增强，遥感数据资源得到极大丰富，其还对遥感数据的密集存储、计算处理、服务方式与能力形成巨大挑战。仅美国新一代对地观测卫星EOS每日获取的遥感数据量就达TB级，全球对地观测数据已经达到EB级。从年度、季度、月度到每天、每小时的数据使应用领域得到拓展，如保险、农情、商业分析、应急救援等已成为可行的遥感应用领域，数据实时处理、密集计算、大数据分析能力要求大大提高，使用方式也发生改变（王晋年，2016）。与此同时，传统遥感应用面临着成本高、难度大、时效差、无保障的难题。使用桌面常规软件工具难以在大时空范围内进行获取、管理和分析处理，现有的遥感影像分析和海量数据处理技术已难以满足当前遥感大数据应用的要求。遥感云计算技术的发展和云计算平台的出现为海量遥感数据处理和分析提供了前所未有的机遇，彻底改变了传统遥感数据处理和分析的模式，极大地提高了运算效率，使得全球尺度、高分辨率、长时间序列的快速分析和应用成为可能，这些数据与计算结果可在遥感计算云平台上进行共享，且能够向多种应用场景开放。 目前，国际上主流的遥感计算云平台以国外机构或公司开发的平台为主，谷歌公司率先发布了谷歌地球引擎（Google Earth Engine，GEE）这一产品，打破了传统行业的壁垒，使得人人都可以分析应用遥感影像。在当前领先的遥感云计算平台的基础上，推动我国自主研发遥感云平台的建设，研发一套国产化自主可控的时空遥感云服务平台，快速、自动地进行遥感大数据的处理和分析，完成遥感数据产品的智能信息服务，是我国遥感行业发展亟待解决的重要课题。在这样的背景下，我们需要在大数据平台、智能信息处理算法和主动服务模式等方面进行创新性研究，发展新的方法理论，构建共享数据、代码和方法的开放平台，让区域用户、行业用户、政府用户、企业用户甚至大众用户轻松获取各自所需的遥感信息与服务，以应对地球观测数据获取能力飞速增长对信息高效、快速服务的重大需求。 1.2　国内外遥感云平台发展现状 目前，国际上主要的遥感云计算平台有GEE、笛卡儿实验室（Descartes Labs）以及澳大利亚地理科学数据立方体（Australian Geoscience Data Cube，AGDC），其中GEE发展比较成熟，并得到广泛应用。中国遥感云平台的建设也在加速推进中，中国科学院先导专项“地球大数据科学工程”的地球大数据挖掘分析系统（EarthDataMiner）（Liu et al.，2020）、航天宏图信息技术股份有限公司的时空遥感云服务平台PIE-Engine均发展迅速，应用于越来越多的领域，服务于越来越多的用户。 1.2.1　国外遥感云平台进展 国外遥感云平台主要有美国的GEE、Descartes Labs以及AGDC等。 1.GEE GEE是美国Google公司与卡耐基梅隆大学和美国地质调查局（USGS）共同研发并于2010年发布的一款免费的遥感云计算平台，能够对全球尺度地球科学资料进行在线可视化计算和分析处理。GEE使用Google核心基础架构、数据分析和机器学习技术，可以让用户体验高效、安全的云服务。该平台集成了海量地理空间数据、可视化和分析计算能力，以及可调用的应用程序接口（Application Programming Interface，API）。依托Google公司全球百万台服务器，GEE能够提供足够的运算能力，对海量空间数据进行可视化分析和计算处理。2019年，GEE耦合了深度学习平台TensorFlow，进一步提升了其计算分析能力。GEE不仅提供在线的JavaScript API，同时也提供离线的Python API，通过这些API快速建立基于GEE以及谷歌云的Web服务。此外，用户在GEE上可以开发自己的算法、生产系统数据产品或部署由GEE资源支持的交互式应用程序，无须成为应用程序开发、Web编程或HTML方面的专家（董金玮等，2020）。基于GEE JavaScript API的用户交互编程界面如图1-1所示。 截至2021年12月底，GEE平台的地理空间数据量超过40 PB，包括影像数据、气候和天气数据、地球物理数据等超过600个公共数据集，其中影像数据包括全球尺度的陆地资源卫星Landsat系列、哨兵Sentinel系列、中分辨率成像光谱仪（MODIS），以及局部区域的高分辨率影像等；气候和天气数据包括表面温度和发射率、长期气候预测和地表变量的历史插值、卫星观测反演的大气数据以及短时间预测和观测的天气数据；地球物理数据包括地形数据、土地覆被数据、农田分布数据、夜晚灯光观测数据等。GEE用户可以上传自己的矢量数据（Shapefile或CSV格式）或栅格数据（GeoTIFF格式）到GEE用户数据集存放地点Assets上，然后进行后续分析。GEE将PB级的地理空间数据集目录与全球尺度分析功能结合，用于检测变化、绘制趋势并量化地球表面的差异。 GEE能够对全球范围内海量卫星图像和其他地球观测数据进行存取，并提供足够的运算能力对这些数据进行处理，为遥感大数据分析提供支撑，将遥感应用发展推向大众化。然而，美国政府于2020年1月在出口管制条例上增加了“专门用于自动分析地理空间图像的软件”（Bureau of Industry and Security，Commerce，2020），提高了从美国向除加拿大之外的国家出口这些软件的限制，GEE可能会被限制使用。此外，GEE未接入风云、高分、资源等国产卫星数据，从而限制了国产卫星数据在GEE平台上的应用（程伟等，2022）。 2.Descartes Labs Descartes Labs于2014年成立，其提供了一个PB级的地理空间数据集，现提供的数据源包括多光谱光学遥感影像、高分辨率光学遥感影像、大气数据、地球同步卫星观测数据、SAR数据、高程数据、水文数据、气象数据、AIS数据、土地利用数据、内部数据等。Descartes Labs所有的标准化和互操作均通过一个公共接口进行，其提供Python版本的API以及类似GEE Exporler的Web界面，用于浏览数据目录，实现数据可视化。和GEE不同的是，Descartes Labs主要是商用（董金玮等，2020）。Descartes Labs平台的三个组成部分如图1-2所示。 Descartes Labs平台包括以下三个部分。 1）数据精炼厂 提供PB级的可分析地理空间数据，能够快速获取、管理、校准任何内部或第三方数据源，并使用户从中受益。 2）工作台 基于云的数据科学环境，将Descartes Labs Platform API、可视化工具和样本模型结合在托管的JupyterLab界面中。 3）应用程序 企业团队可以比以往更快地构建应用程序，从而在多类横向和纵向使用案例中提供宝贵意见并节省资金。 3.AGDC AGDC旨在解决影响地球观测数据有效性的3V［数据量（Volume）、速度（Velocity）、多样性（Variety）］方面，实现地球空间观测数据仓储的全部潜力，提供对大型时空数据进行访问和处理的功能（董金玮等，2020）。AGDC框架结构如图1-3所示。 AGDC的基础和核心组件包括以下三个部分。 1）数据准备 提供对地球观测数据的几何和辐射校正，生产支持时间序列分析的标准化地表反射率数据，跟踪每个数据立方体出处的收集管理系统，制定并规范化后处理决策等。 2）软件环境 提供开放数据立方体（Open Data Cube，ODC）生态系统地理空间数据管理和分析软件，根据用户应用程序，ODC可以灵活部署在高性能计算云和本地，并可安装在Linux、MacOS、Windows系统上。 3）硬件环境 澳大利亚国家计算基础设施（NCI）提供支持性高性能计算环境，也提供诸如森林砍伐、水质监测、非法采矿等知情决策服务。 1.2.2　国内遥感云平台进展 国内遥感云平台主要有：地球大数据挖掘分析系统（EarthDataMiner）、四维地球、PIE-Engine（Pixel Information Expert Engine，像素专家引擎）时空遥感云服务平台等。这些遥感云平台以可视化和数据服务为主，而遥感行业需要集数据、算力、技术、协作于一体的新型遥感云服务平台。 1.地球大数据挖掘分析系统（EarthDataMiner） 中国科学院软件研究所2021年发布了地球大数据挖掘分析系统（EarthDataMiner）。该系统提供长时序的多源对地观测数据集，包括中国遥感卫星地面站自1986年建设以来20万景（每景12种产品，共计240万个产品）的长时序陆地卫星数据产品；基于高分一号和二号卫星、资源三号卫星等国产高分辨率遥感卫星数据制作的2m分辨率时序动态变化全国一张图；利用高分卫星、陆地卫星等国内外卫星数据制作的30m分辨率时序动态变化全球一张图；重点区域的亚米级产品集等。EarthDataMiner V1.0的共享数据总量约5PB，其中对地观测数据1.8PB，生物生态数据2.6PB，大气海洋数据0.4PB，基础地理数据及地面观测数据0.2PB，另外还包括地层学与古生物数据库数据记录49万条、中国生物物种名录记录360万条、微生物资源数据库数据记录42万条、目前在线的组学数据记录10亿条。EarthDataMiner界面如图1-4所示。 EarthDataMiner提供包含资源、环境、生物、生态等多领域的挖掘分析工具系统和云服务，引入人工智能算法，利用跨领域模型与算法共享机制（包括基础算法和共享算法），提升多领域综合分析模型的创新设计质量和效率。其核心功能包括： （1）Web版Python代码开发环境，地图和图表可视化； （2）挖掘分析模型与算法库管理，集成通用科学计算、机器学习和数据挖掘算法，以及遥感图像地物识别等领域算法； （3）基于容器云环境与大数据引擎，实现高效分布式执行遥感应用处理函数。 2.四维地球 中国资源卫星应用中心2019年发布了基于“海陆空天”海量多源数据的时空信息智能服务平台——“四维地球”，综合运用大数据、云计算、人工智能、5G等技术，实现对海量遥感数据的云端处理和快速分发、按需使用和浏览共享。四维地球上的卫星数据与数据服务包括：全分辨率影像在线服务、日新图影像产品、镶嵌图影像产品、地物分类产品、目标检测产品、变化检测产品、开放应用产品等。“四维地球”平台界面如图1-5所示。 “四维地球”为用户提供面向互联网、移动互联网的海量、高品质、低成本的遥感影像数据在线应用能力，旨在构建时空信息产业云系统，推动应用创新发展。该平台可用于变化检测、审计、执法督察、应急救灾等多种场景。 3.PIE-Engine时空遥感云服务平台 航天宏图信息技术股份有限公司于2020年自主研发了开放式时空遥感云服务平台PIE-Engine。该平台是一套基于云计算、物联网、大数据和人工智能等技术研发的，具备时空大数据接入、存储、管理、处理、计算、信息提取、知识挖掘、共享发布、开放应用到算法集成编排、二次开发的全流程一体化遥感应用服务平台。平台不断汇集和丰富多源地理时空数据，将数据及其处理和可视化技术转为对外开放的服务，聚合形成面向不同需求层次的能力，支撑业务应用的实施与运营。平台为用户提供“云+端”、“平台+SaaS”应用模式，充分发挥高效能、低门槛、低成本、易获取等优势，挖掘海量遥感数据价值，助力遥感应用产业化发展。PIE-Engine总体功能组成如图1-6所示。