阅读说明：本技术 一种全球气象灾害卫星遥感快速响应与可视化服务平台 (Satellite remote sensing quick response and visualization service platform for global meteorological disasters ) 是由 杨军 于 2020-04-28 设计创作，主要内容包括：本发明实施例公开了一种全球气象灾害卫星遥感快速响应与可视化服务平台,包括：系统存储层、气象分析层、气象业务服务层和服务接口与门户层；系统存储层,用于存储气象数据；气象业务服务层,用于接收用户通过服务接口与门户层输入的任务；以及将任务推送到气象数据分析层；气象分析层,用于根据任务进行分析；以及把分析的结果发送给服务接口与门户层；服务接口与门户层,用于与用户进行交互；包括接收用户的查询以及显示分析结果。(The embodiment of the invention discloses a global meteorological disaster satellite remote sensing quick response and visualization service platform, which comprises: the system comprises a system storage layer, a meteorological analysis layer, a meteorological service layer, a service interface and a portal layer; the system storage layer is used for storing meteorological data; the weather service layer is used for receiving tasks input by a user through the service interface and the portal layer; pushing the task to a meteorological data analysis layer; the meteorological analysis layer is used for analyzing according to the tasks; sending the analysis result to a service interface and a portal layer; the service interface and portal layer is used for interacting with the user; including receiving a user's query and displaying the results of the analysis.)

一种全球气象灾害卫星遥感快速响应与可视化服务平台

技术领域

本发明涉及的是气象卫星数据处理领域和三维可视化处理技术领域，具体涉及一种全球气象灾害卫星遥感快速响应与可视化服务平台。

背景技术

气象卫星是快速高效进行全球气象、生态环境要素，重大灾害监测评估的最有效数据源，特别是随着我国气象卫星技术的高速发展，探测能力日益增强，在国际上处于先进水平。如何利用好气象卫星数据，融合更先进的卫星遥感信息反演，灾害监测评估技术，开发多维、可视化、快速服务平台，为政府决策、行业应用、公众生活等提供更加高效、精确的服务，是亟待需要解决的问题。

发明内容

为此，本发明实施例提供一种全球气象灾害卫星遥感快速响应与可视化服务平台，以解决现上述的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，一种全球气象灾害卫星遥感快速响应与可视化服务平台，包括：系统存储层、气象分析层、气象业务服务层和服务接口与门户层；

系统存储层，用于存储气象数据；

气象业务服务层，用于接收用户通过服务接口与门户层输入的任务；以及将任务推送到气象数据分析层；

气象分析层，用于根据任务进行分析；以及把分析的结果发送给服务接口与门户层；

服务接口与门户层，用于与用户进行交互；包括接收用户的查询以及显示分析结果。

进一步地，系统存储层采用通用的x86架构存储服务器作为构建单位，形成统一共享存储池；

系统存储层基于大数据存储技术，针对多源气象灾害数据，采用多种大数据分布式集群存储技术以满足不同类型气象数据的存储访问需求。

进一步地，气象大数据分析层包括数据层、服务层和应用层；

数据层用于业务数据的管理和产品数据的管理；

服务层用于将用于计算处理气象数据的算法进行容器化封装，进行分布式计算；

应用层用于获取用户的命令和设置，以及将计算成果展示给用户。

根据本发明实施例的第二方面，一种构建全球气象灾害卫星遥感快速响应与可视化服务平台的方法，该方法包括：

基于服务编排的气象大数据存储与计算环境构建；

基于容器的复杂运行环境下的气象应用算法集成；

全球气象灾害数据/产品的多维多场景可视化展示；

全球主要气象灾害卫星遥感快速响应与可视化服务平台构建。

进一步地，集成基于容器的复杂运行环境下的气象应用算法，包括：

采用基于容器的封装和运行技术能够支持不同算法模型的无缝集成；

可将气象灾害监测算法模型所需的运行环境打包在镜像中，具备资源隔离和动态挂载输入输出数据的能力；

定义算法自描述模型和数据访问规范，支持算法模型的自动串联，实现平台和算法插件的综合集成。

进一步地，全球气象灾害数据/产品的多维多场景可视化展示包括：基于浏览器前端WebGL与服务器中间层缓存技术，建立气象灾害数据、反演参数、专题产品的可视化模式体系，从空间、时间和数值三个维度定义可视化效果，以分布式对象存储为中间层，实现周期性增量更新的机制，形成可渐进传输的多尺度三维可视化中间成果格式和索引方法；通过前端的H5和JS脚本实现气象数据的三维实时展示。

本发明实施例具有如下优点：本发明针对全球主要气象灾害监测管理存在响应速度不够及时，不能满足气象灾害随时随地瞬息快速变化的要求的问题，利用新型气象卫星遥感数据在时空分辨率与宏观监测上的优势，以提升国产卫星的全球主要气象灾害监测业务化快速服务能力为核心，构建具备国际先进技术的全球气象灾害卫星遥感可视化综合分析及快速服务平台。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例提供的一种全球气象灾害卫星遥感快速响应与可视化服务平台的结构示意图；

图2为本发明实施例提供的存储节点管理界面示意图；

图3为本发明实施例提供的气象大数据分析层的系统架构图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

无论从数据分析、可视化，还是从快速、高品质的服务能力的角度看，建立起一套具有高效性且易于扩展的可视化平台，实现全球主要气象灾害(台风、暴雨、高温、干旱、沙尘、雪灾)监测、快速响应、三维可视化分析是当务之急，使可视化平台与领域之间具有低耦合度，通过层次化、组件化的架构可以满足对可视化平台软件扩展性和通用性的需求。

基于此，本申请提出了一种全球气象灾害卫星遥感快速响应与可视化服务平台，参见附图1所示的一种全球气象灾害卫星遥感快速响应与可视化服务平台的结构示意图；该平台包括：系统存储层、气象分析层、气象业务服务层和服务接口与门户层；

系统存储层，用于存储气象数据；

气象业务服务层，用于接收用户通过服务接口与门户层输入的任务；以及将任务推送到气象数据分析层；

气象分析层，用于根据任务进行分析；以及把分析的结果发送给服务接口与门户层；

服务接口与门户层，用于与用户进行交互；包括接收用户的查询以及显示分析结果。

其中，服务接口与门户层可以为手机或者电脑的桌面应用，可以是Web浏览器。

还包括虚拟化基础资源层；其中，系统底层依托虚拟化的基础资源设施，以Kubernetes为主要运行环境，实现可动态伸缩的微服务架构。实现对云虚拟环境、裸金属环境和GPU服务器的支持。基于气象灾害监测业务需求，确立生产可用的气象微服务技术标准，紧密结合微服务治理技术，实现同底层基础设施完全解耦，具备服务自动发现、自动水平扩展和负载平衡、中心配置管理等现代云原生应用特性。在虚拟化基础资源之上是存储系统。全球气象灾害卫星遥感监测服务平台需要支持不同卫星类型、不同数据类型的数据产品，因此需要研究针对不同产品特点的数据存储方案。包括气象灾害卫星遥感数据库、全球主要气象灾害孕灾环境卫星遥感数据库、全球主要气象灾害分布数据库、全球地理信息辅助数据库等，以支撑系统上层统一平台的可视化分析与快速响应。

虚拟化基础资源层基于气象灾害监测业务需求，确立生产可用的气象微服务技术标准，紧密结合微服务治理技术，实现同底层基础设施完全解耦；

所述系统存储层是针对多源异构气象数据，如高分数据、风云数据、气象监测数据、地面观测数据、灾害产品、矢量数据、图表文档等，采用分布式文件系统存储、关系数据库存储、对象存储、搜索引擎等多种大数据存储技术以满足不同类型数据的存储需求；系统存储层可采用通用的x86架构存储服务器作为构建单位，用户可以根据业务需要灵活地增加或缩减存储节点并且形成一个统一的共享存储池，可提供比传统存储高出数倍的聚合IOPS和吞吐量，可实现系统的设备级冗余并且可在线更换损坏的硬盘和节点设备，支持在线无缝动态横向扩展。

所述气象大数据分析层是在存储层和虚拟化基础资源层的支撑下，集成不同编程语言、不同运行环境的气象灾害应用算法模型，对外提供六种灾害产品的生产服务；

所述气象业务服务层是建立在气象大数据分析层之上的，负责气象产品的自动化或用户定制模式的数据生产，气象业务服务层会定期将任务推送到气象数据分析层，进行自动化生产；气象业务服务层包括气象产品监视服务、气象产品接入服务、灾害产品生产服务、气象灾害预警服务、灾害产品更新服务、气象产品管理服务、灾害产品管理服务。其中气象产品监视服务是用来监视外部共享的存储设备，将气象产品的变化情况转化为事件通知发送到消息队列。气象产品接入服务是通过消息队列接收到产品变化通知后，根据产品规则将所需数据转入系统。灾害产品生产服务是根据气象产品的更新通知生产不同类型的灾害产品。气象灾害预警服务是根据预定义的灾害预警规则自动生成预警信息，除了写入数据库外还需要通过消息队列发送出去。气象产品管理服务、灾害产品管理服务主要是用来提供前端的数据查询检索功能。灾害产品更新服务是指针对在前端修改的产品在数据库中进行更新。

所述的服务接口与门户层为用户提供了一个气象产品的展示窗口，气象产品展示按照具体产品内容可以分为二维平面展示和三维展示，显示的数据来源于系统存储层。服务接口与门户层是完全基于WEB技术开发三维可视化平台，其具有无插件且轻量级的特点。通过Javascript语言进行编写，利用WebGL技术和H5技术搭建基本框架，通过对基础地理数据的切片等处理，导入到平台中实现气象灾害专题数据和基础遥感产品的叠加发布。客户端通过TCP/IP协议向服务器发送请求，然后对服务器返回内容进行处理，基于WebGL技术利用Javascript语言实现三维场景的渲染。

在存储系统和虚拟化基础资源的支撑下，气象大数据分析系统提供了计算支持。该子系统基于容器技术，实现了不同编程语言、不同运行环境的算法的调用，对外提供六种产品的生产服务。气象业务分析系统是建立在气象大数据分析系统之上的，用以实现气象产品的业务化运行。显示系统位于最上层，该系统基于浏览器前端WebGL与服务器中间层缓存技术，针对不同尺度形成适于网络传输和三维可视化的中间数据成果可以缓存在对象存储环境中，中间数据成果通过RESTful API对外服务，浏览器前端获取后可直接基于WebGL技术进行三维实时可视化渲染，无需再单独安装插件。通过对气象反演、融合、灾害产品提供三维动态显示、图层控制、要素叠加等多种可视化功能，实现支持二次开发的气象数据可视化服务，并针对典型区域完成验证。

系统存储层基于大数据存储技术，针对多源气象灾害数据，采用分布式文件存储、关系数据库存储、对象存储、k-v存储、搜索引擎等多种大数据分布式集群存储技术以满足不同类型气象数据的存储访问需求，通过对存储系统建模进行综合管理和统一应用，为此需要设计实现多源遥感数据在用户应用模式、逻辑组织模式和物理存储模式上的具体技术实现途径，建立相互之间的映射关系。

气象大数据分布式存储系统是将数据分散存储在多台独立的设备上，并且可横向扩展，利用多台存储设备分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，并将这些分散的存储设备构建成一个虚拟的大的存储池来供上层应用来使用。

参见附图2所示的存储节点管理界面示意图；管理员可以通过“存储节点管理界面”可以查询当前存储节点的情况，可查询到以下信息：

1)GlusterFS、Ceph、ES、Etcd节点部署情况以及每个节点的基本信息。节点的基本信息包含：节点名称，节点的存储容量等。

2)空闲节点信息。用户管理员可以通过该界面可自由的设置节点的归属。

关于分析层，参见附图3所示的气象大数据分析层的系统架构图；数据层包括业务数据的管理和产品数据的管理。业务数据主要以平台的etcd存储为主。etcd存储以k-v形式记录数据，其中k值是关键字段或者ID，而V值可以存储简单的字段数据，也可以存储复杂的结构化数据。etcd存储采用内存数据库，具有支持大规模数据并发访问的特点，主要存储作业状态进度信息、作业统计数据、工作流消息队列等业务信息。产品数据采用分布式文件系统进行保存。每种气象产品的存储都支持高并发量访问，为分布式计算提供了很好的数据支撑。应用层属于气象大数据分析层的UI层，负责获取用户的命令和设置，以及将计算成果展示给用户。服务层是分布式流程计算子系统最重要的层。在服务层，系统将用于计算处理气象数据的所有算法进行容器化封装，采用Kubernetes自身的调度系统实现分布式计算。服务层包含API服务、作业监视服务、调度服务、资源监视服务、其他服务等。

关于作业任务提交后内部各个服务交互的过程，参见附图3，首先系统通过API服务接到了作业提交请求。然后会将作业写入到etcd存储。etcd存储记录此次作业提交任务，并将记录状态反馈给API服务，同时etcd存储会触发一个消息通知。消息通知是由消息队列服务实现管理的。队列服务接到消息后进行逐个判断，将属于此次作业相关的消息反馈给etcd存储。用户通过队列服务也可以获取到处理进度和处理状态。比如用户提交了一批用户反演地表温度的作业任务，在任务管理界面会实时获取到任务的执行进度，并行度等信息，就是通过消息队列服务实现的。调度服务通过分析任务类型和任务量，以及通过从任务监视服务获取的资源信息，确定作业任务的并行度，然后将任务分解为若干Job。Job是平台处理的任务基本单元，因此Job数量决定了此次作业的并行度。来自调度服务的Job最终通过k8s运行获得最终结果。在k8s运行这些任务期间，调度服务会实时获取到运行状态，并将这些状态展示到用户界面，用户得以随时了解进展情况。同时Etcd也会通过监视服务记录与此次作业相关的中间过程信息。

第二方面，本申请还提出了一种构建全球主要气象灾害卫星遥感快速响应与可视化服务平台的方法，该方法包括：

步骤1.构建基于服务编排的气象大数据存储与计算环境；

步骤2.集成基于容器的复杂运行环境下的气象应用算法；

步骤3.可视化展示全球气象灾害数据/产品的多维多场景；

步骤4.构建全球主要气象灾害卫星遥感快速响应与可视化服务平台。

在一种实施方式中，所述步骤1包括：

气象灾害大数据具有多维、多源、异构等特性，由于气象数据具有多批次、单次数据量大，更新频繁的特点，在使用模式上也各不相同，传统的关系型数据库存储气象数据时，必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。因此本发明针对多源异构气象数据，如高分数据、风云数据、气象监测数据、地面观测数据、灾害产品、矢量数据、图表文档等，采用分布式文件系统存储、关系数据库存储、对象存储，搜索引擎等多种大数据存储技术以满足不同类型数据的存储需求，并通过对存储系统建模进行综合管理和统一应用，设计实现多源气象数据在用户应用模式、逻辑组织模式和物理存储模式上的具体技术实现途径，建立相互之间的映射关系。

本发明基于微服务架构实现和整合异构大数据环境所需的多个Operator，达到自动化部署、扩展和管理的目的，同时在更高的层次上引入独立的存储环境管理平面，为异构存储系统建立统一的描述模型，从而为上层服务提供一致的检索、访问和状态通知接口。存储环境管理平面本质上也是容器化的无状态服务系统，通过RESTful API对气象灾害服务平台中的上层应用提供大数据环境的自动部署、检索、伸缩和管理服务，利用分布式K-V服务记录诸多存储系统的部署和状态情况，还可以通过高级消息队列将内部各个存储系统的状态变化和度量情况统一发布出去。

在一种实施方式中，所述步骤2包括：由于各类气象灾害监测应用算法模型如气象灾害数据融合算法、气象灾害自动提取算法、气象数据反演算法等，是基于不同编程语言、不同运行环境的，可能包括MATLAB、IDL、可执行文件、Python等方式开发的算法，考虑到算法集成的复杂性和不一致性，不同的算法模型在实现上对运行环境的差异很大，甚至存在潜在冲突，本发明采用基于容器的封装和运行技术能够支持不同算法模型的无缝集成，可将气象灾害监测算法模型所需的运行环境打包在镜像中，具备资源隔离和动态挂载输入输出数据的能力。通过定义算法自描述模型和数据访问规范，能够支持算法模型的自动串联，实现平台和算法插件的综合集成。容器镜像是运行环境和算法模型打包在一起的物理实体文件，只需要依赖于操作系统内核即可运行。通过使用支持Copy-On-Write的联合文件系统，操纵系统、基础依赖库、运行环境和算法模型以独立的“层”的形式叠加在一起，构成一个完整的、隔离的执行环境；同时这些层可以在不同算法模型间共享，完全相同的层只需要存储一次，降低了整体的存储需求。

在一种实施方式中，所述步骤3包括：在因特网环境下，传统三维渲染方式受到传输速率和数据规模等因素的制约，难以实现高效的远程实时可视化。本发明基于浏览器前端WebGL与服务器中间层缓存技术，建立气象灾害数据、反演参数、专题产品的可视化模式体系，从空间、时间和数值三个维度定义可视化效果，以分布式对象存储为中间层，实现周期性增量更新的机制，形成可渐进传输的多尺度三维可视化中间成果格式和索引方法，最后通过前端的H5和JS脚本实现气象数据的三维实时展示。

首先基于气象灾害监测业务场景和气象灾害数据/产品特征，建立气象产品可视化组织模型，确定气象反演/融合/监测产品和灾害数据集在空间维、时间维和数值维上的动态可视化要求，定制一套规范化的气象灾害数据/产品的可视化标准用来描述不同类型、不同来源、不同服务请求的数据，这些数据的属性描述文件以JSON文件形式存在。这个JSON文件中包括数据的唯一标识、JSON自描述、监测对象实体、标注信息、样式定义、文档报告、序列栅格数据、生产单位、生产时间等属性信息。

然后基于浏览器前端WebGL与服务器中间层缓存技术，针对不同尺度形成适于网络传输和三维可视化的中间数据成果可以缓存在对象存储环境中，中间数据成果通过RESTful API对外服务，浏览器前端获取后可直接基于WebGL技术进行三维实时可视化渲染，无需再单独安装插件。通过对气象反演、融合、灾害产品提供三维动态显示、图层控制、要素叠加等多种可视化功能，实现支持二次开发的气象数据可视化服务，并针对典型区域完成验证。

在一种实施方式中，所述步骤4包括：现有气象灾害监测系统存在综合性不强、时效性不够、服务面不广等问题，一方面鲜有系统能够有效对多种气象灾害进行综合分析和监测，在尺度上也以区域性为主；另一方面由于处理和可视化技术限制，整体响应速度不够及时，存在数小时乃至数天的延迟，妨碍了气象服务在现实防灾减灾需求中发挥更大作用。本发明基于容器和微服务架构建立气象灾害快速响应服务平台，首次集成全球范围的多种气象灾害数据分析和可视化技术，实现近实时的灾害监测服务。

本发明实现对气象卫星关键参数反演，台风和暴雨等全球主要气象灾害监测等多源信息的动态接入、查询检索、分发下载功能；基于分布式计算技术，采用容器化方式集成本项目的高精度反演、融合、定量监测算法，提供周期性批量计算和实时在线计算功能；基于气象数据远程控制、三维可视化能力，提供对全球主要气象灾害的监测分析服务。形成从卫星遥感数据获取、气象灾害识别、灾害评估信息提取、产品自动化生产、三维动态监测展示、远程可视化控制、信息发布的智能化全业务链服务能力。

最后针对台风、暴雨等气象灾害监测实际业务应用场景，从卫星遥感数据获取、气象灾害识别、灾害评估信息提取、产品自动化生产、三维动态监测展示、远程可视化控制、信息发布等方面评估平台在智能化全业务链服务能力，对平台服务稳定性、时效性等进行检验。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。