具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

软件定义卫星属于新一代智能卫星，本申请的发明人在研究中发现由于软件定义卫星硬件可重置复用从而可通过软件再部署实现多种软件功能，因此其数据的应用服务表现为多样化，数据处理结果表现为多元化，而这正切合实际应用中星上或地面数据处理需求的多变性。因此，本申请的发明人认为面向软件定义卫星的大数据系统的设计需要从顶层考虑以下几个主要(或基础)模块的设计：(1)多源数据标准化处理模块；(2)多源数据的管理模块；(3)结构化/非结构化数据库以及服务镜像库；(4)数据处理的服务模块；(5)命令/交互操作解析模块；(6)系统运行控制模块；(7)交互前端模块。这些模块组织在一起共同初步构建了本申请的实施例提供的面向软件定义卫星的大数据系统。可以理解的是，本申请一些实施例提供的面向软件定义卫星的大数据系统中还可以包括：日志管理模块、负载均衡模块、数据安全模块、系统健康分析模块或者权限分析模块等。需要说明的是，本申请实施例提供的面向软件定义卫星的大数据系统正常运行所需的基本模块，即大数据平台的基础架构。

请参看图1，该图提供本申请一些实施例的面向软件定义卫星的大数据系统100，该大数据系统100包括：交互前端模块110、命令/交互操作解析模块120、系统运行控制模块130、多个数据处理服务模块150、结构化/非结构化数据库/服务镜像库160以及数据预处理及数据库管理模块170。

数据预处理及数据库管理模块170被配置为：将待录入的非结构化数据转换为标准数据结构对应的待录入的目标数据，并实现对结构化数据、目标数据和与目标数据对应的元数据的管理操作。结构化/非结构化数据库/服务镜像库，被配置为存储结构化数据以及目标数据；服务镜像库，被配置为存储所述多个数据处理服务模块对应的应用镜像，其中，所述应用镜像包括：各个数据处理服务运行所需的库、环境以及程序。多个数据处理服务模块150，其中，每个数据处理服务模块被配置为对所述待录入的非结构化数据或者所述目标数据提供一种数据处理服务，其中，针对所述待录入数据的服务类型包括：数据录入服务、数据格式转换服务(该处是一种概括说法，因为数据格式有很多种，每种都对应一个具体服务)以及缩略图生成服务。交互前端模块110被配置为接收前端用户输入的命令或者交互操作。命令/交互操作解析模块120被配置为：解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令。系统运行控制模块130被配置为：根据所述结构化/非结构化数据库所存储的数据和设定流程，依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务，其中，一个数据处理服务与一个数据处理服务模块对应；其中，所述服务镜像库以及实现所述多个数据处理服务模块以插件的形式设置于所述大数据系统中。

如图1所示，在一些实施例中，数据预处理及数据库管理模块170进一步包括：多源数据标准化处理模块171以及多源数据管理模块172。

多源数据标准化处理模块171被配置为：通过调用至少一个数据处理服务的方式，将所述待录入的非结构化数据转换为所述目标数据，其中，所述待录入的非结构化数据包括不同存储结构的多源数据或者异构数据，所述至少要一种数据处理服务包括：数据有效性检查、文件格式转换或者缩略图生成。多源数据管理模块172被配置为实现对所述结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作，其中，所述管理操作的类型包括：录入、删除、更新或者检索。

下面示例性阐述图1中各模块的实现细节以及功能。

结合图1可知交互前端模块110，主要实现前端用户(包括普通用户、管理人员、在线服务人员等简称为前端用户)与面向软件定义卫星的数据系统之间的交互访问功能以及命令输入。在本申请的一些实施例中，交互前端模块110还被配置为实现与系统运行控制模块130、数据库(结构化/非结构化数据简称为数据库)之间的信息传递与读写功能。在本申请的一些实施例中，交互前端模块110还被配置为系统运行状态信息的反馈显示。在本申请的一些实施例中，交互前端模块110还被配置为提供数据(图像、视频等可视化数据以及服务处理结果、非可视化数据统计信息的)可视化展示。例如，交互操作包括：用户检索数据、查看数据、查看数据处理结果等，即用户与web页面之间的交互。此处的交互操作是针对本系统部署在地面云平台时。

图1的命令/交互操作解析模块120被配置为负责用户的交互操作与输入的命令逻辑解析，将其转换为相应系统指令。命令/交互操作解析模块120被配置为对简单请求的直接实现，或者将复杂请求信息解析后传递给系统运行控制模块130。

在本申请的一些实施例中，命令/交互操作解析模块120还被配置为：对用户通过交互前端模块110输入的命令或者交互操作进行逻辑解析得到系统指令；识别并执行与数据库访问相关的服务请求(对应简单请求)对应的系统指令，或者，将目标请求服务类型(对应复杂请求)对应的系统指令传输至系统运行控制模块130，以使系统运行控制模块130通过调用相关的数据处理服务模块完成所述目标服务请求。

简单请求的直接实现指的是用户调用某一服务对感兴趣的数据或数据集进行单一功能处理，而非多个或一系列服务按照一定流程顺序进行处理。

下面以用户调用“云判服务”对数据内容进行判断作为一个简单请求示例，结合如下步骤示例性阐述简单请求的实现过程：

步骤一，用户通过web门户输入命令：e服务名数据名(示意代码)。

步骤二，命令/交互操作解析模块120根据命令中的参数确定服务镜像以及数据。

步骤三，调用“云判服务”对数据(集)进行识别，并将结果保存。

复杂请求指的是需要多个数据处理服务模块联合工作实现某一功能，例如：将遥感图像数据录入本大数据系统，该功能实现除将各类信息录入对应表单，还需要将数据进行处理，如：格式转换、生成缩略图等。具体实现过程包括如下步骤：

步骤一，管理员通过web门户输入命令：c input文件路径(示意代码)。

步骤二，命令/交互操作解析模块120根据命令类型以及关键字判断对应功能，从而通知系统运行控制模块130需多服务联合工作的“数据录入”服务需启动。

步骤三，系统运行控制模块130首先调用数据录入服务将数据相关信息录入各表单。

步骤四，系统运行控制模块130再调用数据格式转换服务图像数据转换为系统支持的数据格式。

步骤四，系统运行控制模块130最后调用生成缩略图服务根据图像数据生成对应的缩略图。

图1的多源数据标准化处理模块171被配置为：将不同存储结构的多源、异构数据转换为标准数据结构(例如，标准数据结构包括但不限于：geotif(tif)、jpg、png、bmp等)，缩略图生成，以及其它标准化数据处理。

传统遥感大数据系统平台以提供数据为主，数据的标准化处理则是由相关服务人员调用各种功能软件进行处理后上传至数据平台。而本申请一些实施例提供的面向软件定义卫星的大数据系统平台则是既提供数据又提供各类服务，该大数据系统能够自动化调用数据处理服务模块对待录入系统的数据进行处理，该大数据系统的基本标准化处理包括：数据有效性检查、文件格式转换、缩略图生成等。

需要说明的是，由多源数据标准化处理模块171执行的其它标准化数据处理过程包括：根据成像载荷特点不同，数据标准化处理不同。针对面阵成像载荷，包括：绝对辐射校正、相对辐射校正或者几何校正；针对线阵推扫式成像载荷，包括：绝对辐射校正、相对辐射校正、几何校正。根据业务需求不同，可定制相关标准化处理。但本系统均是自动化完成数据处理。在一些实施例中，所述多源数据包括：光学数据、微波数据、激光数据、视频数据或者非成像类数据。例如，在一些实施例中，这些数据具体包括：光学遥感数据、微波遥感数据、激光遥感数据。非成像类数据包括但不限于：遥测数据、电场数据、磁场数据。

图1的多源数据管理模块172被配置为：实现对数据的管理，包括：数据录入、数据删除、数据更新、数据检索等；管理的元数据包括：遥感数据、空间数据、运控数据、遥测数据等航天数据；从元数据中分析、提取的数据特征信息；大数据系统提供的服务处理结果管理、下载等。

在一些实施例中，多源数据管理模块172针对所述目标数据对应的元数据的管理操作包括：自动从所述元数据中提取数据特征信息，其中，所述数据特征信息用于表征所述待录入数据所对应的目标对象或者所述目标对象的状态。

图1的多源数据管理模块172实现对数据的管理，包括：数据录入、数据删除、数据更新、数据检索等。在技术上，传统遥感大数据平台基于数据库内具体且固定的属性表单对数据管理，超出表单范畴的数据属性信息则需要后台管理人员对数据库表单进行修改(增加字段或增加表单)。而本申请一些实施例提供的大数据系统将数据的各种信息视作属性，将数据固有的信息(卫星名称、载荷名称、帧频等)确定为具体(或基础)的表单；将数据分析、挖掘所得信息(数据中含有云、船、飞机)统一存储至属性表单并与数据ID相关联进行管理。如此在技术上无需修改已有表单字段，降低了后台服务人员的维护工作量。

例如：检索“飞机”光学遥感数据。

步骤一，输入命令(或解析交互操作生成命令)：“r属性飞机”(示意代码)。

步骤二，检索属性表单中带有“飞机”标签的字段，并记录该字段对应的数据ID。

步骤三，根据数据ID，提取各基础表单中相关数据信息(卫星平台、载荷名、数据行列信息、量化比特……)。

步骤四，输出结果可包括图像、视频等。

图1的多源数据管理模块172从元数据中分析、提取的数据特征信息包括：从元数据中分析、提取的数据特征为捕获的数据内容，即人对数据解译的结果，只不过由算法完成人的分析，从目标对象来看包括：飞机、舰船、云、雪、山脉、水体、建筑、星等；从数据分析来看包括：农作物种类、庄家长势、河流污染、洪涝灾害、污染排放等；从应用意义来看包括：灾害预警、植树造林监督等。

图1的结构化/非结构化数据库/服务镜像库160被配置为：存储结构化的数据固有信息；存储图像、视频、遥测等非结构化数据；存储图像、视频、遥测等结构化属性信息；存储元数据中提取的特征数据；存储用户发起的任务信息以及任务结果存储位置信息；存储各种功能的服务应用镜像(服务运行所需库、环境与程序本身打包在一起)。

在一些实施例中，在所述结构化/非结构化数据库中将结构化数据包括的固有信息存储为基础表单，将对所述待录入的非结构化数据进行分析和挖掘获取的信息统一存储至属性表单并与数据ID相关联存储；其中，所述固有信息包括：卫星名称、载荷名称或者帧频。需要说明的是，固有信息不仅限于此三种，还包括：经度、纬度、数据获取时间等。

在一些实施例中，所述结构化/非结构化数据库还被配置为：存储所述数据特征信息、存储用户发起的任务信息以及任务结果存储位置信息。

图1的多个数据处理服务模块150中的各模块被配置为：对数据进行应用功能处理，如：超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产、卫星评估等；服务的部署、更新、删除等操作。需要说明的是，本申请一些实施例的模块所能提供的服务不限于此几种，根据业务需要会逐步增加相应的服务提供模块。

需要说明的是，超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产、卫星评估等，这些功能或算法并非本申请一些实施例提供的大数据系统所独有，这些算法在传统大数据系统平台上不对外提供或不具备这些功能。而本申请一些实施例的大数据系统将其作为服务提供给用户使用，这也是本大数据系统平台与传统大数据平台区别之一，即既提供各类标准数据，又提供处理数据所需的各类算法服务。为用户自行编写算法节省了大量宝贵时间，也为用户提供了更好的平台使用体验。用于实现这些功能的算法所对应的程序、以及程序执行环境等存储在服务镜像库中。

图1的系统运行控制模块130被配置为：用于对复杂请求的处理，包括：调用多个数据处理服务；数据自动化(非手动)录入处理；任务处理状态的反馈与记录。

也就是说，在本申请的一些实施例中，所述系统运行控制模块被配置为根据所述设定流程对所述至少两个数据处理服务进行自动化流程控制，以组织所述至少两个数据处理服务对所述待录入的非结构化数据或者所述目标数据进行处理实现所述目标请求服务。在本申请的一些实施例中，所述系统运行控制模块还被配置为反馈任务处理状态。此处的“任务”是用户或其他系统发起的数据处理需求，系统运行控制模块将各个服务处理结果(即处理状态)反馈给前端(用户或其它使用本系统的外部系统)。在本申请的一些实施例中，所述系统运行管理模块通过接口服务器监控所述至少两个数据处理服务中各服务的执行情况，并依据所述设定流程调用所述至少两个数据处理服务。

如图2所示，本申请的一些实施例提供一种服务请求处理方法，该方法的实现基于图1提供的大数据系统100，图2的服务请求处理方法包括：S201，接收用户输入的命令或交互操作指令；S202，解析所述命令和所述交互操作指令得到解析结果；S203，根据解析结果确认所述用户输入的请求属于第一类请求时，则由命令/交互操作解析模块执行所述第一类请求得到任务处理结果；或者，根据解析结果确认所述用户输入的请求属于第二类请求时，则将所述第二类服务请求发送给系统运行控制模块，以使所述系统运行控制模块通过依次调用多个数据处理服务模块完成所述第二类请求所对应的任务。在本申请的一些实施例中，系统运行控制模块通过接口服务器监控所述多个数据处理服务模块的运行状态，并按照设定流程依次启动多个数据处理服务模块工作完成所述第二类请求所对应的任务。

下面结合图3进一步示例性阐述本申请实施例提供的服务请求处理方法的实现过程。

交互前端模块110接收用户需求，其中，用户需求是通过命令或者交互操作的方式输入交互点前模块110的。交互前端模块110将接收的命令或者交互操作(或称为操作请求)发送给命令/交互操作解析模块120。

命令/交互操作解析模块120解析命令或操作请求判断用户需求对应的服务请求是属于简单请求(对应于数据库访问相关的请求)还是复杂请求(对应于由系统运行控制模块130调用多个数据处理服务模块才能实现的请求)。当确认请求属于简单请求时，则由命令/交互操作解析模块120执行该请求。当确认请求属于复杂请求时，则将复杂请求传输给系统运行控制模块130。

需要说明的是，图3的复杂请求对应的多个数据处理服务包括由第一数据处理服务模块151实现的第一数据处理服务、由第二数据处理服务模块152实现的第二数据处理服务，……，直至由第N数据处理服务模块15N实现的第N数据处理服务，且为了实现复杂请求这N个数据处理服务的设定流程(即实现复杂请求的执行次序)依次为：第一数据处理服务、第二数据处理服务，……，直至第N数据处理服务。

系统运行控制模块130与应用接口服务器连接以通过接口调用的方式监控复杂请求所对应的多个数据处理服务模块的状态，具体地，系统运行控制模块130通过应用接口服务器140监听第一数据处理服务模块151的状态反馈信息，应用接口服务器向系统运行控制模块130反馈监听状态，当系统运行控制模块130确定第一数据处理服务模块151无正在执行的请求时，启动第一数据处理服务，使的该第一数据处理服务模块151执行与实现本次复杂请求所对应的处理。当系统运行控制模块130确认第一数据处理服务状态成功则启动第二数据处理服务，即启动第二数据处理服务模块152使其执行与本次复杂请求所对应的处理，该第二数据处理服务模块152会即时进行状态反馈，并通过应用接口服务器140将监听状态(即第二数据处理服务模块152对本次复杂请求任务的执行结果)反馈至系统运行控制模块130，以此类推，直至系统运行控制模块130控制N个数据处理服务模块完成本次复杂请求任务。可以理解的是，各个数据处理服务模块在工作时需要从结构化/非结构化数据库以及服务镜像库160中读取相关程序或者数据。

如4所示，本申请的一些实施例提供一种数据自动录入方法，该方法基于上述图1的大数据系统得以实现，图4的数据自动录入方法包括：创建数据录入资源DataProc.yaml；监视所述数据录入资源的创建过程，并获取所述数据录入资源对应的待录入数据的存储路径，获取所述存储路径包括的文件夹下文件数量、获取文件名称及文件存储路径，并统计本批次数据文件录入时所需数据处理服务的个数以及调用流程；重复执行如下步骤，完成各张图片的录入及处理，其中，所有待录入图片对应的数据为所述待录入数据：系统运行控制模块生成写入数据信息资源WriteDataInfo.yaml，监测到所述写入数据信息资源WriteDataInfo.yaml后根据资源描述内容获取描述文件并读取数据属性信息写入结构化/非结构化数据库以及服务镜像库，执行完毕后修改写入数据信息资源WriteDataInfo.yaml的状态；系统运行控制模块监视到写入数据信息资源WriteDataInfo.yaml状态变化后，删除所述写入数据信息资源WriteDataInfo.yaml同时生成类型转换资源TypeTrans.yaml；数据格式转换服务监测到生成类型转换资源TypeTrans.yaml存在则从所述生成类型转换资源TypeTrans.yaml中获取文件存储路径，并从文件存储数据库中获取所述待录入数据并对数据进行格式转换，转换完毕修改数据库中相关信息，再修改写入数据信息资源TypeTrans.yaml状态；系统运行控制模块监测到写入数据信息TypeTrans.yaml资源状态变化后，删除写入数据信息资源并生成缩率图展示资源SLT.yaml；生成缩略图服务监测到缩略图展示资源SLT.yaml创建，则从所述缩略图展示资源SLT.yaml中获取文件存储路径进行缩略图处理，处理完毕修改数据库相关信息，再修改缩略图展示资源SLT.yaml的状态；系统运行控制模块监测到缩略图展示资源SLT.yaml的变化则删除所述缩略图展示资源SLT.yaml，此时已完成一张图像的录入任务。

需要说明的是，本申请一些实施例中涉及到诸如：数据录入资源、写入数据信息资源等中的“xxx资源或xxx.yaml”是一种配置文件，里面存储了任务信息，包括：必须的参数信息、处理服务对象等。这些资源的实际用处是作为一种触发或接口使用，即该资源被制作(由某服务或程序生成并存放于系统中的资源文件数据库，该数据库是一种分布式键值(key-value)数据库)出来后，各类服务均可以访问该资源，并判断调用的是哪个服务。

以DataProc.yaml资源为例，说明该资源：

如图5所示，本申请的一些实施例提供一种自动化为数据增加标签的方法，该方法基于上述图1提供的大数据系统得以实现，图5的方法包括：通过命令触发为数据增加标签的目标请求服务，生成数据标签资源datatag.yaml；系统运行控制模块监视数据标签资源datatag.yaml的创建过程，并根据所述数据标签资源datatag.yaml中描述的信息组建设定流程，同时生成多个识别服务资源；各识别服务监视各自识别服务资源的创建过程，根据资源文件内服务名和服务版本号信息确认具体服务；确认识别服务资源创建完成后从信息存储数据库(用于存储与数据相关的信息，例如：MySQL，MySQL是一个关系型数据库管理系统，英文全称为Structured Query Language(SQL))中查询文件路径及文件ID并从文件存储数据库中获取该文件(“该文件”是数据文件)，服务完毕后将识别结果写入对应的识别服务资源，修改服务状态；系统运行控制模块监视识别服务资源状态变化并获取识别结果，确认后删除该资源(识别服务资源，即xxx.yaml)同时生成增加数据标签资源；增加数据标签服务监视所述增加数据标签资源的创建过程，确认后执行服务向标签类型表与标签表增加标签信息，执行完毕修改该资源(即增加数据标签资源)状态，其中，所述标签表内的标签信息与图像ID相关联；系统运行控制模块监视增加数据标签资源状态变化，确认后删除该资源(即增加数据标签资源)同时修改增加数据标签资源状态并将信息反馈前端。

需要说明的是，通过本申请的一些实施例能够实现“数据获取-数据管理-服务应用-产品生成”一站式服务。本申请一些实施例的面向软件定义卫星即该大数据系统部署于软件定义卫星平台(也可部署于地面云平台)。因此数据获取有保障，同时本申请一些实施例提供的大数据系统从数据管理、服务应用(服务使用和产品生成)均有相关业务描述。具体实现如下所示。

(1)软件定义卫星的各类载荷(光学载荷、微波载荷、激光载荷、视频载荷、非成像类载荷)可直接获取遥感数据。

(2)获取数据后通过系统平台接口(API或命令)自动化将数据录入本系统，包括：数据存储、数据信息存储、数据格式转换等。

(3)根据业务需要(预先发送的业务指令、后发送的业务指令)，卫星平台会将业务指令转换为命令发送给本大数据系统。本大数据系统启动系统运行控制模块组织各类服务对数据进行处理。

(4)数据处理的结果包括：信息提取、数据分析、遥感制图等产品。产品生成也是流程化服务的最终结果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。