阅读说明：本技术 批量文件的处理装置、方法、设备和介质 (Batch file processing device, method, equipment and medium ) 是由 谭文贵 于 2018-08-15 设计创作，主要内容包括：本发明实施例公开了一种批量文件的处理装置、方法、设备和介质。该处理装置包括：批量文件接收模块,用于上传多个SFTP协议文件；分布式SFTP网关模块,用于接收多个SFTP协议文件,以及采用S3协议将多个SFTP协议文件转换,并将转换得到多个S3协议文件直接透传给分布式云阵存储模块；分布式云阵存储模块,用于采用纠删码技术对多个S3协议文件进行处理,并存储处理后的多个S3协议文件。根据本发明实施例提供的方案,由于采用了分布式云阵存储模块,使得文件能够更好地存储在相应的存储节点。提高了数据的安全性,避免出现因数据丢失难以恢复的问题。(The embodiment of the invention discloses a device, a method, equipment and a medium for processing batch files. The processing device includes: the batch file receiving module is used for uploading a plurality of SFTP protocol files; the distributed SFTP gateway module is used for receiving a plurality of SFTP protocol files, converting the plurality of SFTP protocol files by adopting an S3 protocol, and directly transmitting the converted plurality of S3 protocol files to the distributed cloud array storage module; the distributed cloud array storage module is used for processing the plurality of S3 protocol files by adopting an erasure code technology and storing the processed plurality of S3 protocol files. According to the scheme provided by the embodiment of the invention, the distributed cloud array storage module is adopted, so that the files can be better stored in the corresponding storage nodes. The data security is improved, and the problem that the data is lost and difficult to recover is avoided.)

批量文件的处理装置、方法、设备和介质

技术领域

本发明涉及云计算领域，尤其涉及一种批量文件的处理装置、方法、设备和介质。

背景技术

现有批量文件加密实时传输和存储主要是采用主备模式接口机组网，而主备模式接口机组网由批量文件发送模块、主备模式的安全文件传送协议(Secure File TransferProtocol，SFTP)接口机、后台数据库模块组成。

数据导入阶段由批量文件发送模块通过指定的SFTP接口机导入到后台数据库模块。这样使得数据的安全性较低，容易在数据丢失时，难以恢复。

发明内容

本发明实施例提供一种批量文件的处理装置、方法、设备和介质，采用分布式云阵存储模块，使得批量文件可以存储在分布式云阵存储模块中，提高了数据的安全性，也避免出现因数据丢失难以恢复的问题。

根据本发明实施例的第一方面，提供一种批量文件的处理装置，所述处理装置，包括：

批量文件发送模块、分布式安全文件传送协议SFTP网关、分布式云阵存储模块；

所述批量文件发送模块，用于上传多个SFTP协议文件；

所述分布式SFTP网关模块，用于接收多个所述SFTP协议文件，以及采用S3协议转换多个所述SFTP协议文件，并将转换得到的多个S3协议文件直接透传至所述分布式云阵存储模块；

所述分布式云阵存储模块，用于采用纠删码技术对多个所述S3协议文件进行处理，并存储处理后的多个所述S3协议文件。

根据本发明实施例的第二方面，提供一种批量文件的处理方法，所述处理方法包括：

接收多个SFTP协议文件；

采用S3协议转换多个所述SFTP协议文件，并将转换得到的多个S3协议文件直接透传给分布式云阵存储模块；

采用纠删码技术对多个所述S3协议文件进行处理，并存储处理后的多个所述S3协议文件。

根据本发明实施例的第三方面，提供一种终端设备，包括：

存储器、处理器、通信接口和总线；

所述存储器、所述处理器和所述通信接口通过所述总线连接并完成相互间的通信；

所述存储器用于存储程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行第二方面所述的处理方法。

根据本发明实施例的第四方面，提供一种计算机存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行如第二方面所述的处理方法。

根据本发明实施例中的处理装置、方法、设备和介质，由于采用了分布式云阵存储模块，使得文件能够更好地存储在相应的存储节点。提高了分布式云阵存储模块横向扩展性，从而满足日益增长的业务文件存储需求和紧急扩容需求。也提高了数据的安全性，避免出现因数据丢失难以恢复的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出现有技术中的批量文件的处理装置的架构示意图；

图2是示出本发明实施例提供的批量文件的处理装置的架构示意图；

图3是示出本发明另一实施例批量文件的处理装置的结构示意图；

图4是示出本发明实施例的批量文件的处理方法的流程图；

图5是示出本发明实施例的批量文件的处理方法的详细流程图；

图6是示出能够实现根据本发明实施例的处理方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1是示出现有技术中的批量文件的处理装置的架构示意图。

如图1所示，现有技术中的批量文件的处理装置包括：批量文件发送模块110、主备模式的SFTP接口机120和后台存储模块130。

该批量文件发送模块110是包括至少一个业务文件，在此不进行限定，例如：业务文件1、业务文件2、业务文件3……业务文件n等。该批量文件发送模块210就是用于将业务文件1、业务文件2、业务文件3……业务文件n等传送到对应的服务器上的。例如：业务文件1对应服务器1、业务文件2对应服务器2、业务文件3对应服务器3等等。在服务器中的业务文件会被存储到后台存储模块120中。

由于采用一个业务文件对应一个服务器，这样会使得实时同步需要部署大量的SFTP接口机，部署复杂，且一旦SFTP接口机发生故障不能正常启动，后台存储模块130的数据一致性不能得到保证。

另外，由于SFTP接口机的存储采用内置盘划分raid方式，数据保护机制不够，可靠性不高，单台服务器的磁盘IO受到限制。且还因为SFTP接口机采用主备模式，备机闲置较多，造成资源的浪费。不能根据SFTP接口机的忙闲程度，灵活进行业务分配，以及合理利用资源。

因此，本发明实施例提供的批量文件的处理装置采用了分布式SFTP网关，采用统一的访问IP接口，不但部署简单，还可以实现大量文件的同时传输。另外或根据业务文件的数量，灵活进行业务分配，以及合理利用资源。

为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的批量文件的处理装置、方法、设备和介质，应注意，这些实施例并不是用来限制本发明公开的范围。

图2是示出本发明实施例提供的批量文件的处理装置的架构示意图。

如图2所示，该批量文件的处理装置200包括：

批量文件发送模块210、分布式SFTP网关220和分布式云阵存储模块230。

该批量文件发送模块210是包括至少一个业务文件，在此不进行限定，例如：业务文件1、业务文件2、业务文件3……业务文件n等。该批量文件发送模块210就是用于将业务文件1、业务文件2、业务文件3……业务文件n等传送到分布式SFTP网关220上。

分布式SFTP网关220内部采用统一的访问IP接口，克服了由于一个接口服务器对应一个访问IP地址而产生大量访问IP，从而导致了访问IP地址复杂，统一管理难度增大的问题。本发明采用统一的访问IP接口降低业务访问的复杂度，使得管理变得简单。另外可以及时满足大量数据文件上传的业务需求，从而不会出现资源浪费的情况，有利于存储资源的灵活调配。

分布式SFTP网关220通过该统一的访问IP接口接收多个SFTP协议文件，以及采用S3协议将多个SFTP协议文件转换，并将转换得到的多个S3协议文件直接透传给分布式云阵存储模块230。

需要理解的是，透传即是透明传送，是指传送网络无论传输业务如何，只负责将需要传送的业务传送到目的节点，同时保证传输的质量即可，而不对传输的业务进行处理。在数据的传输过程中，这组数据不发生任何形式的改变，即不截断，不分组，不编码，不加密，不混淆等等，原封不动地传到分布式云阵存储模块230中。

分布式SFTP网关220是直接将转换得到的多个S3协议文件直接透传给分布式云阵存储模块230。使得分布式SFTP网关220中不会停留有S3协议文件，从而直接降低了分布式SFTP网关220对协议文件的存储压力，因此，分布式SFTP网关220可以轻量级安装。另外分布式SFTP网关220的负载会降低，性能消耗大大减少，横向扩展更加容易，安全性更好，更易于批量配置管理以及更加容易满足日益增长的业务数据存储需求和紧急扩容需求。

分布式云阵存储模块230，采用自身的纠删码技术对多个S3协议文件进行处理，并存储处理后的多个S3协议文件。

需要理解的是，纠删码(erasure coding，EC)是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。因此，在本发明实施例中分布式云阵存储模块230将每个S3协议文件分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置。这样使得协议文件能够更好地存储在相应的存储节点。同时提高了分布式云阵存储模块230横向扩展性，从而满足日益增长的业务文件存储需求和紧急扩容需求。

本发明实施例通过采用分布式SFTP网关220，降低了业务访问的复杂度，管理变得简单。另外可以及时满足大量数据文件上传的业务需求，不会出现资源浪费的情况，有利于存储资源的灵活调配。同时由于采用了分布式云阵存储模块230，使得文件能够更好地存储在相应的存储节点。以及提高了分布式云阵存储模块230横向扩展性，从而满足日益增长的业务文件存储需求和紧急扩容需求。

在一实施例中，分布式SFTP网关220，包括：多个服务器和访问账号权限管理单元222。

每个服务器，用于统一的访问IP接口接收SFTP协议文件，以及采用S3协议将SFTP协议文件转换，并将转换得到的S3协议文件直接透传给分布式云阵存储模块230对应的存储节点中。

访问账号权限管理单元222，用于统一管理每个服务器的服务进程的访问账号权限。

需要说明的是，分布式SFTP网关220中可以包括至少1个服务器，比如：服务器1、服务器2、服务器3……服务器n等，这些服务器都是直接将转换得到的多个S3协议文件直接透传给分布式云阵存储模块230。使得服务器中不会有S3协议文件停留，从而直接降低了分布式SFTP网关220对协议文件的存储压力，因此，服务器可以轻量级安装。另外服务器的负载会降低，性能消耗大大减少，横向扩展更加容易，安全性更好，更易于批量配置管理以及更加容易满足日益增长的业务数据存储需求和紧急扩容需求。

访问账号权限管理单元222统一管理每个服务器的服务进程的访问账号权限。这里主要是用于SFTP用户的访问账号权限的统一管理，且访问账号权限管理单元222还会根据SFTP用户的需求进行整体评估使用，并进行相应的安全限制。访问账号权限管理单元222可以记录操作日志，操作日志记录回溯，其中该操作日志记录了SFTP用户对文件的详细操作，包括文件的上传、下载、删除和移动等操作。

便于访问账号权限管理单元222对SFTP用户操作的追踪和监管。同时还克服现有的由于使用大量SFTP接口机使得访问账号复杂，账号管理难度大，风险高的问题。

另外，还因为分布式云阵存储模块230中的存储节点的访问权限与访问账号权限管理单元222中的访问账号权限对应，从而实现对分布式云阵存储模块230的访问权限的统一管理，大大提高了管理的效率。例如：用户A登录访问账号权限管理单元222输入了自身的业务文件账号PA_ID，通过该PA_ID可以直接访问到对应的服务器A，然后在通过PA_ID与存储节点A的访问权限对应，所以通过PA_ID可以直接访问到存储节点A中的数据文件。

在一实施例中，一个存储节点对应任意两个服务器的服务进程。

可以理解的是，例如：服务器1和服务器2的服务进程对应一个存储节点A。

可以理解的是，一个后端的存储节点与两个服务器的服务进程一一对应，实现分布式SFTP网关220的服务进程与后端分布式云阵存储模块230的对应。

图3是示出本发明另一实施例批量文件的处理装置的结构示意图。

图3与图2相同或等同的步骤使用相同的标号。如图3所示，处理装置300基本相同于处理装置200，不同之处在于，处理装置300，还包括：验证模块240和后台数据库模块250。

验证模块240，用于接收由批量文件发送模块210发送的上传成功信息，并验证从分布式SFTP网关220中获取的多个S3协议文件，将验证成功的S3协议文件存储到后台数据库模块250。在一示例中，验证模块240，还用于将验证失败的S3协议文件返送给分布式SFTP网关。

后台数据库模块250，用于存储验证成功的多个S3协议文件。

通过验证模块对协议文件的验证，及时对错误的协议文件进行纠正，减少在后台数据库模块250的存储量或者降低存储在后台数据库模块250的协议文件的错误率。

除了上面所有实施例描述的分布式SFTP网关220。

分布式SFTP网关220还可以包含应用组件单元、数据组件单元和负载均衡组件单元等。在本发明实施例中应用组件单元、数据组件单元按照安全域划分规则分开部署，应用组件单元部署在分布式SFTP网关220的DMZ区，数据组件单元部署在分布式SFTP网关220内网核心区。

本发明中分布式SFTP网关220内部服务器的操作系统均为轻量级安装，负载低，性能消耗较少，横向扩展容易，安全性好，易于批量配置管理。其中安全域划分规则根据不同的业务文件、不同用户、结合分布式SFTP网关220自身在协议转换方面来进行达到对用户和分布式SFTP网关220的全方位防护，满足用户的实际需求。

关于访问账号权限管理单元222还用于对系统用户进行管理，该系统用户和SFTP用户是分离的。系统用户用于维护、监管SFTP用户的日常操作；SFTP用户可对系统用户管理的界面统一维护，比如：权限设置，配置根目录到对象存储的bucket，设置访问权限到指定bucket下的文件夹。通过访问账号权限管理的方式，使得协议文件更加安全。

图4是示出本发明实施例的批量文件的处理方法的流程图。

如图4所示，处理方法400包括：

步骤S410，接收多个SFTP协议文件。

步骤S420，采用S3协议转换多个SFTP协议文件，并将转换得到的多个S3协议文件直接透传给分布式云阵存储模块。

可以理解的是，分布式SFTP网关220是直接将转换得到的多个S3协议文件直接透传给分布式云阵存储模块230。使得分布式SFTP网关220中不会停留有S3协议文件，从而直接降低了分布式SFTP网关220对协议文件的存储压力，因此，分布式SFTP网关220可以轻量级安装。另外分布式SFTP网关220的负载会降低，性能消耗大大减少，横向扩展更加容易，安全性更好，更易于批量配置管理以及更加容易满足日益增长的业务数据存储需求和紧急扩容需求。

步骤S430，采用纠删码技术对多个S3协议文件进行处理，并存储处理后的多个S3协议文件。

可以理解的是，在本发明实施例中分布式云阵存储模块230将每个S3协议文件分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置。这样使得协议文件能够更好地存储在相应的存储节点。也提高了分布式云阵存储模块230横向扩展性，从而满足日益增长的业务文件存储需求和紧急扩容需求。

本发明实施例通过由于采用了分布式云阵存储模块230，使得文件能够更好地存储在相应的存储节点。以及提高了分布式云阵存储模块230横向扩展性，从而满足日益增长的业务文件存储需求和紧急扩容需求。另外，提高了数据的安全性，避免出现因数据丢失难以恢复的问题。

在一实施例中，步骤S410，可以包括：

多个服务器采用统一的访问IP接口接收N个SFTP协议文件，每个服务器的服务进程的访问账号权限均被统一管理。

在一实施例中，步骤S430，可以包括：

采用纠删码技术对多个S3协议文件进行处理，根据处理后的每个S3协议文件的属性，将每个S3协议文件存储在分布式云阵存储模块对应的存储节点中。

在一实施例中，每个文件在存储节点中的访问权限均被统一管理。

在一实施例中，一个存储节点对应任意两个服务器的服务进程。

在一实施例中，所述方法，还可以包括：

步骤S440，接收由批量文件发送模块发送的上传成功信息，并验证从分布式SFTP网关中获取的多个S3协议文件，将验证成功的S3协议文件存储到后台数据库模块250。

可以理解的是，通过对协议文件的验证，可以及时对错误的协议文件进行纠正，减少在后台数据库模块250的存储量或者降低存储在后台数据库模块250的协议文件的错误率。

在一实施例中，所述方法，还可以包括：

步骤S450，将验证失败的S3协议文件返送给分布式SFTP网关。

图5是示出本发明实施例的批量文件的处理方法的详细流程图。

如图5所示，步骤S510，批量文件发送模块210上传多个SFTP协议文件至分布式SFTP网关220；

步骤S520，采用S3协议转换多个SFTP协议文件，并将转换得到的多个S3协议文件直接透传给分布式云阵存储模块230；

步骤S530，分布式云阵存储模块230反馈上传成功信息给批量文件发送模块210；

步骤S540，验证模块240接收由批量文件发送模块210发送的验证信息；

步骤S550，验证模块240验证从分布式SFTP网关220中获取的多个S3协议文件；

步骤S560，将验证成功的S3协议文件存储到后台数据库模块250；

步骤S570，验证模块240将验证失败的S3协议文件返送给分布式SFTP网关220。

根据本发明实施例的处理方法的其他细节与以上结合图1至图5描述的根据本发明实施例的装置类似，在此不再赘述。

结合图1至图5描述的根据本发明实施例的处理方法、装置可以由计算设备实现。图6是示出能够实现根据本发明实施例的处理方法和装置的计算设备的示例性硬件架构的结构图。

如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。具体地，输入设备601接收来自外部的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。

也就是说，图6所示的计算设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图5描述的处理方法和装置。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。