具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员还可以获得他实施例。

请参见图1，图1是本申请一个实施例提供的一种数据处理方法，包括如下步骤。

101、发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数。

举例来说，存储装置可以是分布式服务器或者磁阵等。

102、获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数。

举例来说，若N为3，M为2，则第一控制指令指示在3个存储装置中安装数据处理软件，在3个存储装置中的任一存储装置中创建存储资源池和虚拟机，任意虚拟机使用与其对应的存储装置中已创建的存储资源池创建数据，已创建的3个虚拟机可以作为数据处理软件的可选数据节点。在一些可能的实施例中，数据处理软件可以是分布式处理软件Hadoop。

103、根据所述配置指令确定用于保存待存储数据的M个数据节点。

举例来说，若M为2，则根据配置指令确定用于保存待存储数据的两个数据节点。

104、将所述待存储数据存储在所述M个数据节点中。

举例来说，若M为2，则将待存储的数据保存到确定的连个数据节点中。

本申请实施例提供的数据存储方法在进行多副本存储时，不同的副本位于不同的存储装置中，这样当保存备份数据的一个存储装置出现故障时，实际减少的副本数是一个，相对于现有技术中保存一个副本的存储装置出现问题时，可能会导致多个副本不能用的情况来说，体高了存储的可靠性。

请参见图2，图2是本申请另一实施例提供的一种数据处理方法的流程示意图。包括如下步骤：

201、发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数，存储资源池采用纠删码EC编码。

举例来说，存储装置可以是分布式服务器或者磁阵等。以下以分布式服务器为例进行描述。

在一些可能的实施方式中，EC编码采用8数据块1校验块8D1P模式时，硬盘的存储利用率为88.89％，在EC编码采用4D1P模式时，硬盘的存储利用率为80％，在EC编码采用8D2P模式时，硬盘的存储利用率为80％，在EC编码采用4D2P模式时，硬盘的存储利用率为66.67％。

202、获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数。

举例来说，若N为3，M为2，则第一控制指令指示在3个存储装置中安装数据处理软件，在3个存储装置中的任一存储装置中创建存储资源池和虚拟机，任意虚拟机使用与其对应的存储装置中已创建的存储资源池创建数据，已创建的3个虚拟机可以作为数据处理软件的可选数据节点。在一些可能的实施例中，数据处理软件可以是分布式处理软件Hadoop。

203、根据所述配置指令确定用于保存待存储数据的M个数据节点。

举例来说，若M为2，则根据配置指令确定用于保存待存储数据的两个数据节点。

204、将所述待存储数据存储在所述M个数据节点中。

举例来说，若M为2，则将待存储的数据保存到确定的连个数据节点中。

本申请实施例在存储装置创建的存储资源池中采用EC编码，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

请参见图3，图3是本申请一个实施例提供的数据存储方法的交互流程示意图。如图3所示，在该实施例中进行数据存储时，包括如下步骤。

301、在第一机架Rack1和第二机架Rack2上安装软件定义存储(Software DefinedStorage，SDS)，并分别在Rack1和Rack2上创建不同的存储资源池，采用EC(N：N+M)编码，在该实施例中，EC编码采用8D1P模式。

在该实施例中，如图3所示，可以由SDS创建存储资源池1，该存储资源池1采用8D1P模式的EC编码。以及由SDS创建资源池2，资源池2采用8D1P模式的EC编码。

SDS是一种能将存储软件与硬件分隔开的存储架构。不同于传统的网络附加存储(Network Attached Storage，NAS)或存储区域网络(Storage Area Network，SAN)系统，SDS一般都在行业标准系统或x86系统上执行，从而消除了软件对于专有硬件的依赖性。SDS通常采用分布式架构以提升可靠性和扩展性，所以有时也称SDS为分布式存储。其实两者区别明显，分布式存储指的是架构，强调架构是分布式的；SDS指的是软件定义存储，强调的是软硬件解耦。

SDS具有如下优点：(1)软硬件解耦。存储硬件为商用货架产品(commercial off-the-shelf，COTS)COTS，避免厂商锁定，软硬件分层采购降低设备采购成本。(2)扩展性强。SDS采用分布式架构，存储规格理论上无限扩展，存储规格随服务器数量线性增加(横向扩展)。SAN受限于控制器的处理能力，单套磁阵规格受限，存储规格超出磁阵规格后，必须增值一套存储设备(纵向扩展)。(3)可靠性高。

302、创建Hadoop使用的虚拟机，所述虚拟机的磁盘使用本虚拟机所在机架上的存储池。

具体地，Rack1上的虚拟机磁盘使用存储资源池1，Rack2上的虚拟机使用存储资源池2。

Hadoop是现有技术中经常使用的分布式系统基础架构，Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)把节点分成两类，名字结点(Name Node)和数据节点(Data Node)。NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。NameNode记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，这些信息在系统启动时由数据节点重建。

303、在步骤302创建出的虚拟机里安装Hadoop，这些虚拟机被Hadoop纳为DataNode。

304、配置Hadoop的机架感知策略，并配置副本个数为2。

数据写入Hadoop时，会在两个机架上各取一个DataNode，这样就写入了两个不同的存储池里。机架级可靠性保证数据双活，提升了整体可靠性。

可以理解的，实际搭建存储系统时，机架个数可以不限于两个，多个机架也可以采用同样的策略。

本申请实施例在存储装置创建的存储资源池中采用EC编码，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

请参见图4，图4是本申请实施例提供了一种数据存储装置400，存储装置400包括：

发送单元401，用于发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数。

获取单元402，用于获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数。

举例来说，若N为3，M为2，则第一控制指令指示在3个存储装置中安装数据处理软件，在3个存储装置中的任一存储装置中创建存储资源池和虚拟机，任意虚拟机使用与其对应的存储装置中已创建的存储资源池创建数据，已创建的3个虚拟机可以作为数据处理软件的可选数据节点。在一些可能的实施例中，数据处理软件可以是分布式处理软件Hadoop。

确定单元403，用于根据所述配置指令确定用于保存待存储数据的M个数据节点。

举例来说，若M为2，则根据配置指令确定用于保存待存储数据的两个数据节点。

处理单元404，用于将所述待存储数据存储在所述M个数据节点中。

举例来说，若M为2，则将待存储的数据保存到确定的连个数据节点中。

本申请实施例提供的数据存储方法在进行多副本存储时，不同的副本位于不同的存储装置中，这样当保存备份数据的一个存储装置出现故障时，实际减少的副本数是一个，相对于现有技术中保存一个副本的存储装置出现问题时，可能会导致多个副本不能用的情况来说，体高了存储的可靠性。

在一些可能的实施方式中，N个存储装置中创建的存储资源池采用纠删码EC编码。本申请实施例在存储装置创建的存储资源池中采用EC编码，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

在一些可能的实施方式中，在述EC编码采用8数据块1校验块8D1P模式时，硬盘的存储利用率为88.89％，在EC编码采用4D1P模式时，硬盘的存储利用率为80％，在EC编码采用8D2P模式时，硬盘的存储利用率为80％，在EC编码采用4D2P模式时，硬盘的存储利用率为66.67％。

本申请实施例还提供了一种数据存储系统，包括N个存储装置和前面任一数据存储装置对应的实施例，所述N是大于或者等于2的整数。所述数据存储装置如图4所示，存储装置包括：发送单元401，用于发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数。

获取单元402，用于获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数。

举例来说，若N为3，M为2，则第一控制指令指示在3个存储装置中安装数据处理软件，在3个存储装置中的任一存储装置中创建存储资源池和虚拟机，任意虚拟机使用与其对应的存储装置中已创建的存储资源池创建数据，已创建的3个虚拟机可以作为数据处理软件的可选数据节点。在一些可能的实施例中，数据处理软件可以是分布式处理软件Hadoop。

确定单元403，用于根据所述配置指令确定用于保存待存储数据的M个数据节点。

举例来说，若M为2，则根据配置指令确定用于保存待存储数据的两个数据节点。

处理单元404，用于将所述待存储数据存储在所述M个数据节点中。

举例来说，若M为2，则将待存储的数据保存到确定的连个数据节点中。

本申请实施例提供的数据存储方法在进行多副本存储时，不同的副本位于不同的存储装置中，这样当保存备份数据的一个存储装置出现故障时，实际减少的副本数是一个，相对于现有技术中保存一个副本的存储装置出现问题时，可能会导致多个副本不能用的情况来说，体高了存储的可靠性。

在一些可能的实施方式中，N个存储装置中创建的存储资源池采用纠删码EC编码。本申请实施例在存储装置创建的存储资源池中采用EC编码，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

在一些可能的实施方式中，在述EC编码采用8数据块1校验块8D1P模式时，硬盘的存储利用率为88.89％，在EC编码采用4D1P模式时，硬盘的存储利用率为80％，在EC编码采用8D2P模式时，硬盘的存储利用率为80％，在EC编码采用4D2P模式时，硬盘的存储利用率为66.67％。

本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前面任一方法实施例所述的数据存储方法。所述方法包括：

发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数；

获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数；

根据所述配置指令确定用于保存待存储数据的M个数据节点；

将所述待存储数据存储在所述M个数据节点中。

在一些可能的实施例中，所述N个存储装置中创建的存储资源池采用纠删码EC编码。

在一些可能的实施例中，所述存储装置包括：分布式服务器或者磁阵。

在一些可能的实施例中，所述EC编码：包括8数据块1校验块8D1P模式、4D1P模式、8D2P模式、或者4D2P模式。

在一些可能的实施例中，所述数据处理软件包括：分布式处理软件Hadoop。

在一些可能的实施例中，所述M＝2。

本申请实施例提供的数据存储方法在进行多副本存储时，不同的副本位于不同的存储装置中，这样当保存备份数据的一个存储装置出现故障时，实际减少的副本数是一个，相对于现有技术中保存一个副本的存储装置出现问题时，可能会导致多个副本不能用的情况来说，提高了存储的可靠性。当N个存储装置中创建的存储资源池采用纠删码EC编码时，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如前面任一方法实施例所述的数据存储方法。所述方法包括：

发送第一控制指令，所述第一控制指令指示在N个存储装置中安装数据处理软件，在所述N个存储装置中的任一存储装置中创建存储资源池和虚拟机，任一所述虚拟机使用与其对应的存储装置中已创建的存储资源池存储数据，任一所述虚拟机作为所述数据处理软件的可选数据节点，所述N是大于或者等于2的整数；

获取配置指令，所述配置指令包括：设置进行数据存储时的副本数M，以及存储感知策略；所述存储感知策略包括：确定M个数据节点用于存储数据，所述M个数据节点位于M个不同的存储装置中，所述M为小于或者等于所述N的整数；

根据所述配置指令确定用于保存待存储数据的M个数据节点；

将所述待存储数据存储在所述M个数据节点中。

在一些可能的实施例中，所述N个存储装置中创建的存储资源池采用纠删码EC编码。

在一些可能的实施例中，所述存储装置包括：分布式服务器或者磁阵。

在一些可能的实施例中，所述EC编码：包括8数据块1校验块8D1P模式、4D1P模式、8D2P模式、或者4D2P模式。

在一些可能的实施例中，所述数据处理软件包括：分布式处理软件Hadoop。

在一些可能的实施例中，所述M＝2。

本申请实施例提供的数据存储方法在进行多副本存储时，不同的副本位于不同的存储装置中，这样当保存备份数据的一个存储装置出现故障时，实际减少的副本数是一个，相对于现有技术中保存一个副本的存储装置出现问题时，可能会导致多个副本不能用的情况来说，提高了存储的可靠性。当N个存储装置中创建的存储资源池采用纠删码EC编码时，在数据丢失或者损坏时，可以把丢失的数据计算出来，保证某些数据损失之后仍能继续使用。相对于传统的分布式系统在硬件失效等故障发生后仍然能继续提供服务采用的每份数据3副本的方式来说，本申请实施例节省了存储空间，提高了存储利用率。

应理解本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。