一种超融合服务器、数据处理方法及装置

文档序号:1889042 发布日期:2021-11-26 浏览:19次 >En<

阅读说明:本技术 一种超融合服务器、数据处理方法及装置 (Super-fusion server, data processing method and device ) 是由 冯振 颜秉珩 付海建 于 2021-07-15 设计创作,主要内容包括:本申请公开了一种超融合服务器、数据处理方法及装置,所述超融合服务器包括:多个安装有处理器、第一存储器的第一电路板,分别用于对表征不同用户的业务需求的输入指令进行响应,并对与不同所述用户相关的目标数据进行存储;具有I/O接口的、与多个所述第一电路板连接的第二电路板,用于通过所述I/O接口对多个所述第一电路板上的所述目标数据进行传输。本申请的超融合服务器集成安装有处理器、第一存储器的第一电路板,具有I/O接口的、与多个所述第一电路板连接的第二电路板,从而使第一电路板和第二电路板之间通过I/O接口进行数据交互,降低超融合服务器资源损耗并提高超其I/O性能。(The application discloses a super-convergence server, a data processing method and a device, wherein the super-convergence server comprises: the first circuit boards are respectively used for responding to input instructions representing service requirements of different users and storing target data related to the different users; and the second circuit board is provided with an I/O interface and is connected with the plurality of first circuit boards and used for transmitting the target data on the plurality of first circuit boards through the I/O interface. The first circuit board provided with the processor and the first memory is integrated with the super-fusion server, the second circuit board is provided with the I/O interface and is connected with the first circuit board in a plurality of ways, so that data interaction is carried out between the first circuit board and the second circuit board through the I/O interface, resource loss of the super-fusion server is reduced, and the I/O performance of the super-fusion server is improved.)

一种超融合服务器、数据处理方法及装置

技术领域

本发明涉及通信技术领域,特别涉及一种超融合服务器、数据处理方法及装置。

背景技术

超融合服务器是一种硬件和软件结合的服务器架构,其通过将多台物理服务器中的硬盘以软件定义的方法组成一个逻辑的存储池,实现了多台物理服务器中存储资源的统一管理。当物理服务器上运行虚拟机时,虚拟机的虚拟硬盘可以生成2个或3个不同的副本,当一台物理服务器宕机时,虚拟机能够从其他物理服务器上找到虚拟磁盘副本,从而保证虚拟机数据不丢失,保障用户业务不间断运行。

现有技术中的超融合服务器部署架构,物理服务器上的本地磁盘大多通过以太网交换机连接在一起,所有本地磁盘以软件定义的方法形成一个逻辑的存储池,该逻辑存储池以iSCSI协议(internet Small Computer System Interface)或其他存储协议的形式向运行在物理服务器上的虚拟机提供存储服务。在这种架构下,一方面,所有本地磁盘通过外部网络进行连接,存在I/O性能瓶颈,另一方面,虚拟机相对物理机存在不可避免的CPU和内存的损耗。

因此,如何部署一种低资源损耗高I/O性能的超融合服务器架构,是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此,本发明的目的在于提供一种超融合服务器、数据处理方法及装置,同时提供与所述数据处理方法对应的存储介质,能够降低超融合服务器资源损耗并提高超其I/O性能。其具体方案如下:

本申请的第一方面提供了一种超融合服务器,包括:

多个安装有处理器、第一存储器的第一电路板,分别用于对表征不同用户的业务需求的输入指令进行响应,并对与不同所述用户相关的目标数据进行存储;

具有I/O接口的、与多个所述第一电路板连接的第二电路板,用于通过所述I/O接口对多个所述第一电路板上的所述目标数据进行传输。

可选的,所述第一电路板上的所述处理器包括多个中央处理器和/或网络处理器。

可选的,所述第一电路板上的所述第一存储器包括多个非易失性内存和非易失性内存。

可选的,所述非易失性内存包括第一存储单元和第二存储单元;

其中,所述第一存储单元用于对自身的所述第一电路板上的数据进行存储,所述第二存储单元用于对其他所述第一电路板上的数据进行备份。

可选的,所述超融合服务器还包括第二存储器,其中:

所述第二存储器通过所述I/O接口与所述第二电路板连接,用于对多个所述第一电路板上的硬件配置信息和/或所述处理器状态信息和/或所述目标数据进行保存。

可选的,所述第二存储器为一个或多个固态硬盘。

可选的,第一电路板与第二电路板之间、第二电路板与第二存储器之间进行连接的I/O接口为PCIE接口。

本申请的第二方面提供了一种数据处理方法,应用于前述超融合服务器,包括:

获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;

分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;

通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。

可选的,所述数据处理方法,还包括:

将所述第一目标电路板上的硬件配置信息和/或所述处理器状态信息和/或所述目标数据通过所述第二电路板传输至第二存储器中进行保存;其中,所述第二存储器通过所述I/O接口与所述第二电路板连接。

本申请的第三方面提供了一种数据处理装置,应用于前述超融合服务器,包括:

确定模块,用于获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;

响应模块,用于分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;

传输模块,用于通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。

本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现前述数据处理方法。

本申请中,所述超融合服务器包括多个安装有处理器、第一存储器的第一电路板,分别用于对表征不同用户的业务需求的输入指令进行响应,并对与不同所述用户相关的目标数据进行存储;具有I/O接口的、与多个所述第一电路板连接的第二电路板,用于通过所述I/O接口对多个所述第一电路板上的所述目标数据进行传输。可见,本申请的超融合服务器集成安装有处理器、第一存储器的第一电路板,具有I/O接口的、与多个所述第一电路板连接的第二电路板,从而使第一电路板和第二电路板之间通过I/O接口进行数据交互,降低超融合服务器资源损耗并提高超其I/O性能。

本申请中,应用于所述超融合服务器的数据处理方法先获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;然后分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;同时通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。可见,本申请通过获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板,继而利用第一目标电路板对相应的输入指令进行响应,以及对与用户相关的目标数据进行存储并通过第二电路板上的I/O接口将目标数据传输至其他第一电路板上进行存储,在低资源损耗、高I/O性能的基础上提高数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种超融合服务器架构图;

图2为本申请提供的一种现有的超融合服务器架构图;

图3为本申请提供的一种具体的第一电路板结构图;

图4为本申请提供的一种具体的超融合服务器架构图;

图5为本申请提供的一种数据处理方法流程图;

图6为本申请提供的一种数据处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

现有技术中的超融合服务器部署架构,物理服务器上的本地磁盘大多通过以太网交换机连接在一起,所有本地磁盘以软件定义的方法形成一个逻辑的存储池,该逻辑存储池以iSCSI协议(internet Small Computer System Interface)或其他存储协议的形式向运行在物理服务器上的虚拟机提供存储服务。在这种架构下,一方面,所有本地磁盘通过外部网络进行连接,存在I/O性能瓶颈,另一方面,虚拟机相对物理机存在不可避免的CPU和内存的损耗。针对上述技术缺陷,本申请提供一种超融合服务器,所述超融合服务器集成安装有处理器、第一存储器的第一电路板,具有I/O接口的、与多个所述第一电路板连接的第二电路板,从而使第一电路板和第二电路板之间通过I/O接口进行数据交互,降低超融合服务器资源损耗并提高超其I/O性能。

图1为本申请实施例提供的一种超融合服务器架构图。参见图1所示,该超融合服务器,包括:

多个安装有处理器011、第一存储器012的第一电路板01,分别用于对表征不同用户的业务需求的输入指令进行响应,并对与不同所述用户相关的目标数据进行存储;

具有I/O接口的、与多个所述第一电路板连接的第二电路板02,用于通过所述I/O接口对多个所述第一电路板上的所述目标数据进行传输。

本实施例中,所述超融合服务器集成多个安装有处理器011、第一存储器012的第一电路板01和具有I/O接口的、与多个所述第一电路板连接的第二电路板02,所述第一电路板01和所述第二电路板02之间通过I/O接口进行数据交互,无需借助外网。图2为现有的超融合服务架构,图2中3台物理服务器上的本地磁盘通过以太网交换机连接在一起,所有本地磁盘以软件定义的方法形成一个逻辑的存储池;该逻辑存储池以iSCSI协议或其他存储协议的形式向运行在物理服务器上的虚拟机提供存储服务。相较来说,图1中的所述超融合服务器代替原超融合架构中的虚拟机,传统超融合架构基于物理服务器集群,本实施例中所有所述第一电路板01放置在同一台物理服务器上,并将所述第一电路板01作为最小单元分配给用户使用,从而降低超融合服务器资源损耗并提高超其I/O性能。

本实施例中,所述第一电路板01的设计如图3所示,所述第一电路板也可称为计算版。一方面,所述第一电路板01上的所述处理器011包括多个中央处理器和/或网络处理器,所述中央处理器(CPU)、所述网络处理器(NPU)的数量可以根据具体的业务量自行设定。当然,除了CPU和NPU,也可以安装其他类型的处理器,本实施例对此不做限定。另一方面,所述第一电路板01上的所述第一存储器011包括多个非易失性内存和非易失性内存。传统超融合架构的数据保存在固态硬盘(SSD,Solid State Drives)和/或硬盘驱动器(HDD,HardDisk Drive)上,本实施例的数据主要保存在非易失内存上。具体来说,所述计算板下方有金手指,可插入到所述第二电路板02(也可称为I/O板)中。所述计算板中安装有多颗CPU,如果用户有人工智能计算需求,可选装NPU或其他人工智能计算芯片。所述计算板上可插入易失性内存和非易失内存,其中易失性内存作为数据到CPU和/或NPU的缓存区;非易失内存作为数据存储使用。在许多厂商的内存产品设计中,如Intel Optane产品,系统管理员可以通过软件的形式配置内存是易失的还是非易失的,即插入计算板的所有内存条均属于同一个型号,但可以根据应用场景不同调整两种内存模式的可用容量。可以理解的是,所述计算板是可分配给用户的最小计算单元,计算板中的CPU和内存资源除一小部分用于软件定义存储系统服务外,其他全部用于运行用户的业务,可以认为,本实施例中的所述计算板替代了传统超融合架构中的虚拟机。

本实施例中,所述非易失性内存包括第一存储单元和第二存储单元;其中,所述第一存储单元用于对自身的所述第一电路板上的数据进行存储,所述第二存储单元用于对其他所述第一电路板上的数据进行备份。也即将所述非易失性内存划分成多个存储区域,作为存储副本保存在不同所述计算板中,以提升数据的可靠性。由于数据可以在不同所述计算板上的非易失内存之间高速传输,因此,本实施例将所有所述计算板上的非易失内存以软件定义的方法形成极高性能、逻辑统一的存储资源池。所述存储资源池的总容量大于单块所述计算板能提供的存储容量,当单块所述计算板的存储空间不足时,其可以通过I/O接口读写其他计算板上的存储空间,而且不会产生明显的I/O性能波动。此外,通过设置所述存储资源池的副本数,所述计算板上的数据可以同步读写到另一块或多块所述计算板的非易失内存中,从而当某块所述计算板损坏时,其关键数据能够在其他所述计算板上的副本中重新获取到。

进一步的,本实施例中的所述超融合服务器还包括第二存储器03,所述第二存储器03通过所述I/O接口与所述第二电路板02连接,用于对多个所述第一电路板01上的硬件配置信息和/或所述处理器状态信息和/或所述目标数据进行保存。其中,所述第二存储器03可以为一个或多个固态硬盘(SSD),具体如图4所示。一块或多块作为超融合服务器的大容量持久性存储,也通过I/O接口连接所述I/O板。本实施例中,用户将所述计算板作为虚拟机使用,当用户发出类似“关闭虚拟机”命令时,所述计算板中的CPU状态、与此用户相关的持久性数据将传输到SSD中保存,然后该计算板置为“空闲”状态。其他用户可以申请空闲的所述计算板作为虚拟机使用。

在此基础上,一方面,用户可以对所述计算板打快照,当用户发起打快照请求时,所述计算板的硬件配置信息、计算板中的CPU状态、用户相关的内存数据(保存在易失性内存中)和用户相关的硬盘数据(保存在非易失内存中)将打包为一个文件,并保存到连接I/O板的SSD硬盘中。另一方面,用户可以基于所述计算板制作模板,当用户发起制作模板请求时,所述计算板的硬件配置信息和用户相关的硬盘数据(保存在非易失内存中)将打包为一个文件,并保存到连接I/O板的SSD硬盘中。

本实施例中,所述第一电路板01与所述第二电路板02之间、所述第二电路板02与所述第二存储器03之间进行连接的I/O接口为PCIE接口。传统超融合架构通过外部网络(如以太网交换机、TCP/IP协议)进行数据传输,本实施例基于PCIE(PCI-Express,PeripheralComponent Interconnect Express)协议进行高速传输,也即全部所述计算板插入到所述I/O板中,通过基于所述PCIE协议的高速通道,实现了计算板之间的高速互联。其中,所述PCIE协议是一种高速串行计算机扩展总线标准。另外,多块SSD硬盘也基于PCIE协议接入所述I/O板。当然,也可以利用串行SATA接口替换所述PCIE接口,所述SATA接口(Serial ATA,Serial Advanced Technology Attachment)是一种计算机总线,负责主板和大容量存储设备(如硬盘及光盘驱动器)之间的数据传输,主要用于个人计算机。只要能达到本申请实施例的技术效果的接口均可,本实施例对此不进行限定。

综上所述,本申请实施例通过高速互联的计算卡拓扑,设计了一种具备更高性能的超融合服务器架构,包括多块计算板、一块I/O板、多块SSD硬盘的新型超融合服务器布局及其软件设计。所述计算板中安装了多块处理器芯片(CPU、NPU等)和多条内存条,内存条可根据实际应用场景以硬件选配或软件设置的形式配置为易失性内存或非易失内存,非易失内存通过软件定义技术构建为统一的逻辑存储池,可以为该逻辑存储池中的数据设置副本数量。计算板中的CPU状态、内存状态等数据可以保存到连接I/O板的SSD磁盘中。另外,计算板的快照和模块也可以保存到连接I/O板的SSD磁盘中。

可见,本申请实施例中的所述超融合服务器包括多个安装有处理器、第一存储器的第一电路板,分别用于对表征不同用户的业务需求的输入指令进行响应,并对与不同所述用户相关的目标数据进行存储;具有I/O接口的、与多个所述第一电路板连接的第二电路板,用于通过所述I/O接口对多个所述第一电路板上的所述目标数据进行传输。可见,本申请的超融合服务器集成安装有处理器、第一存储器的第一电路板,具有I/O接口的、与多个所述第一电路板连接的第二电路板,从而使第一电路板和第二电路板之间通过I/O接口进行数据交互,降低超融合服务器资源损耗并提高超其I/O性能。

图5为本申请实施例提供的一种数据处理方法流程图。参见图5所示,该数据处理方法应用于前述超融合服务器,包括:

S11:获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板。

本实施例中,先获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板。所述输入指令表征用户的业务需求,也即所述用户想要让所述超融合服务器执行的任务。所述超融合服务器上安装有多个所述第一电路板,不同的所述第一电路板在同一时刻的状态不一样,当其处于空闲状态时才能执行新的任务,因此在获取到表征不同用户的业务需求的所述输入指令后,需要进一步确定处于空闲状态的所述第一电路板并从中确定出对所述输入指令进行响应的所述第一电路板,也即第一目标电路板。

S12:分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储。

S13:通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。

本实施例中,在确定好与所述输入指令对应的所述第一目标电路板后,分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储。同时,通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。本实施例中,当用户发出类似“关闭虚拟机”命令时,所述第一电路板中的CPU状态、与此用户相关的持久性数据将传输到SSD中保存,然后可将该所述第一电路板设置为“空闲”状态,释放计算资源,以便其他用户可以申请空闲的所述第一电路板作为虚拟机使用。

更进一步的,本实施例还可以将所述第一目标电路板上的硬件配置信息和/或所述处理器状态信息和/或所述目标数据通过所述第二电路板传输至第二存储器中进行保存;其中,所述第二存储器通过所述I/O接口与所述第二电路板连接。相比传统超融合架构,所述超融合服务器新增SSD硬盘用于保存“关机”后的虚拟机/计算卡数据,SSD硬盘同时可以保存计算板的快照和模板,通过SSD硬盘对数据进行持久化存储。

另外,上述步骤中的数据传输均可通过PCIE接口实现,也即所述第一电路板01与所述第二电路板02之间、所述第二电路板02与所述第二存储器03之间进行连接的I/O接口为PCIE接口。无需通过外部网络(如以太网交换机、TCP/IP协议)进行数据传输,基于PCIE协议进行高速传输,提高数据传输效率和性能。

本实施例中的步骤S11、S12和S13均基于上述超融合服务器架构实现,一方面,使用内存介质替换了SSD介质,使用PCIE协议替换了TCP/IP协议,提升I/O性能。另一方面,计算板中的CPU和内存资源除必要的软件定义存储系统服务外,几乎全部分配给一个用户使用,不存在虚拟机的资源损耗,以及不同虚拟机之间的资源抢占问题,提升计算性能。本申请实施例中的数据处理方法通过所述超融合服务器的硬件和软件结合的方式显著提升了数据处理性能。

可见,本申请实施例中的应用于所述超融合服务器的数据处理方法先获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;然后分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;同时通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。可见,本申请通过获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板,继而利用第一目标电路板对相应的输入指令进行响应,以及对与用户相关的目标数据进行存储并通过第二电路板上的I/O接口将目标数据传输至其他第一电路板上进行存储,在低资源损耗、高I/O性能的基础上提高数据处理效率。

参见图6所示,本申请实施例还相应公开了一种数据处理装置,应用于前述超融合服务器,包括:

确定模块11,用于获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;

响应模块12,用于分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;

传输模块13,用于通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。

可见,本申请实施例先获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板;然后分别利用不同的所述第一目标电路板上的处理器、第一存储器对不同所述用户的所述输入指令进行响应,并对与所述用户相关的目标数据进行存储;同时通过第二电路板上的I/O接口将所述第一目标电路板上的所述目标数据传输至其他的所述第一电路板上进行存储。可见,本申请通过获取表征不同用户的业务需求的输入指令,并从处于空闲状态的第一电路板中确定出不同的第一目标电路板,继而利用第一目标电路板对相应的输入指令进行响应,以及对与用户相关的目标数据进行存储并通过第二电路板上的I/O接口将目标数据传输至其他第一电路板上进行存储,在低资源损耗、高I/O性能的基础上提高数据处理效率。

在一些具体实施例中,所述数据处理装置,还包括:

存储模块,用于将所述第一目标电路板上的硬件配置信息和/或所述处理器状态信息和/或所述目标数据通过所述第二电路板传输至第二存储器中进行保存;其中,所述第二存储器通过所述I/O接口与所述第二电路板连接。

进一步的,本申请实施例还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的数据处理方法步骤。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的超融合服务器、数据处理方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

13页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种FPGA运算设备和运算算力提升系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!