阅读说明：本技术 一种数据传输方法、装置、设备及计算机可读存储介质 (Data transmission method, device, equipment and computer readable storage medium ) 是由 陆力信 王永刚 于 2019-09-05 设计创作，主要内容包括：本发明公开了一种数据传输方法,该方法包括以下步骤：当接收到主机层下发的IO数据处理命令时,对IO数据处理命令进行解析,得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。应用本发明实施例所提供的技术方案,避免了卷与卷的资源竞争,较大地提高了IO数据传输的稳定性,较大地提高了主机层的处理速度。本发明还公开了一种数据传输装置、设备及存储介质,具有相应技术效果。(The invention discloses a data transmission method, which comprises the following steps: when an IO data processing command issued by a host layer is received, analyzing the IO data processing command to obtain corresponding target volume priority identification information; storing the IO data processing command into a target information queue of a level corresponding to the priority identification information of the target volume; and responding to the IO data processing command by utilizing each target thread pre-distributed for the target information queue. By applying the technical scheme provided by the embodiment of the invention, the resource competition between the volumes is avoided, the stability of IO data transmission is greatly improved, and the processing speed of the host layer is greatly improved. The invention also discloses a data transmission device, equipment and a storage medium, and has corresponding technical effects.)

一种数据传输方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据传输方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的飞速发展，很多技术都有了大幅度的提升，尤其是对后端存储系统分区的成功使用，满足了服务器主机下发数据的安全性和稳定性的要求。并且缓存和闪存的成功使用，满足了计算机技术领域对于计算资源和计算速率的需求，这种处理方式极大地加快了数据处理的速度。然而通用的主机与存储系统的IO数据传输方式，虽然加强了主机层与存储系统之间的数据传输效率。但并没有考虑存储系统中各类LUN(LogicalUnit Number，卷)，如普通卷、远程复制卷等的承受能力，如果主机层下发IOPS(Input/Output Operations Per Second，每秒进行读写操作的次数)过大，造成卷与卷的资源竞争，很可能会造成IO数据传输的不稳定，影响主机层的处理速度。

综上所述，如何有效地解决由于卷与卷的资源竞争造成IO数据传输的不稳定，影响主机层的处理速度的问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种数据传输方法，该方法避免了卷与卷的资源竞争，较大地提高了IO数据传输的稳定性，较大地提高了主机层的处理速度；本发明的另一目的是提供一种数据传输装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种数据传输方法，包括：

当接收到主机层下发的IO数据处理命令时，对所述IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；

将所述IO数据处理命令存储至所述目标卷优先级标识信息对应级别的目标信息队列中；

利用为所述目标信息队列预分配的各目标线程对所述IO数据处理命令进行响应。

在本发明的一种

具体实施方式

中，利用为所述目标信息队列预分配的各目标线程对所述IO数据处理命令进行响应，包括：

利用为所述目标信息队列预分配的各所述目标线程，按照预设的目标IOPS及目标带宽对所述IO数据处理命令进行响应。

在本发明的一种具体实施方式中，还包括：

估算对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间；

判断所述延时时间是否超出预设时长；

若是，则进行资源分配调整。

在本发明的一种具体实施方式中，进行资源分配调整，包括：

将各线程调整为统一的IOPS及带宽分别对相应信息队列中的IO数据处理命令进行响应。

一种数据传输装置，包括：

信息获得模块，用于当接收到主机层下发的IO数据处理命令时，对所述IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；

命令存储模块，用于将所述IO数据处理命令存储至所述目标卷优先级标识信息对应级别的目标信息队列中；

命令响应模块，用于利用为所述目标信息队列预分配的各目标线程对所述IO数据处理命令进行响应。

在本发明的一种具体实施方式中，所述命令响应模块具体为利用为所述目标信息队列预分配的各所述目标线程，按照预设的目标IOPS及目标带宽对所述IO数据处理命令进行响应的模块。

在本发明的一种具体实施方式中，还包括：

时间估算模块，用于估算对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间；

判断模块，用于判断所述延时时间是否超出预设时长；

资源分配调整模块，用于当确定所述延时时间超出预设时长时，进行资源分配调整。

在本发明的一种具体实施方式中，所述资源分配调整模块具体为将各线程调整为统一的IOPS及带宽分别对相应信息队列中的IO数据处理命令进行响应的模块。

一种数据传输设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前所述数据传输方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据传输方法的步骤。

应用本发明实施例所提供的方法，当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。通过在主机层下发的IO数据处理命令中嵌入目标卷优先级标识信息，并预先设置各优先级卷对应级别的信息队列，并预先为各级别的信息队列分配线程，从而实现了根据目标卷优先级标识信息利用对应的目标线程对IO数据处理命令进行处理，避免了卷与卷的资源竞争，较大地提高了IO数据传输的稳定性，较大地提高了主机层的处理速度。

相应的，本发明实施例还提供了与上述数据传输方法相对应的数据传输装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中数据传输方法的一种实施流程图；

图2为本发明实施例中数据传输方法的另一种实施流程图；

图3为本发明实施例中一种数据传输装置的结构框图；

图4为本发明实施例中一种数据传输设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参见图1，图1为本发明实施例中数据传输方法的一种实施流程图，该方法可以包括以下步骤：

S101：当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息。

可以预先设置存储设备中各卷的优先级，当主机层需要向存储设备的相应卷中写入IO数据，或需要从存储设备的相应卷中读取IO数据时，可以向存储设备发送IO数据处理命令，并且IO数据处理命令中嵌入需要进行数据传输的目标卷的优先级标识信息。存储设备接收IO数据处理命令，并在接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息。

存储设备的卷可以包括物理卷和虚拟卷。

S102：将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中。

可以预先分别为各级别的卷预先配置信息队列，如可以为高优先级的卷配置fast_path_fbr结构体作为对应的信息队列，为低优先级的卷配置slow_path_fbr结构体作为对应的信息队列。在得到对应的目标卷优先级标识信息之后，可以将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中。

S103：利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。

可以预先为各级别的信息队列分配相应数量的线程，如对于级别高的信息队列分配相对较多的线程，级别高的信息队列得到的各线程构成fast path线程，对于级别低的信息队列分配较少的线程，级别低的信息队列得到的各线程构成slow path线程，并且fastpath只能处理fast_path_fbr结构体内的IO数据处理命令，slow path只能处理slow_path_fbr结构体内的IO数据处理命令。在将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中之后，可以利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应，即可以利用为目标信息队列预分配的各目标线程从目标卷中读取相应的IO数据，或者将IO数据写入到目标卷中。

本发明实施例所提供的数据传输方法，主机层可以根据当前对IO数据传输所需的卷的性能，选取对应级别的卷与存储设备之间进行相应的数据交互。通过预先为各级别的卷进行了线程分配，对IO处理模块进行隔离，既不影响主机层的IO数据下发，又保证了高优先级卷对应的IO数据处理命令优先处理，避免了卷与卷的资源竞争，较大地提高了IO数据传输的稳定性，以达到数据的安全防护和系统资源的节约，优化传输数据安全管理，较大地提高了主机层的处理速度，提升了用户的满意度。

应用本发明实施例所提供的方法，当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。通过在主机层下发的IO数据处理命令中嵌入目标卷优先级标识信息，并预先设置各优先级卷对应级别的信息队列，并预先为各级别的信息队列分配线程，从而实现了根据目标卷优先级标识信息利用对应的目标线程对IO数据处理命令进行处理，避免了卷与卷的资源竞争，较大地提高了IO数据传输的稳定性，较大地提高了主机层的处理速度。

需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。

实施例二：

参见图2，图2为本发明实施例中数据传输方法的另一种实施流程图，该方法可以包括以下步骤：

S201：当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息。

S202：将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中。

S203：利用为目标信息队列预分配的各目标线程，按照预设的目标IOPS及目标带宽对IO数据处理命令进行响应。

可以预先为各优先级别的卷对应的线程设置相应的IOPS和带宽，如可以设置高优先级别的卷对应的线程的IOPS和带宽均相对较大，设置低优先级别的卷对应的线程的IOPS和带宽均相对较小，从而对低优先级卷的IO数据传输速率进行限制，并且可以预先设置对低优先级别的卷对应的线程的限流时间。因此在将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中之后，可以利用为目标信息队列预分配的各目标线程，按照预设的目标IOPS及目标带宽对IO数据处理命令进行响应。从而通过对低优先级卷对应的线程进行IOPS和带宽限制，进一步保证高优先级卷对应的IO数据处理命令优先处理。

S204：估算对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间。

可以预先设置需要进行命令响应时延监控的信息队列级别，可以估算对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间。如可以根据slow_path_fbr_count，即低于该预设优先级的信息队列数和主机层下发到低于该预设优先级的信息队列集合的IO数据总量IO_count，对IO处理延时时间进行预判，并得到低于预设级别的信息队列的IO数据处理命令进行响应的速度。

S205：判断延时时间是否超出预设时长，若是，则执行步骤S206，否则，不做处理。

可以预先设置低于预设级别的信息队列对IO数据处理命令进行响应的延时时长，在估算得到对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间之后，可以判断延时时间是否超出预设时长。若超出预设时长，则说明可能会发生低于预设级别的信息队列中止IO数据传输的风险，可以继续执行步骤S206，若未超出时长，则说明目前处于相对正常的IO数据传输过程，不需要做任何处理。

需要说明的是，延时时长可以根据实际情况进行设定和调整，本发明实施例对此不做限定，如当根据预先设定的某一预设时长执行了多次本发明实施例所提供的技术方案，出现低于预设级别的信息队列中止IO数据传输的现象仍比较频繁，则可以适当缩短该预设时长。

S206：将各线程调整为统一的IOPS及带宽分别对相应信息队列中的IO数据处理命令进行响应。

在确定低于预设级别的信息队列的IO数据处理命令进行响应的延时时间超出预设时长时，可以将各线程调整为统一的IOPS及带宽分别对相应信息队列中的IO数据处理命令进行响应，从而实现对低于预设级别的信息队列IOPS及带宽进行有效的限制和释放，防止低于预设级别的信息队列中止对IO数据的传输。

相应于上面的方法实施例，本发明实施例还提供了一种数据传输装置，下文描述的数据传输装置与上文描述的数据传输方法可相互对应参照。

参见图3，图3为本发明实施例中一种数据传输装置的结构框图，该装置可以包括：

信息获得模块31，用于当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；

命令存储模块32，用于将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；

命令响应模块33，用于利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。

应用本发明实施例所提供的方法，当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。通过在主机层下发的IO数据处理命令中嵌入目标卷优先级标识信息，并预先设置各优先级卷对应级别的信息队列，并预先为各级别的信息队列分配线程，从而实现了根据目标卷优先级标识信息利用对应的目标线程对IO数据处理命令进行处理，避免了卷与卷的资源竞争，较大地提高了IO数据传输的稳定性，较大地提高了主机层的处理速度。

在本发明的一种具体实施方式中，命令响应模块33具体为利用为目标信息队列预分配的各目标线程，按照预设的目标IOPS及目标带宽对IO数据处理命令进行响应的模块。

在本发明的一种具体实施方式中，还包括：

时间估算模块，用于估算对低于预设级别的信息队列的IO数据处理命令进行响应的延时时间；

判断模块，用于判断延时时间是否超出预设时长；

资源分配调整模块，用于当确定延时时间超出预设时长时，进行资源分配调整。

在本发明的一种具体实施方式中，资源分配调整模块具体为将各线程调整为统一的IOPS及带宽分别对相应信息队列中的IO数据处理命令进行响应的模块。

相应于上面的方法实施例，参见图4，图4为本发明所提供的数据传输设备的示意图，该设备可以包括：

存储器41，用于存储计算机程序；

处理器42，用于执行上述存储器41存储的计算机程序时可实现如下步骤：

当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。

对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。

相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：

当接收到主机层下发的IO数据处理命令时，对IO数据处理命令进行解析，得到对应的目标卷优先级标识信息；将IO数据处理命令存储至目标卷优先级标识信息对应级别的目标信息队列中；利用为目标信息队列预分配的各目标线程对IO数据处理命令进行响应。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。