边缘节点的扩容方法、装置、边缘节点及程序产品

文档序号:115242 发布日期:2021-10-19 浏览:13次 >En<

阅读说明:本技术 边缘节点的扩容方法、装置、边缘节点及程序产品 (Edge node capacity expansion method and device, edge node and program product ) 是由 王犇 徐佳棋 廖德甫 于 2021-07-22 设计创作,主要内容包括:本发明公开了一种边缘节点的扩容方法、装置、边缘节点及程序产品,涉及计算机技术领域。边缘节点包括主容器池和备用容器池,一种边缘节点的扩容方法包括:获取所述主容器池中至少一个容器的磁盘实时读写信息;当至少一个所述磁盘实时读写信息满足扩容触发条件时,从所述备用容器池中确定出目标容器;将所述目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器上;其中,所述第一数据卷对应有第一新磁盘空间,所述第一新磁盘空间为响应于至少一个所述磁盘实时读写信息满足扩容触发指令,从所述边缘节点中新申请的磁盘空间。本发明提高了边缘节点的资源综合利用率。(The invention discloses a method and a device for expanding capacity of an edge node, the edge node and a program product, and relates to the technical field of computers. The edge node comprises a main container pool and a standby container pool, and the capacity expansion method of the edge node comprises the following steps: acquiring real-time read-write information of a magnetic disk of at least one container in the main container pool; when the real-time read-write information of at least one disk meets the capacity expansion triggering condition, determining a target container from the standby container pool; adding the target container into the main container pool, and mounting a first data volume onto the target container; the first data volume corresponds to a first new disk space, and the first new disk space is a disk space newly applied from the edge node in response to at least one disk real-time read-write information meeting a capacity expansion triggering instruction. The invention improves the comprehensive utilization rate of resources of the edge nodes.)

边缘节点的扩容方法、装置、边缘节点及程序产品

技术领域

本发明涉及计算机技术领域,尤其涉及边缘节点的扩容方法、装置、边缘节点及程序产品。

背景技术

相关技术中,边缘计算和CDN(Content Distribute Network:内容分发网络)结合是一个重要的应用场景:通过CDN边缘节点演进成边缘云平台,已有CDN虚拟化后作为应用部署在平台上,使已有边缘节点的IT基础设施实现开放和复用,在靠近用户侧部署三方能力服务。

但是,CDN边缘节点在扩容过程中存在资源综合利用率较低的技术问题。

发明内容

本发明的主要目的在于提供一种边缘节点的扩容方法、装置、边缘节点及程序产品,旨在解决相关技术中CDN边缘节点在扩容过程中存在资源综合利用率较低的技术问题。

为实现上述目的,本发明提供一种边缘节点的扩容方法,所述边缘节点包括主容器池和备用容器池,所述方法包括:

获取所述主容器池中至少一个容器的磁盘实时读写信息;

当至少一个所述磁盘实时读写信息满足扩容触发条件时,从所述备用容器池中确定出目标容器;

将所述目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器上;其中,所述第一数据卷对应有第一新磁盘空间,所述第一新磁盘空间为响应于至少一个所述磁盘实时读写信息满足扩容触发指令,从所述边缘节点中新申请的磁盘空间。

在一实施例中,所述将所述目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器之后,所述方法还包括:

将源容器对应的第二数据卷解绑,并挂载至所述目标容器上;其中,所述源容器为磁盘实时读写信息满足扩容触发条件的容器。

在一实施例中,所述将源容器对应的第二数据卷解绑,并挂载至所述目标容器上之后,所述方法还包括:

生成第三数据卷;所述第三数据卷对应有第二新磁盘空间,所述第二新磁盘空间为从所述边缘节点中新申请的磁盘空间;

将所述第三数据卷挂载至所述源容器上。

在一实施例中,所述备用容器池内备用容器的最大数量小于或者等于第一预设阈值;

所述将所述目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器上之后,所述方法还包括:

判断所述备用容器的实时数量是否小于所述第一预设阈值;

若所述实时数量小于所述第一预设阈值,向所述备用容器池中添加至少一台新备用容器。

在一实施例中,所述获取所述主容器池中至少一个容器的磁盘实时读写信息之后,所述方法还包括:

当至少一个所述磁盘实时读写信息满足缩容触发条件时,将满足缩容触发条件的磁盘实时读写信息对应的容器确定为待缩容容器;

将所述待缩容容器挂载的第四数据卷解绑;

将所述待缩容容器作为备用容器添加至所述备用容器池中。

在一实施例中,所述将所述待缩容容器添加至所述备用容器池之后,所述方法还包括:

判断所述备用容器的实时数量是否大于所述第一预设阈值;

若所述实时数量大于所述第一预设阈值,从所述备用容器池中删除至少一台备用容器,并返回执行判断所述备用容器的实时数量是否大于所述第一预设阈值,直至所述备用容器的实时数量小于或者等于所述第一预设阈值。

在一实施例中,所述主容器池内的容器的最大数量小于或者等于第二预设阈值。

第二方面,本发明还提供了一种边缘节点的扩容装置,包括:

信息获取模块,用于获取所述主容器池中至少一个容器的磁盘实时读写信息;

目标容器确定模块,用于当至少一个所述磁盘实时读写信息满足扩容触发条件时,从所述备用容器池中确定出目标容器;

数据卷挂载模块,用于将所述目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器上;其中,所述第一数据卷对应有第一新磁盘空间,所述第一新磁盘空间为响应于至少一个所述磁盘实时读写信息满足扩容触发指令,从所述边缘节点中新申请的磁盘空间。

第三方面,本发明还提供了一种边缘节点,包括:

主容器池和备用容器池;

磁盘资源池;以及

边缘节点的扩容装置。

第四方面,本发明还提供了一种计算机程序产品,包括可运行的程序代码,处理器运行程序代码时实现如上述的方法。

本发明实施例提出的一种边缘节点的扩容方法,通过获取所述主容器池中至少一个容器的磁盘实时读写信息;当至少一个所述磁盘实时读写信息满足扩容触发条件时,从所述备用容器池中确定出目标容器添加至所述主容器池中,并将第一数据卷挂载至所述目标容器上。相较于通用的横向扩缩容方法,本发明只据业务负载进行瓶颈资源即磁盘空间的扩展,有效控制了CDN业务忙时对于非瓶颈资源的消耗,使得业务忙时资源不丰富的边缘节点能够部署更多的计算类业务应用,提升了整个边缘节点的业务能力。进而提高了该边缘节点的资源综合利用率。

附图说明

图1为本发明边缘节点的扩容方法的第一实施例的流程示意图;

图2为本发明边缘节点的扩容方法的第二实施例的流程示意图;

图3为本发明边缘节点的扩容方法的第三实施例的流程示意图;

图4为本发明边缘节点的扩容方法的第五实施例的流程示意图;

图5为本发明边缘节点的扩容装置的功能模块示意图;

图6为本发明边缘节点的示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

相关技术中,CDN缓存服务为CDN边缘节点运行方式的重要组成部分,用于加速传递和减少静态内容,如图片、文件和视频等的源加载。将CDN缓存服务部署在边缘节点上,具备以下优势:CDN缓存通过将内容部署靠近用户来减少数据传输的距离,从而减少网络延迟;通过将内容分发卸载到边缘,可以减少网络流量和源站服务器的内容加载;降低中心服务应用程序的成本和资源需求,即使有大量用户请求的情况下也不会对源站产生冲击。

本申请的发明人通过实践发现,在CDN的总体业务中,对应CDN缓存服务的主要功能包括:根据业务需求从源站拉取内容保存到本地;根据用户请求将映射的内容返回给用户;根据策略实时刷新本地的缓存内容。因此,CDN边缘节点中,在缓存服务运行过程中存在的大量的文件读写操作,但业务逻辑简单,不涉及大量的计算操作。而且服务需要返回给用户实时在本地存在的内容才发挥本地缓存的作用,服务实际业务逻辑是有状态的,采用业务无状态的横向扩容无法立即对业务负载起到作用,甚至由于产生大量的回源操作加大源站的业务负载。具体而言,通过横向扩展的方式对边缘节点上的CDN的缓存服务进行实例级的扩容,每个扩展的实例对基础设施的消耗是相同的,即扩展前CPU等计算资源不是瓶颈也会随着实例扩展进行资源的申请,总体对应非瓶颈资源的利用率不高,不利于CDN边缘节点云化后计算类三方应用的部署。

为此,本发明提供了一种边缘节点的扩容方法,该方法通过磁盘空间的动态挂载,通过对容器化CDN缓存服务进行资源和能力的扩展,解决高并发场景下的CDN服务的磁盘读写瓶颈,有效控制了CDN业务忙时对于非瓶颈资源的消耗,使得业务忙时资源不丰富的边缘节点能够部署更多的计算类业务应用,提升了整个边缘节点的业务能力。进而提高了该边缘节点的资源综合利用率。

下面结合一些具体实施例进一步阐述本申请的发明构思。

参阅图1,图1为本发明边缘节点的扩容方法第一实施例的流程示意图。

本实施例中,一种边缘节点的扩容方法包括:

步骤S101、获取主容器池中至少一个容器的磁盘实时读写信息。

磁盘实时读写信息即为磁盘的IO访问信息。

可以理解的,CDN服务和绝大部分计算类服务在资源消耗上比较,存在着自身业务一定的特点。相比较CPU等计算能力,CDN会对存储和网络资源有较高的要求,尤其是存储I/O的读写能力。CDN能力瓶颈往往是由于磁盘I/O访问能力到达了相关的最大能力。在CDN容器化改造过程中,弹性可扩展能力也就需要考虑其业务特点,云计算通用的通过监控CPU/内存/网络等资源在到达预定门限后进行横向扩展的扩缩容机制无法完全契合CDN的特点,大量因为横向扩展后分配使用的CPU资源其实未得到充分利用,将CDN节点将CPU能力释放给三方服务的效果也会打一定的折扣。

本步骤中,主容器内的所有容器在运行过程中可实时上报本地磁盘的IO访问信息至边缘节点的控制装置,或者调度装置。

步骤S102、当至少一个磁盘实时读写信息满足扩容触发条件时,从备用容器池中确定出目标容器。

控制装置或者调度装置检测到有至少一个容器的磁盘实时读写信息满足扩容触发条件时,即至少一个容器的磁盘I/O访问能力达到了扩容门限时,触发控制装置或者调度装置从备用容器池中确定出目标容器。备用容器池可具有第一预设阈值个备用容器,且每个备用容器均可实时从备用容器池从添加至主容器池中作为可运行业务的容器使用。

其中,确定目标容器可是随机确定,还可以是根据添加进备用容器池的时间等数据依次确定。本实施例对此并不限制。

值得一提的是,目标容器的数量可与磁盘实时读写信息满足扩容触发条件容器数量相一致,即出现一台容器的磁盘实时读写信息满足扩容触发条件,即新增一台目标容器,保证了CDN业务峰值时出现大量的扩容请求的快速处理,能够更好地适应CDN业务演进的场景。直至主容器池的容器数量达到第二预设阈值,即容器数量的上限值。

步骤S103、将目标容器添加至主容器池中,并将第一数据卷挂载至目标容器上;其中,第一数据卷对应有第一新磁盘空间,第一新磁盘空间为响应于至少一个磁盘实时读写信息满足扩容触发指令,从边缘节点中新申请的磁盘空间。

本实施例中,新加入的目标容器通过该第一数据卷在边缘节点中新增有第一新磁盘空间,第一数据卷存储有第一新磁盘空间位置路径信息以及空间大小等信息。从而在新增容器时,实现了磁盘空间的扩容。

相较于现有的CPU/内存/网络资源的横向扩展,本实施例中通过对容器化CDN缓存服务进行资源和能力的扩展,解决高并发场景下的CDN服务的磁盘读写瓶颈,有效控制了CDN业务忙时对于非瓶颈资源的消耗,使得业务忙时资源不丰富的边缘节点能够部署更多的计算类业务应用,提升了整个边缘节点的业务能力。进而提高了该边缘节点的资源综合利用率。

在本发明边缘节点的扩容方法第一实施例的基础上,提出本发明边缘节点的扩容方法第二实施例。参阅图2,图2为本发明边缘节点的扩容方法第二实施例的流程示意图。

本实施例中,方法包括:

步骤S201、获取主容器池中至少一个容器的磁盘实时读写信息。

步骤S202、当至少一个磁盘实时读写信息满足扩容触发条件时,从备用容器池中确定出目标容器。

步骤S202、将目标容器添加至主容器池中,并将第一数据卷挂载至目标容器上;其中,第一数据卷对应有第一新磁盘空间,第一新磁盘空间为响应于至少一个磁盘实时读写信息满足扩容触发指令,从边缘节点中新申请的磁盘空间。

步骤S201至步骤S203可参照上述实施例,此处不再赘述。

步骤S204、将源容器对应的第二数据卷解绑,并挂载至目标容器上;其中,源容器为磁盘实时读写信息满足扩容触发条件的容器。

其中,容器原生支持数据卷(Data Volume)的解绑以及挂载。一个数据卷是一个特别指定的目录,该目录利用容器的UFS文件系统可以为容器提供一些稳定的特性或者数据共享。利用数据卷相关能力,可以实现在多个容器之间的数据共享和迁移。将数据卷的解绑和挂载应用到边缘节点的扩缩容中,可以支持将运行中业务负载到扩容门限的源容器的数据快速挂载到新的目标容器中,保证了扩容后业务状态的连续性和业务切换过程中数据的无损迁移。

可以理解的,CDN的业务是有状态的,在扩容过程中简单的资源扩展可能会导致业务扩展后由于恢复时长的存在,导致无法满足业务瞬间突发的要求。

本实施例中,在源容器的磁盘的IO访问能力达到扩容门限后,通过采用将其对应的第二数据卷在CDN容器上的动态挂载,实现扩展前的CDN缓存业务快速迁移到扩展后目标容器中,CDN换缓存业务状态随着扩容在容器之间无损切换。即在扩缩容过程中保证了CDN缓存业务的可用性,做到业务恢复时间可控。

在本发明边缘节点的扩容方法上述实施例的基础上,提出本发明边缘节点的扩容方法第三实施例。参阅图3,图3为本发明边缘节点的扩容方法第三实施例的流程示意图。

本实施例中,方法包括:

步骤S301、获取主容器池中至少一个容器的磁盘实时读写信息。

步骤S302、当至少一个磁盘实时读写信息满足扩容触发条件时,从备用容器池中确定出目标容器。

步骤S303、将目标容器添加至主容器池中,并将第一数据卷挂载至目标容器上;其中,第一数据卷对应有第一新磁盘空间,第一新磁盘空间为响应于至少一个磁盘实时读写信息满足扩容触发指令,从边缘节点中新申请的磁盘空间。

步骤S301至步骤S303可参照上述实施例,此处不再赘述。

步骤S304、生成第三数据卷;第三数据卷对应有第二新磁盘空间,第二新磁盘空间为从边缘节点中新申请的磁盘空间;

步骤S305、将源容器对应的第二数据卷解绑,并将第三数据卷和第二数据卷同步挂载至源容器上挂载至目标容器上;其中,源容器为磁盘实时读写信息满足扩容触发条件的容器。

本实施例中,除了挂载源容器的第二数据卷,并通过扩展新的数据卷,即第三数据卷到目标容器中,使得目标容器对应有更大的磁盘空间,实现业务迁移后的容器的磁盘IO访问能力提升。

在本发明边缘节点的扩容方法上述实施例的基础上,提出本发明边缘节点的扩容方法第四实施例。

备用容器池内备用容器的最大数量小于或者等于第一预设阈值。且主容器池内容器的最大数量小于或者等于第二预设阈值,即备用容器池和主容器池均为动态额定的容器池。

本实施例中,步骤S103之后,方法还包括:

步骤S104、判断备用容器的实时数量是否小于第一预设阈值;

步骤S105、若实时数量小于第一预设阈值,向备用容器池中添加至少一台新备用容器。

具体而言,在从备用容器池确定出目标容器池并添加至主容器池后,备用容器池内的容器数量减少,为了确保备用容器池具有足够的、实时可用的容器池,需要向备用容器池中添加至少一台新备用容器。.即检测到备用服务资源池的容器不足且容器数未到上限时,触发新的业务容器申请并纳入备用容器资源池的管理

因此,本实施例中,将CDN的基础设施资源改造成为动态额定的主备容器资源池,实现CDN容器总体的资源使用控制。区别通用的横向扩缩容方法,额定CDN扩容的主备容器资源池,其中第一预设阈值和第二预设阈值的值根据业务进行规划,第一预设阈值和第二预设阈值的值保证了CPU等计算资源不会由于无限横向扩展而浪费。

在本发明边缘节点的扩容方法上述实施例的基础上,提出本发明边缘节点的扩容方法第五实施例。参阅图4,图4为本发明边缘节点的扩容方法第五实施例的流程示意图。

本实施例中,方法包括:

步骤S401、获取主容器池中至少一个容器的磁盘实时读写信息。

步骤S402、当至少一个磁盘实时读写信息满足缩容触发条件时,将满足缩容触发条件的磁盘实时读写信息对应的容器确定为待缩容容器。

控制装置或者调度装置检测到有至少一个容器的磁盘实时读写信息满足缩容触发条件时,即至少一个容器的磁盘I/O访问能力达到了缩容门限时,触发控制装置或者调度装置将其确定为待缩容容器。

步骤S403、将待缩容容器挂载的第四数据卷解绑。

步骤S404、将待缩容容器作为备用容器添加至备用容器池中。

在确定出待缩容容器后,控制装置或者调度装置进行业务冻结,并进行数据卷的卸载。即将第四数据卷解绑,然后将其需要缩容的容器分配到备用资源池中进行管理。此时,由于第四数据卷解绑,与第四数据卷对应的磁盘空间也被释放,提高了该边缘节点的资源综合利用率。

在本发明边缘节点的扩容方法上述实施例的基础上,提出本发明边缘节点的扩容方法第六实施例。

本实施例中,步骤S404之后,方法还包括:

S405、判断备用容器的实时数量是否大于第一预设阈值。

S406、若实时数量大于第一预设阈值,从备用容器池中删除至少一台备用容器,并返回执行步骤S405,直至备用容器的实时数量小于或者等于第一预设阈值。

本实施例中,在主容器池缩容后,备用容器池内的备用容器的数量增加,可能使得备用容器池的备用容器的数量超过上限,即第一预设阈值,因此可从备用资源池中删除多余的备用容器。

其中,删除多余的备用容器可以是随机删除,还可以是根据备用容器在备用容器池内的时间依次删除。

本实施例中,将CDN的基础设施资源改造成为动态额定的主备容器资源池,实现CDN容器总体的资源使用控制。区别通用的横向扩缩容方法,额定CDN扩容的主备容器资源池,其中第一预设阈值和第二预设阈值的值根据业务进行规划,第一预设阈值和第二预设阈值的值保证了CPU等计算资源不会由于无限横向扩展而浪费。

此外,参阅图5,本发明还提供了一种边缘节点的扩容装置,包括:

信息获取模块10,用于获取主容器池中至少一个容器的磁盘实时读写信息;

目标容器确定模块20,用于当至少一个磁盘实时读写信息满足扩容触发条件时,从备用容器池中确定出目标容器;

数据卷挂载模块30,用于将目标容器添加至主容器池中,并将第一数据卷挂载至目标容器上;其中,第一数据卷对应有第一新磁盘空间,第一新磁盘空间为响应于至少一个磁盘实时读写信息满足扩容触发指令,从边缘节点中新申请的磁盘空间。

本发明边缘节点的扩容装置的其他实施例和具体实施方式可参照上述方法实施例,在此不再赘述。

此外,参阅图6,本发明还提供了一种边缘节点,包括主容器池和备用容器池;磁盘资源池;以及边缘节点的扩容装置。

该边缘节点的扩容装置的具体功能模块的组成参照上述实施例,由于本边缘节点采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。

其中,主容器池内包括至少一个容器,且容器的最大数量小于或者等于第二预设阈值。备用容器池包括至少一个备用容器,且备用容器的最大数量小于或者等于第一预设阈值。主容器池内的容器可添加至备用容器池中管理,备用容器池中的备用容器可添加至主容器池中管理,即主容器池内的容器和备用容器池中的备用容器可进行主备切换。

主容器池中的容器可通过挂载的数据卷在磁盘空间中使用相应的磁盘空间。

此外,本发明还提供了一种计算机程序产品,包括可执行的程序代码,程序代码在被处理器执行时实现如上文方法实施例的边缘节点的扩容方法的步骤。因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品实施例中未披露的技术细节,请参照本申请方法实施例的描述。确定为示例,程序指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

16页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于分层存储的数据调度方法、系统及电子设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类