具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，在每个接入时隙，用户设备都要断开所有波束连接，用户设备在网络接入的空窗期，即所有的波束对断开并建立新的波束对的过程中，无法获取网络服务，将会降低基于波束的通信的可靠性和稳定性；当用户设备的移动速度较快或者活动范围较大时，极易造成乒乓切换效应；根据本发明实施例的基于池化的闭环自适应波束管理方法，首先，用户设备判断自身是否存在波束接入需求，并在判断结果为是时进行波束测量，以及根据所述波束测量结果确定期望接入点集合；接着，所述用户设备将所述期望接入点集合发送给边缘服务器，以便所述边缘服务器根据所述期望接入点集合进行关联决策，并将关联决策结果发送给所述用户设备；然后，如果所述关联决策结果为允许接入，则所述边缘服务器根据所述期望接入点集合对用户设备波束资源池进行更新；接着，所述用户设备根据所述期望接入点集合与相应波束关联，所述边缘服务器根据关联结果对接入点波束资源池进行更新；然后，对所述用户设备进行波束跟踪，并根据波束跟踪结果判断是否需要进行波束释放，以及在判断结果为是时对相应波束进行释放，并在波束释放完成后分别对用户设备波束资源池和接入点波束资源池进行更新；从而实现在接入时隙不断开用户设备所有波束连接，保障基于波束通信的可靠性和稳定性。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的基于池化的闭环自适应波束管理方法的流程示意图，如图1所示，该基于池化的闭环自适应波束管理方法包括以下步骤：

S101，用户设备判断自身是否存在波束接入需求，并在判断结果为是时进行波束测量，以及根据波束测量结果确定期望接入点集合。

作为一种示例，如图2所示，通过表示用户设备的空闲波束，当用户设备存在网络服务需求时，判断是否满足条件如果是，则表示当前用户设备存在波束接入需求；则用户设备u_n进行波束测量，并根据波束测量结果选择期望接入的接入点集合

需要说明的是，用户设备更倾向于在其波束约束内与更多的接入点建立通信链路，从而降低其在移动过程中由突发的遮挡等因素导致的通信链路中断对其造成的消极影响，提高基于波束的通信稳定性和可靠性。

S102，用户设备将期望接入点集合发送给边缘服务器，以便边缘服务器根据期望接入点集合进行关联决策，并将关联决策结果发送给用户设备。

也就是说，用户设备在计算得到期望接入点集合之后，将该期望接入点集合发送给边缘服务器，边缘服务器根据接收到的期望接入点集合进行关联决策，以生成关联决策结果(即用户设备是否允许接入)；并将该关联决策结果发送给用户设备。

在一些实施例中，边缘服务器根据期望接入点集合进行关联决策，包括：边缘服务器根据所有用户设备发送的接入点集合统计当前关联时刻对应接入点的请求用户设备集合，请求用户设备集合包括每个接入点对应的用户设备请求个数；获取接入点在接入点波束资源池中的可用波束个数；判断用户设备请求个数是否小于等于可用波束个数；如果判断结果为是，则向相应用户设备反馈允许接入的关联决策结果。

在一些实施例中，如果用户设备请求个数大于可用波束个数，则认为该接入点发生波束冲突，并根据预设关联决策选取允许接入用户设备，以及根据选取结果向所有用户设备发送关联决策结果。

作为一种示例，如图2所示，边缘服务器获取用户设备上传的接入点集合并根据所有用户设备上传的接入点集合统计出当前波束关联时刻用户设备波束资源池和对应接入点的请求用户设备集合其中，和可以表示为：

其中，表示用户设备波束资源池，表示用户设备u_n在t时刻的在用户设备波束资源池中的空闲波束；表示对应接入点的请求用户设备集合，表示接入点a_m在t时刻的用户设备请求个数。

接着，获取接入点a_m在t时刻的可用波束个数并判断是否满足条件如果是，则表示接入点a_m可以满足用户设备的波束需求，边缘服务器向用户设备u_n发送反馈信号c_m,n(t)＝1，以准许用户设备u_n与接入点a_m进行波束关联，建立基于波束的通信链路。

而如果则说明接入点a_m的波束资源无法满足用户设备的波束需求，则认为该接入点a_m发生了波束冲突，边缘服务器执行关联决策，选取允许接入用户设备(即言，通过决策选取部分用户设备，准许其进行波束关联)；并向允许接入用户设备发送允许接入的关联决策结果；而不允许接入的用户设备，则边缘服务器向其发送c_m,n(t)＝0；以拒绝其与接入点a_m建立关联；进而，接收到c_m,n(t)＝0的用户设备可返回重新进行波束测量。

S103，如果关联决策结果为允许接入，则边缘服务器根据期望接入点集合对用户设备波束资源池进行更新。

S104，用户设备根据期望接入点集合与相应波束关联，边缘服务器根据关联结果对接入点波束资源池进行更新。

即言，如果关联决策结果为允许接入，则边缘服务器根据期望接入点集合对用户设备波束资源池进行更新。而在用户设备根据期望接入点集合与相应波束关联之后，边缘服务器根据关联结果对接入点波束资源池进行更新，以维护用户设备波束资源池和接入点波束资源池。

作为一种示例，如图3所示，在初始关联之前，用户设备波束资源池的初始值为接入点波束资源池的初始值为初始关联后，接入点波束资源池变化为而用户设备波束资源池变化为在波束跟踪过程中，会造成波束的释放，进而形成池外资源内流；而在波束关联过程中，会形成池内资源外流。

在一些实施例中，用户设备根据期望接入点集合与相应波束关联之后，还包括：用户设备计算当前关联时刻根据期望接入点集合进行波束关联所新增的通信链路数量和系统传输速率之和，并将通信链路数量和系统传输速率之和发送给边缘服务器；边缘服务器根据所有用户设备发送的新增的通信链路数量和系统传输速率之和计算池内资源外流波束数量和系统传输速率总值，并将池内资源外流波束数量和系统传输速率总值共享给所有用户设备，以便所有用户设备根据池内资源外流波束数量和系统传输速率总值调整波束关联策略。

作为一种示例，用户设备u_n根据边缘服务器发送的c_m,n(t)信号，向对应的接入点a_m发送反馈信号x_m,n(t)，其中，x_m,n(t)可表示为：

用户设备u_n反馈信号的集合x_n(t)可表示为：

该x_n(t)可以反映用户设备u_n选择接入点所得的效果。

接着，令Ω_n(t)表示用户设备u_n成功与接入点匹配并建立通信链路的数量(即进行波束关联所新增的通信链路数量)，即用户设备u_n在波束关联过程中资源外流的波束数量，其中，Ω_n(t)可表示为：

然后，用户设备u_n计算当前关联时刻根据接入点集合a_n(t)进行波束关联所新增的系统传输速率之和S_n(t)，其中，a_n(t)和S_n(t)可表示为：

接着，用户设备将S_n(t)和Ω_n(t)发送给边缘服务器。

边缘服务器对所有用户设备发送的S_n(t)和Ω_n(t)进行汇总，以计算池内资源外流波束数量Ω_sys(t)和系统传输速率总值其中，Ω_sys(t)和可以表示为：

Ω_sys(t)＝{Ω₁(t),Ω₂(t),...,Ω_N(t)}

然后，边缘服务器将计算结果共享给所有的用户设备，以便所有用户设备根据池内资源外流波束数量和系统传输速率总值调整波束关联策略。

在一些实施例中，波束关联策略包括基于超图的波束关联策略和基于强化学习的波束关联策略。

S105，对用户设备进行波束跟踪，并根据波束跟踪结果判断是否需要进行波束释放，以及在判断结果为是时对相应波束进行释放，并在波束释放完成后分别对用户设备波束资源池和接入点波束资源池进行更新。

即言，为了保障通信链路的稳定性，接入点对已建立通信链路的用户设备进行波束跟踪，以根据跟踪结果判断是否需要进行波束释放，并在判断结果为是时，进行波束的释放，以及在波束释放完成后分别对用户设备波束资源池和接入点波束资源池进行更新，以维护用户设备波束资源池和接入点波束资源池。

在一些实施例中，对用户设备进行波束跟踪，并根据波束跟踪结果判断是否需要进行波束释放，包括：对用户设备进行波束跟踪，以获取相应的波束中断指示信号和波束支持信号，以根据波束中断指示信号和波束支持信号判断当前接入点是否能够支持用户设备且波束中断；如果是，则进行波束对准；如果否，则根据波束中断指示信号和波束支持信号判断是否需要进行波束释放。

作为一种示例，如图2所示，令i_m,n为中断指示信号，当i_m,n＝1时表示波束中断，i_m,n＝0表示可以继续发射波束其中，i_m,n可以表示为：

令s_m,n表示波束支持信号，以通过该波束支持信号判断接入点是否能够支持用户设备。

如果i_m,n＝0，s_m,n＝1，则表示接入点a_m可以支持用户设备，但是，波束处于中断状态；因此，接入点a_m应该执行波束对准算法获取波束参数从而改变波束方向，为用户设备提供持续的波束覆盖，以保持两者之间的链路连接。

如果i_m,n＝1，s_m,n＝1，则表示在波束跟踪过程中， 的任意一种情况；此时，波束已经超出了接入点a_m的硬件支持能力范围，则对波束进行释放，对应的波束被释放回用户设备波束资源池和接入点波束资源池，实现池外资源内流。

在一些实施例中，为了使得系统效用函数维持在最优状态，本发明实施例提出的基于池化的闭环自适应波束管理方法还包括：对接入点和用户设备之间的波束关联和波束跟踪过程进行闭环设计，并在通信过程中计算通信系统复杂度和系统数据吞吐量，以及根据系统数据吞吐量和通信系统复杂度计算对应的最大收益函数，以便根据最大收益函数调整转换周期。从而，通过对接入点与用户设备间的波束管理那与波束跟踪过程进行闭环设计，并通过自适应地调整转换周期，以使得系统效用函数维持在最优状态。

作为一种示例，基于池化的联合波束关联和波束跟踪的帧结构如图4所示。在不同的时间段，系统需要调整资源池外流和内流转换周期，即波束关联和波束跟踪操作的间隔时长，从而提高系统效率，实现系统的最大收益。其中，一种可选的最大收益目标为获取最大的系统数据吞吐量和复杂度的比值。

在这里，当系统中存在用户设备的所有波束资源均回落到了资源池，即与所有的接入点均失去了基于波束对的连接，处于无连接状态时，需要立即执行波束关联过程，而不受制于资源池外流和内流转换周期。

在用户设备匹配到为其服务的接入点波束集合之后，接入点会基于与用户设备之间的波束对建立通信链路，为用户设备提供数据传输服务，同时在满足信号质量约束的前提下对用户设备执行波束跟踪，即根据用户设备的位置变化改变定向波束方向，从而维持两者之间基于该波束对的连接状态。当信号质量低于波束跟踪阈值时，接入点停止对用户设备的波束跟踪，该条链路中断，对应接入点和用户设备的波束池外资源分别内流回波束池和此时该用户设备和满足信号质量约束的其他关联接入点之间仍保持连接状态，即接入点继续对该用户设备进行波束跟踪。因此，用户设备和接入点的波束对集合是随着波束关联与跟踪过程动态变化的，其规模会通过波束关联而增大，随着波束跟踪中波束对的释放而减小。

本方案可选的一种最大收益函数可以定义为系统数据吞吐量和复杂度的比值。本申请实施例不限于此。

接入点a_m与用户设备u_n之间链路l_mn的传输速率S_m,n可以表示为：

其中，B_m,n是a_m为u_n分配的带宽，是小区内干扰，是小区间干扰。表示a_m与u_n′通信过程中，u_n接收到的干扰信号强度。

因此，在时间段内的系统数据吞吐量可以被描述为：

基于池化的闭环自适应波束管理方法的通信系统复杂度主要包括基于波束关联的池内资源外流过程的复杂度和基于波束跟踪的池外资源内流的复杂度其中，两者又分别包括控制信令传输和反馈造成的信令复杂度和算法执行的时间复杂度

假设每执行一次波束关联所需的固定系统信令开销为O_Δ，其不随着资源池的规模而变化。随着接入点和用户设备资源池规模和个体的变化的信令复杂度和时间复杂度的函数和分别可以表示为，

所以可以表示为，

其中，ξ_S是信令复杂度权重，ξ_C是时间复杂度权重，ξ_S+ξ_C＝1。

假设时间段有N_i个资源池模型的外流和内流周期T_i，因为N_i＞＞1，所以可以忽略的初始关联的特殊性，即使其复杂度较高。时间段的复杂度可以表示为，

同理,基于波束跟踪的池外资源内流的复杂度可以表示为，

值得注意的是，主要取决于仍处于连接状态的链路，即已经流出资源池的波束资源，这与波束关联过程是相反的。和可以表示为，

其中，和分别表示接入点和用户设备处于连接状态的链路所占用的波束资源，

经过上述分析，时间段内的系统复杂度

为了考虑一般性并简化模型，此处我们不考虑存在用户设备失去所有的波束连接而需要执行紧急波束关联的情况。

本申请可选的方法的效用函数可以定义为找出使得收益函数最大的资源池外流和内流转换周期T_i：

S.T.

其中，表示用户设备u_n与接入点建立波束关联关系的最低信号强度阈值，c_A表示接入点可同时服务的用户设备数量的上限，c_U表示用户设备可同时建立通信链路的接入点数量的上限。值得注意的是，链路l_mn的系统传输速率E_m,n不仅取决于变量x_m,n，而且还取决于其他接入点和用户设备相关的干扰项。

在这里，寻找最优的方法可以是基于强化学习的方法。本本申请实施例不限于此。

综上所述，根据本发明实施例的基于池化的闭环自适应波束管理方法，首先，用户设备判断自身是否存在波束接入需求，并在判断结果为是时进行波束测量，以及根据所述波束测量结果确定期望接入点集合；接着，所述用户设备将所述期望接入点集合发送给边缘服务器，以便所述边缘服务器根据所述期望接入点集合进行关联决策，并将关联决策结果发送给所述用户设备；然后，如果所述关联决策结果为允许接入，则所述边缘服务器根据所述期望接入点集合对用户设备波束资源池进行更新；接着，所述用户设备根据所述期望接入点集合与相应波束关联，所述边缘服务器根据关联结果对接入点波束资源池进行更新；然后，对所述用户设备进行波束跟踪，并根据波束跟踪结果判断是否需要进行波束释放，以及在判断结果为是时对相应波束进行释放，并在波束释放完成后分别对用户设备波束资源池和接入点波束资源池进行更新；从而实现在接入时隙不断开用户设备所有波束连接，保障基于波束通信的可靠性和稳定性。

为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有基于池化的波束管理程序，该基于池化的波束管理程序被处理器执行时实现如上述的基于池化的闭环自适应波束管理方法。

根据本发明实施例的计算机可读存储介质，通过存储基于池化的波束管理程序，以使得处理器在执行该基于池化的波束管理程序时，实现如上述的基于池化的闭环自适应波束管理方法，从而实现在接入时隙不断开用户设备所有波束连接，保障基于波束通信的可靠性和稳定性；同时，降低信令复杂度和计算时间复杂度，降低波束关联过程所需付出的能耗代价。

为了实现上述实施例，本发明实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于池化的闭环自适应波束管理方法。

根据本发明实施例的计算机设备，通过存储器对基于池化的波束管理程序进行存储，以使得处理器在执行该基于池化的波束管理程序时，实现如上述的基于池化的闭环自适应波束管理方法，从而实现在接入时隙不断开用户设备所有波束连接，保障基于波束通信的可靠性和稳定性持在最优状态。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。