具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了进一步提升无线传输的频谱效率，在B5G/6G通信系统架构中，大规模多输入多输出(Massive MIMO)技术成为了越来越重要的一环。Massive MIMO技术中的传输天线形成的传输波束需要指向特定的方向。随着毫米波以及更高频段的引入，传输天线设计进入了更加复杂的阶段，多面板的天线结构进一步提升了频谱效率和基站的覆盖范围。然而，多面板结构的传输天线设计中的复杂性给波束选择算法带来了更大的挑战。同时，为了在吞吐量和用户公平性之间保持平衡，需要设计复杂的波束选择策略来提高平均和边缘频谱效率。然而，由于干扰和多面板传输天线信道状态的复杂性，传统的基于优化理论的方案不能充分挖掘大规模MIMO的潜力，甚至可能导致性能下降。

为了适应多面板传输天线设计中复杂的干扰和无线环境的高动态性，深度强化学习被认为是大规模多输入多输出系统波束选择的一种潜在解决方案。深度强化学习被应用于大规模MIMO系统的波束选择中，它可以精确地逼近波束选择决策与无线环境之间的关系。然而，基于DRL的波束选择在实际B5G/6G系统中的实现仍然面临着一些关键问题：首先，现有的基于DRL的波束选择方案通常以连续信道信息为状态，对波束选择和资源分配进行联合管理会带来巨大的计算量，对算力提出了更高的要求。同时高维度连续的信道状态信息也使得训练数据的维数极高，甚至无法收敛，并且其应用在实际系统中的性能还不得而知。因此如何能够智能地实现复杂的波束选择，实现资源的高效利用是一个亟待解决的问题。

本发明的创新点在于：本发明基于深度强化学习的方法设计了波束选择模型，采用增量奖励函数设计以及提升项和惩罚项的设计思路，实现损失函数快速收敛，另外，根据实时采集的状态信息进行离散化状态参数的在线训练，极大减少运算数据量。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图1为一种大规模MIMO下行传输场景实施例，提供了一种本发明方法适用的大规模MIMO下行传输场景。

在本发明实施例中，每个扇区内有一个基站，在该基站下分布有Z个用户，每个基站都配备了一个由M_g×N_g个天线面板组成的大型MIMO天线阵列，每个面板上有M×N个双极化或单极化或全极化天线，需要说明的是，对每个面包上的天线极化方式不做限定，还可以是圆极化、椭圆极化等其他极化方式。

为了保证基站的覆盖性能，需要将所有的波束分配到各个面板上，然后选择这些波束来提高调度用户的吞吐量和管理复杂的干扰。首先，基站会进行全方向的波束扫描，以固定间隔通过发射波束发射同步信号。然后，用户侧在收到基站侧的波束后对不同的波束进行信号质量的测量。其次，用户根据测量结果选择能使参考信号接收功率达到最大的波束对进行信号传输。最后，用户侧向基站上报所选的最佳波束。

图2为一种基于深度强化学习的波束选择方法流程实施例，可用于大规模MIMO技术中的传输波束选择，作为本发明实施例，一种基于深度强化学习的波束选择方法，具体包含以下步骤101～104：

步骤101、实时采集候选波束集、信道状态信息、边缘频谱效率和平均频谱效率，封装成状态信息。

在步骤101中，基站周期性地轮询所有波束发射同步信号块(SSB)或信道状态信息参考信号(CSI-RS)进行波束扫描，终端轮询所有接收波束进行波束测量，根据测量结果将参考信号接收功率最大的K₁个基站发射波束及对应的信道状态信息上报给基站，并记录K₁个发射波束对应的最佳接收波束，同时记录该扇区的平均频谱效率和边缘频谱效率。

步骤101具体包含以下步骤101A～101B。

步骤101A、将接收波束与发射波束进行配对，选择接收功率达到最大的接收波束。

在步骤101A中，基站周期性地轮询所有波束向所在扇区内的终端发射同步信号块或信道状态信息参考信号，扇区内的每个终端对基站发射的同步信号块或信道状态信息参考信号进行接收信号强度测量，对于基站侧发射的第i个波束终端轮询所有的接收波束与发射波束进行配对，与表示能使参考信号接收功率达到最大的接收波束。

其中，P_m,i为最大RSRP(参考信号接收功率)的波束对，为基站发射的第i个波束，为能使参考信号接收功率达到最大的接收波束，为用户k₀的接收波束，k₀为用户序号，为用户所接收波束的全集，为波束配对后用户的RSRP。

步骤101B、将接收功率达到最大的接收波束对应的基站发射功率作为所述候选波束集，将所述候选波束集和对应的信道状态信息、边缘频谱效率和平均频率效率封装成所述状态信息。

在步骤101B中，终端选择K₁个能使参考信号接收功率最大的基站发射功率作为候选波束集S_d并上报给基站，并记录K₁个发射波束对应的最佳接收波束。

在步骤101B中，在信道状态测量周期，基站配置所有阵面分别发射候选波束集合S_d下的信道状态信息参考信号CSI-RS，终端使用发射波束对应的最佳接收波束进行信道状态测量得到信道状态信息CQI。

在步骤101B中，基站将终端上报来的候选波束集S_d、信道状态信息CQI和边缘频谱效率η_E、平均频谱效率η_A封装成状态信息S＝{S_d,CQI,η_E,η_A}。

步骤102、建立深度强化学习模型，将所述状态信息作为输入数据进行在线训练，直至损失函数收敛完成训练过程。

在步骤102中，所述深度强化学习模型的输入数据为实时更新的所述状态信息，输出数据为Q值(动作估值函数)。

需要说明的是，所述状态信息按照采样周期更新，采样周期可以为每时隙，也可以为其他周期，这里不做特别限定。每个采样周期的状态信息都对应一个Q值，即每进行一次状态信息更新，都重新计算一次Q值。

在步骤102中，每采集一次状态信息就作为输入数据代入深度强化学习模型，每进行一次状态信息更新，都重新计算损失函数，直至损失函数收敛。

进一步地，步骤102进一步包含以下步骤102A～102D。

步骤102A、构建并初始化深度强化模型中的神经网络。

在步骤102A中，所述神经网络的输入数据为所述状态信息，输出数据为每一个时隙状态信息对应的动作估值函数。

具体地，第一，设定动作向量空间：

其中，a为所述动作空间向量，为第m行第n列的天线面板选择的波束方向，m为天线面板的行序数，n为天线面板的列序数，1≤m≤M_g，1≤m≤N_g，M_g为第i个基站配备的天线面板的总行数，N_g为第i个基站配备的天线面板的总列数。

在步骤102A中，每个基站都配备了一个由M_g×N_g个天线面板组成的大型MIMO天线阵列。

第二、构建两个相同的神经网络分别为评估神经网络和目标神经网络，设定所述评估神经网络参数C，和初始化所述目标神经网络参数C′，C′＝C，其中，C＝[n₀,n_h,n_in,n_out,θ,b,a₀]，n₀为所述评估神经网络的隐含层数的个数，n_h为每个隐含层包含的神经元的个数，n_h＝[n_h1,n_h2,……,n_hn0]，n_h1、n_h2、……n_hn0分别为第1、2、……n₀个神经元，n_in为输入层神经元的个数，等于所述状态信息S的长度，n_out为输出层神经元的个数，等于所述动作向量空间的所有可能取值，θ为评估神经网络权重参数，对其进行随机初始化设置，b为偏置，a₀为激活函数。

优选地，所述激活函数可选择ReLU函数，也可选择其他函数，这里不做特别限定。

还需说明的是，评估(eval)神经网络用于获得当前状态的动作估值函数以及选择动作，目标(target)神经网络通过选择下一个状态最大的动作估值函数计算目标动作估值函数，用以完成对评估神经网络参数的更新。

步骤102B、将所述状态信息作为训练数据输入所述深度强化学习模型，对模型参数进行在线训练。

在步骤102B中，每采集一次状态信息，就代入所述深度强化学习模型，进行一次在线训练。

在步骤102B中，以第k个时隙的状态信息数据为例，首先，将第k个时隙的所述状态信息输入所述深度强化学习模型的评估神经网络中。

第二，设定评估概率ε_a，以所述评估概率从所述动作向量空间中随机选择任一动作，以概率1-ε_a从所述评估神经网络中选择满足条件argmax_aQ(S,a；θ)的动作作为选择动作，其中Q(S,a；θ)为动作估值函数，S为所述状态信息。

需要说明的是，动作估值函数Q(S,a；θ)是关于状态信息S，动作向量空间a和评估神经网络权重参数θ相关的函数，每执行一次动作，都重新计算一次动作估值函数，argmax_aQ(S,a；θ)是指在所有动作估值函数中数值取值最大的一个。

也就是说从根据评估神经网络计算的所有Q值(动作估值函数)中选择数值最大的Q值对应的动作作为所述选择动作。

第三，计算采取所述选择动作后的平均频率效率和边缘频率效率，进一步计算采取所述选择动作后的所获得的奖励函数和动作估值函数，

其中，a^k为所述选择动作，S^k为所述第k个时隙的状态信息，r^k为所述采取选择动作后的所获得的奖励函数，分别为第k个、第k-1个时隙执行完动作后的整个扇区的平均频谱效率，分别为第k个、第k-1个时隙执行完动作后的整个扇区的边缘频谱效率，μ_A、μ_E、ν_A、ν_E分别为第一、第二、第三、第四权重系数，θ_A为平均频谱效率惩罚项，θ_E为边缘频谱效率惩罚项，Q(s^k,a^k；θ)为第k个时隙对应的动作估值函数，r_y ^k+1、r_y ^k+2、r_y ^k+3分别为第k+1、k+2、k+3个时隙对应的奖励函数预测值，λ扣因子，Q(s_y ^k+1,a_y ^k+1；θ)为第k+1时隙动作估值函数预测值，s_y ^k+1为第k+1时隙状态信息预测值，a_y ^k+1为第k+1时隙预测动作。

需说明的是，每个扇区内有一个基站，整个扇区的平均频谱效率是指该基站所有发射波束对应的平均频率效率，整个扇区的边缘频谱效率是指该基站所有发射波束对应的额边缘频谱效率。

还需说明的是，所述第一～第四权重系数和折扣因子为设定的取值，这里不做具体限定。

优选地，为了更进一步加速收敛，奖励函数可采用采用增量reward的方式，需说明的是，所述奖励函数也可采用其他方式，这里不做特别限定。

在公式(3)中第一项表示平均频谱效率的提升，第二项为边缘频谱效率的提升，后两项为对于参数的惩罚因子。

在公式(4)中，E[r_y ^k+1+λr_y ^k+2+λ²r_y ^k+3+...|S^k,a^k]为长期奖励的期望值，E[r^k+λQ(S_y ^{k +1},a_y ^k+1；θ)|S^k,a^k]为根据贝尔曼方程达到的长期奖励的期望。

在公式(4)中，当前的Q值等于采取动作a^k所获得的奖励r^k加上到达的下一状态的Q值，根据公式(4)还可以计算出下一个状态的参数值并将S_y ^{k +1}、a^k、r^k和S^k存储到记忆单元D中，用于接下来的模型训练。

第四，为了解决样本之间的相关性与非静态分布问题，从记忆单元D中随机拿出F个样本，并将S_y ^k+1输入目标神经网络，计算对应的动作估值函数，从中选择最大的动作估值函数Q'(s^k+1,a^k+1；θ')，其中θ'为目标神经网络权重参数。

第五，计算所述损失函数：

Loss＝(Q_target-Q(s^k,a^k；θ))² (5)

Q_target＝Q(s^k,a^k；θ)+λQ'(s^k+1,a^k+1；θ') (6)

其中，Loss为所述损失函数，Q_target为目标动作估值函数，λ为所述折扣因子。

第六，对所述所示函数采用梯度下降方法计算和更新所述评估神经网络的权重参数。

梯度下降计算方法如下：

根据计算出的梯度，选择梯度下降最快的方向对评估神经网络权重参数θ进行更新。

步骤102C、每完成一次所述评估神经网络的权重参数更新，都对所述目标网络进行权重参数更新。

在步骤102C中，每进行1次评估神经网络的参数更新，使θ′＝θ，实现对目标神经网络的更新。

步骤102D、用实时采集的所述状态信息对所述评估神经网络和权重神经网络进行训练，直至所述损失函数收敛。

在步骤102D中，重复上述步骤102B～102C不断收集当前传输时隙的状态信息作为训练数据对模型进行在线训练直至损失函数收敛。

步骤103、根据最新的所述状态信息，对所述深度强化学习模型进行性能评估，若同时满足预设的边缘频率效率目标和平均频谱效率目标，则将所述深度强化学习模型作为波束选择模型，否则持续训练直至同时满足预设的边缘频率效率目标和平均频谱效率目标。

在步骤103中，根据最新的所述状态信息，对所述深度强化学习模型进行性能评估，得到波束选择的决策结果，根据该决策结果对进行波束选择。

为了提高频谱利用率，提前设置扇区的平均频谱效率和边缘频谱效率目标值。如果波束选择策略结果能够同时达到预设的平均频谱效率和边缘频谱效率，则完成性能评估过程；如果不满足要求，则返回步骤102，继续对模型进行训练直至满足性能需求。

步骤104、将最新采集的状态信息作为输入数据代入所述波束选择模型，得到的动作估值函数作为波束选择决策结果。

在步骤104中，从基站测获取当前扇区记录的平均频谱效率和边缘频谱效率。

在步骤104中，基站配置所有阵面分别发射候选波束集合下的信道状态信息参考信号，终端使用发射波束对应的最佳接收波束进行信道状态测量得到CQI。

在步骤104中，将将最新采集的状态信息输入所述波束选择模型，获得波束选择决策结果。

具体地，将获得的当前传输时隙的候选波束集，信道状态信息和频谱效率组合成状态信息，并输入训练好的波束选择模型，获得波束选择的决策结果。

在步骤104中，根据所述波束选择决策结果，对基站侧所有的天线面板进行波束的选择。

具体地，根据波束选择决策结果，基站对所有天线面板的波束进行选择，从而使得扇区内用户达到最高的边缘频谱效率和平均频谱效率，实现有限频谱资源的高效利用和传输资源的智能调度。

需要说明的是，步骤104为本发明实施例可选步骤，非必须步骤。

还需说明的是，上述步骤101～104不限定持续关系，还可以循环运行。

本发明实施例提供的基于深度强化学习的波束选择方法，通过深度强化学习的方法对用户的信道状态信息、扇区的平均频谱效率的边缘频谱效率进行训练，得到波束选择决策结果，根据决策结果进行波束选择，有效地解决了无线通信系统中传输资源紧缺问题。

图3为基于深度强化学习的神经网络架构实施例，可用于本发明方法评估神经网络和目标神经网络的架构。

在本发明实施例中，神经网络架构包含输入层、隐含层和输出层，输入层的输入数据包含直接状态信息和间接状态信息，其中间接状态信息为实时采集的信道状态信息，直接状态信息为计算得到的边缘频谱效率(ASE)和平均频谱效率(ESE)；输入层的参数配置为C，包含M个参数配置信息，为C₁、C₂、C_M。

神经网络架构中隐藏层通过大量的神经元和激活函数来不断拟合输入与输出之间非线性的映射关系。

神经网络架构的输出层的输出数据为Q值，可用于计算波束选择决策结果。

图4为一种基于深度强化学习的波束选择系统实施例，可用于本发明任一实施例的基于深度强化学习的波束选择方法，作为本发明实施例，一种基于深度强化学习的波束选择系统，包含：采集模块1、学习模块2、评估模块3。

所述采集模块，用于实时采集候选波束集、信道状态信息、边缘频谱效率和平均频谱效率，封装成状态信息；所述学习模块，用于建立深度强化学习模型，将所述状态信息作为输入数据进行在线训练，直至损失函数收敛完成训练过程；所述评估模块，用于根据最新的所述状态信息，对所述深度强化学习模型进行性能评估，若同时满足预设的边缘频率效率目标和平均频谱效率目标，则将所述深度强化学习模型作为波束选择模型，否则持续训练直至同时满足预设的边缘频率效率目标和平均频谱效率目标。

需要说明的是，本系统的工作过程还反映在步骤101～104的实施例中，这里不再赘述。

图5为神经网络的训练流程及参数更新过程实施例。

在本发明实施例中，首先通过仿真控制器，例如DSP芯片，进行全局参数设置和波束管理初始化，全局参数设置是指对于仿真参数中全局变量的设置，波束管理初始化是指对于仿真中神经网络参数的初始化，通过仿真控制器中的时间控制器提供波束选择过程和模型更新过程的工作时钟。

其次，在基站侧进行初始化的资源分配，包含分别波束选择方式，用户调度和资源分配，计算频率效率，并将得到的状态信息进行数据存储。

第三，将实时采集候选波束集、信道状态信息、边缘频谱效率和平均频谱效率作为输入数据，输入深度强化学习模型进行深度Q学习和在线训练，直至损失函数收敛完成训练过程，再对深度强化学习模型进行实时模型更新，具体地根据最新的所述状态信息，对所述深度强化学习模型进行性能评估，若同时满足预设的边缘频率效率目标和平均频谱效率目标，则将所述深度强化学习模型作为波束选择模型，否则持续训练直至同时满足预设的边缘频率效率目标和平均频谱效率目标。

在进行模型训练时，对训练过程中产生的选择动作、奖励函数、状态信息实时数据、状态信息预测数、边缘频谱效率和平均频谱效率进行数据存储。

第四，将当前状态信息输入所述波束选择模型，得到波束选择决策结果，根据所述波束选择决策结果对基站侧所有的天线面板进行波束的选择。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。