具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1和图2，本实施例提供一种基于深度强化学习的基站预编码与智能反射表面相移联合优化方法，该方法针对智能反射表面辅助的多用户MISO无线传输系统，基站配置有M根天线，智能发射表面配置有N可编程的发射元素，用户配置单根接收天线。基于系统中的统计信道状态信息、用户位置及角度信息，利用深度强化学习算法进行基站预编码矩阵和智能反射相移矩阵进行联合优化设计，在一个长时间尺度内只需进行一次基站预编码和智能反射表面相移的配置，在剩余的时间空隙只需要进行数据传输。

具体的说，包括如下步骤：

在一个智能反射表面辅助的多用户MISO无线传输系统中，对系统的信道采用莱斯信道模型进行建模，基站和智能发射表面的位置已知，并同时考虑基站到用户之间的直达路径和基站经过智能反射表面到达用户的级联路径。具体的实施过程如下：

步骤1、基站配置有M根天线，智能发射表面配置有N个可编程的发射单元，用户配置单根接收天线；当用户的位置信息或者角度信息发生改变时，基站获取角度信息、位置信息和统计信道信息；

位置信息为K个用户的三维坐标。基站与智能反射表面的位置信息保持不变。

角度信息包括：基站到智能发射表面信号的出发角从基站到智能反射表面信号的到达角智能反射表面到第k个用户信号的出发角基站到第k个用户信号的出发角

统计信道信息包括：基站与智能反射表面信道的莱斯因子α，基站与用户k间信道的莱斯因子β_k，智能反射表面与用户k间信道的莱斯因子γ_k。

步骤2、基站离线计算生成大量的完整的无线信道矩阵，作为深度强化学习算法进行离线训练的数据集；

计算大量的完整无线信道矩阵的过程包括以下子步骤：

a1)利用步骤1获取到的角度信息，分别计算基站与智能反射表面间信道视距分量基站与用户k间信道视距分量智能反射表面与用户k之间信道视距分量其中a_x(θ)＝[1,e^jθ,…,e^j(x-1)θ]^T，x＝M,N，[·]^T表示求矩阵的转置。

a2)分别计算基站与智能反射表面间信道非视距分量基站与用户k之间信道非视距分量和智能反射表面与用户k之间信道非视距分量 和中的元素为随机生成，且均服从零均值单位方差的复高斯分布；

a3)通过K个用户的位置信息，分别计算基站和智能发射表面到用户k的距离d_k和D_k。基站到智能发射表面的距离保持为d₀。因此，

基站到智能反射表面之间的路径损耗

基站到第k个用户之间的路径损耗

智能反射表面到第k个用户之间的路径损耗其中PL₀是在dis₀＝1米的路径损耗；

a4)分别计算三组信道矩阵：

基站与智能反射表面间信道矩阵

基站与用户k间信道矩阵

智能反射表面与用户k之间的信道矩阵

步骤3、基站利用步骤2得到的数据集进行离线训练，不断地更新深度强化学习算法的神经网络参数，使得深度强化学习算法输出的基站预编码矩阵和智能反射表面相移矩阵实现深度强化学习模型的参考奖励值的最优化收敛，保存最优化收敛下输出的基站预编码矩阵W和智能反射表面相移矩阵Φ。

离线训练每一个回合的训练过程包括以下子步骤：

b1)按次序提取一组在步骤2中生成的完整的信道矩阵数据；

b2)初始化循环次数i←0，初始化智能反射表面的反射相位构造智能反射表面初始相移矩阵初始化基站天线预编码矩阵W⁽⁰⁾，设定单个回合循环的最大次数；

b3)计算系统中各用户的初始传输速率提取所有用户传输速率中的最小值作为当前循环的奖励函数值r⁽⁰⁾，其中表示用户k初始瞬时信干噪比，其中和分别表示基站天线预编码矩阵W⁽⁰⁾的第k列和第j列向量，表示用户k端的加性高斯白噪声方差。

b4)将完整的信道矩阵G₀，g_k和h_k，和智能反射表面相移矩阵Φ⁽⁰⁾、基站天线预编码矩阵W⁽⁰⁾作为神经网络的输入，下一次训练时的智能反射表面相移矩阵Φ⁽¹⁾和基站天线预编码矩阵W⁽¹⁾作为神经网络的输出；

b5)判断循环终止条件，如果循环次数小于最大循环次数，则重复以下操作，否则转到步骤b9)：

b6)基于上一循环神经网络输出的智能反射表面相移矩阵Φ⁽ⁱ⁾和基站天线预编码矩阵W⁽ⁱ⁾，重新计算系统中各用户的传输速率提取所有用户传输速率中的最小值作为当前循环的奖励函数值r⁽ⁱ⁾，其中表示用户k的瞬时信干噪比，其中，和表示基站天线预编码矩阵W⁽ⁱ⁾的第k列和第j列向量；

b7)更新神经网络输入的智能反射表面相移矩阵为Φ⁽ⁱ⁾，基站天线预编码矩阵为W⁽ⁱ⁾，得到下一个循环的输出参数为Φ⁽ⁱ⁺¹⁾和W⁽ⁱ⁺¹⁾；

b8)更新循环次数i←i+1并转到步骤b5)；

b9)对所有循环的奖励值求平均值，作为本回合训练的参考奖励值。

步骤4、基站通过基站与智能反射表面控制端的直接链路，将步骤3得到的智能反射表面矩阵参数智能反射表面相移矩阵Φ传输给智能反射表面的控制端，并进行相应的配置；

步骤5、当角度信息或位置信息发生改变时，系统重新步骤1至步骤5。

具体的说，在本实施例中，步骤3中深度强化学习算法在训练过程中的参数包括：状态参数、动作参数、奖励函数；其中，动作参数为深度神经网络输出的参数，包括基站天线预编码矩阵W和智能反射表面相移矩阵Φ的实部和虚部；状态参数包括每一各训练回合设定的完整信道矩阵G₀，g_k和h_k的实部和虚部，以及上一次神经网络输出的基站天线预编码矩阵W和智能反射表面相移矩阵Φ的实部和虚部；奖励函数为上一次神经网络输出的动作参数下，按照公式计算得出的最小用户瞬时传输速率。

具体的说，在本实施例中，步骤3中智能反射表面相移矩阵的反射相位参数应满足0≤θ_n＜2π，n＝1,2,…,N；基站预编码矩阵应满足功率约束其中P_t表示基站最大传输功率值，表示求期望，tr{·}表示求矩阵的迹，[·]^H表示求矩阵的共轭转置。

通过利用深度确定性策略梯度算法进行神经网络参数的迭代更新，可以实现在用户最小速率在统计意义上的最优化收敛，绘制出智能反射表面元素个数与用户最小传输速率之间的关系如图2所示。

综上，本发明的方法基于统计信道状态信息，可以显著的降低系统传输过程中的信道估计开销和实现的复杂度。并且，本方法使用深度强化学习算法进行基站预编码和智能反射表面相移的联合优化设计，能够与长时间信道状态信息更新的时间尺度相匹配，并保证多用户系统在长时间统计意义下的传输稳定最优。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。