具体实施方式

下面结合附图对本发明的技术方案进行详细描述：

如图1所示，一种无人机抗干扰通信系统，考虑一个抗全频段强功率干扰的通信网络，该网络内存在一个基站对于移动用户进行通信覆盖服务，但一个全频段的全向干扰机以功率压制的方式对于合法通信进行干扰。该干扰机具备一定的隐蔽性，其信息对于合法通信双方无法准确获取，为了达到最大吞吐量，通过联合调整智能反射表面无人机的位置与智能反射表面被动波束成形，充分探索该系统的抗干扰效能。

进一步地说，在某一拓扑状态内，移动用户D接收到的信号定义为：

其中，P_S为基站发射功率，P_J是干扰机干扰功率，H_S、H_J、h_SD和h_JD是基站S与移动用户D直射链路信道增益、干扰机J与移动用户D直射链路信道增益、基站S信号经智能反射表面U反射后到达移动用户D的联合信道增益和干扰机J信号经智能反射表面U反射后到达移动用户D的联合信道增益。x_S为基站发射信号，x_J为干扰机发射信号，z为移动用户D接收到的高斯白噪声，其服从均值为0，方差为δ²的高斯分布。因此，移动用户D在某一拓扑状态下的信干噪比具体表示为：

因此，移动用户D接收的可达通信速率表示为：

考虑通过联合优化无人机运动轨迹与智能反射表面被动波束成形，其中智能反射表面信道与波束成形方向存在强烈耦合关系，因此经智能反射表面反射后用户接受信道具体表示为：

其中，G_t,G_r和G是发射端，接收端和智能反射表面反射单元的天线增益，M和K是智能反射表面包含反射单元的行数和列数，d_x和d_y是反射单元的行宽和列宽，d₁和d₂是智能反射表面与发送端和接收端之间的距离，θ_t和θ_r是发射端信号和接收端信号与x轴的夹角，和为发射端信号和接收端信号与z轴的夹角，A是智能反射表面对于信号幅度的调整值，λ是信号的波长，是反射单元的归一化功率辐射函数，是波束成形方向偏移函数，其反映了波束成形方向偏移造成的信号幅度衰减，具体表示为：

其中，φ_k,m是第行列反射单元所对应的相位变化值，当波束成形方向与接收端完全对齐，则反射单元的相位变化值可以表示为

根据智能反射表面相位与波束成形方向的耦合关系可以通过波束成形方向降低相位设计的算法复杂度。

如图2所示，本发明的基于深度强化学习的联合轨迹与波束成形优化方法的具体过程为：发送方与智能反射表面在通信过程中，首先进行状态感知，然后执行基于深度强化学习的优化算法，依概率进行位置部署与波束成形的优化，通信后根据反馈值调整概率。其中，优化算法包括以下步骤：

步骤1，通过设计状态、动作、回报值以及转移概率函数将该抗干扰通信问题建模为马尔科夫决策过程

步骤2，初始化系统场景及神经网络，根据状态收集、动作决策及反馈对神经网络参数进行更新。

步骤3，将执行算法后的路径与波束成形方案进行记录。

其中，步骤1中，通过被动波束成形模型设计，大尺度智能反射表面的相位变化优化算法动作状态空间得到降低，利于路径规划过程中强化学习收敛速度的提升，进一步提高算法的反应速度与抗干扰场景下的适配性。步骤2中，发送端通过信道感知以及无人机的状态信息通信链路获取移动用户的位置和信道状态信息，在既定波束成形方向的情况下，可以直接对于发送端到智能反射表面端的波束成形方向进行校正。另一方面，由于干扰机的信息未知，通过深度强化学习交互的方式对于干扰机的信息进行探索，利用波束成形方向的实时控制寻找最佳智能反射面被动波束成形方案与无人机飞行轨迹。

在深度强化学习算法中，包括以下步骤：

初始化，迭代次数设为i＝1，设置状态-动作-汇报存储空间，神经网络初始化参数，以及探索-利用概率ε。

步骤11，智能反射表面-无人机与环境进行交互，获取i时刻的状态s_i。

步骤12，智能反射表面-无人机依概率进行运动轨迹和被动波束成形相位设计的动作选择。通过ε-greeedy探索-利用策略，具体表示为：

其中，a_i为智能反射表面-无人机在i时刻的动作选择，s_i为智能反射表面-无人机在i时刻的状态，Q(s_i,a_i)为智能反射表面-无人机在s_i的状态下做出a_i动作后的回报值，根据公式(7)，在s_i的状态下，智能反射表面有ε的概率选择使得其回报值最大的动作，有1-ε的概率随机选择动作。通过在迭代过程中逐渐增加ε的值智能反射表面-无人机可以在探索与利用之间寻求平衡，在尽可能的探索所有动作的情况下，较快地获得最优方案。

步骤13，执行动作a_i后达到的下一时刻状态s_i+1，并获取回报值，将状态-动作-回报值-下一时刻状态[s_i,a_i,r_i,s_i+1]储存在滑动存储窗口中。

步骤14，令i＝i+1以及s_i＝s_i+1，重复步骤11-14，直至滑动存储窗被历史经验数据填满。

步骤15，当滑动存储窗被历史经验数据填满后，计算多步的经验数据，其中多步回报值的具体表示为：

其中，N是滑动储存窗的长度，γ是回报值的折扣率，反应了今后回报值对于现在动作的影响程度，当γ＝1时，则充分考虑未来回报值的影响，但会造成回报值的过度震荡，影响收敛效果。当γ＝0时，则仅仅考虑下一时刻回报值的影响，算法决策速度快，但会丢失对于未来趋势的把握。

在获得多步回报值后，将多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]存储在经验池中，用于神经网络的进一步更新。同时，不断获取的新的[s_i,a_i,r_i,s_i+1]在储存入滑动存储窗时，旧的信息会被抛弃，通过滑动存储窗不断得到新的多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]不断存入经验池中。

步骤16，当经验池中的多步经验信息达到一定数量时，开始对于神经网络进行更新，否则重复步骤11-15。

步骤17，更新神经网络参数。并在迭代过程中不断增加ε的值。使得智能反射表面-无人机有趋向性地做出使得回报值大的动作选择。

本发明利用感知信道状态后智能反射表面可以执行的被动波束成形设计可以分两种情况：①增强有用信号②降低干扰信号。

增强有用信号，即发送端经智能反射表面反射后到达用户接收端的信号与发送端和接收端直达信号之间的相位相同，接收端将信号进行叠加后有用信号强度远大于干扰信号强度，从而达到抗干扰的目的。

降低干扰信号，不管干扰信号以多大的功率进行干扰，智能反射表面将干扰发出的信号进行反射后在接收端进行重新聚焦，但信号经过反相处理，因此在接收端直射的干扰信号与反射的干扰信号会进行抵消，相对于有用信号，干扰信号得到降低，抗干扰通信效果得到提升。

实施例1

本发明的第一个实施例具体描述如下，系统仿真采用python语言，参数设定不影响一般性。假设各节点相对位置如图3所示。基站位置W_S＝[10,10]，移动用户初始W_D[0]＝[1000,1000]，仿真结果如图4所示。

图4给出了不同干扰功率下，各优化方案的抗干扰通信效能示意图，可以看出通过所提出的联合轨迹与波束成形优化，系统的抗干扰效能相对于单一优化方法在动态环境中可以得到显著提高。并且在干扰功率较高时也可以保持明显的抗干扰通信效果，实现了在强功率全频段干扰条件下的稳健抗干扰通信。

实施例2

本发明的第二个具体实施例如下描述，系统仿真采用python软件，参数设定不影响一般性。针对不同干扰位置，所提联合优化方法可以在未知干扰机位置的情况下保持较高的抗干扰通信速率，同样对比单一的优化方法抗干扰效能得到显著提高。证明了该算法在未知环境中的适配性。

此外，对算法的性能进行仿真分析，将本算法与不同算法进行比较，可达通信速率对比图如图5所示。对于不同干扰位置，本文提出的联合优化算法明显优于一般的随机算法。

综上所述，本专利给出了联合路径与波束成形优化方案，能使得在全频段高功率干扰机条件下的抗干扰通信性能达到最优。