面向多输入多输出检测的模型驱动的深度神经网络方法

文档序号:1965937 发布日期:2021-12-14 浏览:23次 >En<

阅读说明:本技术 面向多输入多输出检测的模型驱动的深度神经网络方法 (Model-driven deep neural network method for multi-input multi-output detection ) 是由 方俊 万千 黄银森 段惠萍 李鸿彬 于 2021-09-10 设计创作,主要内容包括:本发明属于无线通信技术领域,具体涉及一种面向多输入多输出检测的模型驱动的深度神经网络方法。符号检测方法是提高系统频谱效率的重要一环,所以本发明致力于设计更优的符号检测器,以此来提升系统性能以及降低时间复杂度。本发明采用基于模型驱动的深度学习方法,将贝叶斯估计算法展开成多层深度学习网络,通过最大化松弛的证据下界(ELBO)来优化学习参数,可以获得具有性能优势和较低时间复杂度的检测器。不同于现有深度学习方案,本发明所提出的方案无需知道噪声方差,这是由于本发明所提出的方法可以自动更新噪声,这具有现实意义。同时,本发明所提出方案适用于离线和在线训练两种模式。(The invention belongs to the technical field of wireless communication, and particularly relates to a model-driven deep neural network method for multi-input multi-output detection. The symbol detection method is an important part for improving the spectrum efficiency of the system, so the invention aims to design a better symbol detector so as to improve the system performance and reduce the time complexity. The invention adopts a deep learning method based on model driving, expands a Bayesian estimation algorithm into a multilayer deep learning network, optimizes learning parameters by maximizing relaxed Evidence Lower Bound (ELBO), and can obtain a detector with performance advantage and lower time complexity. Unlike the existing deep learning scheme, the scheme provided by the invention does not need to know the noise variance, because the method provided by the invention can automatically update the noise, which has practical significance. Meanwhile, the scheme provided by the invention is suitable for an offline training mode and an online training mode.)

面向多输入多输出检测的模型驱动的深度神经网络方法

技术领域

本发明属于无线通信技术领域,具体涉及一种面向多输入多输出检测的模型驱动的深度神经网络方法。

背景技术

大规模多输入多输出(massive MIMO)系统是下一代无线通信系统的关键技术,通过采用大规模阵列天线,可以有效提高系统的频谱效率。符号检测是大规模多输入多输出系统中的关键信号处理问题,典型传统方案包括迫零方法(ZF)和极大似然方法(ML),尽管迫零方法时间复杂度低,但是性能比较差,极大似然方法性能最优的检测器但是其计算复杂度很高。为了平衡系统性能以及计算复杂度,本发明将通过基于模型驱动的深度学习技术,基于变分贝叶斯推断并引入少量可学习参数,从而获得更优的符号检测性能。由于需要学习的参数数量少,网络结构容易训练。该发明具有性能优、计算复杂度低、易于训练的特点。

发明内容

本发明的目的在于提出性能更优的多输入多输出符号检测器,更好地平衡系统性能与计算复杂度之间的关系。通过设计一个基于贝叶斯学习的模型驱动的深度网络,以此获得更优的符号检测器。本发明将分别针对独立同分布高斯信道(i.i.d.Gaussianchannel)和任意相关信道(correlated channel)来设计两种模型驱动深度学习检测器。同时,本发明提出的深度网络的学习参数数量很少,所以在较少的样本条件下可以进行有效训练。同时,所提出的方法既可以线上训练也可以线下训练。不同于现有的基于深度学习的检测方案,本发明所提出的方案无需知道噪声方差,这是由于本发明所提出的方法可以自动更新噪声参数,因此可以在噪声方差未知的环境中取得更优越的性能。在多种信道模型下,本发明所对应提出的方法有着良好性能以及较低的时间复杂度。

本发明的技术方案为:

一种面向多输入多输出检测的模型驱动的深度神经网络方法,系统包括天线数为Nt的基站和Nr个单天线用户,将复信道矩阵表示为发射信号x为正交振幅调制(QAM),x的每个元素属于离散星座集合M为离散星座集合中的元素总个数,信号x的先验分布为且x第i个元素的概率为Π表示连乘符号,δ(·)表示狄拉克函数;在接收端,加性噪声为其中表示均值为0和方差为的复高斯分布,ε是噪声的逆方差,接收信号为:

y=Hx+n

已知y和H,所述信号检测方法为:

S1、判断信道类型,若是独立同分布高斯信道,进入步骤S2-S3,若是相关瑞利信道,进入步骤S4-S5;

S2、构建深度网络检测器,所述深度网络检测器共有Llayer层,设置学习参数为其中表示从第1层到第Llayer层ct的集合。对于第(t+1)层,输入包括y,H,xt和εt,其中xt和εt分别表示第t层的信号估计和噪声方差估计,输出为xt+1和εt+1;每层深度网络检测器包括线性估计器、非线性估计器和噪声估计,其中:

第t层的线性估计器输出信号为

rt=xt+T-1HH(y-Hxt)

其中,对角矩阵T设置为此处⊙为点乘符号,Υ是一个可学习的对角矩阵,对角矩阵Hd的第i个对角元素为Hd[i,i]=(hi)Hhi,且hi表示信道矩阵H的第i列,(hi)H表示hi的共轭转置。

第t层的非线性估计器输出信号为

xt+1=ctE{x;rtt}+(1-ct)xt

其中E{x;rtt}表示变量x以rt为均值和以Φt为方差下的均值,信号x的第i个元素的期望为

所有i

其中N(xi;ri,ti,t)表示xi在均值ri,t和方差Φi,t下的高斯分布概率,同时,ri,t和Φi,t分别表示rt和Φt的第i个元素,p(xi)为xi的先验分布,信号x的第i个元素的二阶矩的期望为

所有i

第t层输出信号的协方差矩阵表示为该协方差矩阵为对角矩阵且它的第i个对角元素可以表示为

所有i

同时,

此处函数表示取复数的实部,则噪声逆方差更新为

其中a和b是固定的常数值,取10-10

S3、利用Pytorch框架下的Adam优化器来训练深度网络检测器的网络参数,通过最小化代价函数

进行训练,其中表示第t层输出信号xt和真实信号xtrue之间的平方误差,定义是最后一层网络输出的估计信号,则最终输出网络参数以及检测信号

S4、构建深度网络检测器,所述深度网络检测器共有Llayer层,设置深度网络检测器的学习参数为其中表示从第1层到第Llayer层δt的集合,其中表示从第1层到第Llayer层ct的集合,其中表示从第1层到第Llayer的集合。令信道矩阵的奇异值分解为H=UΣVH,U是矩阵H的左奇异矩阵,V是矩阵H的右奇异矩阵,Σ是矩阵H的奇异值,对于第(t+1)层,输入包括y,A,Σ,V,st和εt,其中st和εt分别表示第t层对信号和噪声方差的估计;每层深度网络检测器包括线性估计器、非线性估计器和噪声估计,其中:

第t层的线性估计器输出信号为

其中,对角矩阵Tt设置为

同时表示矩阵V的第i行,ri,t表示rt的第i个元素,xi表示x的第i个元素,xi,t+1表示xt+1的第i个元素,则第t层的非线性估计器输出信号为

xi,t+1=E{xi;ri,ti,t},所有i

st+1=ctVHxt+1+(1-ct)st

此处E{xi;ri,ti,t}表示变量xi以ri,t为均值和以Φi,t为方差下的均值,信号xi的期望为

所有i

其中N(xi;ri,ti,t)表示xi在均值ri,t和方差Φi,t下的高斯分布概率,同时,ri,t和Φi,t分布表示rt和Φt的第i个元素,p(xi)为xi的先验分布;

第t层输出信号的协方差矩阵表示为该协方差对角矩阵

此处I为单位矩阵,同时,

此处函数表示取复数的实部,则噪声逆方差更新为

其中a和b是固定的常数值,取10-10

S5、采用Pytorch框架下的Adam优化器来训练深度网络检测器的网络参数,通过最小化代价函数

进行训练,其中表示第t层输出信号Vst和真是信号xtrue之间的平方误差,定义是最后一层网络输出的估计信号,则最终输出网络参数以及检测信号

本发明的有益效果为,本发明所提出的贝叶斯学习深度网络下的通信系统符号检测方法适用于独立同分布高斯信道以及相关信道,实验表明,在较低复杂度下获得很好的性能,同时本发明所提出的符号检测方法,可以自动更新噪声方差,也就是无需提前知道噪声方差,这具有现实意义。

附图说明

图1为各深度学习方法误符号率(SER)与网络层数(Layer number)的关系,实验条件为独立同分布高斯信道和QPSK调制;

图2为各深度学习方法误符号率(SER)与SNR的关系,实验条件为独立同分布高斯信道和QPSK调制;

图3为各深度学习方法误符号率(SER)与SNR的关系,实验条件为3GPP信道模型和QPSK调制;

图4为各深度学习方法误符号率(SER)与SNR的关系,实验条件为相关瑞利信道和QPSK调制;

图5为各深度学习方法误符号率(SER)与SNR的关系,实验条件为输入噪声方差与真实噪声方差有偏差,同时信道为独立同分布高斯信道和调制方式为QPSK调制;

图6为各深度学习方法误符号率(SER)与SNR的关系,实验条件为输入噪声方差与真实噪声方差有偏差,同时信道为相关瑞利信道和调制方式为QPSK调制。

具体实施方式

下面结合附图和仿真示例对本发明进行详细的描述,以证明本发明的实用性。

本发明考虑上行链路多输入多输出(MIMO)系统的符号检测问题,基站配置天线数为Nt和单天线用户数为Nr,则复信道矩阵表示为在接收端,加性噪声为其中表示均值为0和方差为的复高斯分布,ε是噪声的逆方差。接收信号可以表示为

y=Hx+n

此处发射符号x为正交振幅调制(QAM),那么x的每个元素属于离散星座集合M为离散星座集合中的元素总个数。同时,信号x的先验分布为Π表示连乘符号,δ(·)表示狄拉克函数。最终,接收信号的似然函数为

同时,p(y|x,ε)的下界为

此处函数表示取复数的实部,需要注意的是T为对角矩阵且满足此处的表示函数f(x)二阶梯度。定义变量θ={x,ε},此时松弛的证据下界(ELBO)所对应的联合概率函数有

我们采用变分贝叶斯推断来交替更新各个变量,包括E更新和M更新,更新细节如下:E更新

1)更新qx(x)。忽略与x无关的项,则近似后验分布qx(x)可以如下获得

此处

r=<ε>Φ(HHy+Tz-HHHz)=z+T-1HH(y-Hz)

由于N(x;r,Φ)表示变量x以r为均值和以Φ为方差下的高斯分布,那么x的第i个元素的期望为

所有i

同时,的期望为

所有i

2)更新qε(ε)。忽略与ε无关的项,则近似后验分布qε(ε)可以如下获得

则ε服从伽马分布,且a,b为很小的常数,如a=b=10-10。此时

此处

此处函数表示取复数的实部,且Σx表示x的协方差矩阵,忽略信号x之间的相关性,此时Σx为对角矩阵且第i个对角元为

所有i

最终,ε的期望为

M更新

3)更新z。通过如下优化可以获得的估计值,

将对数函数求偏导等于0,可以估计出z,即

由于<ε>>0和T≥HHH,则z的解为

znew=<x>

根据以上框架,引入少量学习参数,可提出基于模型驱动下的深度学习检测器,命名为VBINet。所提出的深度网络检测器共有层数为Llayer,学习参数为对于第(t+1)层,输入包括y,H,xt和εt,其中xt和εt分别表示第t层对信号和噪声方差的估计。通过最小化每一层估计信号与真实信号之间的最小均方差,来更新网络参数,进而获得估计信号。第一步是线性估计器,第t层的线性估计器输出信号为

rt=xt+T-1HH(y-Hxt)

其中,对角矩阵T设置为此处⊙为矩阵点乘符号,Υ是一个可学习的对角矩阵,对角Hd的第i个对角元素为Hd[i,i]=(hi)Hhi,且hi表示信道矩阵H的第i列,(hi)H表示hi的共轭转置。

第二步时非线性估计器,令第t层的非线性估计器输出信号为

xt+1=ctE{x;rtt}+(1-ct)xt

此处E{x;rtt}表示变量x以rt为均值和以Φt为方差下的均值,更具体一点,信号x的第i个元素的期望为

所有i

其中N(xi;ri,ti,t)表示xi在均值ri,t和方差Φi,t下的高斯分布概率,同时,ri,t和Φi,t分布表示rt和Φt的第i个元素,p(xi)为xi的先验分布。第三步是估计噪声,第t层输出信号的协方差矩阵表示为该协方差矩阵为对角矩阵且第i个对角元素可以表示为

所有i

同时,

则噪声逆方差可以更新为

其中a和b是固定的常数值,可以取10-10。最后一步是,利用Pytorch框架下的Adam优化器来训练网络参数,且代价函数为

其中表示第t层输出信号xt和真实信号xtrue之间的平方误差,最终输出网络参数以及检测信号xt

以上深度网络方案针对的是独立同分布信道,接下来的方案是针对相关信道的方案。令信道矩阵的奇异值分解为H=UΣVH,U是矩阵H的左奇异矩阵,V是矩阵H的右奇异矩阵,Σ是矩阵H的奇异值。定义则接收信号可以等价表示为

y=As+n

最终,接收信号的似然函数为

同时,p(y|x,ε)的下界为

需要注意的是T为对角矩阵且满足T≥Σ2。定义变量δ为一个固定参数,I为单位矩阵,此时松弛的证据下界(ELBO)所对应的联合概率函数有

G(y,s,ε,z)=F(y,s,ε,z)p(s)p(ε)

本发明采用变分贝叶斯推断来交替更新各个变量,包括E更新和M更新,更新细节如下:E更新

1)更新qs(s)。忽略与s无关的项,则近似后验分布qs(s)可以如下获得

此处式子(a)满足

同时,<ε>表示变量ε的期望。由于很难获得的近似后验分布qs(s),因此

本发明先获得x的后验分布,再通过等式x=Vs获得s的后验分布,即

lnqx(x)∝lnN(x;r,Φ)+lnp(x)

且有

此处忽略信号x之间的相关性,则x的第i个元素的一阶矩和二阶矩的期望为

所有i

所有i此时信号x的对角协方差矩阵Σx的第i个对角元为

所有i

那么信号s的期望和方差分别满足

<s>=VH<x>,Σs=VHΣxV

2)更新qε(ε)。忽略与ε无关的项,则近似后验分布qε(ε)可以如下获得

则ε服从伽马分布,且a,b为很小的常数,如a=b=10-10。此时

此处

最终,ε的期望为

M更新

3)更新z。通过如下优化可以获得的估计值,

将对数函数求偏导等于0,可以估计出z,即

由于<ε>>0和则z的解为

znew=<s>

根据以上框架,针对相关信道,提出模型驱动下基于贝叶斯学习的深度网络检测器,命名为Improved-VBINet。所提出的深度学习检测器共有层数为Llayer,学习参数为对于第(t+1)层,输入包括y,A,Σ,V,st和εt,其中st和εt分别表示第t层对信号和噪声方差的估计。

通过最小化每一层估计信号与真实信号之间的最小均方差,来更新网络参数,进而获得估计信号。第一步是线性估计器,第t层的线性估计器输出信号为

其中,对角矩阵Tt设置为第二步时非线性估计器,令同时表示矩阵V的第i行,ri,t表示rt的第i个元素,xi表示x的第i个元素。定义xi,t+1表示xt+1的第i个元素,则第t层的非线性估计器输出信号为

xi,t+1=E{xi;ri,ti,t},所有i

st+1=ctVHxt+1+(1-ct)st

此处E{xi;ri,ti,t}表示变量xi以ri,t为均值和以Φi,t为方差下的均值,更具体一点,信号xi的期望为

所有i

其中N(xi;ri,ti,t)表示xi在均值ri,t和方差Φi,t下的高斯分布概率,同时,ri,t和Φi,t分布表示rt和Φt的第i个元素,p(xi)为xi的先验分布。第三步是估计噪声,第t层输出信号的协方差矩阵表示为且满足

同时,

则噪声逆方差可以更新为

其中a和b是固定的常数值,可以取10-10。最后一步是,利用Pytorch框架下的Adam优化器来训练网络参数,第t层输出信号xt=Vst,通过最小化代价函数

其中表示第t层输出信号xt和真实信号xtrue之间的平方误差,最终输出网络参数以及检测信号xt

仿真中,考虑上行链路MIMO系统,本发明针对独立同分布高斯信道和相关信道提出相对应的VBINet和Improved-VBINet方案。在误符号率(SER)性能分析中,对比算法为迫零算法(ZF)、线性最小均方差(LMMSE)、正交估计信息传播(OAMP)、极大似然估计(ML)以及深度学习方法OAMPNet和MMNet-iid/MMNet。同时,将矩阵T设置为固定值时,且ct=0,此时的方案命名为IFVB。定义为Niter训练批次数,Nbatch为每批次样本数。

图1描述了各方法SER与网络层数(Layer number)的关系,实验条件设置Nt=16,Nr=32,Nbatch=500,Niter=104。从图1可以观察出,所提出VBINet方案在10层以内收敛,同时可以获得比OMAPNet2和MMNet-iid更好的性能。

图2描述了各方法误符号率(SER)与信噪比(SNR)的关系,实验条件设置为Nt=16,Nr=32,Nbatch=500,Niter=104。此处,对于IFVB中的对角矩阵T进行两种选择,即同时给IFVB设置比较优的信号初始值,从图2可以观测出,检测性能对于对角矩阵T的选择十分敏感,这也是采用深度学习技术来训练矩阵T的原因。实验表明,所提出的VBINet有着和ML相当的性能,同时所提出的VBINet性能优于OAMPNet2以及MMNet-iid。

接下来,考虑3GPP信道模型,Nt=16,Nr=32,相关参数设置与MMNet基本相同,且带宽为1M,有效子载波个数为F=128,时间序列数为2,生成多个3D信道对性能求平均。图3描述了SER与SNR的关系,训练模式为在线训练,不同时间序列之间单独训练,同时上一个子载波训练好的网络参数作为下个子载波网络参数训练的初始值。对于第一个子载波,训练批次为1000次,每个批次的样本数为500,对于随后的子载波,训练批次为10,每个批次的子载波为500。需要注意的是,对于MMNet,本实验也考虑了针对随后子载波训练批次为20的情景。从图3中可以发现,当在线训练批次增加时,MMNet的性能显著增加,这是由于MMNet的学习参数很多,需要更多的样本学习。对于本发明所提出的Improved-VBINet,有着和OAMPNet2相近的性能,同时所提出方案的计算复杂度更低。

在图4中,我们考虑相关瑞利信道场景,此时考虑离线训练,也就是说,测试信道与训练不同。设置相关参数为0.8,且Nt=16,Nr=32,Nbatch=500,Niter=104。我们可以发现,MMNet在离线模式下基本无法工作,原因在于无法用一个矩阵去拟合所有的矩阵。同时可以发现,对于离线或者在线训练模式,所提出的Improved-VBINet和OAMPNet有着富有竞争力的性能。

在图5和图6中,我们考虑噪声未知对MMNet-iid以及OAMPNet2的影响。其中,定义估计噪声方差η反应了估计的精确度,因此可以定义噪声未知因子当NUF=0dB时,表示输入噪声为真实的噪声方差。图5和图6分别考虑独立同分布高斯信道和相关瑞利信道,对于图6而言,相关系数取0.8,同时,对于图5和图6,所取参数为Nt=16,Nr=32,Nbatch=500,Niter=104。从图中我们可以发现,MMNet-iid和OAMPNet2的性能会受未知噪声一定程度上的影响。对于OAMPNet2,当估计噪声与真实噪声相差越大时,相对于本发明所提出的方案的性能差距将会越大。

综上所述,本发明研究了通信系统符号检测问题,采用的方法是基于模式驱动下的贝叶斯深度网络检测器。针对独立同分布高斯信道和相关信道提出了对应方案,同时为了提升性能以及降低计算复杂度,本发明通过引入学习参数,可以获得一个松弛的证据下界(ELBO)。进而通过最大化松弛的ELBO,来优化网络参数,进而获得更优的符号检测器。仿真结果表明,本专利所提出的方案,相对于现有方案,可以在性能和计算复杂度之间达到更好的平衡,同时可以自动更新噪声方差,以及适用于离线和在线训练两种模式。

19页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于相位噪声优化接收性能的方法及系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类