具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了一种微波传感器谐振结构联合仿真优化方法及系统。

实施例一

本实施例提供一种微波传感器谐振结构联合仿真优化方法，如图1所示，包括：

S1.像素化微波微流体传感器的原始谐振结构优化区域为方形像素单元；

S2.初始化谐振结构的状态集，初始化用于谐振结构调整的动作集；

S3.初始化当前神经网络的参数和目标神经网络的参数；其中，当前神经网络包括当前策略网络、当前评价网络，目标神经网络包括目标策略网络、目标评价网络；

S4.当前策略网络根据当前状态集输出动作集，并在输出的动作集中添加随机噪声；当前状态集根据动作集进行谐振结构调整后生成微波传感器模型脚本；

S5.基于全波电磁仿真软件读取微波传感器模型脚本并自动构建微波传感器模型，对构建的微波传感器模型进行仿真，得到仿真数据；

S6.根据得到的仿真数据计算当前动作集基于当前状态集被执行后得到的奖励值；

S7.将所需数据存入经验回放池；其中，所需数据包括当前状态集、当前动作集、下一状态集、下一动作集、奖励值；

S8.当前评价网络基于经验回放池中的当前状态集中的当前动作、当前动作集中的当前策略动作计算第一奖励值的数学期望，目标评价网络基于下一状态集中的下一动作、下一动作集中的下一策略动作计算第二奖励值的数学期望；

S9.计算第一奖励值的数学期望和第二奖励值的数学期望之间的差异，并基于计算得到的差异采用策略梯度方法更新当前策略网络、当前评价网络的参数；

S10.根据全波电磁仿真软件的更新方法更新目标策略网络、目标评价网络的参数；

S11.循环执行步骤S4-S10，直到当前神经网络的参数和目标神经网络收敛，得到智能集模型，所述智能机模型输出谐振结构的优化策略，将原始谐振结构基于输出的优化策略进行调整，得到优化后的谐振结构。

如图2所示为微波微流控传感器谐振结构示意图，微波传感器谐振结构数值的联合仿真优化系统仅针对图2中谐振优化区，其余微波传感器结构变量参数值在图2中均确定，基板材料被确定为罗杰斯4350。

本实施例的优化区的长度和宽度分别被设定为12mm和6mm，并定义其中一半作为调整区域，另一半以镜像方式对称调整，微流体通道的宽度和高度被设定为0.2mm和0.2mm，微波传感器谐振结构的布局将由联合仿真优化系统确定，在微波谐振式传感器的设计阶段，如果由人工去设计多种谐振布局，其工作量是异常庞大和复杂的。

在步骤S1中，像素化微波微流体传感器的原始谐振结构优化区域为方形像素单元。

本实施例设定谐振结构优化区域并将其像素化为大小30x30的矩阵单元；谐振区域被转化为矩阵，矩阵值为0或1，其中0代表该矩阵单元未被选择，在模型中代表该部分覆盖金属，1代表该矩阵单元被选择为结构上的一个单元，在模型中代表该部分被蚀刻为槽，无金属覆盖。

在步骤S2中，初始化谐振结构的状态集，初始化用于谐振结构调整的动作集。

谐振结构的状态集S_t反映了整个谐振器结构，S_t表示为：

S_t＝{z₁，z₂，...，z_M·W-1，z_M·W}

其中，S_t表示谐振结构的状态集；M和W表示行数和列数；z_M·W表示M行W列的状态；S表示状态空间。

动作集A_t反映了谐振器结构的动作，A_t表示为：

其中，A_t表示谐振结构调整的动作集；A表示动作空间；表示调整点，表示调整长度，表示移动距离，n表示单次动作策略的最大调整次数。

如图3所示为动作集调整传感器谐振结构的示意图，由组成的动作集确定传感器谐振结构的调整策略。

在本实施例中，可以考虑将优化过程中的液体用量作为变量，探究最优性价比的液体用量，即相对于原谐振结构，优化后能使用最少的液体提升最多的灵敏度，因此将初始动作集调整为

其中，V_LUT表示液体体积，在本发明实施例中由动作集确定；

在步骤S4中，当前策略网络根据当前状态集输出策略动作集，并在输出的动作集中添加随机噪声；当前状态集根据动作集进行谐振结构调整后生成微波传感器模型脚本。

当前策略网络根据当前状态集输出与策略相关的动作集，并在输出的动作集中添加随机噪声，表示为：

A_t＝β(S_t)＝μ(S_t，θ^μ)+N_t

其中，A_t表示动作集；μ表示当前策略网络；θ^μ表示当前策略网络的网络参数；N_t表示随机噪声；β表示基于当前状态的动作策略集。

在步骤S5中，基于全波电磁仿真软件读取微波传感器模型脚本并自动构建微波传感器模型，对构建的微波传感器模型进行仿真，得到仿真数据。

当前状态集根据动作集进行结构调整后生成传感器模型脚本传入仿真环境，由全波电磁仿真软件读取脚本文件自动构建模型并仿真，得到的仿真数据被全波电磁仿真软件的程序用于计算该动作集基于当前状态集被执行后得到的奖励值。

在步骤S6中，根据得到的仿真数据计算当前动作集基于当前状态集被执行后得到的奖励值，表示为：

其中，V_RR表示正确动作的奖励值；V_RW表示错误动作的惩罚值；r₁表示比例因子；V_F表示一个固定的参量；Δf表示由共振结构引起的相对频移，参数如下表1：

表1

在本实施例中，该次正确动作的奖励值包含相对频率偏移Δf，相对频率偏移反应了传感器的灵敏度，这是微波传感器的优化目标，其中微波传感器灵敏度T定义为相对谐振频移Δf与介电常数变化的比值，表示为：

其中，ε_r表示注入液体样品的相对介电常数；f_unloaded和分别表示未注入待测液体时仿真数据中的谐振频率点和注入待测液体时仿真数据中的谐振频率点。

根据灵敏度T计算公式，当待测液体相同，仅改变谐振结构时，得到的灵敏度函数值越大，带有该谐振结构的微波传感器的性能越好。

在步骤S7中，将所需数据存入经验回放池；其中，所需数据包括当前状态集、当前动作集、下一状态集、下一动作集、奖励值。

本实施例中存储经验回放池中的数据用于后续抽样后对当前策略和评价网络进行训练。

在步骤S8中，当前评价网络基于经验回放池中的当前状态集中的当前动作、当前动作集中的当前策略动作计算第一奖励值的数学期望，目标评价网络基于下一状态集中的下一动作、下一动作集中的下一策略动作计算第二奖励值的数学期望。

本实施例中还包括将计算得到的第一奖励值的数学期望用于评价当前策略网络Q^μ，根据Bellman方程，Q^μ表示为：

Q^μ(S_t，A_t)＝E[R(S_t，A_t)+γQ^μ(S_t+1，μ(S_t+1，θ^Q))]

其中，Q第一奖励值的数学期望；表示γ表示Bellman方程中的奖励折扣因子，模拟Bellman方程，可以递归求解Q值；S_t+1表示经过动作集调整后的谐振结构的状态集；θ^Q表示当前评价网络的网络参数。

在步骤S9中，计算第一奖励值的数学期望和第二奖励值的数学期望之间的差异，并基于计算得到的差异采用策略梯度方法更新当前策略网络、当前评价网络的参数。

目标评价网络会计算相应的Q值以更新当前评价网络的参数，其中再更新中会涉及一个标签变量y_t，y_t表示为：

y_t＝R_t+γQ′(S_t+1，μ′(S_t+1，θ^μ′)，θ^Q′)

其中，Q′表示第二奖励值的数学期望；θ^Q′表示目标评价网络的参数；μ′表示目标策略网络；θ^μ′表示目标策略网络的参数；γ表示奖励因子。

在本实施例中还包括目标评价网络将yt传递给当前评价网络，当前评价网络构建相对应的损失函数L(θ^Q)，表示为：

其中，N表示经验回放池采样的样本数。

根据当前评价网络和经验回放池中采样的[当前状态集，当前动作集；下一状态集；下一动作集；奖励值]，当前策略网络使用策略梯度进行训练，其中策略梯度方法表示为：

其中，ρ^β(S)表示基于行为策略β的状态S的概率分布函数，

根据Monte-Carlo方法，通过将小批量数据代入策略梯度的表达式中，可以得到期望值的无偏估计，则策略梯度方法可以进一步表示为

其中，表示策略梯度函数；N表示经验回放池采样的样本数；表示动作策略相对于网络参数的梯度；表示奖励值相对于动作策略的梯度A表示动作策略集；S表示状态空间。

在步骤S10中，根据全波电磁仿真软件的更新方法更新目标策略网络、目标评价网络的参数，表示为：

其中，τ表示全波电磁仿真软件更新系数，本实施例设τ＝0.001。

如图4所示为系统神经网络优化收敛过程图，其中，Episode Q0为预测报酬值，Episode reward为实际报酬值，Avg reward为平均报酬值。在第124轮，平均奖励值达到设定的阈值。同时，在滑动窗口长度为5的情况下，平均报酬与预测报酬值的误差由5％下降到0.366％，优化系统收敛输出最优谐振结构。

如图5所示为微波传感器优化谐振结构示意图，整个沟槽部分图案都是谐振结构，其中深色部分代表被覆盖了微流通道的谐振结构。

如图6所示为初始结构空载、带载结果对比图，空载于带载结果的对比说明了该初始微波传感器谐振结构具备表征液体介电特性的能力，为优化提供了前提。

如图7所示为初始空载结构仿真、实验结果对比图，该结构仿真图加工后空载情况下仿真实验对比说明了优化系统的可靠性

如图8所示为优化结构实验结果图，该结构不同浓度下的仿真曲线图可以得到，不同浓度的曲线能明显看到区分度，可以达到表征液体介电特性的能力，特别是在注水的情况下，优化结构的相对频率偏移达到了0.523，相对于优化前的0.41，灵敏度提升了27.56％。

本实施例一优化微波微流体传感器如图4所示，具体测试过程如下：微流通道位于聚二甲基硅氧烷(PDMS)底部，为了覆盖整个CSRR结构，PDMS微流控通道基板的尺寸设置为10mm×16mm×5mm，通道高度0.2mm，两侧有直径为0.35mm的圆柱连接至PDMS顶部，作为待测液体的入口与出口，底部覆盖在微波微流体传感器的表面上，通道优化区的蚀刻槽部分与PDMS的微流体通道部分完全重合；采用针管将待测液体注射进PDMS顶部入口，液体流经蚀刻槽部分引发微流通道内介电常数的变化，微波微流体传感器测量得到的谐振频率点将发生变化；分别注入纯水、20％-100％(间隔20％)浓度的乙醇-水混合液，得到的S参数实验结果图如图8所示，随着乙醇浓度的降低，谐振曲线向右偏移，从而实现测量不同浓度乙醇溶液介电常数的测量；其中实验测量中装载纯水与不装载纯水的实验S参数曲线的谐振频率点基本一致，说明本方法具有可靠性和实用性。

本实施例微波传感器谐振结构联合仿真优化方法，在基于互补开口谐振环谐振式传感器测量谐振频率可还原待测液体介电常数的原理的基础上，可以简化、加快微波传感器谐振结构的人工设计过程，能够较快、较可靠地自动得出性能优异的微波传感器谐振结构，对促进微波传感器的产业化进程有着十分积极的作用。

实施例二

本实施例提供一种微波传感器谐振结构联合仿真优化系统，包括：

像素化模块，用于像素化微波微流体传感器的原始谐振结构优化区域为方形像素单元；

第一初始化模块，用于初始化谐振结构的状态集，初始化用于谐振结构调整的动作集；

第二初始化模块，用于初始化当前神经网络的参数和目标神经网络的参数；其中，当前神经网络包括当前策略网络、当前评价网络，目标神经网络包括目标策略网络、目标评价网络；

输出模块，用于当前策略网络根据当前状态集输出动作集，并在输出的动作集中添加随机噪声；当前状态集根据动作集进行谐振结构调整后生成微波传感器模型脚本；

构建模块，用于基于全波电磁仿真软件读取微波传感器模型脚本并自动构建微波传感器模型，对构建的微波传感器模型进行仿真，得到仿真数据；

第一计算模块，用于根据得到的仿真数据计算当前动作集基于当前状态集被执行后得到的奖励值；

存储模块，用于将所需数据存入经验回放池；其中，所需数据包括当前状态集、当前动作集、下一状态集、下一动作集、奖励值；

第二计算模块，用于当前评价网络基于经验回放池中的当前状态集中的当前动作、当前动作集中的当前策略动作计算第一奖励值的数学期望，目标评价网络基于下一状态集中的下一动作、下一动作集中的下一策略动作计算第二奖励值的数学期望；

第一更新模块，用于计算第一奖励值的数学期望和第二奖励值的数学期望之间的差异，并基于计算得到的差异采用策略梯度方法更新当前策略网络、当前评价网络的参数；

第二更新模块，用于根据全波电磁仿真软件的更新方法更新目标策略网络、目标评价网络的参数；

优化模块，用于当当前神经网络的参数和目标神经网络收敛，得到智能集模型，所述智能机模型输出谐振结构的优化策略，将原始谐振结构基于输出的优化策略进行调整，得到优化后的谐振结构。

需要说明的是，本实施例提供的一种微波传感器谐振结构联合仿真优化系统与实施例一类似，在此不多做赘述。

与现有技术相比，本实施例的基于互补开口谐振环的微波传感器谐振结构联合仿真优化方法及系统在基于微波谐振式传感器测量谐振频率可还原待测液体介电常数的原理的基础上，可以简化微波传感器谐振结构的人工设计过程，能够较快、较可靠地自动得出性能优异的微波传感器谐振结构，对促进微波传感器的产业化进程有着十分积极的作用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。