基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法
阅读说明：本技术 基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法 (Single-station Doppler weather radar strong precipitation estimation method based on double-branch double-stage depth model ) 是由 熊安元 苏菲 刘娜 花文军 刘雨佳 王子轩 辛永健 于 2021-08-13 设计创作，主要内容包括：本发明公开基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法,包括搭建双分支双阶段深度模型BBDM框架,BBDM框架具有双分支网络结构；对单站多普勒雷达特征数据进行预处理；在训练BBDM过程中采用双分支训练策略；在训练BBDM过程中采用双阶段训练策略；对训练得到的模型进行存储,用于后续的测试；在测试阶段,对雷达特征数据进行预处理,再输入到之前存储的模型中,仅使用回归分支作为最终的输出,得到最终的降水量的估算结果。通过本发明的模型可以利用单站多普勒天气雷达观测数据,快速、准确的对各种不同强度的降水量进行估算,同时,这也是一种通用的用于处理有明显样本不平衡的回归问题的方法。(The invention discloses a strong precipitation estimation method of a single-station Doppler weather radar based on a double-branch double-stage depth model, which comprises the steps of constructing a double-branch double-stage depth model BBDM frame, wherein the BBDM frame has a double-branch network structure; preprocessing the characteristic data of the single-station Doppler radar; a double-branch training strategy is adopted in the BBDM training process; a two-stage training strategy is adopted in the BBDM training process; storing the model obtained by training for subsequent testing; in the testing stage, radar characteristic data are preprocessed and then input into a model stored in advance, and only regression branches are used as final output to obtain a final estimation result of the precipitation. The model can quickly and accurately estimate precipitation of various different intensities by using observation data of the single-station Doppler weather radar, and is a universal method for processing the regression problem of obvious sample unbalance.)
技术领域
本发明涉及图像识别和天气智能识别技术领域。具体地说是基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法。
背景技术
传统的利用多普勒天气雷达定量估算降水(QPE)技术是利用雷达回波强度(Z)与地面降水量(R)之间的经验关系(通常成为Z-R关系)，Z-R关系式可描述为：
Z＝aRb
其中，a,b是参数，参数大小与降水天气类型、季节、区域均有密切关系，通常利用经验关系确定。参数设置的不确定性是利用传统技术估算地面降水精度不高的主要原因。
近年来使用机器学习方法来识别强降水仍处于尝试阶段，SVM、AdaBoost等经典的机器学习方法开始用于雷达定量估测降水，这类方法计算高效，但仍需人工尝试不同的雷达参数组合对于模型的影响，对于非线性表达，蕴含语义信息的数据源的分类效果会变差。
端到端的深度学习的方法不需要事先确定输入的特征值，具有高效性，人力成本低，且规则统一易推广等多种优势。利用深度学习模型进行雷达估算降水存在的主要问题是多普勒天气雷达产品数据的长尾分布，产生较强降水的回波强度出现概率非常低，亦即样本的不平衡问题。利用传统的深度学习框架，常常导致对出现概率高的小降水的学习效果好，但对更有实用价值的较强降水的学习效果差。
发明内容
为此，本发明所要解决的技术问题在于提供一种能够准确地从单站多普勒天气雷达特征中估算不同强度的降水的基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法。
为解决上述技术问题，本发明提供如下技术方案：
基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，包括如下步骤：
步骤(1)，搭建双分支双阶段深度模型BBDM框架，所述双分支双阶段深度模型BBDM框架具有双分支网络结构；
步骤(2)，对单站多普勒雷达特征数据进行预处理，使各个雷达特征之间分布统一，并将雷达特征输入到BBDM中进行训练；
步骤(3)，在训练BBDM的过程中采用双分支训练策略；
步骤(4)，在训练BBDM的过程中采用双阶段训练策略；
步骤(5)，对训练得到的模型进行存储，用于后续的测试；
步骤(6)，在测试阶段，对雷达特征数据进行如步骤(2)中同样的预处理过程，再输入到之前存储的模型中；
步骤(7)，在测试阶段，仅使用回归分支作为最终的输出，得到最终的降水量的估算结果。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，在步骤(1)中，所述双分支网络结构包括回归分支和分类分支，其中，回归分支用于输出降水量的实值，分类分支是用来在训练阶段缓解长尾分布的影响。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，在步骤(2)中，采用了4个单站多普勒雷达特征，分别是垂直累积液态水含量VIL、混合扫描反射率HBR、组合反射率CR和3km等高面反射率CAP30，需要对着4个单站多普勒雷达特征进行特征规范化处理，使得各个数据特征处于统一的尺度下，以便于进行分析比较，具体方法如下：
(2-1)对HBR、CR、CAP30特征进行数据预处理：直接通过归一化和标准化的方式来进行预处理；
先统计各个特征分布中的最大值和最小值，分别记为xmax和xmin；然后再进行归一化的操作，假设原有的特征为x，归一化之后的特征为则归一化公式如下所示：
最后再统计归一化之后特征的均值和标准差，分别记为μ和σ，假设标准化之后的数据为则标准化的公式如下；
得到的即是预处理完成的HBR、CR、CAP30特征，可以输入到BBDM中；
(2-2)对VIL特征进行数据预处理；
首先进行三次根号的处理：
其中是三次根号处理后的数据；
然后统计特征分布中的最大值和最小值，分别记为和
再进行归一化的操作，假设经过三次根号处理后的特征为归一化之后的特征为则归一化公式如下所示：
然后再统计归一化之后特征的均值和标准差，分别记为μ和σ，假设标准化之后的数据为则标准化的公式如下：
得到的即是预处理完成的VIL特征,可以输入到BBDM中；
(2-3)对标签降水量进行规范化；
先进行三次根号的处理，假设y是原有的标签降水量数据，是经过三次根号处理过后的标签数据，则三次根号处理的公式如下；
然后再统计特征分布的最大值和最小值，分别记为和如归一化公式如下：
得到的即是BBDM模型需要使用的标签降水量。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，在步骤(3)中，所述双分支训练策略包括回归分支策略和分类分支策略，其中回归分支策略具体为：
回归分支中，假设深度模型BBDM的回归分支的输出结果为其中是[0,1]之间的数，真实降水标签在步骤(2-3)处理之后，得到归一化之后的标签值则回归分支的损失函数Lreg如下所示，其中MSE表示均方根误差，
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，分类分支策略具体为：
(3-1)将6分钟降水分为5个区间，分为0、0.1-1mm、1-2mm、2-3mm以及3mm以上的降水；
(3-2)将这5个区间作为5个类别进行分类的判别，假设分类分支预测的类别概率为真实标签按照同样的区间划分得到的类别概率为p，则分类分支的损失函数Lcla如下所示，其中CE表示交叉熵损失函数，
(3-3)使用重加权的策略解决样本不平衡的问题，根据降水标签在各个区间的数量的反比进行重加权，各个区间的重加权系数依据真实降水概率分布确定，将其损失更改为带有权重的交叉熵损失，
其中，N表示总的样本个数，C表示总的类别个数，wc表示对应类别的重加权系数，为第n个样本属于类别c的真实标签的概率，表示第n个样本在分类分支中属于类别c的预测概率；
(3-4)将Lreg和Lcla进行结合，得到整个模型的训练损失函数，如下所示，其中的α为超参数，为了平滑两个损失，使两个损失处于同一数量级下，将α设置为0.0004，
L＝Lreg+α×Lcla。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，在步骤(4)中，所述双阶段训练策略包括：
(4-1)第一阶段，重新设置回归分支的标签值，着重训练分类分支；将0mm的标签设置为0mm，将0.1-1mm的降水标签统一设置为0.5mm，将1-2mm的降水标签统一设置为1.5mm，将2-3mm的降水标签统一设置为2.5mm，将3mm以上的降水标签统一设置为4mm；
(4-2)第二阶段，使用真实的标签值训练回归分支，平衡训练回归分支和分类分支；
综合的损失函数L为：
其中N为样本数量，C为分类区间数量，xi表示第i个样本，yi表示第i个样本对应的真实标签，表示第i个样本重新设置的新的标签值，α为超参数，表示第i个样本在第c类上网络模型输出的概率，表示当的时候，其为1，否则为0。
上述基于双分支双阶段深度模型的单站多普勒天气雷达强降水估算方法，在步骤(7)中，所述在测试阶段，仅使用回归分支作为最终的输出，具体包括：在测试阶段，将经过同样预处理的雷达特征输入到BBDM中，仅使用回归分支作为其对应的降水量识别的最终输出，用于最后的数值指标检验，忽略分类分支的输出结果。
本发明的技术方案取得了如下有益的技术效果：
通过本发明的模型可以利用单站多普勒天气雷达观测数据，快速、准确的对各种不同强度的降水量进行估算，同时，这也是一种通用的用于处理有明显样本不平衡的回归问题的方法。
1、提出了基于双分支双阶段深度模型(Bi-branch Bi-stage Deep Model,BBDM)的单站多普勒天气雷达强降水估算方法，完成了通过单站多普勒雷达特征来识别强降水的过程。单站多普勒天气雷达特征具有指示不同降水量的丰富特征信息，通过BBDM提取其中的特征信息，用于强降水天气的智能识别；能够较为精准地从单站多普勒天气雷达特征中估算不同强度的降水。本发明估算的降水量可较使用常规业务方法估算降水的均方根误差减少约10％-20％。
2、本发明提出的基于双分支双阶段深度模型(BBDM)的单站多普勒雷达降水估算方法能够较为精准地从单站多普勒天气雷达特征中识别不同强度的降水区域。搭建双分支双阶段深度模型(BBDM)框架，通过双分支结构，可以有效的解决识别降水估算模型学习中的样本不平衡的问题；通过双阶段的训练策略，在第一阶段可以有效的为网络模型提供一个较好的初始化，进而提升网络模型对强降水的估算效果。
3、回归分支在训练和测试的过程中都起作用，在训练的时候，回归分支会学习从特征到预测降水实值的映射关系；在测试的过程中，回归分支被用来识别当前特征的降水实值。而分类分支只在训练的过程中被使用，在测试的过程中则被丢弃。在训练的过程中，分类分支被用来使用重加权策略，从而解决长尾分布的问题，增强网络对尾部样本的特征提取能力。
附图说明
图1本发明基于双分支双阶段深度模型(BBDM)的单站多普勒雷达特征的强降水识别方法的流程图。
图2本发明的原始输入的四个雷达特征数据样例。
图3本发明双分支双阶段深度模型(BBDM)回归分支的降水输出结果和真实值的样例。
具体实施方式
如图1所示，是基于双分支双阶段深度模型的单站多普勒雷达强降水识别方法的流程示意图。
S1，搭建双分支双阶段深度模型(BBDM)框架，框架具有双分支网络结构。
BBDM具有两个分支，分别是回归分支和分类分支。其中回归分支是用于输出降水量的实值，分类分支是用来在训练阶段缓解长尾分布的影响，增强网络的特征提取能力。
S2，对原始单站多普勒雷达特征数据进行预处理，使各个雷达特征之间分布统一，并将雷达特征输入到BBDM中进行训练。如图2所示，是模型的原始输入雷达数据。
具体地，采用了4个单站多普勒雷达特征，分别是垂直累积液态水含量VIL、混合扫描反射率HBR、组合反射率CR和3km等高面反射率CAP30，由于输入的4个特征之间具有不同的尺度范围，而神经网络往往会倾向于特征尺度比较大的数据特征，因此不同尺度的特征之间，往往不具备可比性，需要进行特征规范化处理，使得各个数据特征处于统一的尺度下，以便于进行分析比较。具体方法如下：
S2-1，对HBR、CR、CAP30特征进行数据预处理。
由于这三个特征都具有准正态分布的特性，因此可以直接通过归一化和标准化的方式来进行预处理。具体来说，先统计各个特征分布中的最大值和最小值，分别记为xmax和xmin。然后再进行归一化的操作，假设原有的特征为x，归一化之后的特征为则归一化公式如下所示。
最后再统计归一化之后特征的均值和标准差，分别记为μ和σ，假设标准化之后的数据为则标准化的公式如下。
得到的即是预处理完成的特征，可以输入到BBDM中。
S2-2，对VIL特征进行数据预处理。由于VIL特征分布不满足准正态分布，而是长尾分布形态，因此无法直接通过归一化和标准化的过程得到预处理结果，因此这里需要额外进行三次根号的处理。
其中是三次根号处理后的数据，然后统计特征分布中的最大值和最小值，分别记为和然后再进行归一化的操作，假设经过三次根号处理后的特征为归一化之后的特征为则归一化公式如下所示。
最后再统计归一化之后特征的均值和标准差，分别记为μ和σ，假设标准化之后的数据为则标准化的公式如下。
得到的即是预处理完成的特征。
S2-3，对标签降水量进行规范化。
标签降水量与VIL特征类似，具有严重的长尾分布的特性，因此对其进行与S2-2中类似的操作。先进行三次根号的处理。假设y是原有的标签数据，是经过三次根号处理过后的标签数据，则三次根号处理的公式如下。
然后再统计特征分布的最大值和最小值，分别记为和如归一化公式如下。
得到的即是BBDM模型需要使用的标签。
S3，采用双分支策略训练BBDM，所述双分支训练策略包括回归分支策略和分类分支策略，具体过程如下：
回归分支中，假设深度模型BBDM的回归分支的输出结果为其中是[0,1]之间的数，真实降水标签在S2-3处理之后，得到归一化之后的标签值则回归分支的损失函数如下所示，其中MSE表示均方根误差。
分类分支中，
S3-1、将6分钟降水分为5个区间，分为0mm、0.1-1mm、1-2mm、2-3mm以及3mm以上的降水。
S3-2、将这5个区间作为5个类别进行分类的判别。假设分类分支预测的类别概率为真实标签按照同样的区间划分得到的类别概率为p，则分类分支的损失函数如下所示，其中CE表示交叉熵损失函数。
S3-3、由于降水的标签在各个区间的降水分布不平衡，因此使用重加权的策略来解决样本不平衡的问题。根据降水标签在各个区间的数量的反比进行重加权，各个区间的重加权系数依据真实降水概率分布确定。因此将其损失更改为带有权重的交叉熵损失。
其中N表示总的样本个数，C表示总的类别个数，wc表示对应类别的重加权系数，为第n个样本属于类别c的真实标签的概率，表示第n个样本在分类分支中属于类别c的预测概率。
S3-4、将两个损失Lreg和Lcla进行结合，得到整个模型的训练损失函数，如下所示，其中的α为超参数，为了平滑两个损失，使两个损失处于同一数量级下，将α设置为0.0004，
L＝Lreg+α×Lcla。
回归分支在训练和测试的过程中都起作用，在训练的时候，回归分支会学习从特征到预测降水实值的映射关系；在测试的过程中，回归分支被用来识别当前特征的降水实值。而分类分支只在训练的过程中被使用，在测试的过程中则被丢弃。在训练的过程中，分类分支被用来使用重加权策略，从而解决长尾分布的问题，增强网络对尾部样本的特征提取能力。
S4、采用双阶段策略训练BBDM，具体过程如下：
第一阶段中，将标签值重新设置为回归分支所用的分段标签值，着重训练分类分支，这里将0mm的标签仍然设置为0mm，将0.1-1mm的降水标签统一设置为0.5mm，将1-2mm的降水标签统一设置为1.5mm，将2-3mm的降水标签统一设置为2.5mm，将3mm以上的降水标签统一设置为4mm；
第二阶段中，使用真实的标签值训练回归分支，平衡训练回归分支和分类分支。
其综合的损失函数为：
其中N为样本数量，C为分类区间数量，xi表示第i个样本，yi表示第i个样本对应的真实标签，表示第i个样本重新设置的新的标签值，α为超参数，表示第i个样本在第c类上网络模型输出的概率，表示当的时候，其为1，否则为0。
S5、对训练得到的模型进行存储，用于后续的测试。
S6、在测试阶段，对雷达特征数据进行如S2中同样的预处理过程，再输入到之前存储的模型中。
S7、仅使用回归分支作为最终的输出，忽略分类分支的输出结果，得到最终的降水量的识别结果。
使用2016-2018年安徽全省的多普勒天气雷达数据进行训练，训练集包含了2016年的4-10月、2017年的4-10月和2018年的4月、6月、8月，总计370个强降水天气过程，共27063个样本；测试集包含了2018年的5月、7月、9月，总计95个强降水天气过程，共6929个样本。
模型推理获得的降水估算利用业务上使用的雷达估算降水技术得到的小时降水估算值(称为业务QPE)作为对比数据，表1给出了本发明的降水估算结果和业务QPE结果的均方根误差(RMSE)在整个测试集上的对比，表明本发明估算的降水量较业务QPE的均方根误差减少17.8％。
如表1所示，是本模型的输出结果与业务QPE在整个测试集上的结果对比。
表1
RMSE(mm/hour)
BBDM模型
2.469
业务QPE
3.005
图2给出了模型输入的雷达数据样例，图3给出了BBDM模型估算的降水量和真实降水量的样例。
本发明的主要创新性如下：提出了基于双分支双阶段深度模型(Bi-branch Bi-stage Deep Model,BBDM)的单站多普勒天气雷达降水估算方法，完成了通过单站多普勒雷达特征来识别强降水的过程。单站多普勒天气雷达特征具有指示不同降水量的丰富特征信息，通过BBDM提取其中的特征信息，用于强降水天气的智能识别。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：人体识别方法、装置、系统、电子设备及存储介质