一种基于三维变分同化的变分质量控制方法
阅读说明：本技术 一种基于三维变分同化的变分质量控制方法 (Variational quality control method based on three-dimensional variational assimilation ) 是由 和杰 马旭林 成魏 于 2021-09-27 设计创作，主要内容包括：本发明公开一种基于三维变分同化的变分质量控制方法,属于数值天气预报领域；一种基于三维变分同化的变分质量控制方法包括构建观测误差服从高斯分布和均匀分布的概率密度函数和构建三维变分同化新的观测目标函数、梯度函数以及权重函数；实现变分质量控制和三维变分同化一体的同化方法,即在进行三维变分同化过程同步进行变分质量控制,对同化观测的质量有效识别,减小偏差较大观测的权重,给予偏差小、质量较好的观测较大权重,以此保证坏资料进入同化系统时不会破坏三维变分同化分析的质量,同时可有效同化吸收有效观测并提高三维变分同化分析质量。(The invention discloses a variational quality control method based on three-dimensional variational assimilation, belonging to the field of numerical weather forecast; a variational quality control method based on three-dimensional variational assimilation comprises the steps of constructing a probability density function of observation errors which obey Gaussian distribution and uniform distribution, and constructing a new observation target function, a gradient function and a weight function of the three-dimensional variational assimilation; the assimilation method for realizing the integration of variational quality control and three-dimensional variational assimilation is characterized in that variational quality control is synchronously carried out in the three-dimensional variational assimilation process, the quality of assimilation observation is effectively identified, the weight of observation with larger deviation is reduced, and larger weight of observation with smaller deviation and better quality is given, so that the quality of three-dimensional variational assimilation analysis cannot be damaged when bad data enters an assimilation system, and meanwhile, effective assimilation and absorption observation can be effectively carried out, and the quality of three-dimensional variational assimilation analysis is improved.)
技术领域
本发明属于数值天气预报领域，具体涉及一种基于三维变分同化的变分质量控制方法。
背景技术
变分质量控制方法基于三维变分同化方法，假设观测误差服从“高斯分布+均匀分布”(简称均匀型)的非高斯分布模型，根据贝叶斯概率理论，形成变分质量控制和三维变分同化一体的同化方法；
观测误差的概率密度函数在三维变分同化理论里扮演着重要的角色，其分布和大小对后验分析的准确性产生重要的影响；假设它们均服从高斯分布并相互无关，根据贝叶斯概率理论可以得到三维变分同化后验分析的最佳线性无偏估计。在资料同化技术领域，高斯误差分布的假设被广泛应用，如三维变分同化方法、四维变分同化方法和集合卡尔曼滤波同化方法。根据贝叶斯概率理论来言，误差并不是必须假设为高斯分布(Fowler andLeeuwen,2012,2013)，例如粒子滤波同化技术就考虑了天气过程的非线性、非高斯性的特征，这也更符合实际大气运动规律。
符合非高斯误观测差分布的观测资料对三维变分同化的影响是不确定的，通常简单的做法是剔除这些观测使新息向量尽量服从高斯分布，以适配资料同化高斯分布的假设。但根据同化观测的新息向量统计表明，目前同化观测的新息向量分布已显现出非高斯分布特点(Anderson and 1999；He et al.,2021)，与高斯分布相比，主要表现出两个尾部分布较长的特性，这主要是因为目前传统质量控制的阈值是经验性的设置，不完全准确的阈值设置致使同化观测包含有离群值，而离群值是导致长尾分布特性的主要原因。所谓离群值是指与周围观测显著不同的观测。传统质量控制一般认为离群值均是过失误差导致的。然而，研究表明，并不是所有的离群值都是过失误差，其有可能是服从高斯分布以外的其他函数分布，但为正确的或携带有用信息的观测(Hampel,2001)。因此，如果使用高斯分布假设下的资料同化方法同化具有非高斯误差分布的观测资料，其最小化的分析解将只是次优的后验分析。如此一来，考虑观测误差的非高斯分布特性对改善资料同化的后验分析则非常有必要。
由于非高斯观测误差分布模型能更好地代表观测误差的长尾概率密度分布特征。因此，前人通过假设观测误差的非高斯分布新模型，并通过贝叶斯概率理论建立了变分质量控制方法。变分质量控制与三维变分同化同步进行，在迭代过程可根据观测好坏赋予不同权重使其更加有效的吸收同化，正所谓取其精华去其糟粕，这使得变分质量控制在现如今的三维变分同化系统中得到广泛的应用。
变分质量控制方法不像传统质量控制方法那样在资料同化之前完成，而是以变分同化算法为基础，根据实际新息向量长尾分布的特点，假设观测误差服从“高斯分布+均匀分布”，由贝叶斯概率理论实现变分资料同化与质量控制同步进行。目前已经有众多数值预报模式的同化系统采用了变分质量控制方法。例如，欧洲中期天气预报中心集成预报系统的变分同化系统采用了变分质量控制方法；美国国家环境预报中心和加拿大气象中心数值预报系统也建立了变分质量控制方法；地中海气候预报中心的全球海洋再分析系统同样发展建立了变分质量控制方法；中国数值预报同化系统也初步建立了变分质量控制方法(郝民等,2013；马旭林等,2017)。但目前先进的中尺度预报模式(WRF)的三维变分同化系统(WRFDA)并没有建立可用的变分质量控制方法。由于变分质量控制不仅可以有效提高同化观测的利用率，而且还可以实现资料同化观测的质量控制，有利于提高三维变分同化分析的质量。因此，设计建立中尺度预报模式的三维变分同化系统的变分质量控制方案对进一步提高数值天气预报的准确性具有重要意义。
“均匀型”变分质量控制方法主要涉及最优参数的选取和最小化迭代稳定收敛的关键技术。目前，欧洲中期天气预报中心的变分同化系统应用了“均匀型”变分质量控制方法，但该变分同化系统采用的是四维变分同化方法，而WRF模式的三维变分同化系统是由美国开发并开源的系统，后者并无任何变分质量控制方法可用，且不同变分同化系统具有显著的差异性。因此，现有方法使用的参数配置和最小化迭代稳定收敛技术并不一定适用于WRF模式的三维变分同化系统。因此，本发明发展建立了“均匀型”变分质量控制方法，并确立了多种观测资料相应的变分质量控制参数最优配置，同时给出了保证最小化迭代稳定收敛的相对最优步数(15-20步)，使得“均匀型”变分质量控制方法在正常迭代到该步数后开启，可满足三维变分同化迭代的稳定收敛，并获得更高质量的变分同化分析解。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于三维变分同化的变分质量控制方法，有效解决传统质量控制的不足，提高观测资料的利用率，并因此提高三维变分同化分析的准确性，为进一步改善变分同化和混合同化分析场，提高数值天气预报的准确性提供有利的质量控制保证。
本发明的目的可以通过以下技术方案实现：
一种基于三维变分同化的变分质量控制方法，包括：
S1：构建观测误差服从高斯分布和均匀分布的概率密度函数；
S2：构建三维变分同化新的观测目标函数、梯度函数以及权重函数。
进一步地，在所述S1中，根据存在离群值的概率，将质量较高的观测与离群值观测细分，假设它们的误差分别服从高斯分布和均匀分布。
进一步地，所述观测目标函数、梯度函数以及权重函数的构建步骤为：
假设观测误差互不相关且服从高斯分布及离群值的先验概率为零，根据贝叶斯概率理论可推出三维变分同化方法的观测目标函数及其梯度函数分别为：
其中，yo表示观测值；Hx为观测算子作用于分析变量x的观测相当量；H为观测算子。若假设观测资料离群值的先验概率为A，那么没有离群值的观测的概率则为1-A；单一观测的高斯分布和均匀分布模型可写为：
pQC＝(1-A)N+AF. (3)
N和F分别是高斯分布和均匀分布，其密度函数分别为：
其中，d表示识别离群值的标准差所允许的最大倍数；若|yo-Hx|≥dσo，则该观测资料在气候极值检查或背景场检查时已被剔除，所以不可能出现F＝0的情形；均匀分布的概率密度函数可以更好的拟合实际观测误差分布两尾部较长的特点；
因为离群值的均匀概率分布不依赖于总体观测，则根据高斯分布结合均匀分布的模型，即公式(3)，由贝叶斯理论可导出变分质量控制的观测目标函数梯度函数及权重函数(WQC)分别为：
其中，为常数；P为离群值的后验概率；WQC本质上是三维变分同化中间迭代新息向量的函数。
进一步地，所述变分质量控制的实现步骤为：
第一步：对WRFDA注册表文件(registry.var)注册探空观测变分质量控制的必备参数(varqc，nstep_novarqc，flat_soundva，flat_soundvd，flat_soundta，flat_soundtd，flat_soundqa，flat_soundqd)，已备三维变分同化时配置变分质量控制方案的参数；varqc控制是否开启变分质量控制，默认值False；nstep_novarqc为变分同化迭代几步后开启变分质量控制，默认值为15步；flat_soundva代表风场离群值的先验概率为A；flat_soundvd代表风场均匀分布的宽度d；其他类似，分别表示温度和比湿的相关参数；
第二步：将第一步中的探空观测变分质量控制参数传递给WRFDA探空观测同化Fortran源码(da_sound.inc)中，使其应用于三维变分同化算法；
第三步：根据所述公式(6)修改WRFDA三维变分同化探空观测的观测目标函数的Fortran源码(da_jo_sound_uvtq.inc)；WRFDA三维变分同化分别对探空观测的温度、湿度和风进行了同化；因此，需要针对每个变量进行观测目标函数的变分质量控制算法更新；
第四步：根据所述公式(7)修改WRFDA三维变分同化探空观测的观测目标函数梯度项(Fortran源码da_calculate_grady_sound.inc)；WRFDA三维变分同化分别对探空观测的温度、湿度和风进行了同化；因此，需要针对每个变量进行观测目标函数梯度项的变分质量控制算法更新；
本发明的有益效果：虽然传统质量控制方案应用成熟且良好，但其存在先天的不足。首先，传统质量控制是同化前的预处理，这意味着在迭代分析过程，即使有些观测被传统质量控制再次确定为错误(正确)的观测，它们也不会在同化分析过程被剔除(接受)，这显然是不合理的。其次，传统质量控制方法的阈值设置是经验性的，如果阈值设置偏大(小)会漏过(剔除)可能错误(正确)的观测资料，而同化吸收可能错误的观测会使分析解次优甚至错误，剔除可能正确的观测又会浪费稀缺的观测，传统质量控制方法还无法控制这种不确定性。但是，变分质量控制的应用可以有效解决传统质量控制的不足，提高观测资料的利用率，并因此提高三维变分同化分析的准确性，为进一步改善变分同化和混合同化分析场，提高数值天气预报的准确性提供有利的质量控制保证。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的探空观测资料的变分质量控制流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于三维变分同化的变分质量控制方法包括以下步骤：
第一步，根据存在离群值的概率，将质量较高的观测与离群值观测细分，假设它们的误差分别服从高斯分布和均匀分布，构成观测误差服从高斯分布和均匀分布的概率密度函数，它比高斯分布的尾部更长，更符合实际观测误差的分布特点；
第二步，根据上述概率密度函数由贝叶斯概率理论推导出变分质量控制的观测目标函数，得到三维变分同化新的观测目标函数，其梯度函数项包含一项权重变化，在极小化迭代过程根据观测偏差大小赋予观测不同的权重，从而实现质量控制与三维变分同化同步进行；
三维变分同化方法的目标函数由背景场目标函数和观测目标函数两部分组成，假设观测误差互不相关且服从高斯分布及离群值的先验概率为零，根据贝叶斯概率理论可推出三维变分同化方法的观测目标函数及其梯度函数分别为：
其中，yo表示观测值；Hx为观测算子作用于分析变量x的观测相当量；H为观测算子。若假设观测资料离群值的先验概率为A，那么没有离群值观测的概率则为1-A。单一观测的高斯分布和均匀分布模型为：
pQC＝(1-A)N+AF. (3)
N和F分别是高斯分布和均匀分布，其密度函数分别为：
其中，d表示识别离群值的标准差所允许的最大倍数。若|yo-Hx|≥dσo，则该观测资料在气候极值检查或背景场检查时已被剔除，所以不可能出现F＝0的情形。均匀分布的概率密度函数可以更好的拟合实际观测误差分布两尾部较长的特点。
因为离群值的均匀概率分布不依赖于总体观测，则根据高斯分布结合均匀分布的模型，即公式(3)，由贝叶斯理论可导出变分质量控制新的观测目标函数梯度函数及权重函数(WQC)分别为：
其中，为常数；P为离群值的后验概率；WQC本质上是三维变分同化中间迭代新息向量的函数。公式(6)-(8)则建立了基于三维变分同化的变分质量控制方法，简称为Flat-VarQC。
一种基于三维变分同化的变分质量控制的实现步骤如下：
不同观测资料类型的变分质量控制实现步骤具有类似性，基于中尺度预报模式的同化系统软件(WRFDA，版本3.8.1)，以探空观测资料的变分同化为例，实现本发明的“均匀型”变分质量控制算法具有以下步骤：
第一步：对WRFDA注册表文件(registry.var)注册探空观测变分质量控制的必备参数(varqc，nstep_novarqc，flat_soundva，flat_soundvd，flat_soundta，flat_soundtd，flat_soundqa，flat_soundqd)，已备三维变分同化时，配置变分质量控制方案的参数。varqc控制是否开启变分质量控制，默认值False；nstep_novarqc为变分同化迭代几步后开启变分质量控制，默认值为15步；flat_soundva代表风场离群值的先验概率为A；flat_soundvd代表风场均匀分布的宽度d；其他类似，分别表示温度和比湿的相关参数；
第二步：将第一步中的探空观测变分质量控制参数传递给WRFDA探空观测同化Fortran源码(da_sound.inc)中，使其应用于三维变分同化算法；
第三步：根据公式(6)修改WRFDA三维变分同化探空观测的观测目标函数的Fortran源码(da_jo_sound_uvtq.inc)；WRFDA三维变分同化分别对探空观测的温度、湿度和风进行了同化。因此，需要针对每个变量进行观测目标函数的变分质量控制算法更新；
第四步：根据公式(7)修改WRFDA三维变分同化探空观测的观测目标函数梯度项(Fortran源码da_calculate_grady_sound.inc)。WRFDA三维变分同化分别对探空观测的温度、湿度和风进行了同化；因此，需要针对每个变量进行观测目标函数梯度项的变分质量控制算法更新；
第五步：如若实现其他观测类型的变分质量控制算法，仅需重复第一步到第四步；
第六步：完成WRFDA软件的正常编译，编辑成功即变分质量控制算法更新成功。
根据变分质量控制的WRFDA软件，下面执行带有变分质量控制算法的三维变分同化具体应用实例(以探空观测的变分质量控制为例)：
第一步：根据软件输入要求，提供探空原始观测资料给WRFDA观测预处理模块，处理生成可输入的探空观测资料格式，并更名为ob.ascii。如图1观测场预处理；
第二步：根据软件输入要求，提供背景场原始数据给WRFDA背景场预处理模块，处理生成可输入的背景场数据格式，并更名为wrfinput_d01。如图1背景场预处理；
第三步：链接或拷贝WRFDA自带的静态固定的背景误差协方差矩阵文件be.dat.cv3，并更名为be.dat；如图1背景误差统计；
第四步：配置Flat-VarQC的参数，如图1中namelist.input参数配置。具体参数估计方法请参考Anderson and (1999)；
第五步：执行WRFDA中三维变分同化编译程序da_wrfvar.exe，该程序已集成本发明的Flat-VarQC算法；
第六步：执行程序完成，生成加入Flat-VarQC算法的三维变分同化分析场。
此外，其他观测类型Flat-VarQC算法的参数配置如下表所示：
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。