阅读说明：本技术 视频去雨的方法、装置、设备及计算机可读存储介质 (Method, device and equipment for removing rain from video and computer readable storage medium ) 是由 刘家瑛 杨文瀚 魏晨 杨帅 郭宗明 于 2018-05-30 设计创作，主要内容包括：本发明提供了一种视频去雨的方法、装置、设备及计算机可读存储介质。该方法包括：搭建进行视频去雨的循环深度神经网络模型；对循环深度神经网络模型进行训练,以获得优化后的循环深度神经网络模型；采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。由于循环深度神经网络模型能够编码相邻帧之间的背景信息,抽取更具有表示性的特征,能够整合含雨视频中的时域和空域上的冗余信息,所以能够达到很好的视频去雨的效果,使恢复出的视频更加准确和清晰。(The invention provides a method, a device and equipment for removing rain from a video and a computer readable storage medium. The method comprises the following steps: building a circulating deep neural network model for video rain removal; training the circulation depth neural network model to obtain an optimized circulation depth neural network model; and carrying out rain removing operation on the rain-containing video to be processed by adopting the optimized circulating deep neural network model. Because the cycle depth neural network model can encode the background information between adjacent frames, extract the characteristic with representation more, can integrate the redundant information on time domain and airspace in the video containing rain, so can reach the effect of good video rain removal, make the video that resumes more accurate and clear.)

视频去雨的方法、装置、设备及计算机可读存储介质

技术领域

本发明实施例涉及视频处理技术领域，尤其涉及一种视频去雨的方法、装置、设备及计算机可读存储介质。

背景技术

恶劣天气条件下拍摄的视频通常面临着图像模糊、图像内容覆盖等一系列问题。雨滴作为最常见的影响含雨视频的因素，通常会造成局部区域的遮挡和模糊。这种信号失真与细节损失会影响许多以高质量视频作为输入的户外视觉应用的性能。因此，视频中雨滴的检测和去除具有重要的意义。

现有的视频去雨的方法利用空域和时域的信息冗余，基于物理建模的方法，如利用雨滴的有向性与颜色特性进行视频去雨。或者利用动态时域信息，如视频背景的连续性与雨滴的随机性进行视频去雨。

但这些方法没有充分考虑时域和空域冗余信息之间的联系，导致现有的视频去雨方法恢复出的视频并不准确和清晰。

发明内容

本发明实施例提供一种视频去雨的方法、装置、设备及计算机可读存储介质，该方法解决了现有技术中的视频去雨的方法恢复出的视频并不准确和清晰的技术问题。

第一方面，本发明实施例提供一种视频去雨的方法，包括：

搭建进行视频去雨的循环深度神经网络模型；

对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；

采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。

进一步地，如上所述的方法，所述搭建进行视频去雨的循环深度神经网络模型，具体包括：

搭建卷积神经网络，所述卷积神经网络提取所述含雨视频当前帧图像的空域特征；

搭建降质判别子网络，所述降质判别子网络根据所述当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；

搭建融合子网络，所述融合子网络根据所述当前帧图像的空域特征，所述前一帧图像的整合时域特征及所述当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；

搭建去雨子网络，所述去雨子网络根据所述当前帧图像的空域特征生成当前帧图像的预测雨滴图；

搭建重建子网络，所述重建子网络根据所述当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；

搭建去雨重建联合子网络，所述去雨重建联合子网络根据所述当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；

所述卷积神经网络，所述降质判别子网络，所述融合子网络，所述去雨子网络，所述重建子网络，及所述去雨重建联合子网络依次为循环深度神经网络模型的一部分。

进一步地，如上所述的方法，所述对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型，具体包括：

将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入所述混合雨滴模型的每个视频为所述训练集中的每个训练样本；

将所述每个训练样本输入到所述循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对所述循环深度神经网络模型进行训练，以对所述循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。

进一步地，如上所述的方法，所述混合雨滴模型具体为：O_t＝

(1-α_t)(B_t+S_t)+α_tA_t；

其中，O_t表示所述含雨视频中第t帧图像，B_t表示第t帧图像对应的无雨背景图，S_t表示第t帧图像对应的雨滴图，A_t表示第t帧图像对应的低透明度雨滴遮挡图；α_t则表示第t帧图像对应的雨滴遮挡区域图；

所述组合损失函数具体为：L_all＝L_joint+λ_dL_detect+λ_cL_rect+λ_rL_removal；

其中，L_joint为联合损失函数，L_detect为雨滴遮挡去雨探测损失函数，L_rect为重建损失函数，L_removal为去雨损失函数，λ_d，λ_c和λ_r分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。

进一步地，如上所述的方法，所述采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作之后，还包括：

对所述待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。

第二方面，本发明实施例提供一种视频去雨的装置，包括：

搭建模块，用于搭建进行视频去雨的循环深度神经网络模型；

训练模块，用于对所述循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；

去雨模块，用于采用所述优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。

进一步地，如上所述的装置，所述搭建模块，具体用于：

搭建卷积神经网络，所述卷积神经网络提取所述含雨视频当前帧图像的空域特征；搭建降质判别子网络，所述降质判别子网络根据所述当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；搭建融合子网络，所述融合子网络根据所述当前帧图像的空域特征，所述前一帧图像的整合时域特征及所述当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；搭建去雨子网络，所述去雨子网络根据所述当前帧图像的空域特征生成当前帧图像的预测雨滴图；搭建重建子网络，所述重建子网络根据所述当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；搭建去雨重建联合子网络，所述去雨重建联合子网络根据所述当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；所述卷积神经网络，所述降质判别子网络，所述融合子网络，所述去雨子网络，所述重建子网络，及所述去雨重建联合子网络依次为循环深度神经网络模型的一部分。

进一步地，如上所述的装置，所述训练模块，具体用于：

将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入所述混合雨滴模型的每个视频为所述训练集中的每个训练样本；将所述每个训练样本输入到所述循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对所述循环深度神经网络模型进行训练，以对所述循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。

进一步地，如上所述的装置，所述混合雨滴模型具体为：O_t＝(1-α_t)(B_t+S_t)+α_tA_t；

其中，O_t表示所述含雨视频中第t帧图像，B_t表示第t帧图像对应的无雨背景图，S_t表示第t帧图像对应的雨滴图，A_t表示第t帧图像对应的低透明度雨滴遮挡图；α_t则表示第t帧图像对应的雨滴遮挡区域图；

所述组合损失函数具体为：L_all＝L_joint+λ_dL_detect+λ_cL_rect+λ_rL_removal；

其中，L_joint为联合损失函数，L_detect为雨滴遮挡去雨探测损失函数，L_rect为重建损失函数，L_removal为去雨损失函数，λ_d，λ_c和λ_r分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。

进一步地，如上所述的装置，还包括：

整合模块，用于对所述待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。

第三方面，本发明实施例提供一种视频去雨的设备，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述任一项所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述任一项所述的方法。

本发明实施例提供一种视频去雨的方法、装置、设备及计算机可读存储介质，通过搭建进行视频去雨的循环深度神经网络模型；对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。由于循环深度神经网络模型能够编码相邻帧之间的背景信息，抽取更具有表示性的特征，能够整合含雨视频中的时域和空域上的冗余信息，所以能够达到很好的视频去雨的效果，使恢复出的视频更加准确和清晰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明视频去雨的方法实施例一的流程图；

图2为本发明视频去雨的方法实施例二的流程图；

图3为本发明视频去雨的装置实施例一的结构示意图；

图4为本发明视频去雨的装置实施例二的结构示意图；

图5为本发明视频去雨的设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

图1为本发明视频去雨的方法实施例一的流程图，如图1所示，本实施例的执行主体为视频去雨的装置，该视频去雨的装置可以集成在计算机、笔记本电脑、服务器或具有独立计算和处理能力的设备中，则本实施例提供的视频去雨的方法包括以下几个步骤。

步骤101，搭建进行视频去雨的循环深度神经网络模型。

具体地，本实施例中，搭建一个循环深度神经网络模型以进行视频去雨操作。首先通过循环深度神经网络模型中的卷积神经网络提取含雨视频中每一帧图像的空域特征。然后将每一帧图像的空域特征通过循环深度神经网络模型中的降质判别子网络获取预测雨滴遮挡区域图，通过循环深度神经网络模型中的融合子网络来融合每一帧图像预测雨滴遮挡区域图的降质特征，空域特征及整合时域特征。通过循环深度神经网络模型中的去雨子网络利用每一帧图像的空域特征从背景中区分雨滴纹理。通过循环深度神经网络模型中的重建子网络利用前一帧图像的整合时域特征重建雨滴遮挡区域中丢失的信息。最终通过循环深度神经网络模型中的重建联合子网络恢复每一帧的清晰背景。

其中，卷积神经网络，降质判别子网络，融合子网络，去雨子网络，重建子网络，及去雨重建联合子网络依次为循环深度神经网络模型的一部分。

步骤102，对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型。

具体地，本实施例中，将每个训练样本输入到循环深度神经网络模型中，以对循环深度神经网络模型中的各参数进行训练，得到优化后的循环深度神经网络模型。

其中，可采用梯度下降的算法对循环深度神经网络模型进行训练，或采用其他算法，本实施例中对此不做限定。

步骤103，采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。

具体地，本实施例中，将实际中的含雨视频按帧输入到优化后的循环深度神经网络模型中，优化后的循环深度神经网络模型对每帧含雨图像进行去雨操作，得到每帧图像的预测去雨图像，并将每帧预测去雨图像进行整合，形成预测的无雨视频。

本实施例提供的视频去雨的方法，通过搭建进行视频去雨的循环深度神经网络模型；对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型；采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。由于循环深度神经网络模型能够编码相邻帧之间的背景信息，抽取更具有表示性的特征，能够整合含雨视频中的时域和空域上的冗余信息，所以能够达到很好的视频去雨的效果，使恢复出的视频更加准确和清晰。

图2为本发明视频去雨的方法实施例二的流程图，如图2所示，本实施例提供的视频去雨的方法，是在本发明视频去雨的方法实施例一的基础上，对步骤101-步骤102的进一步细化，并且还包括了对待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频的步骤，则本实施例提供的视频去雨的方法包括以下步骤。

步骤201，搭建进行视频去雨的循环深度神经网络模型。

进一步地，本实施例中，循环深度神经网络模型包括：卷积神经网络，降质判别子网络，融合子网络，去雨子网络，重建子网络，及去雨重建联合子网络。即卷积神经网络，降质判别子网络，融合子网络，去雨子网络，重建子网络，及去雨重建联合子网络依次为循环深度神经网络模型的一部分。

进一步地，本实施例中，搭建进行视频去雨的循环深度神经网络模型具体包括：

首先，搭建卷积神经网络，卷积神经网络提取含雨视频当前帧图像的空域特征。

具体地，对于含雨视频图像中的每一帧图像O_t，首先由卷积神经网络(简称为CNN)来提取含雨视频当前帧图像的空域特征，表示为F_t，其中，t表示当前帧图像为第t帧图像。

其中，卷积神经网络的结构为现有技术，在此不再赘述。

其次，搭建降质判别子网络，降质判别子网络根据当前帧图像的空域特征F_t和前一帧图像的整合时域特征H_t-1获得当前帧图像的预测雨滴遮挡区域图

具体地，本实施例中，搭建循环深度神经网络模型中的降质判别子网络。降质判别子网络的结构与单帧卷积神经网络的结构相同。将当前帧图像的空域特征F_t和前一帧图像的整合时域特征H_t-1一同输入到降质判别子网络中，以区分当前帧图像中的雨滴遮挡区域和其他区域，获得当前帧图像的预测雨滴遮挡区域图

再次，搭建融合子网络，融合子网络根据当前帧图像的空域特征F_t，前一帧图像的整合时域特征H_t-1及当前帧图像的预测雨滴遮挡区域图的约束特征f_t,4获得当前帧图像的整合时域特征H_t。

其中，预测雨滴遮挡区域图的约束特征f_t,4是通过对做多层卷积得到的。

具体地，本实施例中，搭建循环深度神经网络模型中的融合子网络，融合子网络的结构中运用了选通循环单元。为了渐进地融合内部特征，融合子网络中包括了读取门r_t和更新门z_t，其中，读取门r_t表示为式(1)所示，更新门z_t表示为式(2)所示。

r_t＝ReLU(W_rF_t+U_rH_t-1+V_rf_t,4) (1)

其中W_r，U_r，V_r为卷积层权重，f_t,4为受雨滴遮挡区域约束的特征，ReLU(·)表示线性整流单元。

z_t＝σ(W_zF_t+U_zH_t-1+V_zf_t,4) (2)

其中W_z，U_z，V_z为卷积层权重；σ(·)表示激活函数。

整合读取门r_t和更新门z_t信息，得到当前帧图像的整合时域特征，表示为式(3)和式(4)所示。

其中W_h，U_h为卷积层权重。tanh(·)为双曲正切函数，表示逐位相乘运算。

然后，搭建去雨子网络，去雨子网络根据当前帧图像的空域特征F_t生成当前帧图像的预测雨滴图

具体地，本实施中，搭建循环深度神经网络模型中的去雨子网络，去雨子网络的结构与单帧卷积神经网络的结构相同。去雨子网络利用当前帧图像的空域特征F_t从背景中区分雨滴纹理，产生预测雨滴图

然后，搭建重建子网络，重建子网络根据当前帧图像的整合时域特征H_t获得当前帧图像的预测细节特征图

具体地，本实施例中，搭建循环深度神经网络模型中的重建子网络，重建子网络的结构与单帧卷积神经网络的结构相同。重建子网络利用当前帧图像的整合时域特征重建预测雨滴遮挡区域图的缺失内容，预测当前帧图像的预测细节特征图其中E(·)表示高通滤波器。

最后，搭建去雨重建联合子网络，去雨重建联合子网络根据当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图

具体地，本实施例中，搭建循环深度神经网络模型中的去雨重建联合子网络，去雨重建联合子网络的结构与单帧卷积神经网络的结构相同，其根据当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图

步骤202，将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入混合雨滴模型的每个视频为训练集中的每个训练样本。

进一步地，本实施例中，为了描述低透明度雨滴完全覆盖背景这一现象，更好地描述雨滴对于背景的遮挡，提出了混合雨滴模型。该混合雨滴模型表示为式(5)所示：

O_t＝(1-α_t)(B_t+S_t)+α_tA_t (5)

其中，O_t表示含雨视频中第t帧图像，B_t表示第t帧图像对应的无雨背景图，S_t表示第t帧图像对应的雨滴图，A_t表示第t帧图像对应的低透明度雨滴遮挡图。α_t则表示第t帧图像对应的雨滴遮挡区域图。α_t的定义表示为式(6)所示：

其中，Ω_s表示低透明度雨滴区域。

具体地，本实施例中，将混合雨滴模型加入到训练集的每个无雨视频中时为逐帧进行加入。加入混合雨滴模型的每个视频为训练集中的每个训练样本。

步骤203，将每个训练样本输入到循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对循环深度神经网络模型进行训练，以对循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。

其中，组合损失函数具体表示为式(7)所示：

L_all＝L_joint+λ_dL_detect+λ_cL_rect+λ_rL_removal (7)

其中，L_joint为联合损失函数，L_detect为雨滴遮挡去雨探测损失函数，L_rect为重建损失函数，L_removal为去雨损失函数，λ_d，λ_c和λ_r分别为雨滴遮挡去雨探测损失函数，重建损失函数和去雨损失函数对应的权重。

对于λ_d，λ_c和λ_r的取值可以分别为0.001，0.0001和0.0001，或其他适宜的数值，本实施例中对此不做限定。

其中，联合损失函数L_joint，雨滴遮挡去雨探测损失函数L_detect，重建损失函数L_rect，及去雨损失函数L_removal分别表示为式(8)，式(9)，式(10)及式(11)所示：

其中表示第t帧的预测无雨背景图，b_t表示第t帧的实际无雨背景图。

L_detect＝log(∑_k＝1,2exp(f_t,2(k)))-α_t (9)

其中f_t,2表示降质判别子网络抽取的第t帧的雨滴遮挡区域特征，α_t表示实际雨滴遮挡区域图。

其中，E(·)表示高通滤波器。

其中，为第t帧的预测雨滴图，s_t为第t帧的真实雨滴图。

步骤204，采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。

本实施例中，步骤204的实现方式与本发明视频去雨的方法实施例一中的步骤103的实现方式相同，在此不再一一赘述。

步骤205，对待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。

进一步地，本实施例中，将优化后的循环深度神经网络模型预测出的每一帧的预测无雨背景图进行整合，获得待处理的含雨视频对应的预测无雨视频。

可以理解的是，在形成预测无雨视频后，将该预测的无雨视频与真实的无雨视频进行比对，以对该视频去雨的方法的准确性进行评价。

本实施例提供的视频去雨的方法，在搭建进行视频去雨的循环深度神经网络模型时，具体包括：搭建卷积神经网络，卷积神经网络提取含雨视频当前帧图像的空域特征；搭建降质判别子网络，降质判别子网络根据当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；搭建融合子网络，融合子网络根据当前帧图像的空域特征，前一帧图像的整合时域特征及当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；搭建去雨子网络，去雨子网络根据当前帧图像的空域特征生成当前帧图像的预测雨滴图；搭建重建子网络，重建子网络根据当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；搭建去雨重建联合子网络，去雨重建联合子网络根据当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图，能够编码相邻帧之间的背景信息，抽取更具有表示性的特征，能够整合含雨视频中的时域和空域上的冗余信息，所以能够达到很好的视频去雨的效果，使恢复出的视频更加准确和清晰。

本实施例提供的视频去雨的方法，对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型，具体包括：将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入混合雨滴模型的每个视频为训练集中的每个训练样本；将每个训练样本输入到循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对循环深度神经网络模型进行训练，以对循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。由于混合雨滴模型相较于加性雨滴模型，能够更好的描述真实场景中复杂的图像降质情况，所以使优化后的循环深度神经网络模型更适用于真实场景中的含雨视频的去雨中。并且在进行循环深度神经网络模型的优化时，加入了组合损失函数进行约束，有效减少循环深度神经网络模型的训练时间，使训练出的循环深度神经网络模型更加优化，进而使恢复出的视频更加准确和清晰。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图3为本发明视频去雨的装置实施例一的结构示意图，如图3所示，本实施例提供的视频去雨的装置包括：搭建模块31，训练模块32及去雨模块33。

其中，搭建模块31，用于搭建进行视频去雨的循环深度神经网络模型。训练模块32，用于对循环深度神经网络模型进行训练，以获得优化后的循环深度神经网络模型。去雨模块33，用于采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。

本实施例提供的视频去雨的装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本发明视频去雨的装置实施例二的结构示意图，如图4所示，本实施例提供的视频去雨的装置在本发明视频去雨的装置实施例一的基础上，进一步地，还包括：整合模块41。

进一步地，搭建模块31，具体用于：搭建卷积神经网络，卷积神经网络提取含雨视频当前帧图像的空域特征；搭建降质判别子网络，降质判别子网络根据当前帧图像的空域特征和前一帧图像的整合时域特征获得当前帧图像的预测雨滴遮挡区域图；搭建融合子网络，融合子网络根据当前帧图像的空域特征，前一帧图像的整合时域特征及当前帧图像的预测雨滴遮挡区域图的约束特征获得当前帧图像的整合时域特征；搭建去雨子网络，去雨子网络根据当前帧图像的空域特征生成当前帧图像的预测雨滴图；搭建重建子网络，重建子网络根据当前帧图像的整合时域特征获得当前帧图像的预测细节特征图；搭建去雨重建联合子网络，去雨重建联合子网络根据当前帧图像的预测细节特征图生成当前帧图像的预测无雨背景图；卷积神经网络，降质判别子网络，融合子网络，去雨子网络，重建子网络，及去雨重建联合子网络依次为循环深度神经网络模型的一部分。

进一步地，训练模块32，具体用于：将混合雨滴模型加入到训练集的每个无雨视频中，其中，加入混合雨滴模型的每个视频为训练集中的每个训练样本；将每个训练样本输入到循环深度神经网络模型中，由组合损失函数进行约束，利用梯度下降算法对循环深度神经网络模型进行训练，以对循环深度神经网络模型中的各参数进行调整，获得优化后的循环深度神经网络模型。

其中，混合雨滴模型具体为式(5)所示。组合损失函数具体为式(7)所示。

进一步地，整合模块41，用于对待处理的含雨视频对应的每一帧预测无雨背景图进行整合，形成预测无雨视频。

本实施例提供的视频去雨的装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明视频去雨的设备实施例一的结构示意图，如图5所示，本发明实施例还提供一种视频去雨的设备，包括：存储器51，处理器52以及计算机程序。

其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现本发明视频去雨的方法实施例一或本发明视频去雨的方法实施例二中的方法。相关说明可以对应参见图1至图2的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本实施例中，存储器51和处理器52通过总线53连接。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明视频去雨的方法实施例一或本发明视频去雨的方法实施例二中的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。