阅读说明：本技术 图像处理方法及装置 (Image processing method and device ) 是由 刘诣荣 范志刚 卢涛 于 2020-06-23 设计创作，主要内容包括：本公开提供一种图像处理方法及装置,涉及图像处理领域,能够解决图像压缩不能最大程度的降低图像传输过程中的数据量的问题。具体技术方案为：获取待处理帧图像,并对所述待处理帧图像进行宏块划分,生成至少一个宏块；对所述至少一个宏块中的每个宏块进行预处理,得到与所述每个宏块对应的预处理宏块；对所述每个预处理宏块按照预设分层规则进行分层,得到每个预处理宏块对应的分层数据；对所述每个预处理宏块对应的分层数据按照预设数据提取规则进行提取,得到每个预处理宏块对应的目标数据；将所述每个预处理宏块对应的目标数据发送至图像接收设备。本发明用于减少图像传输过程中的数据量。(The disclosure provides an image processing method and an image processing device, relates to the field of image processing, and can solve the problem that data volume in an image transmission process cannot be reduced to the maximum extent by image compression. The specific technical scheme is as follows: acquiring a frame image to be processed, and performing macro block division on the frame image to be processed to generate at least one macro block; preprocessing each macro block in the at least one macro block to obtain a preprocessed macro block corresponding to each macro block; layering each preprocessed macro block according to a preset layering rule to obtain layered data corresponding to each preprocessed macro block; extracting the hierarchical data corresponding to each preprocessed macro block according to a preset data extraction rule to obtain target data corresponding to each preprocessed macro block; and sending the target data corresponding to each preprocessed macro block to image receiving equipment. The invention is used for reducing the data volume in the image transmission process.)

图像处理方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

背景技术

随着信息技术的发展，人们对通信业务的要求不断增长，通信过程中传输的图像越来越多，尤其是视频图像。而视频图像在传输过程中，数据量庞大，如果不进行图像压缩，将难以进行视频图像传输和存储。因此，图像压缩能力对于视频图像来说，显得尤为重要。

图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效对图像进行的格式存储和传输。

但目前的图像压缩通常是对图像的整体数据进行压缩，这种方式并不能最大程度的降低图像传输过程中的数据量。

发明内容

本公开实施例提供一种图像处理方法及装置，能够解决目前的图像压缩不能最大程度的降低图像传输过程中的数据量的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，应用于图像发送设备，所述方法包括：

获取待处理帧图像，并对所述待处理帧图像进行宏块划分，生成至少一个宏块；

对所述至少一个宏块中的每个宏块进行预处理，得到与所述每个宏块对应的预处理宏块，所述每个预处理宏块包括一个直流DC分量和至少一个交流AC分量；

对所述每个预处理宏块按照预设分层规则进行分层，得到每个预处理宏块对应的分层数据，所述分层数据包括一个基本层和至少一个增强层，所述DC分量为基本层，所述AC分量按照重要程度分为至少一个增强层，同一个增强层中的AC分量的重要程度相同；

对所述每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，所述目标数据包括一个基本层数据和至少一个增强层数据；

将所述每个预处理宏块对应的目标数据发送至图像接收设备。

本公开实施例提供的图像处理方法，能够获取待处理帧图像，并对该待处理帧图像进行宏块划分，生成至少一个宏块；对该至少一个宏块中的每个宏块进行预处理，得到与该每个宏块对应的预处理宏块，该每个预处理宏块包括一个DC分量和至少一个AC分量；对该每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，该目标数据包括一个基本层数据和至少一个增强层数据；将该每个预处理宏块对应的目标数据发送至图像接收设备，在图像传输过程中，只发送该每个预处理宏块对应的目标数据，传输的数据量较少，解决了目前的图像压缩不能最大程度的降低图像传输过程中的数据量的问题。

在一个实施例中，所述目标数据包括一个基本层数据和三个增强层数据，所述三个增强层数据为所述AC分量中重要程度最高的三个增强层的数据。

目标数据包括一个基本层数据和三个增强层数据，只需将该每个预处理宏块对应的一个基本层数据和三个增强层数据发送至图像接收设备，在图像传输过程中，只发送该每个预处理宏块对应的目标数据，传输的数据量较少，解决了目前的图像压缩数据不能最大程度的降低图像传输过程中的数据量的问题。

在一个实施例中，所述对所述至少一个宏块中的每个宏块进行预处理包括：

对所述至少一个宏块中的每个宏块进行DCT变换，得到与每个宏块对应的变换后的宏块，所述变换后的宏块包括一个DC分量和至少一个AC分量；

对所述每个变换后的宏块进行量化处理，得到每个变换后的宏块对应的量化后的宏块，所述量化后的宏块包括一个量化后的DC分量和至少一个量化后的AC分量。

通过对至少一个宏块的每个宏块进行DCT变换和量化处理，能够有效的减少数据处理量。

在一个实施例中，所述将所述每个预处理宏块对应的目标数据发送至图像接收设备前，所述方法还包括：

对所述每个预处理宏块对应的目标数据进行编码，得到与每个预处理宏块对应的编码后的宏块。

通过对每个预处理宏块对应的目标数据进行编码，能够提高目标数据在传输过程中的安全性。

根据本公开实施例的第二方面，提供一种图像处理方法，应用于图像接收设备，所述方法包括：

接收图像发送设备发送的第一方面所述的每个宏块的目标数据；

将所述每个宏块按照所述每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；

将所述降维后的帧图像放大成目标尺寸的帧图像；

对所述目标尺寸的帧图像和所述至少一个增强层数据进行超分辨率重建，生成目标帧图像。

本公开实施例提供的图像处理方法，能够接收图像发送设备发送的每个宏块的目标数据；将该每个宏块按照该每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；将该降维后的帧图像放大成目标尺寸的帧图像；对该目标尺寸的帧图像和该至少一个增强层数据进行超分辨率重建，生成目标帧图像，在图像传输过程中，只接收该每个预处理宏块对应的目标数据，传输的数据量较少，解决了目前的图像压缩不能最大程度的降低图像传输过程中的数据量的问题，并且公开实施例提供的图像处理方法降低了目标帧图像块效应以及提高了目标帧图像的分辨率。

在一个实施例中，所述对所述目标尺寸的帧图像和所述至少一个增强层数据进行超分辨率重建包括：

将所述目标尺寸的帧图像和所述至少一个增强层数据输入预先训练的超分辨率重建卷积神经网络SRCNN模型。

通过将该目标尺寸的帧图像和该至少一个增强层数据输入预先训练的超分辨率重建卷积神经网络SRCNN模型，能够提高目标帧图像的分辨率。

在一个实施例中，所述图像发送设备发送的每个宏块为经过编码的宏块，所述接收图像发送设备发送的每个宏块的目标数据后，所述方法还包括：

对所述每个宏块进行解码，生成与每个宏块对应的解码后的宏块。

通过对每个宏块进行解码，能够有效地恢复宏块的目标数据。

根据本公开实施例的第三方面，提供一种图像处理装置，应用于图像发送设备，所述装置包括：

待处理帧图像获取模块，用于获取待处理帧图像，并对所述待处理帧图像进行宏块划分，生成至少一个宏块；

宏块预处理模块，用于对所述至少一个宏块中的每个宏块进行预处理，得到与所述每个宏块对应的预处理宏块，所述每个预处理宏块包括一个DC分量和至少一个AC分量；

预处理宏块分层模块，用于对所述每个预处理宏块按照预设分层规则进行分层，得到每个预处理宏块对应的分层数据，所述分层数据包括一个基本层和至少一个增强层，所述DC分量为基本层，所述AC分量按照重要程度分为至少一个增强层，同一个增强层中的AC分量的重要程度相同；

分层数据提取模块，用于对所述每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，所述目标数据包括一个基本层数据和至少一个增强层数据；

目标数据发送模块，用于将所述每个预处理宏块对应的目标数据发送至图像接收设备。

在一个实施例中，所述目标数据包括一个基本层数据和三个增强层数据，所述三个增强层数据为所述AC分量中重要程度最高的三个增强层的数据。

在一个实施例中，所述宏块预处理模块具体用于：

对所述至少一个宏块中的每个宏块进行DCT变换，得到与每个宏块对应的变换后的宏块，所述变换后的宏块包括一个DC分量和至少一个AC分量；

对所述每个变换后的宏块进行量化处理，得到每个变换后的宏块对应的量化后的宏块，所述量化后的宏块包括一个量化后的DC分量和至少一个量化后的AC分量。

在一个实施例中，所述装置还包括：

宏块编码模块，用于对所述每个预处理宏块对应的目标数据进行编码，得到与每个预处理宏块对应的编码后的宏块。

根据本公开实施例的第四方面，提供一种图像处理装置，应用于图像接收设备，所述方法包括：

目标数据接收模块，用于接收图像发送设备发送的第一方面所述的每个宏块的目标数据；

宏块降维模块，用于将所述每个宏块按照所述每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；

帧图像放大模块，用于将所述降维后的帧图像放大成目标尺寸的帧图像；

目标帧图像生成模块，用于对所述目标尺寸的帧图像和所述至少一个增强层数据进行超分辨率重建，生成目标帧图像。

在一个实施例中，所述装置还包括：

宏块解码模块，用于对所述每个宏块进行解码，生成与每个宏块对应的解码后的宏块。

本公开实施例的第五方面提供一种图像处理设备，所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面任一项所述的图像处理方法中所执行的步骤。

本公开实施例的第六方面提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第一方面任一项所述的图像处理方法中所执行的步骤。

本公开实施例的第七方面提供一种图像处理设备，所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第二方面任一项所述的图像处理方法中所执行的步骤。

本公开实施例的第八方面提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第二方面任一项所述的图像处理方法中所执行的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是公开实施例提供的一种图像处理方法的流程图一；

图2是本公开实施例示出的一个8×8的宏块的分层规则示意图；

图3是本公开实施例提供的一种图像处理方法的流程图二；

图4是本公开实施例提供的一种图像处理方法的流程图三；

图5是本公开实施例提供的一种图像处理方法的流程图四；

图6是本公开实施例提供的一种SRCNN模型的结构图；

图7是本公开实施例提供的一种SRCNN模型的参数结构图；

图8是本公开实施例提供的一种SRCNN模型训练方法的流程图；

图9是本公开实施例提供的一种图像处理装置的结构图一；

图10是公开实施例提供的一种图像处理装置的结构图二；

图11是公开实施例提供的一种图像处理装置的结构图三；

图12是公开实施例提供的一种图像处理装置的结构图四；

图13是公开实施例提供的一种图像处理设备的结构图一；

图14是公开实施例提供的一种图像处理设备的结构图二。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是本公开实施例提供的一种图像处理方法的流程图一，该图像处理方法应用于图像发送设备，该图像发送设备即为图像编码端。如图1所示，该图像处理方法包括以下步骤：

S101、获取待处理帧图像，并对该待处理帧图像进行宏块划分，生成至少一个宏块。

示例性地，该至少一个宏块可以为4×4的宏块、8×8的宏块、16×16的宏块，也可以为其他尺寸的宏块。优选地，在本实施例中，该至少一个宏块为8×8的宏块。

S102、对该至少一个宏块中的每个宏块进行预处理，得到与该每个宏块对应的预处理宏块，该每个预处理宏块包括一个直流DC分量和至少一个交流AC分量。

下面对如何对该至少一个宏块中的每个宏块进行预处理进行说明：

示例性地，先对该至少一个宏块中的每个宏块进行离散余弦变换(DiscreteCosine Transform，DCT)，得到与每个宏块对应的变换后的宏块，该变换后的宏块包括一个DC分量和至少一个AC分量；

再对该每个变换后的宏块进行量化处理，得到每个变换后的宏块对应的量化后的宏块，该量化后的宏块包括一个量化后的DC分量和至少一个量化后的AC分量。

示例性地，8×8的宏块经过预处理后得到的预处理宏块包括一个DC分量和63个AC分量。

S103、对该每个预处理宏块按照预设分层规则进行分层，得到每个预处理宏块对应的分层数据，该分层数据包括一个基本层和至少一个增强层，该DC分量为基本层，该AC分量按照重要程度分为至少一个增强层，同一个增强层中的AC分量的重要程度相同。

示例性地，该预设分层规则中规定了每一个宏块划分的层数，及宏块中各个层所包含的像素点的位置。实际应用中，对于8×8的宏块，可以划分为16层。

图2是本公开实施例示出的一个8×8的宏块的分层规则示意图，参照图2，属于同一层的像素点以相同的颜色标注，比如，DC分量为第一层基本层，AC分量例如AC1、AC2属于第二层增强层，AC3、AC4属于第三层增强层，AC5、AC6、AC7属于第四层增强层，以此类推，AC58、AC59、AC60、AC61、AC62、AC63属于第十六层增强，等等，以此类推，其中，DC分量的重要程度最高，AC分量的重要程度由高至低依次为第二层增强层、第三增强层……，直至第十六增强层，同一个增强层中的AC分量的重要程度相同。

上述只是一个示例性的分层规则示意图，实际应用中，可以根据实际需要对分层规则进行设置和调整，一旦确定了分层规则之后，则根据分层规则对当前帧图像中的所有宏块进行分层，从而确定出每一层所包含的像素点。

S104、对该每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，该目标数据包括一个基本层数据和至少一个增强层数据。

该预设数据提取规则需要规定每个预处理宏块所进行提取的数据层数。一般情况下，优先选取低层数据。比如，可以选择第一层，也就是对基本层数据进行传输，或者，也可以选择第1-N层，N的取值可以根据实际需要进行设置。根据经验值，N的取值不大于4。

在本实施例中，N为4，即该目标数据包括一个基本层数据和三个增强层数据，该三个增强层数据为该AC分量中重要程度最高的三个增强层的数据。以8×8的宏块为例，该目标数据包括第一基本层数据和第二增强层、第三增强层以及第四增强层数据。

S105、将该每个预处理宏块对应的目标数据发送至图像接收设备。

示例性地，先对该每个预处理宏块对应的目标数据进行编码，得到与每个预处理宏块对应的编码后的宏块，再将与每个预处理宏块对应的编码后的宏块发送至图像接收设备。

本公开实施例提供的图像处理方法，能够获取待处理帧图像，并对该待处理帧图像进行宏块划分，生成至少一个宏块；对该至少一个宏块中的每个宏块进行预处理，得到与该每个宏块对应的预处理宏块，该每个预处理宏块包括一个DC分量和至少一个AC分量；对该每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，该目标数据包括一个基本层数据和至少一个增强层数据；将该每个预处理宏块对应的目标数据发送至图像接收设备，在图像传输过程中，只发送该每个预处理宏块对应的目标数据，传输的数据量较少，解决了目前的图像压缩不能最大程度的降低图像传输过程中的数据量的问题。

下面结合图3实施例，对图1实施例示出的图像处理方法做进一步详细说明。图3是本公开实施例提供的一种图像处理方法的流程图二。如图3所示，该图像处理方法包括以下步骤：

S301、获取当前帧图像；

S302、对当前帧图像进行预处理，所述预处理包括：DCT变换和量化；

具体的，对当前帧图像所进行的预处理是以宏块为单位进行的，也就是说，在进行预处理之前，将整个当前帧图像划分为多个宏块，之后再针对各个宏块进行预处理，每个宏块的大小可以根据实际需要来设置，在JPEG编码中通常将图像帧划分为8×8的宏块进行处理。

DCT变换能够将空域的信号转换到频域上，具有良好的去相关性的性能。DCT变换本身是无损的，但是在图像编码过程中给接下来的量化、编码等创造了很好的条件，同时，由于DCT变换时对称的，所以，在量化编码后可以在接收端利用DCT反变换恢复原始的图像信息。

对当前帧图像进行预处理后得到的数据主要包括DC分量部分和AC分量部分，具体的，以8×8的宏块来说，将得到一个DC分量和63个AC分量。

S303、对预处理后的帧图像进行分层处理；

这里的分层仍然是以宏块为单位进行的，具体的针对每个宏块按照预设设分层规则进行分层。所述预设分层规则中规定了每一个宏块划分的层数，及宏块中各个层所包含的像素点的位置。实际应用中，对于8×8的宏块，可以划分为16层。

具体的，参照图2，属于同一层的像素点以相同的颜色标注，比如，DC为第一层基本层，AC1、AC2属于第二层增强层，AC3、AC4属于第三层增强层，AC5、AC6、AC7属于第四层增强层，以此类推，AC58、AC59、AC60、AC61、AC62、AC63属于第十六层增强，等等，以此类推。

上述只是一个示例性的分层规则示意图，实际应用中，可以根据实际需要对分层规则进行设置和调整，一旦确定了分层规则之后，则根据分层规则对当前帧图像中的所有宏块进行分层，从而确定出每一层所包含的像素点。

分层规则的设置依据主要是预处理后的数据，预处理后的数据通常包括DC分量部分和AC分量部分，其基本原理是：将DC分量作为第一层，主要负责整个画面的轮廓部分的显示；将AC分量按照其重要程度进行分层，重要程度相当的划分在同一层。分完层之后，对各个层进行编号，编号时，将重要程度高的层数靠前，也就是，从第2层至第16层，重要程度逐渐降低。

S304、从当前帧图像中取出预设的一层或多层数据；

这一步骤中，根据预设数据提取规则来提取一层或者多层数据。

数据提取规则需要规定所进行提取的数据层数。一般情况下，优先选取低层数据进行传输，比如，可以选择第1层，也就是对基本层数据进行传输，或者，也可以选择第1-N层，N的取值可以根据实际需要进行设置。根据经验值，N的取值不大于4。

一旦确定了数据提取规则，则针对当前图像帧中的每一个宏块按照相同的数据提取规则，提取所需要的一层或者多层数据，从而完成整个当前帧图像的数据提取。

S305、对所提取出的数据进行编码，将编码后的数据进行存储或者通过网络发送到图像接收设备。

这一步骤中，可以根据预设的编码方式对提取的数据进行编码，这里的预设编码方式可以为现有任意一种或者多种编码方式。

下面结合图4实施例，对图像接收设备如何进行图像处理进行说明。图4是本公开实施例提供的一种图像处理方法的流程图三，该方法应用于图像接收设备，该图像接收设备即为图像解码端。如图4所示，该图像处理方法包括以下步骤：

S401、接收图像发送设备发送的每个宏块的目标数据。

示例性地，该目标数据包括一个基本层数据和至少一个增强层数据。以8×8的宏块为例，该目标数据包括第一基本层数据和第二增强层、第三增强层以及第四增强层数据。

在本实施例中，该图像发送设备发送的每个宏块为经过编码的宏块，图像接收设备接收图像发送设备发送的每个宏块的目标数据后，需对每个宏块进行解码，生成与每个宏块对应的解码后的宏块。

S402、将该每个宏块按照该每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；

S403、将该降维后的帧图像放大成目标尺寸的帧图像。

由于图像中块效应最为明显的是宏块中的基本层数据，在基本层数据中，由于所分每个8×8宏块只存在低频分量，即图像的光影强度信息，因此每个8×8宏块中为同一灰度值，因此，可将每个8×8宏块按照8×8宏块基本层数据的灰度进行降维，如将1920*1080的帧图像划分为8×8宏块，再将1920*1080的帧图像按照每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像，降维后的帧图像可以表示为240*135矩阵，并且降维后的帧图像为低分辨率图像。

再将该降维后的帧图像使用插值放大例如双三次插值放大成目标尺寸的帧图像，如使用插值将240*135矩阵的降维后的帧图像放大至1920*1080的帧图像。虽通过插值放大，但该目标尺寸的帧图像仍称为低分辨率图像。

S404、对该目标尺寸的帧图像和该至少一个增强层数据进行超分辨率重建，生成目标帧图像。

示例性地，可以采用基于插值的超分辨率重建算法、基于重构的超分辨率重建算法、基于学习的超分辨率重建算法或者其他超分辨率重建算法对该目标尺寸的帧图像和该至少一个增强层数据进行超分辨率重建，生成目标帧图像。

在本实施例中，采用基于学习的超分重建算法对该目标尺寸的帧图像和该至少一个增强层数据进行超分辨率重建。示例性地，基于学习的超分重建算法可以采用基于图像的超分辨率重建卷积神经网络(Super-Resolution Convolutional Neural Network，SRCNN)模型。

在本实施例中，将该目标尺寸的帧图像和该至少一个增强层数据输入预先训练的SRCNN神经网络模型，即可生成目标帧图像，该目标帧图像即为高分辨率的帧图像。

由于第2～4层增强层数据在图像中的块效应并不明显，因此，不需要执行降维以及插值放大这一过程，直接输入该SRCNN模型，即可重建得到超分去块效应的高分辨率图像。

对于大于第4层的增强层数据，基本层数据与增强层数据的叠加，使得大于第4层的增强层数据在图像中的块效应几乎不存在，即使不处理大于第4层的增强层数据也不影响用户的视觉感受，因此，在本申请中，图像发送设备不向图像接收设备发送大于第4层的增强层数据，即图像接收设备接收的每个宏块的目标数据中不包括大于第4层的增强层数据。

本公开实施例提供的图像处理方法，能够接收图像发送设备发送的每个宏块的目标数据；将该每个宏块按照该每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；将该降维后的帧图像放大成目标尺寸的帧图像；对该目标尺寸的帧图像和该至少一个增强层数据进行超分辨率重建，生成目标帧图像，在图像传输过程中，只接收该每个预处理宏块对应的目标数据，传输的数据量较少，解决了目前的图像压缩不能最大程度的降低图像传输过程中的数据量的问题，并且公开实施例提供的图像处理方法降低了目标帧图像块效应以及提高了目标帧图像的分辨率。

下面结合图5实施例，对图4实施例提供的图像处理方法作进一步详细说明。图5是本公开实施例提供的一种图像处理方法的流程图四，该方法应用于图像接收设备，该图像接收设备即为图像解码端。如图5所示，该图像处理方法包括以下步骤：

S501、接收图像编码端发送的帧图像数据；

S502、对接收到的帧图像数据进行解码，得到一层或者多层图像数据；

这一步骤中，按照与图像编码端所采用的编码方式相对应的解码方式对当前接收到的码流进行解码。该一层或者多层图像数据为每个宏块的一个基本层数据或者为每个宏块的一个基本层数据和至少一增强层数据。

S503、采用SRCNN模型来对步骤S502中得到的一层或者多层图像数据进行超分辨率重建，经过重建后得到高清晰度图像。

下面对如何根据SRCNN模型对进行图像重建进行说明。

通过分析分层图像，发现块效应最为明显的是第一层图像，即基本层数据，在第一层图像数据中，由于所分每个8×8宏块只存在低频分量，也即图像的光影强度信息，因此每个8×8宏块中为同一灰度值，因此，对于第一层图像，可将每个8×8宏块用基本层数据的灰度值表示，如将1920*1080图像表示为240*135矩阵，再通过超分辨率算法将图像恢复成原始图像大小。

现有的超分方法有很多，如基于插值的超分重建、基于重构的超分重建以及基于学习的超分重建。其中基于学习的方法是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。

本方案采用SRCNN模型来对低分辨率图像进行超分辨率重建。SRCNN模型是基于深度学习方法的对图像超分重建，通过采用SRCNN模型来实现低分辨率到高分辨率图像之间端到端的映射，SRCNN模型的结构如图6所示。

对于一个低分辨率图像，首先采用双三次插值将低分辨率图像放大成图像目标，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。采用SRCNN模型的对图像进行重建的流程为：

Step 1：图像块提取。先将低分辨率图像使用双三次插值放大至目标尺寸，如使用插值将240*135放大至1920*1080。虽通过插值放大，但仍称为低分辨率图像，即超分输入图像。从低分辨输入图像中提取图像块，组成高维的特征图。

F₁(Y)＝max(0，W₁*Y+B₁)

其中，W₁与B₁为超分参数，通过学习获得，F₁(Y)为该高维的特征图的特征值，Y为该放大后的低分辨率图像的特征值。示例性地，将该方法后的低分辨率图像输入该SRCNN模型的第一层卷积即可得到该高维的特征图。其中，该第一层卷积的卷积核尺寸9*9(f1*f1)，卷积核数目64(n1)，经过该第一层卷积计算可以输出64张高维的特征图。

Step 2：非线性映射。将经过第一层卷积输出的高维的特征数图输入第二层卷积，该第二层卷积的卷积核尺寸为1*1(f2*f2)，卷积核数目为32(n2)，讲过第二层卷积可以计算输出32张特征图；这个过程实现两个高维特征向量的非线性映射。

F₂(Y)＝max(0，W₂*F₁(Y)+B₂)

其中，W₂＝n1*1*1*n2。采用了1*1卷积，B₂为超分参数，F₂(Y)为该32张特征图的特征值。

Step 3：重建。将经过第二层卷积输出的32张特征图输入第三层卷积，该三层卷积的卷积核为5*5(f3*f3)，卷积核数目为1(n3)，输出1张特征图即为最终重建高分辨率图像。

F₃(Y)＝W₃*F₂(Y)+B₃

其中，其中，W₃和B₃为超分参数，F₃(Y)为该最终重建高分辨率图像的特征值。

示例性地，该SRCNN模型的参数结构如图7，该SRCNN模型的参数结构包括：

第一层卷积：卷积核尺寸9×9(f1×f1)，卷积核数目64(n1)，输出64张特征图；

第二层卷积：卷积核尺寸1×1(f2×f2)，卷积核数目32(n2)，输出32张特征图；

第三层卷积：卷积核尺寸5×5(f3×f3)，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像。

对于第2～4层帧图像，由于块效应并不明显，因此，不需要做降采样再插值这一过程，也即上述的step1过程，直接将图像进行step2非线性映射，再step3重建得到超分去块效应图像。

对于大于第4层的帧图像，基本层与增强层的叠加，使得图像块效应几不明显，即使不处理也不影响视觉感受，因此，对于传输至高于第4层的帧图像，本方案不对其进行处理。

下面结合图8实施例，对如何训练SRCNN模型进行说明。图8是本公开实施例提供的一种SRCNN模型训练方法的流程图。如图8所示，该方法包括：

S801、生成训练样本集；

第一步、采集图像；

为了达到对神经网络的训练目的，需要采集大量的图像来生成训练样本集。

第二步、对采集到的图像进行分层；

第三步、根据预设的数据提取规则，提取相应层的图像数据；

第四步、对提取到的图像数据先进行编码，再解码；

第五步、将解码后得到的图像数据和原图，作为训练样本集；

其中，训练集中包括多个训练样本，每一个训练样本可以表示为(Ai，Bi)其中，Ai表示解码后得到的图像数据，即，输入数据；Bi表示原图，即，目标图像。

S802、通过训练样本集对SRCNN模型进行训练。

具体的，将解码后得到的图像数据作为SRCNN模型的输入，并计算SRCNN模型的输出；计算SRCNN模型的输出与实际值(目标)之间的差值，根据得到的差值来调整SRCNN模型的参数(权重)，并不断重复上述步骤不断迭代，直到SRCNN模型输出与实际值之间的差值小于预设的误差阈值为止。

将最终得到的SRCNN模型作为本发明中所使用预先训练好的SRCNN模型，用于在图像解码端对低分辨率图像进行超分重建。

图9是本公开实施例提供的一种图像处理装置的结构图一，该装置应用于图像发送设备。如图9所示，该装置90包括：

待处理帧图像获取模块901，用于获取待处理帧图像，并对所述待处理帧图像进行宏块划分，生成至少一个宏块；

宏块预处理模块902，用于对所述至少一个宏块中的每个宏块进行预处理，得到与所述每个宏块对应的预处理宏块，所述每个预处理宏块包括一个DC分量和至少一个AC分量；

预处理宏块分层模块903，用于对所述每个预处理宏块按照预设分层规则进行分层，得到每个预处理宏块对应的分层数据，所述分层数据包括一个基本层和至少一个增强层，所述DC分量为基本层，所述AC分量按照重要程度分为至少一个增强层，同一个增强层中的AC分量的重要程度相同；

分层数据提取模块904，用于对所述每个预处理宏块对应的分层数据按照预设数据提取规则进行提取，得到每个预处理宏块对应的目标数据，所述目标数据包括一个基本层数据和至少一个增强层数据；

目标数据发送模块905，用于将所述每个预处理宏块对应的目标数据发送至图像接收设备。

在一个实施例中，所述目标数据包括一个基本层数据和三个增强层数据，所述三个增强层数据为所述AC分量中重要程度最高的三个增强层的数据。

在一个实施例中，宏块预处理模块902具体用于：

对所述至少一个宏块中的每个宏块进行DCT变换，得到与每个宏块对应的变换后的宏块，所述变换后的宏块包括一个DC分量和至少一个AC分量；

对所述每个变换后的宏块进行量化处理，得到每个变换后的宏块对应的量化后的宏块，所述量化后的宏块包括一个量化后的DC分量和至少一个量化后的AC分量。

在一个实施例中，如图10所示，该装置90还包括：

宏块编码模块906，用于对所述每个预处理宏块对应的目标数据进行编码，得到与每个预处理宏块对应的编码后的宏块。

本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图1至图3实施例，在此不再赘述。

图11是本公开实施例提供的一种图像处理装置的结构图三，该装置应用于图像接收设备。如图11所示，该装置110包括：

目标数据接收模块1101，用于接收图像发送设备发送的第一方面所述的每个宏块的目标数据；

宏块降维模块1102，用于将所述每个宏块按照所述每个宏块的基本层数据的灰度进行降维，得到降维后的帧图像；

帧图像放大模块1103，用于将所述降维后的帧图像放大成目标尺寸的帧图像；

目标帧图像生成模块1104，用于对所述目标尺寸的帧图像和所述至少一个增强层数据进行超分辨率重建，生成目标帧图像。

在一个实施例中，如图12所示，装置110还包括：

宏块解码模块1105，用于对所述每个宏块进行解码，生成与每个宏块对应的解码后的宏块。

本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图4至图7实施例，在此不再赘述。

图13是本公开实施例提供的一种图像处理设备的结构示意图一，如图14所示，该图像处理设备130包括：

处理器1301和存储器1302，所述存储器1301中存储有至少一条计算机指令，所述指令由所述处理器1301加载并执行以实现图1至图3对应的实施例中所描述的图像处理方法中所执行的步骤。

基于上述图1至图3对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1至图3对应的实施例中所描述的图像处理方法，此处不再赘述。

图14是本公开实施例提供的一种图像处理设备的结构示意图二，如图14所示，该图像处理设备140包括：

处理器1401和存储器1402，所述存储器1401中存储有至少一条计算机指令，所述指令由所述处理器1401加载并执行以实现图4至图7对应的实施例中所描述的图像处理方法中所执行的步骤。

基于上述图4至图7对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图4至图7对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。