具体实施方式

人工智能技术是指利用数字计算机或利用数字计算机控制的机器去模拟、延伸和扩展人的智能，进而得到可用于感知环境、获取知识或使用知识获得最佳结果的理论、方法、技术及应用系统。其中，机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习是一门多领域交叉学科，其包括：概率论、统计学、逼近论、凸分析、算法复杂度理论等，专门研究计算机怎样模拟或实现人类的学习行为，以使得计算机获取新的知识或技能，并能重新组织已有的知识结构以使计算机不断改善自身的性能。计算机视觉技术是指：用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等，并基于识别结果、跟踪结果和测量结果等，对目标进行图像处理，以使得计算机进行图像处理后得到的处理结果能够优于人眼处理得到的处理结果。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

基于上述人工智能技术与计算机视觉技术，本发明实施例提供了一种图像处理方法，该方法充分利用了人工智能技术与计算机视觉技术，根据分屏图像对应的图像画面分屏规则完成对分屏图像的画面分割处理，得到多个分割图像，然后对多个分割图像分别进行分析处理，可得到更加准确的图像分析处理结果。上述图像处理方法可以广泛应用于视频质量分析、视频剪辑预处理、图像内容打分、图像质量打分等多个图像处理领域。

现有技术中对分屏图像处理的方法包括两种，分别为是像素级检测分割和区域级检测分割。其中，像素级检测分割是基于深度学习的网络对分屏图像进行目标检测和对目标进行像素级的分割，这种方法只能识别到分屏图像中包括几种目标对象的画面比如包括两个人物的画面，但是不能将这两个人物的画面分割开来。并且这种分屏图像处理方法需要大型的网络支持，复杂度高、处理速度慢。区域级检测分割是利用像素的相关性，判断像素之间的距离从而实现对分屏图像进行区域划分，这种方法能够将分屏图像划分出两个区域，但是并不能做到将分屏图像划分出两个独立的图像画面。

本发明实施例中的图像处理方法与现有技术相比，实现了将分屏图像中包括的各个图像画面进行分割，得到多个子图像，然后分别对各个子图像进行处理。

在一个实施例中，本发明实施例的上述图像处理方法可在同一图像处理设备中完成应用，例如通过图像处理设备获取分屏图像，并通过图像处理设备运行上述图像处理方法对该分屏图像进行图像分析处理。该图像处理设备可以是终端或者服务器，该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能机器人、智能手表等，但并不局限于此，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明实施例在此不做限制。

在另一个实施例中，上述图像处理方法可以是由不同的图像处理设备交互完成的，此时图像处理设备可以包括终端和服务器，比如在终端中完成对分屏图像的画面分割处理，在服务器中完成对分屏图像对应的多个分割图像的图像分析处理。本发明实施例中，在无特殊说明的情况下，以上述图像处理方法由单个图像处理设备执行的为例。

请参见图1，为本发明实施例提供的一种图像处理方法的示意流程图，图1所示的图像处理方法可由图像处理设备执行，具体可由图像处理设备的处理器执行。图1所示的图像处理方法可包括以下步骤：

步骤S101，获取分屏图像。

在一个实施例中，分屏图像包括N个独立的图像画面，且N为正整数。可选地，分屏图像可以是分屏视频中的任意一帧视频画面，分屏视频是指在同一个屏幕中有两个或多个视频源。例如，如图2中21所示，分屏图像可以是社交应用程序的视频会话中的任意一帧视频画面；再如，如图2中22所示，分屏图像可以是歌唱类应用程序内的合唱视频中的任意一帧视频画面。

在一个实施例中，图像处理设备可基于分屏视频中得到的分屏图像对分屏视频进行多种图像处理，例如：质量评估处理(如K歌视频质量打分、合唱视频择优推荐等)或视频内容打分处理等。那么，在此情况下，图像处理设备可以从分屏视频中抽取多个分屏图像，并对多个分屏图像中每个分屏图像分别进行质量评估依据或内容打分，最后根据各个分屏图像的处理结果为该分屏视频打分或者进行其他处理，以使得图像处理设备能获取到分屏视频更完整的信息，进而使得图像处理设备得到更加准确的视频处理结果。具体地，图像处理设备可以通过对分屏视频进行均匀抽帧，以得到多个分屏图像，其中，均匀抽帧是指图像处理设备抽取第a帧和第a+1帧时的间隔时间T1，与图像处理设备抽取第a+1帧和第a+2帧之间的间隔时间T2相等。其中，图像处理设备在分屏视频中抽取的帧数(获取的分屏图像的数量)可以根据使用平台(如：应用程序、移动客户端等)的计算能力进行调整。例如，计算能力弱的平台可获取3个分屏图像作为视频质量评估的依据，计算能力强的平台则可获取9个分屏图像作为视频质量评估的依据。

步骤S102，对分屏图像进行分屏方式识别，得到分屏图像的目标分屏方式。

在一个实施例中，目标分屏方式可以包括分屏图像的目标分屏类型以及目标分屏布局，其中，目标分屏布局用于指示分屏图像中N个独立的图像画面在所述分屏图像中的位置关系，比如目标分屏布局可以包括上一下一(表示分屏图像的两个图像画面是上下分布的)、左一右一(表示分屏图像的两个图像画面是左右分布的)、左一右二(表示分屏图像包括3个独立的图像画面，且3个独立画面的分布是左侧一个图像画面，右侧两个图像画面)，上一下二(表示分屏图像包括3个独立的图像画面，且3个独立的图像画面的分布是上方一个图像画面，下方两个图像画面)等等。目标分屏类型可以包括n等分分屏类型、非等分分屏类型以及嵌套分屏类型，其中，n为大于2的整数。应当理解的，在n等分分屏类型中，各种分屏布局中所提及的左右、上下均是对称的，比如上述“上一下二”这种分屏布局是指以分屏图像的左右方向为对称轴分割成上下对称的两部分，然后在下半部分，以上下方向为对称轴分割成“二”部分。

举例来说，参见图3a，分屏图像31对应的目标分屏方式中目标分屏类型为二等分分屏，且目标分屏布局为左一右一；分屏图像32对应的目标分屏方式中目标分屏类型为二等分分屏，且目标分屏布局为上一下一；分屏图像33对应的目标分屏方式中目标分屏类型为嵌套分屏，且目标分屏布局为右下一中一(表示右下角一个图像画面，中间位置一个图像画面)；分屏图像34对应的目标分屏方式中目标分屏类型为四等分分屏类型，目标分屏布局为上二下二或者说成是左二右二。

在一个实施例中，图像处理设备对分屏图像进行分屏方式识别，得到分屏图像对应的目标分屏方式可以是图像处理设备调用分屏方式识别模型执行的。其中，分屏方式识别模型可以是基于图像样本训练得到的，图像样本包括非分屏图像样本和分屏图像样本，其中，分屏图像样本又可以包括n等分分屏类型且多种分屏布局的图像样本以及非等分分屏类型的图像样本。关于分屏方式识别模型的训练将在后面的实施例中详细介绍，此处不再赘述。

可选的，分屏方式识别模型可以是基于卷积神经网络MobileNetV3(移动网络3，一种轻量级的卷积神经网络)构建的，MobileNetV3具备结构简单、效果优异的特点，能更加贴合分屏方式识别模型的特性和客户应用场景的需求。

在一个实施例中，分屏方式识别模型可以包括卷积层和全连接层，图像处理设备调用分屏方式识别模型对分屏图像进行分屏方式识别，得到分屏图像的目标分屏方式，包括：调用所述分屏方式识别模型的卷积层进行卷积运算，以得到所述分屏图像的M维特征图像，M为正整数；调用所述分屏方式识别模型的全连接层基于所述M维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式。

在一个实施例中，卷积层与一个池化层对应，M维特征图像是卷积层对分屏图像进行卷积运算，并将运算结果输入到池化层进行处理后得到的。可选的，卷积层的数量可以为一个或多个，每一个卷积层均可以对应一个池化层。

具体实施例中，当分屏图像对应的M维特征图像的维数较大(即：M较大，如为1280)时，如果图像处理设备只采用一个全连接层完成对M维的特征图像的分屏方式识别处理(可理解为：采用一个全连接层将分屏图像的1280维的特征向量识别为目标分屏方式)。那么，容易因为特征向量的空间跳度太大，导致分屏方式识别模型的拟合准确度不高。由此可知，图像处理设备仅采用一个全连接层构建得到的分屏方式识别模型在进行分屏方式识别时，效果并不理想。

本发明实施例为了改善上述缺点，提出将两个全连接层结合，即本发明实施例中分类方式识别模型中的全连接层包括第一全连接层和第二全连接层，那么，图像处理设备调用分屏方式识别模型的全连接层基于M维特征图像进行分屏方式识别，得到分屏图像的目标分屏方式，具体可以执行：图像处理设备调用分屏方式识别模型的第一全连接层对M维特征图像进行降维处理，得到P维特征图像，再调用分屏方式识别模型的第二全连接层对P(P＜M，且P为正整数)维特征图像进行分屏方式识别，得到分屏图像的目标分屏方式。示例性地，P维的特征图像可以是128维的特征向量。

在一个实施例中，为了进一步地提高降维处理的效果，分屏方式识别模型还可包括特征丢弃(Dropout)层，Dropout层用于丢弃特征图像中50％的参数，可理解为：将特征图像的维度降至原先的一半，如原维度为4，经过一层Dropout层后，维度降为2。那么，分屏方式识别模型具体可参见图3b，如图3b所示，分屏方式识别模型中，将第一全连接层的输出数据作为Dropout层的输入数据，并将Dropout层的输出数据作为第二全连接层的输入数据。那么，图像处理设备调用分屏方式识别模型的第一全连接层对M维特征图像进行降维处理，得到P维特征图像，可以具体是：图像处理设备采用第一全连接层对M维度的特征图像进行降维处理，得到O维的特征图像，再调用特征丢弃(Dropout)层进一步丢弃O维的特征图像中50％的参数，得到P维的特征图像，可以理解的是，O是P的两倍(即O＝2P)。这种方式可以使得全连接层(第一全连接层和第二全连接层)保持较大的模型容量(拟合各种函数的能力)，从而提高分屏方式识别模型的拟合准确度，保证分屏方式识别模型的迁移能力。举例来说，假设图像处理设备要对分屏图像A进行分屏方式识别。若分屏方式识别模型进行卷积运算时涉及的M为1280，O为256，那么，对图像处理设备对分屏图像A进行分屏方式识别的过程可具体如下：图像处理设备首先调用分屏方式识别模型的卷积层对分屏图像A进行卷积运算(即：特征提取)，得到1280维的特征向量(即：M维的特征图像)，然后调用第一全连接层对1280维的特征向量进行降维处理，得到256维的特征向量(即：O维的特征图像)，再调用Dropout层丢弃掉256维的特征向量中50％的参数，即可得到128维的特征向量(即：P维的特征图像)，然后图像处理设备再调用分屏方式识别模型的第二全连接层对128维的特征向量进行分屏方式识别，即可得到分屏图像A的目标分屏方式。示例性地，假设分屏图像A只包括一个独立画面，那么分屏方式识别模型得到的目标分屏方式可为未分屏类型。可选地，图像处理设备可以通过输出层输出该目标分屏方式，示例性地，该输出层可采用softmax激励函数。

步骤S103，根据目标分屏方式对应的图像画面分屏规则，对分屏图像进行画面分割，得到N个分割图像。

在一个实施例中，由前述可知，目标分屏方式可以包括目标分屏类型以及目标分屏布局，此处所述的目标分屏方式对应的图像画面分屏规则可以是指在目标分屏类型下该目标分屏布局对应的图像画面分屏规则。应当理解的，不同的目标分屏方式其对应的图像画面分屏规则的设置方式不同。

可选的，对于n等分分屏类型，通常应用场景中n的数量不会太大，这样一来，就可以列举出所有等分分屏类型以及每种等分分屏类型对应的分屏布局，如此一来，本发明实施例中可以预先设置n等分分屏类型下每个等分分屏类型的所有分屏布局对应的图像画面分屏规则，该图像画面分屏规则可以包括每个图像画面在分屏图像中的尺寸信息。基于此，如果一个分屏图像的目标分屏方式为n等分分屏类型和目标分屏布局，那么本发明实施例可以查找该n等分分屏类型下，与目标分屏布局对应的图像画面分屏规则，并按照查找到的图像画面分屏规则将分屏图像进行分割。

例如，在二等分分屏类型下，分屏布局可以包括“上一下一”和“左一右一”，左一右一对应的图像画面分屏规则可以为：按照上下对称方向将两个图像画面显示在一个分屏图像上，且两个分频图像的尺寸相同，均等于一个分屏图像尺寸的50％，如图3c中331所示；“上一下一”对应的图像画面分屏规则可以为：按照左右对称方向将两个图像画面显示在一个分屏图像上，且两个分屏图像的尺寸相同，均等于一个分屏图像尺寸的50％，如图3c中332所示。再如，在三等分分屏类型下，分布布局可以包括上一下二，上二下一，左一右二以及左二右一等，上一下二对应的图像画面分屏规则可以是：按照上下对称方向将一个分屏图像分为上下两部分，在上部分，显示一个图像画面，该图像画面的位置可以是居中；在下部分，按照左右对称方向显示两个图像画面，这三个图像画面的大小可以是相同的，均可以等于一个分屏图像尺寸的25％，如图3c中333所示。对于三等分分屏类型的其他分屏布局可以参照上述“上一下二”的图像画面分屏规则设置方式进行设置，本发明实施例不一一列举。

另外，应当理解的，本发明实施例中，上述只是列举了一种可行的图像画面分割规则设置方法，在实际应用中可以根据不同应用场景，参照上述设置方法有针对性地设置不同分屏布局对应的图像画面分屏规则，本发明实施例中不做具体限定。

可选的，对于嵌套分屏类型，本发明实施例也可以预先设置嵌套分屏类型下的每个分屏布局对应的画面分屏规则。通常情况下，嵌套分屏类型下包括的分屏布局可以包括右下一中一，左下一中一，右上中一以及左上一中一。例如，假设右下一中一这种分屏布局对应的图像画面分屏规则可以为：将两个图像画面分别设置不同尺寸，较大的尺寸可以等于分屏图像尺寸的90％或者其他比例，较小的尺寸可以等于分屏图像尺寸的20％或者其他比例，将较小的图像画面显示在分屏图像的右下角，将较大的图像画面显示在分屏图像的中间。如图3c中334所示，在334中3341表示较小的图像画面，3342表示较大的图像画面。

可选的，对于非等分分屏类型，本发明实施例中可以通过训练一个能够识别图像画面分屏规则的分割模型来确定非等分分屏类型的图像画面分割规则。具体实现中，该分割模型用于确定非等分分屏类型对应的图像画面分割规则的原理可以是：使用深度网络训练像素级的分割模型，分割模型能够识别到非等分分屏类型的分屏图像中的分割线，根据分割线便可知道图像画面分割规则。

总结来说，对于能够枚举出所有分屏布局的分屏类型(比如n等分分屏类型以及嵌套分屏类型)，可以预先设置每一种分屏类型下的每一种分屏布局对应的图像画面分屏规则，将每一种分屏布局对应的图像画面分屏规则作为一个分割模板，如果识别到待处理的分屏图像是该分屏类型下的某种分屏布局，那么就可以按照该分屏布局对应的分割模板将分屏图像进行分割处理，得到多个独立的图像画面。对于不能够枚举出所有分屏布局的分屏类型(比如非等分分屏类型)，需要专门训练一个神经网络来实现边界检测，以根据检测到的边界确定该种分屏类型对应的图像画面分屏规则。

可见，本发明实施例提供的图像处理方法适用于各种分屏类型的分屏图像进行处理的场景，且使用本实施例中提供的方法在对分屏图像进行精度较低的分割处理时，无需图像处理设备进行额外的计算即可实现画面的分割，不仅解决了现有技术不能实现对画面进行分割的问题(现有技术只能实现分屏图像检测和对分屏图像进行像素级的分割)，还避免了使用大型的网络，降低了图像处理过程的复杂度。

示例性地，如图3d所示，假设图像处理设备调用分屏方式识别模型对分屏图像B进行分屏方式识别后，得到分屏图像B的目标分屏方式二等分分屏，目标分屏布局为左一右一，那么，图像处理设备可获取该种目标分屏方式对应的图像画面分屏规则对分屏图像B进行分割处理，得到2个分割图像(分割图像A和分割图像B)。

步骤S104，对N个分割图像中每个分割图像进行图像分析处理。

在一个实施例中，图像分析处理可以例如是图像质量分析、图像内容打分等。具体实施例中，在图像处理设备得到N个分割图像中每个分割图像的图像分析处理结果后，可进一步得到该分屏图像的图像分析处理结果。

本发明实施例通过对分屏图像进行分屏方式识别，然后根据分屏方式识别得到的目标分屏方式对应的图像画面分屏规则(或称：分割模板)，对分屏图像进行画面分割，得到多个独立的分割图像；进一步可以分别对多个独立的分割图像进行图像分析处理，实现了对分屏图像中各个独立图像画面分别分析，避免图像画面之间相互干扰，影响处理结果，从而提高了图像处理的准确性。

请参见图4，图4是本发明实施例提供的一种图像处理方法的应用流程示意图，如图4所示，该方法包括：

步骤S401，获取分屏图像，分屏图像为娱乐类应用程序中待发布的合唱视频中任意一帧视频画面。

在一个实施例中，娱乐类应用程序可以包括歌唱类应用程序以及短视频应用程序等，下面以娱乐类应用程序为歌唱类应用程序为例介绍。可选的，分屏图像包括的N个独立的图像画面可包括第一用户歌唱画面和第二用户歌唱画面。具体实施例中，针对歌唱应用程序的K歌场景，用户每天上传的视频总数约为30万个，且这30万个视频中存在多人合唱视频，这些合唱视频均是分屏视频。为贴合用户的业务需求，比如合唱视频推荐需求和节约存储资源，需对歌唱应用程序中的合唱视频进行质量评估，以确定合唱视频是否具备发布至该歌唱类应用程序的条件，进而完成对合唱视频的筛选(如过滤低质合唱视频)。那么，在此情况下，图像处理设备可对合唱视频进行抽帧处理，以得到多个分屏图像，然后通过对每个分屏图像进行质量评估进而得到合唱视频的质量评估结果。在下面的描述中，除特殊说明外分屏图像均是指合唱视频中任意一帧视频画面。

示例性地，若用户A和用户B正在歌唱类应用程序中进行如图5a所示的合唱视频录制，501表示合唱视频的录制界面，当录制完成后用户A欲对合唱视频1进行发布，比如用户A触发合唱视频录制界面501中的发布按钮502。那么，图像处理设备在检测到用户A针对发布按钮的触发操作后，将触发执行对合唱视频1的质量评估过程，具体地：图像处理设备先对合唱视频1进行抽帧处理，以得到多个分屏图像，分屏图像包括的N个独立的图像画面为用户A对应的歌唱画面1和用户B对应的歌唱画面2；对每一个分屏图像进行分屏方式检测，并根据任一分屏图像的分屏方式对任一分屏图像进行分屏分割，得到任一分屏图像对应的多个分割图像，对每个分屏图像对应的多个分屏图像进行质量分析，最后得到合唱视频的质量评分。下面通过步骤S402-步骤S405具体介绍。

步骤S402，对分屏图像进行分屏方式识别，得到分屏图像的目标分屏方式。

在一个实施例中，图像处理设备对分屏图像进行分屏方式识别是调用分屏方式识别模型执行的，且在图像处理设备调用分屏方式识别模型之前，图像处理设备还可基于图像样本对分屏方式识别模型进行训练。

在一个实施例中，分屏方式识别模型的训练过程可参见如下所述：图像处理设备获取图像样本，该图像样本包括非分屏图像样本和分屏图像样本，分屏图像样本又包括n等分分屏类型的图像样本、非等分分屏类型的图像样本以及嵌套分屏类型的图像样本；每个图像样本对应一个训练监督标签，任一图像样本对应的训练监督标签用于指示该任一图像样本对应的监督分屏方式；进一步的，图像处理设备将各个图像样本输入到分屏方式识别模型中进行分屏方式识别，得到每个图像样本对应的训练分屏方式；基于每个图像样本对应的训练分屏方式和每个图像样本对应的监督分屏方式之间的差异对分屏方式识别模型的模型参数进行调整，直到分屏识别模式达到收敛，停止对分屏方式识别模型的训练。

具体实施例中，图像处理设备获取图像样本的方式可具体为：获取多个训练视频，并对每个训练视频进行均匀抽帧得到多个图像画面，每个图像画面作为一个图像样本。比如可以按照1帧每秒(每一秒抽一帧)的方式，对每个训练视频进行抽帧处理得到图像样本。

其中，该多个训练视频包括正常视频(视频中只有一个独立画面)和分屏视频。那么，非分屏图像样本可以通过图像处理设备对正常视频进行均匀抽帧得到，分屏图像样本可以通过图像处理设备对分屏视频进行均匀抽帧得到。示例性地，可采集10万个非分屏图像样本和10万个分屏图像样本，即：总共采集20万个图像样本对分屏方式识别模型进行训练。

可选地，图像处理设备可通过线上采集业务视频和线下收集模拟视频的方式，完成上述获取多个训练视频的过程，例如，通过线上采集歌唱类应用程序A中已发布的合唱视频和线下收集测试人员模拟录制的合唱视频完成多个训练视频的获取。又由前述可知，分屏视频的类型主要包括：n等分分屏类型、非等分分屏类型和嵌套分屏类型。那么，示例性地，图像处理设备可具体获取3000个n等分分屏类型的分屏视频、3000个非等分分屏类型的分屏视频以及4000个嵌套分屏类型(画中画分屏类型)的分屏视频作为训练过程使用的分屏视频，并获取20000万个不存在分屏画面的视频作为训练过程使用的正常视频。

经过试验表明，通过上述方法训练得到分屏方式识别模型，在用于对分屏图像进行分屏方式识别时，在检测速度和检测准确率上的表现都很优异(检测速度：CPU约100毫秒，GPU约5毫秒，准确率：99.5％)。

步骤S403，根据目标分屏方式对应的图像画面分屏规则，对分屏图像进行画面分割，得到N个分割图像。

在一个实施例中，分屏图像包括的N个分割图像包括：第一分割图像和第二分割图像，且第一分割图像包括第一用户歌唱画面，第二分割图像包括第二用户歌唱画面。

举例来说，假设用户A和用户B在歌唱类应用程序Y中进行了合唱视频录制，并得到了合唱视频1，那么，分屏图像包括的N个分割图像即为：包括用户A歌唱画面的第一分割图像，以及包括用户B歌唱画面的第二分割图像。

步骤S404，对第一分割图像进行图像质量评分处理，得到第一分割图像对应的第一评分值，并对第二分割图像进行图像质量评分处理，得到第二分割图像对应的第二评分值。

在一个实施例中，继续以上述合唱视频1为例进行说明，那么，图像处理设备对第一分割图像进行图像质量评分处理，即为对用户A歌唱画面进行图像质量评分处理；对第二图像进行图像质量评分处理即为对用户B歌唱画面进行图像质量评分处理。

步骤S405，根据第一评分值和第二评分值对分屏图像对应的合唱视频进行发布处理。

在一个实施例中，若第一评分值大于或等于第一评分阈值，且第二评分值大于或等于第一评分阈值，则确定分屏图像满足评分条件；当分屏图像为合唱视频中满足评分条件的第目标数据量个视频画面，则在娱乐类应用程序中发布合唱视频。

具体实施例中，分屏图像为合唱视频中满足评分条件的第目标数据量个视频画面，可以理解为：若发布合唱视频的条件为“随机抽取的X个视频帧对应的分屏图像中，有Y(Y≤X)个分屏图像的质量评分结果满足评分条件”，那么，第目标数量个视频画面则为第Y个视频画面。即：当正在进行图像质量评分处理的分屏图像为满足评分条件的第Y个分屏图像时，可在娱乐类应用程序中发布合唱视频。

示例性地，假设合唱视频1是用户A和用户B进行合唱得到的，现要对合唱视频进行质量评分，若评分条件为分屏图像对应的N个分割图像中，每个分割图像的评分值均大于第一评分阈值，且发布合唱视频1的条件为：合唱视频1中随机抽取的4个视频帧对应的分屏图像中，有3个分屏图像满足评分条件。那么，可以理解的是，上述“有3个分屏图像满足评分条件”中的“3”即为目标数量。示例性地，图像处理设备对合唱视频1进行图像质量评分处理可参见图5b所示：图像处理设备先对合唱视频1进行视频抽帧，以获取4个分屏图像(分屏图像1、分屏图像2、分屏图像3和分屏图像4)；然后图像处理设备对这4个分屏图像进行分屏检测(即：分屏方式识别)，并采用相应的分割模板对每个分屏图像进行分屏分割(即：画面分割)，得到两个分割图像，然后图像处理设备对这两个分割图像进行图像质量评估处理，可得到该分屏图像的第一评价值和第二评价值，当有3个分屏图像满足评分条件后，即可对合唱视频1进行发布处理。

举例来说，若分屏图像1和分屏图像2均已达到评分条件，则还需一个分屏图像(如分屏图像3)达到评分条件即可对合唱视频1进行发布处理。那么，假设第一评分阈值为95分，图像处理设备对分屏图像3(包括分割图像1和分割图像2)进行图像质量评分处理得到的第一评分值为96分，第二评分值为98分，可见，由于第一评分值和第二评分值均大于第一评分阈值，于是图像处理设备可确定分屏图像3满足评分条件，由此图像处理设备便得到了满足评分条件的第3个分屏图像，即：得到了满足评分条件的第目标数量个分屏图像，那么，图像处理设备可以进一步确定合唱视频1满足发布条件，然后将合唱视频1进行发布处理。

在另一个实施例中，在合唱视频的第一评分值大于或等于第一评分阈值，第二评分值大于或等于第一评分阈值，且分屏图像为合唱视频中满足评分条件的第目标数据量个视频画面后，可进一步地，当目标数量个视频画面中每个视频画面(分屏图像)对应的第一评分值和第二评分值均大于第二评分阈值时，若图像处理设备在娱乐类应用程序中检测到其他用户在浏览与合唱视频的相关信息，图像处理设备则可将合唱视频推送给其他用户，其中，第二评分阈值大于第一评分阈值。

示例性地，继续以上一实施例中的合唱视频1为例进行阐述。假设第二评分阈值为98分，那么可知，当合唱视频1对应的4个分屏图像中，每个分屏图像对应的第一评价值和第二评价值均大于98分时，图像处理设备可在歌唱类应用程序Y检测到用户针对合唱视频的相关信息的搜索操作时，将合唱视频1推荐至推荐列表进行显示。具体地，与合唱视频的相关信息可以例如是合唱歌曲名称、合唱歌曲的原唱歌手信息、合唱者信息等。具体地，可如图5c中51所示，当用户C在收听演唱者4演唱的歌曲A时，将歌曲A相关的曲目及合唱视频显示至用户C对应的推荐列表中；也可如图5c中52所示，当用户在收听演唱者4演唱的歌曲A时，将演唱者4相关的歌曲及合唱视频显示至用户C对应的推荐列表中。

本发明实施例通过对分屏视频进行抽帧以获取分屏图像，然后将分屏图像进行画面分割得到多个分割图像，并对多个分割图像进行独立地图像质量评分，可得到分屏图像的质量评分，进而可得到分屏视频的质量评分。通过此方式有效地避免了在对分屏图像进行质量评分时，分屏图像中包括的多个独立画面带来的干扰，提高了图像处理的准确性，进一步地，也提高了视频处理的准确性。

基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置，所述图像处理装置可以是运行于上述所提及的服务器中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图1或图4所示的方法。请参见图6，所述图像处理装置可以包括：获取单元601，处理单元602和分割单元603。

获取单元601，用于获取分屏图像，所述分屏图像包括N个独立的图像画面，N为正整数；

处理单元602，用于对所述分屏图像进行分屏方式识别，得到所述分屏图像的目标分屏方式；

分割单元603，用于根据所述目标分屏方式对应的图像画面分屏规则，对所述分屏图像进行画面分割，得到N个分割图像，每个分割图像中包括一个独立图像画面；

处理单元602，还用于对所述N个分割图像中每个分割图像进行图像分析处理。

在一种实施方式中，所述目标分屏方式包括目标分屏类型和目标分屏布局，所述目标分屏布局用于指示所述分屏图像中N个独立的图像画面在所述分屏图像中的位置关系；目标分屏类型为以下任意一种：n等分分屏类型、非等分分屏类型以及嵌套分屏类型。

在又一种实施方式中，所述对所述分屏图像进行分屏方式识别是调用分屏方式识别模型执行的，所述分屏方式识别模型是基于图像样本训练得到的，所述图像样本包括非分屏图像样本和分屏图像样本；所述分屏方式识别模型包括卷积层和全连接层；所述处理单元602对所述分屏图像进行分屏方式识别，具体执行：

调用所述分屏方式识别模型的卷积层进行卷积运算，以得到所述分屏图像的M维特征图像，M为正整数；

调用所述分屏方式识别模型的全连接层基于所述M维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式。

在又一种实施方式中，所述全连接层包括第一全连接层和第二全连接层，所述处理单元602执行调用所述分屏方式识别模型的全连接层基于所述M维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式时，具体执行：

采用所述第一全连接层对所述M维特征图像进行降维处理，得到P维特征图像，P为小于M的正整数；

采用所述第二全连接层对所述P维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式。

在又一种实施方式中，所述分屏图像为娱乐类应用程序中待发布的合唱视频中任意一帧视频画面，所述分屏图像包括的N个独立的图像画面包括第一用户歌唱画面和第二用户歌唱画面；N个分割图像包括第一分割图像和第二分割图像，所述第一分割图像包括所述第一用户歌唱画面，所述第二分割图像包括所述第二用户歌唱画面。

在又一种实施方式中，所述处理单元602在对所述N个分割图像中每个分割图像进行图像分析处理时，具体用于执行：

对所述第一分割图像进行图像质量评分处理，得到所述第一分割图像对应的第一评分值，并对所述第二分割图像进行图像质量评分处理，得到所述第二分割图像对应的第二评分值；

根据所述第一评分值和所述第二评分值对所述合唱视频进行发布处理。

在又一种实施方式中，所述处理单元602在根据所述第一评分值和所述第二评分值对所述合唱视频进行发布处理时，具体执行：

若所述第一评分值大于或等于第一评分阈值，且所述第二评分值大于或等于所述第一评分阈值，则确定所述分屏图像满足评分条件；

当所述分屏图像为所述合唱视频中满足评分条件的第目标数据量个视频画面，则在所述娱乐类应用程序中发布所述合唱视频。

在又一种实施方式中，所述处理单元602还可用于执行：若目标数量个视频画面中每个视频画面对应的所述第一评分值和所述第二评分值均大于第二评分阈值，则当所述娱乐类应用程序中其他用户在浏览与所述合唱视频的相关信息时，将所述合唱视频推送给所述其他用户，所述第二评分阈值大于所述第一评分阈值。

根据本发明的一个实施例，图1和图4所示的图像处理方法所涉及各个步骤可以是由图6所示的图像处理装置中的各个单元来执行的。例如，图1所述的步骤S101可由图6所示的图像处理装置中获取单元601来执行，步骤S102和步骤S104均可由图6所示的图像处理装置中的处理单元602来执行，步骤S103可由图6所示图像处理装置中的分割单元603来执行；再如，图4所示的步骤S401可由图6所示的图像处理装置中的获取单元601来执行；步骤S402、步骤S404和步骤S405均可由图6所示的图像处理装置中的处理单元602来执行，步骤S403可由图6所示的图像处理装置中的分割单元603来执行。

根据本发明的另一个实施例，图6所示的图像处理装置中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。在本发明的其它实施例中，上述图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用图像处理设备上运行能够执行如图1或图4所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的图像处理装置，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述图像处理设备中，并在其中运行。

在本发明实施例中，图像处理装置通过对分屏图像进行分屏方式识别，得到分屏图像的目标分屏方式，然后根据目标分屏方式对应的图像画面分屏规则对分屏图像进行画面分割，得到多个独立的分割图像；进而可对多个独立的分割图像进行单独地图像分析处理，实现了对分屏图像中各个独立图像画面分别分析，避免图像画面之间相互干扰，影响处理结果，从而提高了图像处理的准确性。

基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种图像处理设备。请参见图7，该图像处理设备包括处理器701、输入接口702、输出接口703以及计算机存储介质704，且图像处理设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。

所述计算机存储介质704是图像处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质704既可以包括图像处理设备中的内置存储介质，当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质704提供存储空间，该存储空间存储了图像处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的计算机程序。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。所述处理器701(或称CPU(Central Processing Unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行一条或多条计算机程序从而实现相应方法流程或相应功能。

在一个实施例中，可由处理器701加载并执行计算机存储介质704中存放的一条或多条计算机程序，以实现上述有关图1和图4所示的图像处理方法实施例中的相应方法步骤；具体实现中，计算机存储介质704中的一条或多条计算机程序由处理器701加载并执行如下步骤：

获取分屏图像，所述分屏图像包括N个独立的图像画面，N为正整数；

对所述分屏图像进行分屏方式识别，得到所述分屏图像的目标分屏方式；

根据所述目标分屏方式对应的图像画面分屏规则，对所述分屏图像进行画面分割，得到N个分割图像，每个分割图像中包括一个独立图像画面；

对所述N个分割图像中每个分割图像进行图像分析处理。

在一种实施方式中，所述目标分屏方式包括目标分屏类型和目标分屏布局，所述目标分屏布局用于指示所述分屏图像中N个独立的图像画面在所述分屏图像中的位置关系；目标分屏类型为以下任意一种：n等分分屏类型、非等分分屏类型以及嵌套分屏类型。

在又一种实施方式中，所述对所述分屏图像进行分屏方式识别是调用分屏方式识别模型执行的，所述分屏方式识别模型是基于图像样本训练得到的，所述图像样本包括非分屏图像样本和分屏图像样本；所述分屏方式识别模型包括卷积层和全连接层；所述计算机存储介质704中的对所述分屏图像进行分屏方式识别计算机程序，具体由处理器701加载并执行：

调用所述分屏方式识别模型的卷积层进行卷积运算，以得到所述分屏图像的M维特征图像，M为正整数；

调用所述分屏方式识别模型的全连接层基于所述M维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式。

在又一种实施方式中，所述全连接层包括第一全连接层和第二全连接层，所述计算机存储介质704中的调用所述分屏方式识别模型的全连接层基于所述M维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式计算机程序，具体由处理器701加载并执行：

采用所述第一全连接层对所述M维特征图像进行降维处理，得到P维特征图像，P为小于M的正整数；

采用所述第二全连接层对所述P维特征图像进行分屏方式识别，得到所述分屏图像的目标分屏方式。

在又一种实施方式中，所述分屏图像为娱乐类应用程序中待发布的合唱视频中任意一帧视频画面，所述分屏图像包括的N个独立的图像画面包括第一用户歌唱画面和第二用户歌唱画面；N个分割图像包括第一分割图像和第二分割图像，所述第一分割图像包括所述第一用户歌唱画面，所述第二分割图像包括所述第二用户歌唱画面。

在又一种实施方式中，所述计算机存储介质704中的对所述N个分割图像中每个分割图像进行图像分析处理计算机程序，具体由处理器701加载并执行：

对所述第一分割图像进行图像质量评分处理，得到所述第一分割图像对应的第一评分值，并对所述第二分割图像进行图像质量评分处理，得到所述第二分割图像对应的第二评分值；

根据所述第一评分值和所述第二评分值对所述合唱视频进行发布处理。

在又一种实施方式中，所述计算机存储介质704中的根据所述第一评分值和所述第二评分值对所述合唱视频进行发布处理计算机程序，具体由处理器701加载并执行：

若所述第一评分值大于或等于第一评分阈值，且所述第二评分值大于或等于所述第一评分阈值，则确定所述分屏图像满足评分条件；

当所述分屏图像为所述合唱视频中满足评分条件的第目标数据量个视频画面，则在所述娱乐类应用程序中发布所述合唱视频。

在又一种实施方式中，所述处理器701还用于加载并执行：若目标数量个视频画面中每个视频画面对应的所述第一评分值和所述第二评分值均大于第二评分阈值，则当所述娱乐类应用程序中其他用户在浏览与所述合唱视频的相关信息时，将所述合唱视频推送给所述其他用户，所述第二评分阈值大于所述第一评分阈值。

在本发明实施例中，图像处理设备通过对分屏图像进行分屏方式识别，得到分屏图像的目标分屏方式，然后根据目标分屏方式对应的图像画面分屏规则对分屏图像进行画面分割，得到多个独立的分割图像；进而可对多个独立的分割图像进行单独地图像分析处理，实现了对分屏图像中各个独立图像画面分别分析，避免图像画面之间相互干扰，影响处理结果，从而提高了图像处理的准确性。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储了上述图像处理方法的计算机程序，该计算机程序包括程序计算机程序，当一个或多个处理器加载并执行该计算机程序，可以实现实施例中对图像处理方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，计算机程序可以被部署在一个或多个能够相互通信的设备上执行。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。图像处理设备中的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该图像处理设备执行：

获取分屏图像，所述分屏图像包括N个独立的图像画面，N为正整数；对所述分屏图像进行分屏方式识别，得到所述分屏图像的目标分屏方式；根据所述目标分屏方式对应的图像画面分屏规则，对所述分屏图像进行画面分割，得到N个分割图像，每个分割图像中包括一个独立图像画面；对所述N个分割图像中每个分割图像进行图像分析处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的计算机存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。