弹幕显示方法及装置
阅读说明：本技术 弹幕显示方法及装置 (Bullet screen display method and device ) 是由 王�琦 于 2020-06-12 设计创作，主要内容包括：本发明提供一种弹幕显示方法,包括：获取待处理的视频；依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；依据所述时域显著度和空域显著度生成二值化掩膜,所述二值化掩膜中包括无遮挡区域和遮挡区域；依据预设的弹幕的位置信息,判断所述弹幕在对应二值化掩膜中的无遮挡区域,将处于无遮挡区域的弹幕进行隐藏。本发明弹幕显示方法与现有的技术局限于以人为主的固定场景的方法相比,可应用于非固定场景,非固定目标类型的视频中,应用范围更广。(The invention provides a bullet screen display method, which comprises the following steps: acquiring a video to be processed; calculating the time domain significance and the space domain significance of the video image according to the image characteristics of each frame in the video; generating a binarization mask according to the time domain significance and the space domain significance, wherein the binarization mask comprises an unoccluded area and an occluded area; and judging the non-shielding area of the bullet screen in the corresponding binaryzation mask according to the preset position information of the bullet screen, and hiding the bullet screen in the non-shielding area. Compared with the prior art which is limited to the man-made fixed scene, the bullet screen display method can be applied to the non-fixed scene and the non-fixed target type video, and has wider application range.)
技术领域
本发明涉及弹幕显示技术领域，尤其涉及一种弹幕显示方法及装置。
背景技术
当前的弹幕显示技术，需要预先确定特定的区域，对特定区域的弹幕进行遮挡，而该特定区域以外的弹幕进行显示。但是，如果视频图像中需要聚集注意力的区域出现在特定区域之外，则该处理方式失效。基于当前的弹幕显示技术，难以对多种需要处理的图像内容形成有效的处理。
发明内容
本发明提供的弹幕显示方法及装置，能够有效的对非固定场景的弹幕进行处理。
第一方面，本发明提供一种弹幕显示方法，包括：
获取待处理的视频；
依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。
可选地，所述依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度包括：
依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
可选地，所述依据间隔预定帧的两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度包括：
依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
可选地，所述依据所述时域显著度和空域显著度生成二值化掩膜包括：
将所述空域显著度和所述时域显著度加权得到显著度评分；
依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；
依据所述感兴趣区域生成二值化掩膜。
可选地，所述选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征包括：
将在前一帧和在后一帧的图像送入光流提取网络，得到在后一帧前景对象相对于在前一帧的前景对象的光流特征。
可选地，所述依据亮度、色度和纹理特征计算视频每一帧的空域显著度包括：
将视频图像分割为若干像素块；
计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；
计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；
计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；
计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；
计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；
计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；
对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。
本发明弹幕显示方法，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本发明弹幕显示方法，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
第二方面，本发明提供一种弹幕显示装置，包括：
视频预处理模块，用于获取待处理的视频并依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
弹幕处理模块，用于依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
弹幕显示模块，用于依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域或遮挡区域，将处于无遮挡区域的弹幕进行隐藏，将处于遮挡区域的弹幕进行正常显示。
可选地，所述视频预处理模块包括：
空域显著度子模块，用于依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；
时域显著度子模块，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。
可选地，所述时域显著度子模块包括：
场景分割单元，用于依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；
显著度计算单元，用于选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。
本发明弹幕显示装置，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本发明弹幕显示装置，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
附图说明
图1为本发明一实施例弹幕显示方法的流程图；
图2为本发明一实施例弹幕显示方法中判断感兴趣区域流程图；
图3为本发明一实施例弹幕显示方法中改变弹幕显示方式的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种弹幕显示方法，包括：
S1获取待处理的视频；
所述待处理的视频可以是直播视频，也可以是播放的以往录制的视频，在此也不作限制。
S2依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
如图2所示：作为本步骤可选地的实施方式，依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；作为具体的可选实施方式，将视频图像分割为若干像素块；计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。例如，可以采用将视频图像分割为若干大小相等的像素块，以中心的像素块和中心像素块周围的8块像素块的亮度差平均值作为中心像素块的空域显著度。色度显著度和纹理特征显著度的计算方式可以采用与上述空域显著性相同的计算方式。作为可选的实施方式，可以对上述的亮度显著度、色度显著度和纹理特征显著度的加权计算作为空域显著度。
继续如图2所示，作为本步骤可选的实施方式，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。作为具体的可选实施方式，依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。作为具体的可选实施方式，将在前一帧和在后一帧的图像送入光流提取网络，得到在后一帧前景对象相对于在前一帧的前景对象的光流特征。在上述的实施方式中，光流提取网络可以为降采样光流提取网络。
作为上述可选实施例的示例性时域显著度获取过程如下，对间隔K帧的视频帧的场景分割结果进行比对。场景分割的结果为与原视频分辨率相同的具有离散像素值的MASK，某一位置的像素值为该店对应的区域类型(例如绿化带为0，道路为1，人行道为2)。当两者MASK的距离小于一定阈值时可认为是同一场景。在同一场景中，通过获取背景分割区块包含的显著性前景对象的光流特征来计算第N+K帧的时域显著性。将第N帧及第N+K帧的视频图降采样送入光流提取网络，得到对应前景区域的光流特征，计算光流的单位模值作为时域显著度。
S3依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；
继续如图2所示，作为本步骤的可选实施方式，将所述空域显著度和所述时域显著度加权得到显著度评分；依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；依据所述感兴趣区域生成二值化掩膜。其中，二值化掩膜将感兴趣区域和其他区域分别以0和1表示，0表示无遮挡区域，即不予许弹幕将视频内容进行遮挡，1表示遮挡区域，即允许弹幕将视频内容进行遮挡。
S4依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域，将处于无遮挡区域的弹幕进行隐藏。
如图3所示，在播放视频时，弹幕在显示装置上进行运动，当弹幕运动到对应二值化掩膜的无遮挡区域时，由于该区域为用户感兴趣区域，用户通常不希望该区域被遮挡，因此，将对应无遮挡区域的弹幕进行隐藏，当弹幕运动到对应二值化掩膜的遮挡区域时，用户通常不会对该区域有较高的注意力，此时，即使被弹幕遮挡也不会降低用户的体验，因此，将对应遮挡区域的弹幕进行显示。
在请实施例中，所述方法可以应用于智能手机、笔记本、台式电脑和平板电脑等能播放视频的电子设备，在此不作限制。较优的，本实施例提供的方法应用于安装安卓系统的电子设备。
本实施例弹幕显示方法，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本实施例弹幕显示方法，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
实施例2
本实施例提供一种弹幕显示装置，包括：
视频预处理模块，视频预处理模块，用于获取待处理的视频并依据视频中每一帧的图像特征计算视频图像的时域显著度和空域显著度；
作为可选地实施方式，所述视频预处理模块包括：
空域显著度子模块，用于依据亮度、色度和纹理特征计算所述视频每一帧的空域显著度；作为具体的可选实施方式，空域显著度子模块计算空域显著度的过程如下：所述依据亮度、色度和纹理特征计算视频每一帧的空域显著度包括：将视频图像分割为若干像素块；计算当前像素块的亮度的平均值作为第一平均亮度，计算当前像素块周围的像素块的亮度平均值作为第二平均亮度；计算所述第一平均亮度和所述第二平均亮度的差值的平均值作为当前像素块的亮度显著度；计算当前像素块的色度的平均值作为第一平均色度，计算当前像素块周围的像素块的色度平均值作为第二平均色度；计算所述第一平均色度和所述第二平均色度的差值的平均值作为当前像素块的色度显著度；计算当前像素块的纹理特征的平均值作为第一平均纹理特征，计算当前像素块周围的像素块的纹理特征平均值作为第二平均纹理特征；计算所述第一平均纹理特征和所述第二平均纹理特征的差值的平均值作为当前像素块的纹理特征显著度；对所述亮度显著度、色度显著度以及纹理特征显著度进行加权计算，得到当前像素块的空域显著度。例如，可以采用将视频图像分割为若干大小相等的像素块，以中心的像素块和中心像素块周围的8块像素块的亮度差平均值作为中心像素块的空域显著度。色度显著度和纹理特征显著度的计算方式可以采用与上述空域显著性相同的计算方式。作为可选的实施方式，可以对上述的亮度显著度、色度显著度和纹理特征显著度的加权计算作为空域显著度。
时域显著度子模块，从待处理视频中选取间隔预定帧的两帧，提取所述两帧中在后一帧的前景对象相对于在前一帧的前景对象的光流特征；依据所述光流特征计算光流的单位模值，将所述光流的单位模值作为时域显著度。作为可选地实施方式，所述时域显著度子模块包括：场景分割单元，用于依据场景类型将每一帧分割为预定数量的待处理区域，计算两帧中的同一场景类型的待处理区域的距离，当所述距离在预定阈值以内时，将两帧划分为同一场景的帧的集合；显著度计算单元，用于选取同一场景的帧的集合中间隔预定帧的两帧，提取在后一帧的前景对象相对于在前一帧的前景对象的光流特征，计算光流的单位模值作为时域显著度。作为可选的具体实施方式，例如，场景分隔单元对间隔K帧的视频帧的场景分割结果进行比对。场景分割的结果为与原视频分辨率相同的具有离散像素值的MASK，某一位置的像素值为该店对应的区域类型(例如绿化带为0，道路为1，人行道为2)。当两者MASK的距离小于一定阈值时可认为是同一场景。在同一场景中，显著度计算单元通过获取背景分割区块包含的显著性前景对象的光流特征来计算第N+K帧的时域显著性。将第N帧及第N+K帧的视频图降采样送入光流提取网络，得到对应前景区域的光流特征，计算光流的单位模值作为时域显著度。
弹幕处理模块，用于依据所述时域显著度和空域显著度生成二值化掩膜，所述二值化掩膜中包括无遮挡区域和遮挡区域；作为具体的可选实施方式，将所述空域显著度和所述时域显著度加权得到显著度评分；依据所述显著度评分的对同一帧中的各待处理区域进行排序，选取排序的前若干待处理区域作为感兴趣区域；依据所述感兴趣区域生成二值化掩膜。其中，二值化掩膜将感兴趣区域和其他区域分别以0和1表示，0表示无遮挡区域，即不予许弹幕将视频内容进行遮挡，1表示遮挡区域，即允许弹幕将视频内容进行遮挡。
弹幕显示模块，用于依据预设的弹幕的位置信息，判断所述弹幕在对应二值化掩膜中的无遮挡区域或遮挡区域，将处于无遮挡区域的弹幕进行隐藏，将处于遮挡区域的弹幕进行正常显示。在播放视频时，弹幕在显示装置上进行运动，当弹幕运动到对应二值化掩膜的无遮挡区域时，由于该区域为用户感兴趣区域，用户通常不希望该区域被遮挡，因此，将对应无遮挡区域的弹幕进行隐藏，当弹幕运动到对应二值化掩膜的遮挡区域时，用户通常不会对该区域有较高的注意力，此时，即使被弹幕遮挡也不会降低用户的体验，因此，将对应遮挡区域的弹幕进行显示。
本实施例弹幕显示装置，根据目标检测和场景分割划分画面区块，分别计算前景区块的空域显著度和背景区块的时域显著度进行加权，得到观众的感兴趣区域。通过判断弹幕与该区域的位置关系，改变弹幕的显示方式，提升观看体验。本实施例弹幕显示装置，不需针对视频类型训练特定类型的检测模型，且无需根据视频内容提前设定免遮挡的内容，与现有的技术局限于以人为主的固定场景的方法相比，可应用于非固定场景，非固定目标类型的视频中，应用范围更广。
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。