视频编码方法、装置、视频编码设备及存储介质

文档序号:89996 发布日期:2021-10-08 浏览:32次 >En<

阅读说明:本技术 视频编码方法、装置、视频编码设备及存储介质 (Video encoding method, video encoding device, video encoding apparatus, and storage medium ) 是由 刘学青 董磊 刘宗宗 于 2021-06-30 设计创作,主要内容包括:本申请实施例提供了视频编码方法、装置、视频编码设备及存储介质,对一路同时包括原始帧及隐私保护帧的复合视频流进行编码,原始帧参考隐私保护帧进行编码,而原始帧不作为编码时的参考帧,所以原始帧不需要存储,在前处理中对视频流进行复合和时域分层,在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗,有效利用隐私保护帧与原始帧的相关性,原始帧参考对应的隐私保护帧进行编码,大部分参考区域完全相同,有利于大幅度减少编码的码流数量,降低码流存储和传输成本;并且,在视频编码器中通过硬件逻辑实现隐私保护处理,能够减少处理器的处理压力,且减少了图像数据的存储器读写带宽,编码效率得到大幅度提升。(The embodiment of the application provides a video coding method, a video coding device and a storage medium, a composite video stream which simultaneously comprises an original frame and a privacy protection frame is coded, the original frame refers to the privacy protection frame for coding, and the original frame is not used as a reference frame during coding, so that the original frame does not need to be stored, the video stream is compounded and time-domain layered in preprocessing, the memory consumption required by the storage of the reference frame is reduced for time-domain layered interleaving reference on a reference relation, the correlation between the privacy protection frame and the original frame is effectively utilized, the privacy protection frame corresponding to the original frame is referred to for coding, most of reference areas are completely the same, the number of coded code streams is greatly reduced, and the storage and transmission costs of the code streams are reduced; moreover, the privacy protection processing is realized through hardware logic in the video encoder, the processing pressure of a processor can be reduced, the memory read-write bandwidth of image data is reduced, and the encoding efficiency is greatly improved.)

视频编码方法、装置、视频编码设备及存储介质

技术领域

本申请涉及视频编码

技术领域

,特别是涉及视频编码方法、装置、视频编码设备及存储介质。

背景技术

随着科学技术的发展和人们安全意识的提高,公共场所下的监控设备越来越多,智能检测技术也越来越多地应用于监控场景中。此外人们也越来越注重在监控设备下的个人隐私保护,视频隐私保护技术的需求也越来越高。视频隐私保护,即通过对视频图像中的局部隐私区域进行打码、遮挡或置乱等处理,使隐私区域的图像不可识别,而其他区域保留原始内容正常可见。然而视频隐私保护的图像处理具有保护内容不可恢复的特点,当发生危害公共安全事件时,若监控视频无法恢复出原始内容会对取证工作造成很大的阻碍。

为了解决隐私保护与取证问题,相关技术中,将采集的视频流处理为两路相同的视频流,一路视频流不进行隐私处理保留原始视频帧进行编码,一路视频流进行隐私保护处理并对隐私保护后的视频帧进行编码。

但是采用上述方法,分两路视频流分别进行编码,会存在编码过程中资源消耗较大的问题,且在数据传输过程中网络带宽资源消耗也很大。

发明内容

本申请实施例的目的在于提供一种视频编码方法、装置、视频编码设备及存储介质,以实现减少编码过程中的资源消耗。具体技术方案如下:

第一方面,本申请实施例提供了一种视频编码方法,应用于视频编码设备,所述视频编码设备包括处理器及视频编码器,所述方法包括:

所述处理器获取待处理视频流,针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流;并将隐私保护帧的帧间编码参考模式设置为可参考、隐私保护类型设置为保护,将原始帧的帧间编码参考模式设置为不可参考、隐私保护类型设置为不保护,从而得到配置信息;所述处理器向所述视频编码器发送所述复合视频流及所述配置信息;

所述视频编码器基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,其中,帧间编码参考模式为可参考的视频帧,允许用于作为其他视频帧进行编码的参考帧;帧间编码参考模式为不可参考的视频帧,不允许用于作为其他视频帧进行编码的参考帧。

在一种可能的实施方式中,所述视频编码器包括控制模块、隐私处理模块及编码模块;

所述视频编码器基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,包括:

针对所述复合视频流中当前待编码的视频帧,若所述配置信息中该视频帧的隐私保护类型为不保护,所述控制模块配置所述隐私处理模块为关闭,若所述配置信息中该视频帧的隐私保护类型为保护,所述控制模块配置所述隐私处理模块为打开;若该视频帧的帧间编码参考模式为可参考,配置所述编码模块将该视频帧设置为参考帧,若该视频帧的帧间编码参考模式为不可参考,配置所述编码模块将该视频帧的设置为非参考帧;

所述隐私处理模块在打开的情况下,对所述复合视频流中当前待编码的视频帧进行隐私处理,其中,所述隐私处理模块在关闭的情况下,不执行针对当前待编码的视频帧的隐私处理;

所述编码模块对所述隐私处理模块输出的视频帧进行编码,并按照所述控制模块的配置将当前编码的视频帧设置为参考帧或非参考帧。

在一种可能的实施方式中,所述视频编码设备还包括存储器,所述存储器用于存储所述待处理视频流及所述参考帧的重建帧数据。

在一种可能的实施方式中,所述针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流,包括:

针对所述待处理视频流中的每一视频帧,基于该视频帧得到与该视频帧内容相同的M+1帧视频帧,将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧,将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧,其中,M为隐私保护类型的数量;

将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。

在一种可能的实施方式中,所述方法还包括:

所述处理器每次从所述编码后的视频数据流中读取预设单位数据量的数据,针对当前读取的数据,若该数据为原始帧的数据,则对当前读取的数据进行加密,并对加密后的数据进行封装,若该数据为隐私保护帧的数据,则直接对该数据进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;

分别向普通权限用户及高级权限用户发送所述待发送数据流。

在一种可能的实施方式中,所述方法还包括:

所述处理器每次从所述编码后的视频数据流中读取预设单位数据量的数据,基于当前读取的数据,得到与当前读取的数据内容相同的第一码流及第二码流;

若当前第一码流为原始帧的数据,则对当前第一码流进行加密,并对加密后的数据进行封装,若当前第一码流为隐私保护帧的数据,则直接对当前第一码流进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;

向高级权限用户发送所述待发送数据流;

若当前第二码流为原始帧的数据,则丢弃该数据,若当前第二码流为隐私保护帧的数据,则对当前第二码流进行封装,从而得到隐私保护数据流,其中,所述隐私保护数据流包括隐私保护帧的封装数据;

向普通权限用户发送所述隐私保护数据流。

第二方面,本申请实施例提供了一种视频编码设备,所述视频编码设备包括处理器、视频编码器及存储器;

所述存储器,用于存储待处理视频流;

所述处理器,用于获取待处理视频流,针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流;并将隐私保护帧的帧间编码参考模式设置为可参考、隐私保护类型设置为保护,将原始帧的帧间编码参考模式设置为不可参考、隐私保护类型设置为不保护,从而得到配置信息;向所述视频编码器发送所述复合视频流及所述配置信息;

所述视频编码器,用于基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,其中,帧间编码参考模式为可参考的视频帧允许用于作为其他视频帧进行编码的参考帧;帧间编码参考模式为不可参考的视频帧不允许用于作为其他视频帧进行编码的参考帧。

在一种可能的实施方式中,所述视频编码器包括控制模块、隐私处理模块及编码模块;

所述控制模块,用于针对所述复合视频流中当前待编码的视频帧,若所述配置信息中该视频帧的隐私保护类型为不保护,则配置所述隐私处理模块为关闭,若所述配置信息中该视频帧的隐私保护类型为保护,则配置所述隐私处理模块为打开;若该视频帧的帧间编码参考模式为可参考,则配置所述编码模块将该视频帧设置为参考帧,若该视频帧的帧间编码参考模式为不可参考,则配置所述编码模块将该视频帧的设置为非参考帧;

所述隐私处理模块,用于在打开的情况下,对所述复合视频流中当前待编码的视频帧进行隐私处理,其中,所述隐私处理模块在关闭的情况下,不执行针对当前待编码的视频帧的隐私处理;

所述编码模块,用于对所述隐私处理模块输出的视频帧进行编码,并按照所述控制模块的配置将当前编码的视频帧设置为参考帧或非参考帧。

在一种可能的实施方式中,所述存储器还用于存储所述待处理视频流及所述参考帧的重建帧数据。

在一种可能的实施方式中,所述处理器,具体用于:针对所述待处理视频流中的每一视频帧,基于该视频帧得到与该视频帧内容相同的M+1帧视频帧,将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧,将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧,其中,M为隐私保护类型的数量;将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。

在一种可能的实施方式中,所述处理器还用于:每次从所述编码后的视频数据流中读取预设单位数据量的数据,针对当前读取的数据,若该数据为原始帧的数据,则对当前读取的数据进行加密,并对加密后的数据进行封装,若该数据为隐私保护帧的数据,则直接对该数据进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;分别向普通权限用户及高级权限用户发送所述待发送数据流。

在一种可能的实施方式中,所述处理器还用于:每次从所述编码后的视频数据流中读取预设单位数据量的数据,基于当前读取的数据,得到与当前读取的数据内容相同的第一码流及第二码流;若当前第一码流为原始帧的数据,则对当前第一码流进行加密,并对加密后的数据进行封装,若当前第一码流为隐私保护帧的数据,则直接对当前第一码流进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;向高级权限用户发送所述待发送数据流;若当前第二码流为原始帧的数据,则丢弃该数据,若当前第二码流为隐私保护帧的数据,则对当前第二码流进行封装,从而得到隐私保护数据流,其中,所述隐私保护数据流包括隐私保护帧的封装数据;向普通权限用户发送所述隐私保护数据流。

第三方面,本申请实施例提供了一种视频解码方法,所述方法包括:

获取待解码视频流,其中,所述待解码视频流包括:原始帧的封装数据及隐私保护帧的封装数据;

在获取到针对原始帧的解码密钥的情况下,利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码,得到原始帧;

在未获取到针对原始帧的解码密钥的情况下,对所述待解码视频流中的隐私保护帧的封装数据进行解码,得到隐私保护帧。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请中任一所述的视频编码方法或视频解码方法。

本申请实施例有益效果:

本申请实施例提供的视频编码方法、装置、视频编码设备及存储介质,视频编码设备包括处理器及视频编码器,处理器获取待处理视频流,针对待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流;并将隐私保护帧的帧间编码参考模式设置为可参考、隐私保护类型设置为保护,将原始帧的帧间编码参考模式设置为不可参考、隐私保护类型设置为不保护,从而得到配置信息;处理器向视频编码器发送复合视频流及配置信息;视频编码器基于配置信息对复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,其中,帧间编码参考模式为可参考的视频帧,允许用于作为其他视频帧进行编码的参考帧;帧间编码参考模式为不可参考的视频帧,不允许用于作为其他视频帧进行编码的参考帧。

对一路同时包括原始帧及隐私保护帧的复合视频流进行编码,原始帧参考隐私保护帧进行编码,而原始帧不作为编码时的参考帧,所以原始帧不需要存储,在前处理中对视频流进行复合和时域分层,在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗,有效利用隐私保护帧与原始帧的相关性,原始帧参考对应的隐私保护帧进行编码,大部分参考区域完全相同,有利于大幅度减少编码的码流数量,降低码流存储和传输成本;并且,在视频编码器中通过硬件逻辑实现隐私保护处理,能够减少处理器的处理压力,且减少了图像数据的存储器读写带宽,编码效率得到大幅度提升。当然,实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1本申请实施例的视频编码方法的一种示意图;

图2为相关技术中码流结构的一种示意图;

图3为相关技术的SVC-TX2模型及SVC-TX4模型帧间编码时序参考关系的一种示意图;

图4为本申请实施例的视频编码方法中视频流发送过程的一种示意图;

图5为本申请实施例的编码前处理单元的工作流程图的一种示意图;

图6a为本申请实施例的编码端与解码端的一种结构示意图;

图6b为本申请实施例的编码端与解码端的一种结构示意图;

图6c为本申请实施例的视频编码器的一种结构示意图;

图7a为相关技术中内存访问情况的一种示意图;

图7b为本申请实施例中内存访问情况的一种示意图;

图8为本申请实施例的编码后处理单元的工作流程图的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。

为了减少编码过程中的资源消耗,本申请实施例提供了一种视频编码方法,应用于视频编码设备,所述视频编码设备包括处理器及视频编码器,参见图1,该方法包括:

S101,所述处理器获取待处理视频流,针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流;并将隐私保护帧的帧间编码参考模式设置为可参考、隐私保护类型设置为保护,将原始帧的帧间编码参考模式设置为不可参考、隐私保护类型设置为不保护,从而得到配置信息;所述处理器向所述视频编码器发送所述复合视频流及所述配置信息。

本申请实施例中的视频编码方法应用于视频编码设备,因此可以通过视频编码设备实现,具体的,该视频编码设备可以为摄像机或硬盘录像机等。待处理视频流为任意需要编码的视频流。

由视频帧配置为的隐私保护帧及原始帧的图像内容,与该视频帧的图像内容相同,隐私保护帧及原始帧的区别在于二者的类型标识不同。

一个例子中,可以对待处理视频流中的每一视频帧处理配置两次,交织成复合视频流,例如,第一次处理为隐私保护帧,第二次为原始帧,并且在信息配置时的参考关系上也是相互交织的。

在其他可能的实施方式中,也可以对对待处理视频流中的每一视频帧处理配置多次,交织成复合视频流,例如,第一次处理为保护第一对象的隐私保护帧,第二次处理为保护第二对象的隐私保护帧,……,最后一次为原始帧,参考关系上也是相互交织的。一个例子中,第一对象和第二对象为不同类型的对象,例如,第一对象为人脸,第二对象为车牌号等。

在一种可能的实施方式中,所述针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流,包括:

步骤一,针对所述待处理视频流中的每一视频帧,基于该视频帧得到与该视频帧内容相同的M+1帧视频帧,将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧,将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧,其中,M为隐私保护类型的数量。

步骤二,将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。

帧类型属性包括但不仅限于NALU类型、时域优先级、其他协议规定的可自定义字段等。以H.265标准的码流为例,其码流结构可以如图2所示,第一层中,每个Frame代表每一帧编码的码流。第二层中,一帧可以划分成一个或多个slice,每个slice的码流为一个NAL单元,所以一帧码流可以由一个或多个NAL单元组成。第三层中,Nal单元由NALU header和RBSP组成。NALU header主要承载当前NAL单元的内容特征,RBSP为NALU载荷,包含主要的视频压缩数据(slice header+slice data数据)。第四层中,NALU header由保留位(F)、NALU类型(Nalu_type)、Layer层级(NLI)和时域层级(NTI)组成,一般来说可直接从NALU类型快速判断当前段码流所属帧的类型,来进行抽帧等时域层级的操作;最下面的一层属于NALU类型的具体取值和各数值含义。针对H.265标准的码流,可以在NALU类型中记录隐私保护帧类型或原始帧类型。

S102,所述视频编码器基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,其中,帧间编码参考模式为可参考的视频帧,允许用于作为其他视频帧进行编码的参考帧;帧间编码参考模式为不可参考的视频帧,不允许用于作为其他视频帧进行编码的参考帧。

可以按照预设隐私保护规则对视频帧进行隐私保护。预设隐私保护规则可以根据实际情况自定义设置,隐私保护区域坐标的来源包括但不仅限于用户直接配置、智能算法自动检测等,每帧隐私保护帧中的隐私保护区域的个数也不仅限于1个。对隐私保护区域进行隐私处理的方式包括但不仅限于置乱、打码或遮挡等。

一个例子中,可以通过配置基本寄存器参数和参考关系寄存器参数的方式,来实现视频帧的帧间编码参考模式的设置。例如,针对隐私保护帧,基本寄存器参数可以进行通用配置,而配置参考关系寄存器参数时选择支持码流抽帧的时域可分级参考模型,例如,SVC-TX2模型或SVC-TX4模型等,然后设置当前处理的隐私保护帧为可被参考的时域基本层或中间增强层。其中,SVC-TX2模型及SVC-TX4模型的示意图可以如图3所示增强层需要参考基本层进行编解码,SVC-TX2模型中可以向前参考也可以向后参考,SVC-TX4模型可以向前参考也可以向后参考,其中,浅颜色的标识基本层,深颜色的表示增强层。针对原始帧,其图像内容不做隐私处理,配置寄存器参数时基本寄存器进行通用配置,配置参考关系寄存器参数时选择与隐私保护帧相同的时域参考模型,然后设置原始帧为不可被参考的时域增强层。

编码采用的视频编码标准包括但不仅限于H.264、H.265、AVS2等。原始帧的帧间编码参考模式为不可参考,不允许用于作为其他视频帧进行编码的参考帧,即原始帧为增强层。隐私保护帧的帧间编码参考模式为可参考,允许用于作为其他视频帧进行编码的参考帧,即隐私保护帧可以为基本层也可以为增强层。

在一种可能的实施方式中,所述视频编码器包括控制模块、隐私处理模块及编码模块;

所述视频编码器基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,包括:

步骤一,针对所述复合视频流中当前待编码的视频帧,若所述配置信息中该视频帧的隐私保护类型为不保护,所述控制模块配置所述隐私处理模块为关闭,若所述配置信息中该视频帧的隐私保护类型为保护,所述控制模块配置所述隐私处理模块为打开;若该视频帧的帧间编码参考模式为可参考,配置所述编码模块将该视频帧设置为参考帧,若该视频帧的帧间编码参考模式为不可参考,配置所述编码模块将该视频帧的设置为非参考帧;

步骤二,所述隐私处理模块在打开的情况下,对所述复合视频流中当前待编码的视频帧进行隐私处理,其中,所述隐私处理模块在关闭的情况下,不执行针对当前待编码的视频帧的隐私处理;

步骤三,所述编码模块对所述隐私处理模块输出的视频帧进行编码,并按照所述控制模块的配置将当前编码的视频帧设置为参考帧或非参考帧。

在一种可能的实施方式中,所述视频编码设备还包括存储器,所述存储器用于存储所述待处理视频流及所述参考帧的重建帧数据。

一个例子中,存储器除了存储待处理视频流及重建帧数据外,还可以用于存储编码码流和其他自定义数据。

本申请实施例中,对一路同时包括原始帧及隐私保护帧的复合视频流进行编码,原始帧参考隐私保护帧进行编码,而原始帧不作为编码时的参考帧,所以原始帧不需要存储,在前处理中对视频流进行复合和时域分层,在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗,有效利用隐私保护帧与原始帧的相关性,原始帧参考对应的隐私保护帧进行编码,大部分参考区域完全相同,有利于大幅度减少编码的码流数量,降低码流存储和传输成本;并且,在视频编码器中通过硬件逻辑实现隐私保护处理,能够减少处理器的处理压力,且减少了图像数据的存储器读写带宽,编码效率得到大幅度提升。

在得到编码后的视频数据流后,还需要对编码后的视频数据流进行封装发送,在一种可能的实施方式中,所述方法还包括:

所述处理器每次从所述编码后的视频数据流中读取预设单位数据量的数据,针对当前读取的数据,若该数据为原始帧的数据,则对当前读取的数据进行加密,并对加密后的数据进行封装,若该数据为隐私保护帧的数据,则直接对该数据进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;分别向普通权限用户及高级权限用户发送所述待发送数据流。

其中,普通权限用户的客户端具有权限限制,只能解码及显示隐私保护帧,而不能显示原始帧。

读取视频编码器输出的编码后的视频数据流,每次读取预设单位数据量的码流数据,预设单位数据量的粒度大小可以根据实际情况自定义设置,包括但不仅限于Byte级、NALU级或帧级等。一个例子中,可以解析当前数据的头信息,获取当前的所属的帧的类型,例如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断是原始帧数据还是隐私保护帧数据。若为原始帧数据,对原始帧码流进行单独加密,加密的方式包括但不仅限于AES加密等,并对加密后的数据进行应用层封装。若为隐私保护帧数据,则直接进行应用层封装;一个例子中,选择性的地进行全局加密,然后打包输出给解码端。

在一种可能的实施方式中,参见图4,所述方法还包括:

S201,所述处理器每次从所述编码后的视频数据流中读取预设单位数据量的数据,基于当前读取的数据,得到与当前读取的数据内容相同的第一码流及第二码流;

S202,若当前第一码流为原始帧的数据,则对当前第一码流进行加密,并对加密后的数据进行封装,若当前第一码流为隐私保护帧的数据,则直接对当前第一码流进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;

S203,向高级权限用户发送所述待发送数据流;

S204,若当前第二码流为原始帧的数据,则丢弃该数据,若当前第二码流为隐私保护帧的数据,则对当前第二码流进行封装,从而得到隐私保护数据流,其中,所述隐私保护数据流包括隐私保护帧的封装数据;

S205,向普通权限用户发送所述隐私保护数据流。

现有技术中,抽帧操作是为了适应不同的带宽情况,例如络带宽流畅时,不进行抽帧,使用60FPS(每秒传输帧数)的视频流,网络带宽较拥堵时抽取1/2视频帧即使用30FPS的视频流,网络带宽高度拥堵时抽取1/4视频帧即使用15FPS的视频流,从而在牺牲每秒传输帧数的情况下,保证视频的正常播放。

在本申请实施例中,利用抽帧的方式抽取隐私保护帧的数据封装为隐私保护数据流,普通权限用户接收到的隐私保护数据流中仅包含隐私保护帧的数据,能够防止普通权限用户获取到原始帧,保证隐私安全,同时节约了普通权限用户的带宽。

本申请实施例还提供了一种视频解码方法,所述方法包括:

步骤一,获取待解码视频流,其中,所述待解码视频流包括:原始帧的封装数据及隐私保护帧的封装数据。

待解码视频流可以为上述实施例中编码端发送的待发送数据流。

步骤二,在获取到针对原始帧的解码密钥的情况下,利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码,得到原始帧。

高级权限用户向解码端输入针对原始帧的解码密钥,解码端在获取到针对原始帧的解码密钥的情况下,利用所述解码密钥对所述待解码视频流中的原始帧的封装数据进行解码,得到原始帧。

步骤三,在未获取到针对原始帧的解码密钥的情况下,对所述待解码视频流中的隐私保护帧的封装数据进行解码,得到隐私保护帧。

普通权限用户不知道解码密钥,因此只能解码得到隐私保护帧。

本申请实施例还提供了一种视频编码设备,例如图6a所示,视频编码设备在图中表示为编码端,包括编码前处理单元、视频编码器及编码后处理单元。视频编码设备将隐私保护帧和原始帧交织为复合视频流后进行视频编码,并且利用时域分级或时域分层参考关系,将复合视频流分为基本层和增强层,其中增强层可为一层也可为多层。基本层为隐私保护帧可用于参考,中间增强层为其他隐私保护帧可用于参考,最高增强层为原始帧不可用于参考。编码码流进行后处理时来判断码流类型,若为原始帧码流则再进行一次隐私保护加密操作,否则为隐私保护帧码流无需进行隐私保护加密。权限管理可以由解码端实现,解码端包括权限管理单元、高级用户解码单元、普通用户解码单元和显示单元。权限管理单元根据是否输入了隐私保护密钥来判断当前用户的权限,带密钥的高级权限用户解密后解码出隐私保护帧和原始帧交织的复合视频流,然后抽掉隐私保护帧,只显示原始帧;不带密钥的普通权限用户只解码出隐私保护帧视频流,直接进行显示。

视频编码设备包括编码前处理单元、视频编码器及编码后处理单元。

编码前处理单元:对输出的每一帧视频帧处理配置至少两次,得到一帧原始帧及至少一帧隐私保护帧,交织成复合视频流。其中,隐私保护帧设置为允许用于其他视频帧的编码参考,原始帧设置为不允许用于其他视频帧的编码参考。一个例子中,以两次为例,第一次处理为隐私保护帧,第二次为原始帧,并且在信息配置时的参考关系上也是相互交织的。一个例子中,也可以对每一帧处理配置多次,交织成复合视频流,第一次处理为保护第一对象的隐私保护帧,第二次处理为保护第二对象的隐私保护帧,……,最后一次为原始帧,参考关系上也是相互交织的。

视频编码器:本申请中的视频编码器为硬件编码器,可以为采用ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、SoC(System on Chip,系统级芯片)等硬件中的至少一种实现,用于对视频帧进行隐私保护及编码处理,支持的标准协议包括但不仅限于H.264、H.265、H.266、AVS2、AVS3、AV1、VP9等。隐私保护的实现方式包括但不仅限于图像打码、图像遮挡、图像置乱等。在本申请实施例中,例如图6b所示,通过视频编码器实现隐私保护功能,视频编码器包括隐私处理模块用于对视频帧进行隐私保护;视频编码器还包括编码模块用于对视频帧进行编码处理。

编码后处理单元:该单元内部包括码流抽帧组件,传统用法是在网络带宽紧张时进行抽帧使用的,而本申请中运用码流抽帧组件抽帧后来判断码流所属的视频帧类型,若为原始帧码流则再进行一次隐私保护加密操作,加密方式包括但不仅限于AES加密等,若为隐私保护帧码流则无需进行隐私保护加密或使用另一套密钥进行加密。对码流进行隐私保护加密后还可以选择性地进行一次全局加密,从而得到待发送数据流,以保证码流在传输过程中的安全性,然后输出待发送数据流。

一个例子中,编码前处理单元及编码后处理单元是基于软件逻辑通过处理器实现的。

以下,对各单元功能进行具体介绍:

编码前处理单元的基本功能是根据用户配置的编码属性和采集的输入视频序列,为编码器传输寄存器参数和图像YUV数据。本专利的编码前处理单元还需对输入帧处理配置多次,交织成“隐私保护帧+原始帧”的复合视频流,并且寄存器参数配置成可时域抽帧的参考关系。编码前处理的处理流程如图5所示,具体的处理流程描述如下:

步骤1,从用户接口中读取用户配置的编码属性,将抽象的编码属性转换为具体的参数数值。

步骤2,针对待处理视频流,获取一帧原始帧图像,作为的输入帧。

步骤3,配置当前处理帧的基本寄存器参数和参考关系寄存器参数。基本寄存器参数进行通用配置即可,配置参考关系寄存器参数时选择支持码流抽帧的时域可分级参考模型,包括但不仅限SVC-TX2模型、SVC-TX4模型等。

步骤4,向视频编码器输出配置的寄存器参数,输出处理后的图像内容数据,图像内容数据格式包括但不仅限于YUV420、YUV422等格式。

步骤5,若当前输入帧为最后一次配置,结束当前输入帧的处理,否则跳到步骤3。

在本申请实施例中,在复合视频流中,隐私保护帧跳帧参考其他隐私保护帧,原始帧参考相邻的隐私保护帧,优点是只需存储隐私保护帧用于后续参考,减少硬件内存消耗。

视频编码器的功能是采用视频编码标准,对复合视频流序列中每一帧图像依次进行视频编码,生成压缩码流。视频编码器支持的标准包括但不仅限于H.264、H.265、AVS2等。视频编码标准协议H.264、H.265、AVS2等均是采用混合式编码框架,将图像划分成一个个小块进行编码,本申请中统称这些小块为编码块。

视频编码器硬件结构的可以如图6c所示,硬件编码器中的各子模块之间是流水工作的,以单个编码块来看整个硬件系统的处理流程如下:

控制模块读取编码器寄存器配置信息,向其他模块输出控制参数。判断若当前帧为I帧,则不需要参考帧,仅从DDR中读取当前帧图像数据;否则,从DDR中读取当前帧图像数据,同时根据时域参考关系从DDR中读取所需的参考帧数据。

隐私处理模块根据寄存器开关判断是否进行编码块的隐私保护图像处理,寄存器开关打开时进行编码块图像处理(包括但不仅限于图像打码、图像遮挡、图像置乱等处理方式);否则,使用Bypass模式不进行编码块图像处理,数据直接输出给后级模块。

编码模块按照编码标准,以编码块为单位进行帧内预测、帧间预测、变换量化、反变换反量化、环路滤波和熵编码等子模块的工作,这一部分可以参见标准编码器,此处不再赘述。

输出压缩码流进行编码后处理,将重建图像数据写回内存,例如DDR(Double DataRate,双倍速率)内存中,用于后续帧的参考。

通过视频编码器硬件逻辑来实现的隐私保护图像处理的方案,不仅可以降低处理器的负荷提高系统效率,还具有减少内存读写带宽的优点。

按照时域分层分为基本层和增强层两层来说,通过处理器进行隐私保护的方案对内存访问的示意图如下图7a所示,由图可以看出对内存执行了3次写入、3次读取;本申请中通过视频编码器硬件的方式对内存访问的示意图如图7b所示,对内存进行了2次写入、1次读取,实现了内存读写带宽降低50%。

编码后处理单元的处理流程可以如图8所示,包括:

步骤1,读取视频编码器输出的编码后的视频数据流;每次读取码流的粒度包括但不仅限于Byte级、NALU级或帧级等。

步骤2,解析当前读取的数据的码流头信息,获取当前码流所属的帧的类型。如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断。

步骤3,判断当前码流数据的类型,若为原始帧码流数据,则执行步骤4;否则为隐私保护帧码流数据,跳到步骤5。

步骤4,对原始帧码流数据进行单独加密,加密的方式包括但不仅限于AES加密等。

步骤5,对当前码流数据进行应用层封装,可选择性地进行全局加密,然后打包输出给解码端。

步骤6,结束当前码流数据的处理。

在一种可能的实施方式中,编码后处理单元还可以将视频编码器输出的码流分两路发送,一路进行码流抽帧后打包输出给普通权限用户,另一路打包输出给高级权限用户。码流抽帧操作一般是在网络带宽紧张的条件下进行的,而本申请中进行的码流抽帧是抽掉增强层原始帧,生成隐私保护数据流,这是码流抽帧组件在本申请中的创新型用法。其处理流程包括:

步骤1,读取视频编码器输出的编码后的视频数据流;每次读取码流的粒度包括但不仅限于Byte级、NALU级或帧级等。

步骤2,解析当前读取的数据的码流头信息,获取当前码流所属的帧的类型。如H.264、H.265标准中根据NALU头信息中的NALU类型或时域层级来判断。

步骤3,然后将当前码流分两路处理,一路对接普通权限用户,执行步骤4,另一路对接高级权限用户,跳到步骤6。

步骤4,对接普通权限用户,根据码流所属的帧类型,若当前码流是隐私保护帧码流,执行步骤5,否则,进行抽帧操作不发送原始帧码流,直接跳到步骤7。

步骤5,将隐私保护帧码流进行应用层封装,打包输出给普通权限用户,跳到步骤7。

步骤6,对接高级权限用户,直接将码流进行应用层封装,打包输出给高级权限用户。

步骤7,结束当前码流的处理。

对一路同时包括原始帧及隐私保护帧的复合视频流进行编码,原始帧参考隐私保护帧进行编码,而原始帧不作为编码时的参考帧,所以原始帧不需要存储,在前处理中对视频流进行复合和时域分层,在参考关系上为时域分层交织参考减少了参考帧存储所需的内存消耗,有效利用隐私保护帧与原始帧的相关性,原始帧参考对应的隐私保护帧进行编码,大部分参考区域完全相同,有利于大幅度减少编码的码流数量,降低码流存储和传输成本;并且,在视频编码器中通过硬件逻辑实现隐私保护处理,能够减少处理器的处理压力,且减少了图像数据的存储器读写带宽,编码效率得到大幅度提升。

一个例子中,编码前处理单元及编码后处理单元是基于软件逻辑通过处理器实现的,本申请实施例还提供了一种视频编码设备,所述视频编码设备包括处理器、视频编码器及存储器;

所述存储器,用于存储待处理视频流;

所述处理器,用于获取待处理视频流,针对所述待处理视频流中的每一视频帧,将该视频帧分别配置为隐私保护帧及原始帧,得到复合视频流;并将隐私保护帧的帧间编码参考模式设置为可参考、隐私保护类型设置为保护,将原始帧的帧间编码参考模式设置为不可参考、隐私保护类型设置为不保护,从而得到配置信息;向所述视频编码器发送所述复合视频流及所述配置信息;

所述视频编码器,用于基于所述配置信息对所述复合视频流中的隐私保护类型为保护的视频帧进行隐私保护,并对隐私保护后的视频帧进行编码;对所述复合视频流中的隐私保护类型为不保护的视频帧进行编码,得到编码后的视频数据流,其中,帧间编码参考模式为可参考的视频帧允许用于作为其他视频帧进行编码的参考帧;帧间编码参考模式为不可参考的视频帧不允许用于作为其他视频帧进行编码的参考帧。

在一种可能的实施方式中,所述视频编码器包括控制模块、隐私处理模块及编码模块;

所述控制模块,用于针对所述复合视频流中当前待编码的视频帧,若所述配置信息中该视频帧的隐私保护类型为不保护,则配置所述隐私处理模块为关闭,若所述配置信息中该视频帧的隐私保护类型为保护,则配置所述隐私处理模块为打开;若该视频帧的帧间编码参考模式为可参考,则配置所述编码模块将该视频帧设置为参考帧,若该视频帧的帧间编码参考模式为不可参考,则配置所述编码模块将该视频帧的设置为非参考帧;

所述隐私处理模块,用于在打开的情况下,对所述复合视频流中当前待编码的视频帧进行隐私处理,其中,所述隐私处理模块在关闭的情况下,不执行针对当前待编码的视频帧的隐私处理;

所述编码模块,用于对所述隐私处理模块输出的视频帧进行编码,并按照所述控制模块的配置将当前编码的视频帧设置为参考帧或非参考帧。

在一种可能的实施方式中,所述存储器还用于存储所述待处理视频流及所述参考帧的重建帧数据。

在一种可能的实施方式中,所述处理器,具体用于:针对所述待处理视频流中的每一视频帧,基于该视频帧得到与该视频帧内容相同的M+1帧视频帧,将其中的M帧视频帧的帧类型属性设置为隐私保护帧类型得到M隐私保护帧,将剩余的一帧视频帧的帧类型属性设置为原始帧类型得到原始帧,其中,M为隐私保护类型的数量;将所述待处理视频流中的各视频帧对应的隐私保护帧及原始帧交织为复合视频流。

在一种可能的实施方式中,所述处理器还用于:每次从所述编码后的视频数据流中读取预设单位数据量的数据,针对当前读取的数据,若该数据为原始帧的数据,则对当前读取的数据进行加密,并对加密后的数据进行封装,若该数据为隐私保护帧的数据,则直接对该数据进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;分别向普通权限用户及高级权限用户发送所述待发送数据流。

在一种可能的实施方式中,所述处理器还用于:每次从所述编码后的视频数据流中读取预设单位数据量的数据,基于当前读取的数据,得到与当前读取的数据内容相同的第一码流及第二码流;若当前第一码流为原始帧的数据,则对当前第一码流进行加密,并对加密后的数据进行封装,若当前第一码流为隐私保护帧的数据,则直接对当前第一码流进行封装,从而得到待发送数据流,其中,所述待发送数据流包括原始帧的封装数据及隐私保护帧的封装数据;向高级权限用户发送所述待发送数据流;若当前第二码流为原始帧的数据,则丢弃该数据,若当前第二码流为隐私保护帧的数据,则对当前第二码流进行封装,从而得到隐私保护数据流,其中,所述隐私保护数据流包括隐私保护帧的封装数据;向普通权限用户发送所述隐私保护数据流。

本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现本申请中任一视频编码方法。

在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本申请中任一视频编码方法。

本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于高空抛物监控场景:在高空抛物监控场景的应用中,一般将电子监控器安装在地面上,从下向上实时监控高层建筑的每一楼层。由于电子监控器的安装高度一般与低楼层高度大致相近,实时监控时会拍摄到低楼层内部情况,导致低楼层住户的隐私出现泄露。采用本申请实施例的方法、设备、存储介质、计算机程序产品等,根据电子监控器的安装位置直接配置隐私保护区域的坐标,定义保安监控室为普通权限用户,带密钥存储器为高级权限用户,电子监控器输出的隐私保护码流解码后在监控室内实时显示,完整码流则存储在带密钥存储器中。这样既保护了低楼层用户的隐私,又满足了在发生高空抛物事件后公安系统使用密钥查看原始视频的需求。

本申请实施例的方法、设备、存储介质、计算机程序产品等可以应用于安防监控场景:针对在视频监控领域进行人脸识别、行为分析等场景,应用本申请实施例的方法、设备、存储介质、计算机程序产品等,智能算法进行人脸识别后自动输出需要进行隐私保护的区域坐标,对出现在监控视频中的人脸区域进行打码或置乱保护。电子监控器输出隐私保护码流解码后实时显示,完整码流存储在带密钥存储器中,出现危害公共安全公安系统介入调查时进行原始视频的查看。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

24页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种软编码和解码的大屏拼接系统及其软编码和解码方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类