具体实施方式

如上所述，本发明的各种实施例的一个目的是减小来自监控摄像机的比特率。监控摄像机的用户可以指定包含“不重要的”信息但仍然对比特率有显著贡献的图像的区域。一旦这些区域被指定，就可以将跳过块掩码(mask)应用于这些区域，这将强制编码器将这些区域编码为跳过块。由于跳过块包含非常少的数据，通常仅包含一位，因此通过使用该技术可以显著降低比特率。

本发明的实施例可以包括各种工具，以帮助用户选择应该应用跳过块掩码的区域。例如，可以向用户呈现在由监控摄像机捕获的图像上的覆盖，该覆盖指示来自图像的不同区域的比特率贡献。这些区域在本申请的其他部分中被称为“第一区域”。比特率贡献可以例如通过使用不同颜色的，通常是透明的覆盖来指示，例如浅红色用于高于例如预定阈值的比特率贡献以及浅绿色用于低于例如某个阈值的比特率贡献。然后，用户可以从该映射中选择应该在其上应用跳过块掩码的多个那些区域，例如，存在高的比特率贡献，但是预期不会出现有吸引力的物体的区域。用户还可以通过指示所描绘的场景中“不重要的”(即没有视觉吸引力的)的所有区域，例如通过在图形用户界面中绘制多边形或输入这样的区域的坐标来开始。没有视觉吸引力的区域在本申请的其他部分中被称为“第二区域”。之后，用户可以基于在两种类型的区域之间的重叠来选择掩码图像中的多个区域的跳过块，该多个区域具有高比特率并且是没有视觉吸引力的。待应用跳过块掩码的区域在本申请的其他部分中被称为“第三区域”。这些区域在高比特率的区域和没有视觉吸引力的区域之间的重叠中被找到。

一些实施例可以包括各种类型的机器学习或人工智能工具，该机器学习或人工智能工具可以随着时间或在配置阶段期间学习用户通常认为什么类型的物体和/或区域是“不重要的”。如上面提到的，这样的区域在本申请的其他部分中被称为“第二区域”。

对于“不重要的”区域的建议可以在被用作对跳过块掩码决定的输入之前，被呈现给用户以进行确认。作为一个方便的选项，可以向用户呈现指示比特率贡献信息和“不重要的”区域的建议的覆盖。哪些区域被建议是不重要的信息可被呈现为图案化，例如虚线或条纹。这可以方便地与通过将颜色添加到图案来指示比特率的覆盖组合，从而使用户可以快速掌握来自软件的建议。一个示例是将条纹图案添加到建议的“不重要的”区域，并在也具有高的比特率贡献的区域中将这样的条纹涂成红色。图像的这样的覆盖或标记通常出现在描绘了具有摇摆的树枝的树的图像区域中，并且然后，用户可以通过在用户界面中选择区域，例如，通过在图形用户界面中的区域的顶部绘制多边形并指示该多边形应该被设置为跳过块掩码，来决定将跳过块掩码应用于该区域。然后，结果是，该图像区域将以比剩余图像慢得多的速度更新，例如每GOP更新一次，而不是在每帧中更新一次，尽管树从一个帧到另一帧移动其分支。显然，对于如何向用户呈现建议，存在许多不同的选项，并且可供用户界面设计人员使用。

在一些实施例中，用户可以被提供有对各种跳过块掩码的建议，并且可以被呈现有“之前”和“之后”值，该值示出了当将特定的跳过块掩码应用于由监控摄像机捕获的图像时，来自摄像机的比特率将如何改变。然后，用户可以基于该信息根据他们的喜好来配置跳过块掩码。

为了更好地理解本文描述的本发明的细节，现在将描述根据各种实施例的图像编码的简要概述。由监控摄像机捕获的图像通常被传输到使用地点，例如控制中心，其中图像可以被观看和/或被存储。可替代地，它们可以被存储在所谓的“边缘存储器”，即在摄像机上的存储器，可以是摄像机上的存储卡(例如SD卡)，也可以是与摄像机连接的存储器(例如NAS(网络附加存储器))。在传输或边缘存储之前，图像通常由编码器编码以节省带宽和存储空间。可以以很多不同的方式例如根据H.264标准或其它编码标准来执行编码。

在很多数字视频编码系统中，两种主要模式用于压缩视频帧序列中的视频帧：帧内模式和帧间模式。在帧内模式中，通过经由预测、变换和熵编码在单个帧的给定通道中利用像素的空间冗余来对亮度和色度通道(或在一些情况下RGB或Bayer数据)编码。所编码的帧被称为帧内帧(也被称为“I帧”)。在I帧内，像素的块(也被称为宏块、编码单元或编码树单元)在帧内模式中被编码，也就是说，它们参考同一图像帧内的类似块被编码，或者被原始地编码而没有参考。

相反，帧间模式利用在单独的帧之间的时间冗余，并依赖于运动补偿预测技术，该运动补偿预测技术通过针对像素的选定块对从一个帧到另一帧的像素中的运动编码来预测来自一个或多个参考帧的帧的部分。编码的帧被称为帧间帧、P帧(正向预测帧)或B帧(双向预测的帧)，该P帧可以按解码顺序引用先前的帧，该B帧可以引用两个或更多个先前解码的帧并且可以具有用于预测的帧的任何任意显示顺序关系。在帧间帧内，像素的块可以在帧间模式中被编码，意味着它们参考在先前解码的图像中的相似块被编码，或在帧内模式中被编码，意味着它们参考在同一图像帧内的相似块被编码，或被原始地编码而没有参考。跳过块是像素的帧间模式编码的块，该跳过块引用在参考帧中的像素的对应的块，应该从该对应的块中完全复制图像内容。

编码的图像帧被布置在图片组(GOP)中。每个GOP由I帧开始，该I帧不引用任何其它帧且后面是多个帧间帧(即，P帧或B帧)，该帧间帧引用其它帧。图像帧不一定必须按照与捕获或显示图像帧相同的顺序进行编码和解码。唯一固有的限制是用作参考帧的帧必须先被解码，然后才能对使用该参考帧作为参考的其他帧进行编码。

如上面提到的，在创建跳过块掩码的图像区域(即，第三图像区域)中，编码器在一个实施例中例如对于GOP中除I帧之外的每个帧或者对于甚至更长的时间段强制跳过块。这在场景不经常改变的情况下可能是合适的。在另一实施例中，可以基于每帧或以相当较高的帧速率来分析这些第三图像区域，使得对于每个非I帧都存在匹配的跳过映射。跳过时段可以由用户选择，并且对于不同的“跳过块掩码”可以不同。应当注意的是，通过不掩码I帧，可以创建由跳过块掩码掩码的区域的简单的“延时视图”(即，在回放时仅I帧是可见的)。例如，这在某些情况(例如，零售环境)中可能很有用。

如本领域的技术人员将理解的，本发明的各方面可以被实施为系统、方法或计算机程序产品。因此，本发明的方面可以采取在本文中通常都可以被统称为“电路”、“模块”或“系统”的完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式。此外，本公开的方面可以采取被实施在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有在其上实施的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述的任何合适的组合。计算机可读存储介质的更具体的示例(非详尽列表)将包括以下各项：具有一根或多根导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是可包含或存储供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何有形介质。

具有在其中实施的计算机可读程序代码的计算机可读信号介质可以包括例如在基带中或作为载波的部分的传播的数据信号。这样的传播的信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机介质，该计算机介质不是计算机可读存储介质并且可以传递、传播或传送供指令执行系统、装置或设备使用的或与指令执行系统、装置或设备结合使用的程序。

在计算机可读介质上实施的程序代码可以使用任何适当的介质，包括但不限于无线、有线、光纤电缆、RF等，或前述的任何适当的组合来传输。可以以一种或多种编程语言(包括诸如Java、Smalltalk、C++之类的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言之类的传统的过程编程语言)的任何组合来编写用于执行本发明各方面的操作的计算机程序代码。程序代码可以作为独立软件包完全在用户计算机上、部分在用户计算机上、部分在用户计算机上并且部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，使用Internet服务提供商通过Internet)与外部计算机建立连接。

下面参考根据本发明的实施例的方法、装置(系统)和计算机程序指令的流程图图示和/或框图描述本发明的各方面。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图框中指定的功能/动作的装置。

可以指导计算机、其他可编程数据处理装置或其他设备以特定方式起作用的这些计算机程序指令还可以存储在计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图框中指定的功能/动作的指令的制品。

还可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供了用于实现流程图和/或框图框中指定的功能/动作的过程。

现在将通过示例并参考附图来描述根据本发明的各种实施例的技术。

图1是示出了系统100的示意性框图，在系统100中，可以实现根据各个实施例的图像编码技术。例如，系统100可以在捕获场景的图像(例如，视频序列)的摄像机中实现。系统100包括图像传感器102、跳过区域计算单元104、缩放器106和编码器108。简要地，图像传感器102捕获场景的图像；跳过区域计算单元104基于第一区域和第二区域来确定第三区域，缩放器106执行进一步的操作，例如缩小或放大图像、旋转图像、添加各种类型的覆盖等；并且编码器108对图像进行编码，并强制第三区域被编码为跳过块。这些操作将在下面进一步详细描述。

在图2中示出了由摄像机监控的场景的示例。在场景200中，存在具有窗204、214和门206的房屋202。汽车208停在房屋前面，并且第一人210站在房屋外面。第二人212在房屋中，可通过窗204、214中的一个看到。

摄像机216使用在摄像机中的系统100的传感器102来捕获场景的图像。图3示出了由传感器102捕获的图像302的主要结构。图像302由与图像传感器102的像素对应的多个像素304组成。图像可以例如由1280x720像素、1920x1080像素或3840x2160像素组成。

对传感器102捕获的图像进行标准的图像处理，包括例如降噪、局部色调映射、空间和时间滤波等。图像然后被发送到跳过区域计算单元104。为了本文描述的本发明的各种实施例的目的，如图4所示，由跳过区域计算单元104执行的一个重要操作包括将图像302的像素304分组到邻近像素304的编码单元402中。编码单元402也被称为块、宏块、像素块、编码树单元或编码单元。编码单元402通常是正方形的，并且由例如8×8、16×16或32×32像素组成。然而，也可以将像素304分组到其他尺寸和形状的编码单元402中。应当注意，出于说明和解释的目的，与图3中的像素的尺寸相比，图4中的编码单元402的尺寸被放大。在现实生活中，对于图3的像素304的数量，通常存在大量的编码单元402。为每个编码单元402确定比特率贡献值。可以用多种方式(例如，通过使用编码器的成本函数)来确定每个编码单元的比特率贡献值。基于成本，编码器可以确定编码单元是否应该被帧内编码、帧间编码或被编码为跳过块。

图5示出了由摄像机216捕获的图像502。从检查图像可以怀疑，图像右侧的树可能对比特率有很大的贡献，并且树上的天空也可能由于例如经过的云层等(尤其是在大风天)而对比特率有很大的贡献。用户可以从监视的角度来决定图像的这些部分不是非常重要的，并且因此，她可以指示可以将跳过块掩码应用于这些高比特率区域。如上面提到的，跳过块通常使用1比特的数据，因此可以得到来自监控摄像机的比特率的显著节省。

进一步，在一些实施例中，诸如人工神经网络之类的机器学习系统可用于学习一个或多个用户通常认为哪些功能不重要。例如，系统可以学习监控摄像机的一般用户对记录树的图像不感兴趣。然后，系统可以自动识别图像中的树、天空等，并向编码器提议跳过块掩码。可选地，系统还可以向用户呈现替代的跳过块掩码替代方案，并且在将信息传递到编码器之前，用户可以做出关于在不同的替代方案中使用哪个跳过块掩码的决定。同样，对于本领域普通技术人员，跳过块掩码选择的许多变型是可用的。

在图6中，示出了包括诸如图1中所示的系统100的摄像机216。摄像机216还具有许多其他部件，但是由于它们不是本发明的一部分，因此未示出它们，并且在此将不进一步讨论。摄像机216可以是任何种类的摄像机，例如可视光摄像机、IR摄像机或热摄像机。

如结合图6所述的，编码系统100可以集成在摄像机216中。然而，也可以单独地布置一些部分或整个编码系统100并将它操作地连接到摄像机。也可以将图像从摄像机传输到例如控制中心而没有任何跳过块掩码，并在控制中心中例如在VMS(视频管理系统)中应用跳过块掩码。在这样的情况下，编码系统可以被布置在VMS中或以其他方式被布置在控制中心中，并用于所谓的代码转换，其中从摄像机接收编码的图像，进行解码，并且然后重新编码，但是现在使用了跳过块掩码。

本文描述的本发明的各种实施例可以与使用具有帧内帧和随后的帧间帧(例如，所有这些对于本领域普通技术人员来说都是熟悉的H.264、H.265MPEG-4第2部分、VP8或VP9)的GOP结构的任何编码方案一起使用。

在附图中的流程图和方框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示包括用于实现指定的逻辑功能的一个或多个可执行指令的指令的模块、片段或部分，。在一些可替代的实现方式中，在框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，可以通过执行特定功能或操作或执行特殊目的硬件和计算机指令的组合的基于特殊目的硬件的系统来实现框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合。

已经出于说明的目的给出了对本发明的各种实施例的描述，但是这些描述并不旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是显而易见的。例如，虽然编码器通常确定编码单元是否应被帧内编码、帧间编码或被编码为跳过块，但是如上所述，也可能存在其中用户明确指定编码类型的实施例。例如，这可以在过程开始时通过用户界面手动完成，或者由用户查看和确认或覆盖编码器提供的建议来完成。通常，用户仅指定应将哪些编码单元编码为跳过块，并将有关块内编码与块间编码的编码决定留给编码器。因此，本领域普通技术人员可以想到落入权利要求范围内的许多其他变型。

选择本文使用的术语是为了最好地解释实施例的原理、对市场上发现的技术的实际应用或技术上的改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。