用于对视频帧序列进行编码的方法、控制器和系统

文档序号:1712117 发布日期:2019-12-13 浏览:28次 >En<

阅读说明:本技术 用于对视频帧序列进行编码的方法、控制器和系统 (Method, controller and system for encoding a sequence of video frames ) 是由 袁嵩 亚历山大·特雷松 于 2019-05-23 设计创作,主要内容包括:本发明提供了一种用于对视频帧序列进行编码的方法、控制器和系统。该方法包括:接收指示摄像机的移动量的输入,接收关于预定距离的输入,以及基于摄像机的移动量和预定距离而在该序列的视频帧的帧内编码与帧间编码之间进行选择,使得摄像机在捕获帧内编码的视频帧之间最多移动预定距离。(The invention provides a method, controller and system for encoding a sequence of video frames. The method comprises the following steps: the method includes receiving an input indicating an amount of movement of the camera, receiving an input regarding a predetermined distance, and selecting between intra-coding and inter-coding of video frames of the sequence based on the amount of movement of the camera and the predetermined distance such that the camera moves at most the predetermined distance between capturing the intra-coded video frames.)

用于对视频帧序列进行编码的方法、控制器和系统

技术领域

本发明涉及视频编码领域。具体地,本发明涉及用于对由安装到移动物体的摄像机捕获的视频帧序列进行编码的方法和相关设备。

背景技术

用于监控和监视目的的摄像机的使用正在增加。这尤其适用于安装在移动物体上的摄像机,摄像机诸如佩戴式摄像机或者在火车或公共汽车上使用的摄像机。佩戴式摄像机可以由警察或安全人员使用,并且由摄像机捕获的视频可以用于取证目的。为了使视频用作证据,重要的是不管佩戴摄像机的人如何移动,视频的质量都足够高。由于许多视频编码方法针对固定摄像机进行了调整和优化,因此存在改进的需要。

发明内容

鉴于上文,本发明的目的因此是改进由安装到移动物体的摄像机捕获的视频帧序列的编码。具体地,目的是使编码适合物体的运动,以便无论运动物体的运动如何都确保视频的特定质量。

根据第一方面,上述目的通过对由安装到移动物体的摄像机捕获的视频帧序列进行编码的方法来实现,包括:

接收指示摄像机的移动量的输入,

接收关于预定距离的输入,以及

基于摄像机的移动量和预定距离而在该序列的视频帧的帧内编码与帧间编码之间进行选择,使得摄像机在捕获帧内编码的视频帧之间最多移动预定距离。

视频帧序列意味着每个携带图像数据的图像帧的时间序列。视频帧通常可以是帧内编码的或者是帧间编码的。帧内编码的帧是自包含的,因为它是在不参考任何其他帧的情况下被编码。因此,并且帧内编码的帧可以在不访问任何其他帧的情况下被解码。这与参考一个或多个其他帧编码的帧间编码的帧形成对比。以这种方式,帧间编码的帧通常可以以比帧内编码的帧低的比特成本被编码。然而,帧间编码的帧的较低比特成本是以较低质量为代价的。换句话说,帧内编码的帧通常具有以下优点:与帧间编码的帧相比,它们将具有更高的质量,并且因此具有更高的取证价值。

对于固定摄像机,随着时间的推移均匀分布帧内编码的帧以确保视频质量保持在特定水平可能是合乎情理的。然而,这对于以同样的方式附接到移动物体的摄像机是不合乎情理的。看看考虑安装到移动物体并且以特定时间速率对帧内帧进行编码的摄像机的情况。当物体以第一速度移动时,时间速率转换为第一空间速率。例如,物体每行进一米可以对一个帧进行帧内编码。如果物体反而以第二更高的速度移动,则时间速率转换为第二更低的空间速率。例如,物体每行进十米可以对一个帧进行帧内编码。在第一种情况下,物体每移动一米编码一个高质量的帧,而在第二种情况下,物体每移动十米编码一个高质量的帧。因此,具有按时间单位设定的帧内编码速率使得按距离单位的视频质量随着对象移动得更快而下降。为了使移动物体具有恒定质量的视频,具有按物体行进的距离单位设定而不是按时间单位设定的帧内编码的帧的速率反而将更加合乎情理。这是通过基于摄像机的移动量和预定距离而在该序列的视频帧的帧内编码与帧间编码之间进行选择来实现的,以这样的方式,摄像机在捕获帧内编码的视频帧之间最多移动预定距离。

这对于在编码的视频中执行快速搜索的目的也可能是有利的。这样的快速搜索通常允许针对帧内编码的帧扫描编码的视频。帧内编码的帧然后可以被解码并依次被显示。由于帧内编码的帧是自包含的,因此不需要解码视频中的其他帧从而解码帧内编码的帧。通过在视频序列中分配帧内编码的帧,使得摄像机在捕获帧内编码的帧之间最多移动预定距离,给出摄像机的全部运动的良好覆盖的视频帧在快速搜索中将是可用的。

移动物体可以是例如人或车辆。

视频帧的帧内编码意味着该帧独立于视频序列中的所有其他帧被编码。具体地,帧内编码的视频帧被编码而不参考视频序列中的另一视频帧。帧内编码的帧有时被称为I帧,例如,在H.264和H.265标准中。

视频帧的帧间编码意味着该帧被编码为依赖于视频序列中的其他帧。具体地,帧间编码的视频帧可以通过参考视频序列中先前解码的视频帧被编码。在H.264和H.265标准中,帧间编码的帧有时被称为B帧或P帧。

指示摄像机的移动量的输入通常意味着将摄像机的移动指示为时间函数的信息。具体地,指示移动量的输入可以是允许由摄像机自要得到的固定时间点行进的距离的任何信息。例如,输入可以将摄像机的速度指示为时间函数,或者将摄像机的位置指示为时间函数。

当帧要进行编码时,编码器在帧的帧内编码或帧间编码之间进行选择。可以根据管理帧内编码的帧被选择的时间速率的参数来做出选择。可以基于摄像机的移动量和预定距离重复调整时间速率,使得摄像机最终在捕获帧内编码的视频帧之间最多移动预定距离。时间速率可以与指定对帧进行帧内编码或帧间编码的顺序的结构的一组图片(GOP)的长度有关。因此,调整时间速率对应于调整GOP结构的长度。基于摄像机的移动量和预定距离而在序列的视频帧的帧内编码与帧间编码之间进行选择的步骤因此可以包括:设定视频帧被编码为帧内编码的帧的速率。以这种方式,按时间单位设定的时间速率可以被调整为按距离单位设定的帧内编码的帧的速率。

改变对帧进行帧内编码的时间速率是如何可以基于摄像机的移动量改变GOP结构的一个示例。对于IPPP…形式的GOP结构,其中I表示I帧并且P表示P帧,GOP结构的长度是GOP结构可被改变的唯一参数。对于更高级类型的GOP结构,存在GOP结构基于摄像机的移动量可被改变的进一步的参数。进一步的参数可以作为GOP结构的长度的可替代的参数或者除了GOP结构的长度之外的参数而改变。例如,对于IBBPBBPBBPBBI形式的GOP结构,其中B表示B帧,I/P帧之间的B帧的数量是GOP结构根据摄像机的移动量可被改变的进一步的参数。

为了达到按距离单位设定的帧内编码的帧的速率,在序列的视频帧的帧内编码与帧间编码之间进行选择的步骤可以包括:基于指示摄像机的移动量的输入,计算自摄像机最近捕获帧内编码的视频帧以来摄像机已经移动的距离;以及基于所计算的距离与预定距离之间的比较,在当前视频帧或前一视频帧的帧内编码与帧间编码之间进行选择。因此,当要在帧内编码与帧间编码之间做出选择时,可以检查自对最近帧内编码的帧进行编码以来物体已经移动了多远。然后可以与预定距离进行比较,以查看是否是时候对帧内编码的帧进行编码。

更具体地,如果所计算的距离比阈值更接近预定距离,则当前视频帧可以被选择进行帧内编码,并且如果所计算的距离比阈值离预定距离远,则当前视频帧可以被选择进行帧间编码。因此,如果所计算的距离仍然远离预定距离(如根据阈值测量的),则可以对当前帧进行帧间编码。然而,如果所计算的距离接近预定距离(比阈值更接近预定距离),则对视频帧进行更好的帧内编码以确保摄像机移动不超过帧内编码的帧之间的预定距离。

优选地,设定阈值使得该阈值对应于或者大于在捕获执行选择步骤的两个后续帧之间由摄像机行进的距离。以此方式,摄像机最终将在捕获帧内编码的视频帧之间最多移动预定距离。例如,可以设定阈值使得该阈值对应于或者大于在捕获执行选择步骤的当前帧与下一帧之间由摄像机行进的距离。由于物体具有可变速度,因此优选地,阈值适于摄像机的当前移动。更具体地,阈值可以取决于以下中的至少一个:摄像机的移动量,以及基于摄像机的移动量和预定距离而在序列的视频帧的帧内编码与帧间编码之间进行选择的步骤被重复的速率。举例来说,当前阈值可以被计算为物体的当前速度与选择步骤的重复周期的乘积。

指示摄像机的移动量的输入优选地采用允许计算自捕获最近帧内编码的帧以来由摄像机行进的距离的形式。例如,指示摄像机的移动量的输入可以包括在特定时间处摄像机的速度和摄像机的位置中的至少一个。由于指示摄像机的移动量的输入随时间重复被接收,因此输入可以指示作为时间函数的摄像机的速度或作为时间函数的摄像机的位置中的至少一个。

指示摄像机的移动量的输入可以从包括在摄像机中或由移动物体携带的加速度计、陀螺仪和定位设备中的一个或多个中接收。定位设备可以是全球定位系统(GPS)设备或其等同物。定位设备也可以是电信调制解调器,可以基于三角测量技术从电信调制解调器中得到位置。

基于摄像机的移动量和预定距离而在序列的视频帧的帧内编码与帧间编码之间进行选择的步骤可以针对序列中的每个视频帧重复。换句话说,重复选择步骤的速率可以对应于视频序列的帧速率。

然而,为了节省处理能力,选择步骤可以更少地被执行。选择步骤的目的是确保摄像机在捕获帧内编码的视频帧之间最多移动预定距离。在许多情况下,物体只能以有限的速度移动,导致物体在视频序列的两个连续帧之间不可能移动预定距离。在这样的情况下,以较低的速率重复选择步骤就足够了。更具体地,基于摄像机的移动量和预定距离而在序列的视频帧的帧内编码与帧间编码之间进行选择的步骤可以以根据移动物体的最大速度设定的速率重复。可以选择步骤的重复周期使得移动物体的最大速度与选择步骤的重复周期的乘积短于预定距离。

视频可以本地存储在摄像机中。为此目的,摄像机可具有视频存储容量。视频存储容量通常是有限的,并且应当持续特定的时间量。例如,视频存储容量应当持续存储由摄像机捕获的一天的视频。视频存储容量与应当持续的特定时间量一起限定比特预算。根据比特预算,能够得到每个时间单位平均可以花费多少比特。

预定距离的值影响编码的视频中的比特的数量。对于物体的给定速度,较短的预定距离意味着更频繁地对帧内编码的帧进行编码,从而与预定距离更长的情况相比,导致编码的视频中的比特的数更多。而且,随着物体的速度增加,对于物体行进预定距离所花的时间更少。因此,帧内编码的帧的频率并且因此比特成本随着物体的速度而增加。

为了处理有限的视频存储容量,可能必须随时间调整预定距离。否则,存在超出比特预算的风险。具体地,方法可以进一步包括:基于摄像机的视频存储容量的当前使用和摄像机的移动量中的至少一个,调整预定距离。例如,如果视频存储容量的当前使用超过了根据比特预算直到当前时间点可花费的平均比特数,则可以增大预定距离,反之亦然。根据另一示例,如果摄像机的移动量已经超过特定时间量的特定水平,则可以增大预定距离,反之亦然。

可以在范围内调整预定距离。例如,可以在根据摄像机中的视频存储容量和反映移动物体的移动模式的历史数据设定的范围内调整预定距离。以这种方式,预定距离被约束在考虑具有摄像机中的有限的视频存储容量和移动物体的典型移动模式而选择的某一范围内。这降低了最终超出比特预算的风险。根据历史数据,第一物体可以比第二物体平均移动更多。因此,第一物体的范围的下端可以被设定为比第二物体高(即,范围可以朝向更长的距离移动)。以此方式,第一物体超过比特预算的风险降低。

根据第二方面,提供了一种控制器,该控制器用于控制视频编码器对由安装到移动物体的摄像机捕获的视频帧序列进行编码,包括:

接收器,被配置成接收指示摄像机的移动量的输入和关于预定距离的输入;以及

控制部件,被配置成基于摄像机的移动量和预定距离而控制视频编码器在序列的视频帧的帧内编码与帧间编码之间进行选择,使得摄像机在捕获帧内编码的视频帧之间最多移动预定距离。

根据第三方面,提供了一种系统,包括:

视频摄像机,被设置成安装在移动物体上并且捕获视频帧序列;

运动测量设备,被配置成测量视频摄像机的移动量;

视频编码器,用于对由视频摄像机捕获的视频帧序列进行编码;以及

根据第二方面的控制器,用于控制视频编码器。

根据第四方面,提供了一种包括计算机可读介质的计算机程序产品,计算机可读介质包括具有存储在其上的计算机代码指令,计算机代码指令适于在由具有处理能力的设备执行时实现第一方面的方法。

第二方面、第三方面和第四方面通常可以具有与第一方面相同的特征和优点。还应注意,除非另外明确说明,否则本发明涉及特征的所有可能组合。

附图说明

参照附图,本发明的上述以及其他目的、特征和优点将通过本发明的优选实施例的以下说明性且非限制性的详细描述而变得更易于理解,在附图中,相同的附图标记将用于相似的要素,其中:

图1图示根据实施例的用于对由安装到移动物体的摄像机捕获的视频帧序列进行编码的系统。

图2更详细示意性地图示图1中所示的系统。

图3示意性地图示根据实施例的用于控制视频编码器对由安装到移动物体的摄像机捕获的视频帧序列进行编码的控制器。

图4示意性地图示根据第一组实施例的、在视频序列的视频帧的帧内编码与帧间编码之间进行选择的过程。

图5示意性地图示根据第二组实施例的、在视频序列的视频帧的帧内编码与帧间编码之间进行选择的过程。

图6是根据实施例的用于控制视频编码器对由安装到移动物体的摄像机捕获的视频帧序列进行编码的方法的流程图。

具体实施方式

现在将在下文中参考其中示出了本发明的实施例的附图来更充分地描述本发明。然而,本发明可以以多种不同的形式体现并且不应解释为限于在本文中陈述的实施例,相反,这些实施例被提供以用于彻底性和完整性,并且被提供以向技术人员充分地传达本发明的范围。将在操作期间描述本文公开的系统和设备。

图1图示安装到移动物体102的系统100。移动物体102通常可以是任何移动物体,诸如人或车辆。

在图2中更详细地图示了系统100。该系统包括视频摄像机204、视频编码器206、控制器208和运动测量设备210。

视频摄像机204被设置成安装到移动物体100。视频摄像机204以特定的帧速率捕获视频帧序列205。因此,每个视频帧包括与特定时间点对应的图像数据。当视频摄像机204安装到移动物体时,捕获的视频帧序列205描绘了移动物体100的周围环境。

视频摄像机204可操作地连接到视频编码器206。视频编码器206可以被包括在视频摄像机204中,或者可以被提供为单独的单元。视频编码器206被设置成从视频摄像机204中接收视频帧序列205并且对视频帧序列205进行编码以提供编码的视频帧序列207。视频摄像机204可以根据指定帧内编码的帧和帧间编码的帧的顺序的GOP结构对视频帧205进行编码。编码的视频帧序列207可以存储在系统的视频储存器(即,存储器)中。例如,视频储存器可以被包括在视频摄像机204中。

控制器208被设置成控制视频编码器206的操作。控制器可以被提供为视频编码器206的组成部分或被提供为单独的单元。控制器208可以通过发送控制信号209来控制视频编码器208的操作。控制信号209可以包括视频编码器206对序列205的视频帧进行帧内编码还是帧间编码的指令。例如,控制信号209可以包括改变GOP结构的指令。具体地,控制信号209可以包括改变GOP结构的长度的指令。控制器208还可以从视频编码器206中接收反馈211。反馈211可以涉及视频序列205的视频帧是帧内编码还是帧间编码。

运动测量设备210被设置成测量视频摄像机204的运动。运动测量设备210可以附接到视频摄像机204或附接到安装摄像机204的移动物体102。运动测量设备210通常可以是递送信号的任何设备,从该信号中可以得到视频摄像机204的运动。这包括测量视频摄像机204的速度的设备,诸如加速度计或陀螺仪。运动测量设备210可以可替代地或附加地包括在特定时间点处测量视频摄像机204的位置的定位设备。定位设备可以是全球定位系统(GPS)设备或其等同物。它也可以是电信调制解调器,可以基于三角测量技术从该电信调制解调器中得到位置。运动测量设备210甚至可以是步进计数器。

运动测量设备210将指示摄像机204的移动量的输入212提供到控制器208。附加地,控制器208被设置成接收关于预定距离的输入213。例如,预定距离的输入213可以由用户或操作者在配置控制器218时提供。

图3更详细地图示了控制器208。控制器208包括接收器302和控制部件304。在一些实施例中,控制器208也可以包括距离调整部件306。

控制器208因此包括被配置成实现控制器208的功能的各种部件302、304、306。具体地,每个图示的部件对应于控制器208的功能。通常,控制器208可以包括被配置成实现部件302、304、306的电路,并且更具体地,实现它们的功能的电路。

在硬件实现中,部件302、304、306中的每一个可以对应于专用于且专门设计以提供部件的功能的电路。电路可以是一个或多个集成电路的形式,诸如一个或多个专用集成电路。举例来说,控制部件304因此可以包括在使用时控制视频编码器206以在序列205中的视频帧的帧内编码与帧间编码之间进行选择的电路。

在软件实现中,电路可以替代地是处理器的形式,诸如微处理器,其与存储在(非瞬态)计算机可读介质(诸如非易失性存储器)上的计算机代码指令相关联,使控制器208执行本文公开的任何方法。在此情况下,部件302、304、306因此可以每个对应于存储在计算机可读介质上的计算机代码指令的一部分,当由处理器执行时,使得控制器208执行部件的功能。

应当理解,还可以具有硬件和软件实现的组合,这意味着部件302、304、306中的一些的功能在硬件中实现,而其他功能在软件中实现。

现在将参考图2、图3、图4、图5以及图6的流程图描述系统100的操作,并且具体是控制器208的操作。

在步骤S02中,控制器208的接收器302接收指示视频摄像机204的移动量的输入212。如前所述,可以从运动测量设备210中接收输入212。输入212可以涉及在特定时间点处摄像机204的速度和/或摄像机204的位置。应当理解,接收器302连续地或者至少重复地从运动测量设备210中接收这样的输入。因此,接收的输入212将视频摄像机204的运动的量反映为时间函数。

在步骤S04中,控制器208的接收器302接收关于预定距离的输入213。预定距离指的是预定空间距离。

接收器302将指示视频摄像机204的移动量的输入212和关于预定距离的输入213转发到控制部件304。如下面将更详细地描述的,在一些实施例中,关于预定距离的输入213可以在被转发到控制部件304之前由距离调整部件306调整。

在步骤S06中,控制器208的控制部件304控制视频编码器206,以基于指示视频摄像机204的移动量的输入212和关于预定距离的输入213而在序列的视频帧的帧内编码与帧间编码之间进行选择。更详细地,控制部件304可以基于输入212和输入213来选择视频帧应该帧内编码还是帧间编码。控制部件304可以发送控制信号209以通知视频编码器206该选择,并且视频编码器206可以相应地对视频帧的图像数据进行编码。控制信号209中发送到视频编码器206的信息可以涉及视频帧应被编码为帧内编码的帧的速率。具体地,控制信号209可以涉及视频帧应被编码为帧内编码的帧的速率应如何随时间变化。速率可以对应于由视频编码器206应用的GOP结构的长度。控制信号209因此可以包括关于视频编码器206应如何随时间改变GOP结构的长度的信息。可替代地或附加地,控制信号209中发送到视频编码器206的信息可以直接指示特定视频帧应该帧内编码还是帧间编码。

控制部件304在帧内编码与帧间编码之间做出选择,使得视频摄像机204在捕获帧内编码的视频帧之间最多移动预定距离。这在图4中进一步图示。时间点t0、t1、t2、t3、t4、t5等对应于摄像机204捕获视频帧时的时间点中的至少一些。对于时间点t0、t1、t2、t3、t4、t5等,摄像机204做出选择是否对帧进行帧内编码。控制部件304可以针对视频序列205中的每个视频帧做出选择。在此情况下,时间点t0、t1、t2、t3、t4、t5等对应于视频序列205的连续帧,并且因此时间点t0、t1、t2、t3、t4、t5等根据视频序列205的帧速率被设定。然而,由于在大多数应用中移动物体102不可能在视频序列205的两帧之间移动预定距离,因此控制部件304不必针对每个帧做出选择。例如,如果已知移动物体102的最大可能速度,则可以计算摄像机204可以移动预定距离的最短时间。然后,控制部件304可以设定其做出选择的速率,使得当做出选择时,时间点t0、t1、t2、t3、t4、t5等之间的时间距离等于或小于所计算的最短时间。

在图4的示例中,帧在时间t0处被帧内编码,如由字母I(I代表I帧)所指示的。在时间t0处,自最近帧内编码的帧以来由摄像机304行进的距离因此等于零。在时间t1处,控制部件304可以基于指示摄像机的移动量的输入212而计算自摄像机204最近捕获帧内编码的视频帧时的时间t0以来摄像机204已经移动的距离。

为了此目的,控制部件304可以基于指示摄像机的移动量的输入212来计算自摄像机204最近捕获帧内编码的视频帧以来摄像机204已经移动的距离d1。例如,如果输入212为摄像机204的速度,则控制部件304可以将速度从时间t0到时间t1进行积分以计算距离d1。如果输入212替代地提供位置数据,则距离d1可以例如被计算为在时间t1处的位置减去在时间t0处的位置。然后,控制部件304可以将计算的距离d1与预定距离D进行比较,以便选择对在时间t1处捕获的帧进行帧内编码还是帧间编码。

为了确保摄像机204在捕获帧内编码的视频帧之间移动不超过预定距离D,控制部件304可以将自最近帧内编码的帧以来所计算的距离d1与预定距离D减去阈值T进行比较。如果所计算的距离d1比阈值T离预定距离D远,即,如果d1<D-T,则在时间t1处的帧被选择进行帧间编码。否则,在时间t1处的帧被选择进行帧内编码。在图示的示例中,d1<D-T并且因此在时间t1处的帧被选择进行帧间编码,如由字母P(P代表P帧)所指示的。然后,在时间点t2、t3、t4和t5处重复该过程。在示例中,与时间点t2、t3、t4对应的计算距离d2、d3、d4仍小于D-T,并且因此在这些时间点处捕获的帧被选择进行帧间编码。然而,在时间点t5处所计算的距离d5大于D-T,并且因此在时间t5处的帧被选择进行帧内编码。控制部件304经由控制信号209通知视频编码器206该选择。然后,控制部件304继续后续时间点t6、t7等,以计算自摄像机204最近在时间t5处捕获帧内编码的帧以来由摄像机204移动的距离。

控制部件304可以设定阈值T,以便最小化由摄像机204在帧内编码的帧之间行进的距离大于预定距离D的风险。为此目的,控制部件304可以在将做出帧内编码/帧间编码选择时,预测在当前时间点与下一个时间点之间由摄像机204行进的距离。预测可以使用关于摄像机204的移动量的输入212。例如,在时间t1处,控制部件304可以基于输入212预测距离d2-d1。例如,如果输入212包括在时间t1处的摄像机204的当前速度,则直到下一次选择做出为止,控制部件304可以将距离d2-d1预测为当前速度与时间t2-t1的乘积。然而,应当理解,可以做出更高级的预测,诸如还考虑摄像机204的加速度的预测。已经预测了直到做出下一个帧内编码/帧间编码选择为止将由摄像机204行进的距离,控制部件304可以将阈值T设定为等于或大于预测距离。使用这种方法,阈值T因此可以随时间变化。在更简单的方法中,阈值T可以是固定的,并且与移动物体的预定最大速度与选择步骤被控制部件304重复的周期的乘积相对应。

根据图5所图示的可替代的一组实施例,控制部件304等待做出关于第一时间点处捕获的帧在帧内编码/帧间编码之间的选择,直至第二最近时间点。例如,控制部件304可以在做出关于在时间t4处捕获的帧的选择之前等待直到时间t5。以这种方式,控制部件304可以通过还考虑第一时间点与第二时间点之间的摄像机的移动量来做出关于第一时间点的选择。因此,在第二时间点处,控制部件304可以基于输入212计算自捕获帧内编码的最近一帧以来摄像机已经移动的距离。如果该距离等于或大于预定距离,则控制部件304选择在第一时间点处对帧进行帧内编码。如果该距离小于预定距离,则控制部件304选择在第一时间点处对帧进行帧间编码。

转到图5,在时间t2处,控制部件304从输入212计算自摄像机204在时间t0处最近捕获帧内编码的帧以来由摄像机204移动的距离d2。由于d2小于预定距离D,因此控制部件304在时间点t2处决定应对在时间点t1处捕获的帧进行帧间编码。类似地,控制部件304在时间点t3、t4和t5处决定应对分别在时间点t2、t3和t4处捕获的帧进行帧间编码,因为对应的距离d3、d4和d5都小于预定距离D。然而,在时间点t6处,控制部件304将达成不同的决定,因为自最近捕获帧内编码的帧以来由摄像机204移动的对应距离d6大于预定距离D。因此,控制部件304将在时间点t6处选择应对在时间点t5处捕获的帧进行帧内编码。控制部件304经由控制信号209通知视频编码器206该选择。然后,控制部件304继续后续时间点t7、t8等,以计算自摄像机204最近在时间t5处捕获的帧内编码的帧以来由摄像机204移动的距离。图5的实施例比图4的实施例的有利之处在于,消除了摄像机204在捕获帧内编码的两帧之间移动超过预定距离的风险。然而,该优点是以在编码中引入延迟为代价来实现的。

在接收到控制信号209时,视频编码器206可以根据由控制器208做出的选择而对视频序列205的帧的图像数据进行编码。以此方式,当摄像机移动预定距离时,至少一个帧将被帧内编码。视频编码器206可以进一步具有比由控制器208经由控制信号209发信号更频繁地(而不是更少地)对帧进行帧内编码的理由。为了确保控制器208知道哪些帧已经被帧内编码,视频编码器206可以将反馈211发送到控制器208。反馈211可以具体向控制器208指示视频序列205中最近被帧内编码的帧。如上所解释的,当计算由摄像机204移动的距离d1、d2、d3等时,控制部件304可以使用该信息。

在一些情况下,视频摄像机204将编码的视频帧序列207本地存储在视频储存器中。可替代地,编码的视频帧序列207可以存储在远离视频摄像机204的视频储存器中。视频储存器可以是任意合适形式的非易失性存储器。视频储存器可以具有有限的容量。有限的视频存储容量通常应持续预定时间,诸如一天。预定距离影响编码的视频帧序列207的大小。较低的预定距离使更多帧被帧内编码,因此与较高的预定距离相比,需要更多的存储空间。

为了避免视频摄像机204用完用于存储编码的视频帧序列207的存储器,控制器208可以实时调整预定距离。更详细地,控制器208可以包括调整预定距离并将调整的预定距离转发到控制部件304的距离调整部件306。通常,距离调整部件306可以基于视频存储容量的当前使用和/或物体的移动量而调整预定距离。例如,如果剩余视频存储低于第一参考水平,则距离调整部件306可以增大预定距离,并且反之亦然。此外,如果在剩余视频存储低于第一参考水平的同时,摄像机204的当前移动量高于第二参考水平,则距离调整部件306可以增大预定距离。

距离调整部件306可以在预设范围内调整预定距离。该范围可以根据视频摄像机204中的视频存储容量来设定,通常结合移动物体102的移动模式。当摄像机系统100要被使用时,移动模式可以从反映移动物体102历史上在与预定时间对应的时间段期间如何移动的历史数据中得到。移动模式可以例如根据在时间段期间移动物体102的速度的直方图来表示。例如,如果第一移动物体102平均移动得比第二移动物体多,则第一移动物体102的范围的下端可以比第二移动物体高。具体地,范围可以基于视频摄像机205中的视频存储容量和移动物体102的移动模式的组合来设定。对于视频摄像机205中的相同的视频存储容量,与具有基于历史数据的较高平均速度的物体相比,对于具有基于历史数据的较低平均速度的物体,范围的下端可以设定为较低。

将理解,本领域技术人员能够以多种方式修改上面描述的实施例并且仍然使用在上面的实施例中示出的本发明的优势。例如,在上面的示例中,描述了从帧内编码的最近一帧估计行进的距离。然而,帧间编码与帧内编码之间的决定完全以从运动测量设备(例如,从加速度计)中读取的当前运动矢量为基础也将是可能的。这将不会那么精确,但在实际实现中可能仍然足够好。因此,本发明不应限于所示出的实施例,而是应该由随附权利要求限定。另外,如技术人员所理解的,可以组合所示实施例。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:非对称加权双向预测Merge

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类