用于优化移动设备中视频通信的功率消耗的系统和方法
阅读说明：本技术 用于优化移动设备中视频通信的功率消耗的系统和方法 (System and method for optimizing power consumption for video communications in a mobile device ) 是由 纳拉辛汉·维杰·阿南德 于 2021-04-14 设计创作，主要内容包括：本发明提供了用于优化移动设备中视频通信的功率消耗的系统和方法。系统(100)包括视频编解码器编码器模块(101)、视频编解码器解码器模块(106)以及后处理滤波模块(解块滤波器)(103、107)模块。后处理模块是在DSP/VEIW处理器上被实施的,而视频编码器和解码器模块是在具有SIMD扩展的CPU上被实施的。与上述模块在单个/多个DSP/VLIW核中的实施相比,模块在多核中的这种流水线式实施使SoC中的电流消耗减少最高至50％。模块(101、102、106)在电流消耗上的显著减少使得能够减少视频呼叫时间中的功率消耗。因此,本发明提供了通过模块的多核实施来优化在移动设备中视频呼叫的功率消耗的简单方法。(The present invention provides systems and methods for optimizing power consumption for video communications in a mobile device. The system (100) includes a video codec encoder module (101), a video codec decoder module (106), and a post-processing filtering module (deblocking filter) (103, 107) module. The post-processing module is implemented on a DSP/VEIW processor, while the video encoder and decoder modules are implemented on a CPU with SIMD extensions. Such a pipelined implementation of modules in multiple cores reduces the current consumption in the SoC by up to 50% compared to an implementation of the above modules in single/multiple DSP/VLIW cores. The significant reduction in current consumption by the modules (101, 102, 106) enables a reduction in power consumption during video call times. The present invention thus provides a simple method of optimizing power consumption of a video call in a mobile device through multi-core implementation of the module.)
技术领域
本发明涉及一种用于优化移动设备中的功率消耗的系统和方法。更具体地，本发明涉及通过在具有单指令多数据(SIMD)扩展的中央处理单元(CPU)上实施视频编解码器以及在数字信号处理器(DSP)核上实施包含滤波器(解块滤波，其为编解码器的一部分)的后处理模块，来减少视频通信中的电流消耗，从而优化移动设备中的功率消耗。
背景技术
随着提供核的高数据速率的5G技术的采用，以此种高数据速率为典型特征的视频通信正迅速成为可能。存在将被设计成采用5G技术的不同的小型设备，诸如移动设备、智能手机和其他便携式无线设备。
视频通信涉及数字视频数据的编码(压缩)和解码(去压缩)。存在不同的视频压缩标准，诸如MPEG-1、MPEG-2、MPEG-4、H.264、H.265、AV1、VP8、VP10以及许多更多的即将到来的标准。这些视频编解码器通过利用空间冗余(帧内预测)、时间冗余(运动补偿)、编码符号的统计冗余(可变长度编码(VLC)、上下文自适应VLC(CAVLC)、上下文自适应二进制算术编码(CABAC))对视频信号进行编码。处理这些模块的计算复杂度需要大量处理周期，并且因此在电池驱动的配件/设备诸如智能手机移动设备中进行的视频通信期间，视频编码器/解码器运行会消耗大量电流。
视频通信中处理器的高负载会引起大量功率消耗，因此视频通信中设备使用的电池寿命会极大地减少。
对于所有无线通信系统，最小化功率消耗和/或改进用户器材(UE)设备中的数据速率和用户体验是重要的。随着UE设备变得越来越复杂，它们渐增地消耗更大量的功率。UE设备具有有限容量的机载电池。因此，存在在有限的电池的约束下获得最佳可能的用户体验的问题。
标题为“用于优化移动设备中的功率消耗的系统和方法”(“System and methodfor optimizing power consumption in mobile devices”)的美国专利文献US10390309公开了通过合适的指令集架构特征改变和语音编解码器的最佳实施来优化移动设备中功率消耗的方法和仪器。然而，该方案主要针对语音呼叫用例。
因此，存在对于用来优化移动设备中的功率消耗的系统和方法的需求，以用于优化视频通信中的功率消耗。
发明内容
本发明克服了现有技术中的缺点，并提供了用于优化移动设备中通信的功率消耗的系统和方法。
该系统包括与移动设备集成的照相机。照相机传感器捕获输入视频并且转换为具有典型的8比特像素大小的数字视频。现在，可以使用能够捕获10比特像素大小的较高分辨率的照相机传感器。
在本发明的实施方式中，数字视频信号根据压缩标准H.264或用于应用的任何其他合适的标准被编码。不同的编码工具诸如帧内预测、运动补偿、可变长度编码是在具有SIMD扩展的指令集但没有关键的单个周期指令乘积累加(MAC)的CPU中被实施的。包括编解码器模块解块滤波器的后处理模块是在DSP上被实施的。通过在片上系统(SoC)中的DSP/VLIW核上实施解块滤波器和后处理模块，可以降低SoC的电流消耗，而视频编码器则是在具有SIMD扩展的CPU中被实施的。编码的信号然后在网络上传输。该系统还包括布置在接收端处的视频编解码器解码器模块。视频编解码器解码器模块被配置为对从网络接收的压缩视频信号进行去压缩/解码。然后，使用解块滤波器模块对解码的视频信号进行后处理。后处理模块是在DSP/VLIW核中被实施的，而视频编解码器解码器是在具有SIMD扩展的CPU中被实施的。
因此，本发明还提供了改进移动设备中视频呼叫的功率消耗的方法。与在数字信号处理器(DSP)/超长指令字(VLIW)处理器上实施的视频编解码器和后处理模块相比，本方法在视频呼叫的电流消耗方面产生的节省最高至50％。
以较少功率消耗增大视频通话时间，从而减少了热方面并且延长了电池寿命。
附图说明
当结合附图阅读时，根据实施方式的以下详细描述，实施方式的前述和其他特征将变得更加明显。在附图中，相同的附图标记指代相同的元件。
图1例示了根据本发明的一个实施方式的用于优化移动设备中视频通信的功率消耗的系统的框图。
图2例示了根据本发明的一个实施方式的用于优化移动设备中的功率消耗的方法。
图3例示了根据本发明的一个实施方式的用于优化移动设备中的功率消耗的方法。
具体实施方式
现在将详细参考对本主题的描述，其一个或更多个示例在附图中示出。提供每个示例以解释主题而不是限制。对于本发明所属领域的技术人员明显的不同的改变和修改被认为在本发明的精神、范围和构思之内。
为了更清楚地和简明地描述和指出所要求保护的发明的主题，针对具体术语提供了以下定义，这些定义在以下书面描述中被使用。
术语“通话时间”是指移动电话/移动设备用于处理视频呼叫的时间，尤其是作为电话/移动设备的电池的持续时间的量度。
本发明提供了用于优化移动设备中视频通信的功率消耗的系统和方法。该系统包括照相机、视频编解码器编码器、视频编解码器解码器、视频后处理模块包括但不限于解块滤波器。与在单个或多个DSP/VLIW处理器中实施所有这些模块相比，在具有SIMD扩展的CPU以及DSP/VLIW中的视频编解码器和后处理模块(解块滤波器)的流水线式实施分别地引起通话时间中的功率消耗减少最高达50％。
图1例示了根据本发明的一个实施方式的用于优化移动设备中视频通信的功率消耗的系统的框图。在一优选的实施方式中，系统包括与移动设备集成在一起的照相机(101)。照相机(101)配置成接收输入视频以及将视频帧样本馈送至视频编码器模块(102)。然后，将经处理的视频样本传递至解块滤波器(后处理模块)(103)。使用视频编解码器标准(104)中描述的编码工具对视频样本进行编码。
在传输端处，视频帧样本被馈送至视频编解码器编码器模块(101)。视频编解码器编码器模块配置成压缩/编码在处理器、具有SIMD扩展的CPU上运行的视频信号。在具有SIMD扩展的CPU上实施了数字视频压缩标准规范的不同的编码工具，即帧内预测、运动估计/帧间预测、变换、量化、比特流编码包括VLC、CAVLC、CABAC。视频帧的处理在CPU和DSP/VLIW之间是流水线式的，其中在DSP/VLIW核上实施解块滤波器。与在单个或多个DSP/VLIW核上的模块实施相比，在传输路径(102、103、104)中SoC中的电流消耗减少最高至50％。然后，编码的信号在传输网络(105)上被传输。
此外，视频编解码器解码器模块(106)存在于接收端。视频编解码器解码器模块(106)配置成对接收到的压缩视频信号(在具有SIMD扩展的CPU上运行)进行去压缩/解码。然后对解码的视频样本进行后处理(解块滤波器)。后处理模块(解块滤波器)(107)是在DSP/VLIW处理器中被实施的。这种流水线式实施引起移动设备减少的电流消耗(最高至50％)。
图2在本发明的实施方式中，视频编解码器和后处理(解块滤波器)模块在不同的处理核CPU和DSP/VLIW核上的流水线式实施分别引起电流消耗减少最高至50％(102、103、104和106、107)。SoC的架构包含DSP/VLIW和具有SIMD扩展的CPU。因此，使用本发明实现了低功率视频通信。
图3例示了根据本发明的一个实施方式的用于优化移动设备中视频通信的功率消耗的方法。在优选的实施方式中，该方法以在步骤301处接收和记录原始视频的步骤开始。
在步骤302处，视频帧样本被视频编解码器编码器模块压缩/编码。视频编码器在具有SIMD扩展的CPU上被实施。在步骤303处，解块滤波器和其他后处理在DSP/VLIW核上被实施。通过这种多核实施(102、103、104)，视频呼叫中的电流消耗减少最高至50％。经由网络(105)传输编码的信号。
在步骤304处，从网络接收压缩的视频信号。其中，它们由视频编解码器解码器(106)去压缩/解码。
在步骤305处，对解码的视频进行解块滤波以及进行后处理(107)以获得输出视频帧。然后显示(108)后处理的视频帧样本。
现在描述在具有SIMD扩展的CPU上实施的视频编码器/解码器模块中的创造性。视频帧样本通常为8比特。现在支持10比特视频样本。在帧内预测模块中，取决于视频标准，帧内块大小可能在4x4与32x32之间变化。参考样本也是8比特或10比特并且经过滤波。其输出仍然是8比特或10比特，并且可以适配于32比特寄存器的16比特范围(span，跨度)内。滤波操作是3分接头滤波器，然后进行缩减，中间结果仍在16比特范围内。因此，关闭饱和度(saturation，饱和)是安全的，并且指令集可以具有嵌入其中的没有饱和度的MAC指令并且SIMD优化是可能的。因此，帧内预测模块中的变换模块的输入为9或11比特。变换模块被实施以便确保中间结果和输出结果不越过16比特范围。因此，可以再次关闭饱和度并且嵌入的没有饱和度的MAC指令是有用的，并且SIMD优化是可能的。在块间编码工具中，输入像素值为8或10比特。基于绝对差的总和(SAD)，运动估计可以有效地并且正确地被执行，以使运动估计不会越过16比特范围。编码块间的用以变换的输入是9比特或11比特，并且也可以在中间/最终结果的16比特范围内进行处理。因此，可以关闭饱和度，从而能够使指令集架构(ISA)具有嵌入指令中的没有饱和度的MAC，以及SIMD优化是可能的，因此节省了材质清单(BOM)开销以及给出了在优化中的功率节省。
因此，本发明提供了改进移动设备中视频通信的功率消耗的方法。以较少功率消耗增大通话时间，从而减少了热方面并且延长了电池寿命。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种使用AI芯片进行视频编解码运算的方法