基于Tile编码的视频拼接、编码、解码方法及装置
阅读说明：本技术 基于Tile编码的视频拼接、编码、解码方法及装置 (Video splicing, encoding and decoding method and device based on Tile encoding ) 是由 徐林 于 2021-07-19 设计创作，主要内容包括：本发明提出了一种基于Tile编码的视频拼接、编码、解码方法及装置,视频拼接方法包括：接收多路基于Tile编码的待拼接视频流；对接收的多路所述待拼接视频流直接进行合成拼接,生成合成视频流；输出所述合成视频流。本发明在进行视频拼接时,无需对视频数据进行解码、编码等计算操作,降低了视频拼接中的计算复杂度,缩短了视频拼接耗时,提高了视频拼接效率。本发明可以通过将尺寸较大的整个源图像分割成多个部分来克服某些视频编码软件、硬件编码器对于视频尺寸的限制。使用多个编码器实例对它们进行单独编码,然后最后使用上述所述的视频拼接方法将所有编码器实例的输出缝合回单个流。另外,本发明还可以应用于接受端解码资源有限的情况。(The invention provides a video splicing, encoding and decoding method and device based on Tile encoding, wherein the video splicing method comprises the following steps: receiving a plurality of paths of video streams to be spliced based on Tile coding; directly synthesizing and splicing the received multiple paths of video streams to be spliced to generate a synthesized video stream; and outputting the composite video stream. When the video splicing is carried out, the calculation operations such as decoding, encoding and the like do not need to be carried out on the video data, so that the calculation complexity in the video splicing is reduced, the time consumption of the video splicing is shortened, and the video splicing efficiency is improved. The present invention can overcome the video size limitation of some video encoding software, hardware encoders by segmenting the entire source image, which is larger in size, into portions. They are encoded separately using multiple encoder instances, and then finally the output of all encoder instances is stitched back into a single stream using the video stitching method described above. In addition, the invention can also be applied to the condition that the decoding resources of the receiving end are limited.)
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于Tile编码的视频拼接、编码、解码方法及装置。
背景技术
在视频会议、游戏、视频直播、数字电视等领域，常常需要将两个或者多个视频融合成为一个视频，在空间上合并/缝合所有输入的视频流，再传输到客户端。
目前，市场上进行多个视频流融合的方法中，涉及解码、图像变形、融合以及再编码等操作，所需的计算复杂度很高，造成较大的延时，影响视频处理效率。
发明内容
本发明要解决的技术问题是如何提高视频数据处理效率，本发明提出一种基于Tile编码的视频拼接、编码、解码方法及装置。
根据本发明实施例的基于Tile编码的视频拼接方法，包括：
接收多路基于Tile编码的待拼接视频流；
对接收的多路所述待拼接视频流直接进行合成拼接，生成合成视频流；
输出所述合成视频流。
根据本发明实施例的基于Tile编码的视频拼接方法，在进行视频拼接时，无需对视频数据进行解码、编码等计算操作，降低了视频拼接中的计算复杂度，缩短了视频拼接耗时，提高了视频拼接效率。
根据本发明的一些实施例，在对多路所述待拼接视频流直接进行合成拼接前，所述方法还包括：
判断满足预设条件的前提下，对多路所述视频流进行合成拼接，所述预设条件至少包括以下之一：
多路所述视频流合成拼接后的视频格式一致；
多路所述视频流合成拼接过程中，视频大小不进行改变；
多路所述视频流合成拼接过程中，不进行视频内容的修改。
在本发明的一些实施例中，对接收的多路所述待拼接视频流直接进行合成拼接包括：
根据预设配置规则，为多路所述待拼接视频流的每个帧进行调整排列，并调整帧头，生成合成拼接后的所述合成视频流。
根据本发明实施例的基于Tile编码的视频拼接装置，包括：
接收模块，用于接收多路基于Tile编码的待拼接视频流；
拼接模块，用于对接收的多路所述待拼接视频流直接进行合成拼接，生成合成视频流；
输出模块，用于输出所述合成视频流。
根据本发明实施例的基于Tile编码的视频拼接装置，在进行视频拼接时，无需对视频数据进行解码、编码等计算操作，降低了视频拼接中的计算复杂度，缩短了视频拼接耗时，提高了视频拼接效率。
根据本发明的一些实施例，所述装置还包括：条件判断模块，用于判断是否满足预设条件，在满足所述预设条件的前提下，通过所述拼接模块对多路所述视频流进行合成拼接，所述预设条件至少包括以下之一：
多路所述视频流合成拼接后的视频格式一致；
多路所述视频流合成拼接过程中，视频大小不进行改变；
多路所述视频流合成拼接过程中，不进行视频内容的修改。
在本发明的一些实施例中，所述拼接模块具体用于：
根据预设配置规则，为多路所述待拼接视频流的每个帧进行调整排列，并调整帧头，生成合成拼接后的所述合成视频流。
根据本发明实施例的基于Tile编码的视频编码方法，包括：
将视频尺寸超过预设值的视频流分割为多个单视频流；
分别对每个所述单视频流进行编码，生成对应的待合成视频流；
采用如上所述的基于Tile编码的视频拼接方法将多个所述待合成视频流拼接为合成视频流。
本发明提出的基于Tile编码的视频编码方法，可以通过将尺寸较大的整个源图像分割成多个部分来克服某些视频编码软件、硬件编码器对于视频尺寸的限制。使用多个编码器实例对它们进行单独编码，然后最后使用上述所述的视频拼接方法将所有编码器实例的输出缝合回单个流。
根据本发明实施例的基于Tile编码的视频编码装置，包括：
分割模块，用于将视频尺寸超过预设值的视频流分割为多个单视频流；
编码模块，用于分别对每个所述单视频流进行编码，生成对应的待合成视频流；
视频拼接装置，所述拼接装置为如上所述的基于Tile编码的视频拼接装置，用于将多个所述待合成视频流拼接为合成视频流。
本发明提出的基于Tile编码的视频编码装置，可以通过分割模块将尺寸较大的整个源图像分割成多个部分来克服某些视频编码软件、硬件编码器对于视频尺寸的限制。编码模块使用多个编码器实例对它们进行单独编码，然后最后使用上述所述的视频拼接装置将所有编码器实例的输出缝合回单个流。
根据本发明实施例的基于Tile编码的视频解码方法，包括：
采用如上所述的基于Tile编码的视频拼接方法将多路所述待拼接视频拼接为合成视频流；
对所述合成视频流进行解码后输出。
本发明提出的基于Tile编码的视频解码方法，可以应用于接受端解码资源有限的情况。假设在接收端只有一个解码器，而客户需要传输多个视频流。例如需要传输多个视图的VR应用或者视频监控过程中的显示来自多个摄像头的视频流。在这种情况下，由于在接收端只有一个解码器可用，可以采用本发明的视频拼接方法先将多个视图缝合在一起并发送到单个解码器。在成功解码后，它们可以被拆分回多个部分。
根据本发明实施例的基于Tile编码的视频解码装置，包括：
视频拼接装置，所述拼接装置为如上所述的视频拼接装置，用于将多路待拼接视频拼接为合成视频流；
解码模块，用于对所述合成视频流进行解码后输出。
本发明提出的基于Tile编码的视频解码方法，可以应用于接受端解码资源有限的情况。假设在接收端只有一个解码器，而客户需要传输多个视频流。例如需要传输多个视图的VR应用或者视频监控过程中的显示来自多个摄像头的视频流。在这种情况下，由于在接收端只有一个解码器可用，可以采用本发明的视频拼接装置先将多个视图缝合在一起并发送到单个解码器。在解码模块成功解码后，它们可以被拆分回多个部分。
附图说明
图1为现有技术中视频流拼接方法流程图；
图2为根据本发明实施例的基于Tile编码的视频流拼接方法示意图；
图3为根据本发明实施例的基于Tile编码的视频流拼接方法流程图；
图4为根据本发明实施例的基于Tile编码的视频拼接装置组成示意图；
图5为根据本发明实施例的基于Tile编码的视频编码方法示意图；
图6为根据本发明实施例的基于Tile编码的视频编码方法流程图；
图7为根据本发明实施例的基于Tile编码的视频编码装置组成示意图；
图8为根据本发明实施例的基于Tile编码的视频解码方法示意图；
图9为根据本发明实施例的基于Tile编码的视频解码方法流程图；
图10为根据本发明实施例的基于Tile编码的视频解码装置组成示意图。
附图标记：
视频拼接装置100，
接收模块110，拼接模块120，输出模块130，条件判断模块140，
视频编码装置200，
分割模块210，编码模块220，
视频解码装置300，
解码模块310。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明中说明书中对方法流程的描述及本发明说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
如图1所示，现有对于多个视频流融合的典型的解决方法通常通过以下几个步骤完成此任务：
A1，解码所有单个视频流(到YUV帧缓冲区)；
A2，通过按指定/配置的顺序操作解码输出来组成一个新的YUV帧缓冲区；
A3，对为生成单个输出流而创建的最终YUV缓冲区进行编码。
如图1所示，现有视频拼接技术中，整个过程需要多个解码和图像变形、融合，以及再编码，所需的计算复杂度很高，也造成较大的延时。
为解决现有技术的上述问题，提高视频数据的处理效率，本发明提出一种视频拼接、编码、解码方法及装置。
如图2和图3所示，根据本发明实施例的基于Tile编码的视频拼接方法，包括：
S110，接收多路基于Tile编码的待拼接视频流；
S120，对接收的多路待拼接视频流直接进行合成拼接，生成合成视频流；
S130，输出合成视频流。
需要说明的是，本发明在Tile编码的基础上，可以通过改变码流的slice header从而将不同码流的图像帧转变成同一个码流里的不同的Tiles，从而实现无需解码再编码的码流拼接。例如，一些视频编码标准如AV1和HEVC支持基于Tile的编码，而对于如AVC视频编码标准则不支持。
根据本发明实施例的基于Tile编码的视频拼接方法，在进行视频拼接时，无需对视频数据进行解码、编码等计算操作，降低了视频拼接中的计算复杂度，缩短了视频拼接耗时，提高了视频拼接效率。
根据本发明的一些实施例，在对多路待拼接视频流直接进行合成拼接前，方法还包括：
判断满足预设条件的前提下，对多路视频流进行合成拼接，预设条件至少包括以下之一：
多路视频流合成拼接后的视频格式一致；
多路视频流合成拼接过程中，视频大小不进行改变；
多路视频流合成拼接过程中，不进行视频内容的修改。
需要说明的是，本发明提出的基于Tile编码的视频拼接方法并非对于任何现有的视频压缩标准都适应，在采用本发明的视频拼接方法进行视频拼接时，需要满足某些条件。以下是一些可能妨碍本发明实施的一些限制条件：
输出所需的编解码器与输入编解码器不同，即对待合成的视频流和合成后的视频流应保持格式相同；
在融合之前需要调整输入的大小，即在视频流合成过程中，不涉及对视频大小的压缩调整；
需要对某些输入进行某种修改，如视频内容；
除上述条件外，为了保证本发明提出的基于Tile编码的视频拼接方法的最高处理效率，在上述条件之上还可有其他要求，
输入编码流使用指向图片边界外的运动矢量；
输入编码流使用跨片边界的循环内过滤。
在本发明的一些实施例中，对接收的多路待拼接视频流直接进行合成拼接包括：
根据预设配置规则，为多路待拼接视频流的每个帧进行调整排列，并调整帧头，生成合成拼接后的合成视频流。
需要说明的是，通过调整适当的帧头(以及可能的其他流语法元素)，可以满足多帧融合后整体的一致性，同时保持符合所需的视频压缩标准。
如图4所示，根据本发明实施例的基于Tile编码的视频拼接装置100，包括：接收模块110、拼接模块120和输出模块130。
其中，接收模块110用于接收多路基于Tile编码的待拼接视频流，拼接模块120用于对接收的多路待拼接视频流直接进行合成拼接，生成合成视频流，输出模块130用于输出合成视频流。
根据本发明实施例的基于Tile编码的视频拼接装置100，在进行视频拼接时，无需对视频数据进行解码、编码等计算操作，降低了视频拼接中的计算复杂度，缩短了视频拼接耗时，提高了视频拼接效率。
根据本发明的一些实施例，如图4所示，视频拼接装置100还包括：条件判断模块140，用于判断是否满足预设条件，在判断满足预设条件的前提下，通过拼接模块120对多路视频流进行合成拼接，预设条件至少包括以下之一：
多路视频流合成拼接后的视频格式一致；
多路视频流合成拼接过程中，视频大小不进行改变；
多路视频流合成拼接过程中，不进行视频内容的修改。
需要说明的是，本发明提出的基于Tile编码的视频拼接方法并非对于任何现有的视频压缩标准都适应，在采用本发明的基于Tile编码的视频拼接方法进行视频拼接时，需要满足某些条件。以下是一些可能妨碍本发明实施的一些限制条件：
输出所需的编解码器与输入编解码器不同，即对待合成的视频流和合成后的视频流应保持格式相同；
在融合之前需要调整输入的大小，即在视频流合成过程中，不涉及对视频大小的压缩调整；
需要对某些输入进行某种修改，如视频内容；
除上述条件外，为了保证本发明提出的基于Tile编码的视频拼接方法的最高处理效率，在上述条件之上还可有其他要求，
输入编码流使用指向图片边界外的运动矢量；
输入编码流使用跨片边界的循环内过滤。
在本发明的一些实施例中，拼接模块120具体用于：
根据预设配置规则，为多路待拼接视频流的每个帧进行调整排列，并调整帧头，生成合成拼接后的合成视频流。
需要说明的是，通过调整适当的帧头(以及可能的其他流语法元素)，可以满足多帧融合后整体的一致性，同时保持符合所需的视频压缩标准。
如图5和图6所示，根据本发明实施例的基于Tile编码的视频编码方法，包括：
S210，将视频尺寸超过预设值的视频流分割为多个单视频流；
S220，分别对每个单视频流进行编码，生成对应的待合成视频流；
S230，采用如上所述的基于Tile编码的视频拼接方法将多个待合成视频流拼接为合成视频流。
本发明提出的基于Tile编码的视频编码方法，可以通过将尺寸较大的整个源图像分割成多个部分来克服某些视频编码软件、硬件编码器对于视频尺寸的限制。使用多个编码器实例对它们进行单独编码，然后最后使用上述所述的视频拼接方法将所有编码器实例的输出缝合回单个流。
如图7所示，根据本发明实施例的基于Tile编码的视频编码装置200，包括：分割模块210、编码模块220和视频拼接装置100。
分割模块210用于将视频尺寸超过预设值的视频流分割为多个单视频流；
编码模块220用于分别对每个单视频流进行编码，生成对应的待合成视频流；
视频拼接装置100为如上所述的基于Tile编码的视频拼接装置100，用于将多个待合成视频流拼接为合成视频流。
本发明提出的视频编码装置200，可以通过分割模块210将尺寸较大的整个源图像分割成多个部分来克服某些视频编码软件、硬件编码器对于视频尺寸的限制。编码模块220使用多个编码器实例对它们进行单独编码，然后最后使用上述所述的视频拼接装置100将所有编码器实例的输出缝合回单个流。
如图8和图9所示，根据本发明实施例的基于Tile编码的视频解码方法，包括：
S310，采用如上所述的基于Tile编码的视频拼接方法将多路待拼接视频拼接为合成视频流；
S320，对合成视频流进行解码后输出。
本发明提出的基于Tile编码的视频解码方法，可以应用于接受端解码资源有限的情况。假设在接收端只有一个解码器，而客户需要传输多个视频流。例如需要传输多个视图的VR应用或者视频监控过程中的显示来自多个摄像头的视频流。在这种情况下，由于在接收端只有一个解码器可用，可以采用本发明的视频拼接方法先将多个视图缝合在一起并发送到单个解码器。在成功解码后，它们可以被拆分回多个部分。
如图10所示，根据本发明实施例的基于Tile编码的视频解码装置300，包括：视频拼接装置100和解码模块310。
其中，视频拼接装置100，视频拼接装置100为如上所述的基于Tile编码的视频拼接装置100，用于将多路待拼接视频拼接为合成视频流；
解码模块310用于对合成视频流进行解码后输出。
本发明提出的基于Tile编码的视频解码装置300，可以应用于接受端解码资源有限的情况。假设在接收端只有一个解码器，而客户需要传输多个视频流。例如需要传输多个视图的VR应用或者视频监控过程中的显示来自多个摄像头的视频流。在这种情况下，由于在接收端只有一个解码器可用，可以采用本发明的视频拼接装置100先将多个视图缝合在一起并发送到单个解码器。在解码模块310解码成功解码后，它们可以被拆分回多个部分。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。