具体实施方式

以下结合附图和具体实施例，对本发明进一步说明。

结合图1-图7对本发明进行具体说明，

本发明提供一种使用AI芯片进行视频编解码运算的方法，包括编码和解码两个流程。

在传统的软件编解码方案中，由CPU单独完成，在新的方案中，将由CPU和AI芯片(NPU)一起配合完成。

一、编码流程：

新的编解码框架的实现如图1所示。

因为AI芯片的结构，天然适合大量的并行计算，因此，将视频编码中可以并行运算的部分交给AI芯片来处理，只能串行操作的任务交给CPU来完成。

编码整体处理过程如下：

第一步：CPU读取输入的视频流数据，对每帧数据进行分组、划分宏块，将视频流数据传给AI芯片；

第二步：AI芯片并行对帧内数据、帧间数据进行编码，其中，对于帧间数据编码，需要进行运动估计和运动补偿；

第三步：AI芯片将编码后的视频流数据传递给CPU，在CPU上进行变换和量化操作；

第四步：再在CPU上进行熵编码操作，经过打包操作后输出；

其中，在视频编码的所有任务中，帧内数据编码、运动估计和运动补偿都是计算量巨大的任务。我们知道，在如H264这类的编码协议中，会将视频分割成宏块，而宏块的大小有16*16、8*8、4*4等多种模式。在帧内数据编码时，会将要进行编码的当前宏块，与已经完成编码的宏块进行逐一对比，当分辨率越高、划分的宏块越小这种比较运算就会增多，而利用AI芯片并行处理的特性，可加快这种比较的速度，获得更好的编码效果。

运动估计的并行计算方法：

在视频的运动中，每秒钟视频帧数一般都在30帧以上，因此运动物体在各帧之间的差异很小，在这种情况下，使用参考帧的模式，其他帧都与参考帧进行对比，只记录差异，会在很大程度上降低最后编码的数据量。

在做运动估计编码时，首先会将图片划分成宏块，然后用要编码宏块的数据去和参考帧中的宏块进行一一对比，这里可对比的参考帧是可以有多个，数量越多越有可能找到差异小的参考宏块。在进行对比计算差异值时，当参考帧有多个，分辨率又较高的情况下，这样的循环对比计算量将会非常巨大。图2是运动估计编码所进行的计算量示意图。

在引入AI芯片后，这些计算都可以是并行的，会在多个方面提升并行度：

同时可对多帧进行编码计算；

同时可对多个参考帧进行并行对比；

可将编码帧中的宏块按照行或列进行分组，同时进行对比计算；

最后，针对每个要编码的宏块，在对比多个计算结果后，留下差异数据量最小的用作最后的编码。

图3是运动估计并行处理流程示意图。

运动估计并行处理流程，具体如下：

1)CPU将要编码帧的图像数据、参考帧数据传递给AI芯片(NPU)；

2)AI芯片内部对计算任务进行划分实现并行化处理，各计算部分使用相同的算法，但处理的数据不同；

3)按照要对比的参考帧个数进行任务划分，实现多个参考帧的同时对比；

4)针对要编码帧的行或列(不限其他划分方式)进行任务划分；

5)所有划分的任务开始并行处理，针对宏块数据进行对比，计算差异值；

6)根据并行任务的计算结果，取差异值最小的宏块数据进行记录并编码，达到最优编码效果；

7)将结果传递给CPU做后续处理；

除了运动估计外，其他几个处理阶段如帧内数据编码、运动补偿也可以使用类似的方式实现并行化处理。

二、解码流程：

除在编码阶段可使用AI芯片并行计算来加速外，在解码阶段也可以实现并行化处理，解码整体处理流程如下：

第一步：CPU读取打包后的视频流数据，识别其中的视频帧和数据片，并传递给AI芯片；

第二步：AI芯片对视频流数据进行熵解码，这里的操作是可以并行的，之后传回给CPU；

第三步：CPU进行反量化和反变换操作，再次传递给AI芯片；

第四步：AI芯片并行对帧内数据、帧间数据进行预测，重构出图像数据，然后传回给CPU；

第五步：CPU对图像数据进行去块滤波等操作，然后发送出去。

其中，对于熵解码的并行处理如下：

1)CPU先对打包后的视频流数据进行分析，解析出对应的视频帧和数据片，因为在熵编码时是以数据片为独立单位的，因此可以在数据片上进行并行解码处理；

2)AI芯片收到CPU发送过来的大量数据片数据，然后将任务进行划分，分给各个处理单元进行并行处理；

3)AI芯片中的处理单元并行执行熵解码操作；

4)AI芯片将熵解码操作的结果进行汇总，最后发送给CPU进行后续处理；

除了熵解码外，其他几个处理阶段如帧内数据编码、帧间数据预测也可以使用类似的方式实现并行化处理。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。