无人机集群视频图片渲染及后处理的方法、介质和装置
阅读说明：本技术 无人机集群视频图片渲染及后处理的方法、介质和装置 (Unmanned aerial vehicle cluster video picture rendering and post-processing method, medium and device ) 是由 姜梁 马祥森 吴国强 高伟 尹中义 于 2021-06-25 设计创作，主要内容包括：本发明提供了一种无人机集群视频图片渲染及后处理的方法、介质和装置,涉及图像处理技术领域,能够避免采用计算机CPU进行数据解码和情报后处理带来的时间消耗大的问题,有效提高渲染处理效率,满足实时性的要求；该方法采用着色器对视频流或图片进行渲染处理和情报后处理；针对视频流：对无人机下传数据包进行硬件解码提取第一壳数据,将第一壳数据内YUV压缩数据封装入渲染用途的第二壳数据,将第二壳数据属性调为着色器资源；针对图片：对下传的图片解压缩得到YUV数据,采用着色器进行格式转化计算；最后,着色器资源对应纹理进入自定义着色器管线进行情报后处理流程。本发明提供的技术方案适用于图像处理的过程中。(The invention provides a method, a medium and a device for rendering and post-processing an unmanned aerial vehicle cluster video picture, relates to the technical field of image processing, can avoid the problem of large time consumption caused by data decoding and information post-processing by adopting a computer CPU (central processing unit), effectively improves rendering processing efficiency and meets the requirement of real-time property; the method adopts a shader to perform rendering processing and information post-processing on video streams or pictures; for a video stream: hardware decoding is carried out on the unmanned aerial vehicle download data packet to extract first shell data, YUV compressed data in the first shell data are packaged into second shell data for rendering, and attributes of the second shell data are adjusted to be shader resources; for a picture: decompressing the downloaded picture to obtain YUV data, and performing format conversion calculation by adopting a shader; and finally, the shader resources enter a custom shader pipeline corresponding to the textures to perform an information post-processing flow. The technical scheme provided by the invention is suitable for the image processing process.)
技术领域
本发明涉及图像处理技术领域，尤其涉及一种无人机集群视频图片渲染及后处理的方法、介质和装置。
背景技术
随着无人机集群带来的数据带宽不断提高，其所搭载的任务载荷下传至地面站的视频数据量也随之增长，能够为情报处理软件提供更加高质量的视频数据。以无人机载荷下传至地面站设备的数据流为H.264数据为例，由于高清视频数据量大的特点，以往借助计算机CPU的数据解码计算过程时间消耗大，已经无法满足视频数据实时性的要求，同时也极大占用了处理器的计算资源，不利于其他诸如情报处理等无人机模块的使用。
微软针对视频硬件解码提出了一整套规范，表明了当前主流技术针对高清视频数据的通用高效处理手段，有文献记载借助OpenCL对视频数据研究实现了解码，但其缺乏对解码数据的高效率渲染和后处理更深入的研究。可见借助硬件支持的高清视频数据解码已成为管用的技术方法，与之相适应的硬解码数据的高效显示渲染和后处理技术变得亟待解决和实现。
较为常见的高清视频硬解码数据显示渲染直接依赖固定管线方式将显存数据进行了数据诸如数据格式转换后直接显示出来，而其中的渲染数据在固定管线中无法获取和后处理，丧失对数据操作的灵活性，不利于针对其的后续情报处理。
因此，有必要研究一种无人机集群视频图片渲染及后处理的方法、介质和装置来应对现有技术的不足，以解决或减轻上述一个或多个问题。
发明内容
有鉴于此，本发明提供了一种无人机集群视频图片渲染及后处理的方法、介质和装置，能够避免采用计算机CPU进行数据解码和情报后处理带来的时间消耗大的问题，有效提高渲染处理效率，能够满足视频数据实时性的要求。
一方面，本发明提供一种无人机集群视频图片渲染及后处理的方法，其特征在于，所述方法采用着色器对视频流或图片进行渲染处理和情报后处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，采用着色器对视频流进行处理的步骤包括：
S1、对无人机下传的数据包进行硬件解码，并提取第一壳数据；
S2、将所述第一壳数据内的YUV压缩数据封装入渲染用途的第二壳数据，实现数据的转换；
S3、将所述第二壳数据的属性调整为着色器资源；
S4、着色器资源对应纹理进入自定义着色器管线进行情报后处理流程。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，采用着色器对图片进行处理的步骤包括：
S1、对下传得到的单幅图片进行解压缩处理得到YUV数据；
S2、采用着色器对YUV数据进行格式转化计算；
S3、着色器资源对应纹理进入自定义着色器管线进行情报后处理流程。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S1的具体内容包括：利用Directx硬件解码获取数据包的壳数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述情报后处理为逐像素后处理和多图层式后处理中的任意一种或两种。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述多图层式后处理具体包括：采用并联式渲染模式对多个图层的情报信息进行渲染；创建类似图层的多个着色器处理管线，每个管线负责一个细分的情报信息的渲染处理，集合后形成最终的渲染结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述逐像素后处理实现方式为：串联多个像素着色器进行渲染处理，上一个像素着色器的处理结果作为后一个像素着色器的输入数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，情报后处理流程包括去雾处理和兴趣目标的跟踪标示。
另一方面，本发明提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上任一所述的无人机集群视频图片渲染及后处理的方法。
再一方面，本发明提供一种无人机集群视频图片渲染及后处理的的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
与现有技术相比，上述技术方案中的一个技术方案具有如下优点或有益效果：避免了采用计算机CPU的数据解码和情报后处理带来的计算过程时间消耗大的问题，能够满足视频数据实时性的要求；
上述技术方案中的另一个技术方案具有如下优点或有益效果：无需大面积占用处理器的计算资源，有利于其他诸如情报处理等无人机模块对处理器的使用；
上述技术方案中的另一个技术方案具有如下优点或有益效果：摒弃了数据硬件加速解码结合非硬件直接渲染的方法，有效的减少了大量数据的拷贝操作。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的无人机集群多路视频数据流解析渲染流程的工作流程示意图；
图2是本发明一个实施例提供的多步像素着色器后处理流程图；
图3是本发明一个实施例提供的多渲染管线的情报显示渲染原理框图；
图4是本发明一个实施例提供的硬件YUV数据转化及渲染管线原理框图。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明的无人机集群视频图片渲染及后处理的方法，解决无人机集群的大数据量视频图像带来的解码及其显示渲染压力问题，同时设计出一套针对此技术的情报后处理方法，在解决无人机集群数据处理压力的同时，保留了后期较强的情报后处理操作空间。
无人机集群多路视频数据流解析渲染流程的主要工作流程如图1所示，无人机下传数据包给显存设备，显存设备对数据包进行处理，针对视频流模式，步骤包括：
步骤1、初始化多路的DirectX硬件加速解码获取各自的Surface(即第一壳数据)；
步骤2、将上一步骤获取的Surface内的YUV压缩数据封装入渲染用途的Surface(即第二壳数据)，实现数据的转换；
针对解码器获取的surface里面存放了解码后的图像数据，这个数据还不能直接用于显示渲染，需要进行一步surface到surface的格式转换，转换的目标格式是“rendertarget”，也就是待渲染目标体；
步骤3、将各个Surface属性转为着色器资源；
步骤4、多个着色器资源对应纹理进入统一的自定义着色器管线进行情报后处理流程。
在某些算法以及所处平台等条件的制约下，无法满足视频流的回传，只能将图片进行稀疏的回传从而降低整体的集群带宽压力；因此需要针对图片模式下的压缩数据进行有效的加速处理，也就是图片下传模式，针对图片下传模式的步骤包括：
步骤1、对下传得到的单幅JPEG图片进行解压缩处理得到YUV数据；
步骤2、在显示渲染前需对此YUV数据进行格式转化计算，转化方程参考ITU-RBT.601标准，该过程可经过像素着色器高速并行处理；
步骤3、多个着色器资源对应纹理进入统一的自定义着色器管线进行情报后处理流程。
无人机集群的情报处理视频数据在着色器中后处理有两类后处理设计，第一类为逐像素操作的后处理设计，如图2所示，显示了着色器的多个pass的像素处理过程：每一次pass的输出像素做为下一pass的输入，经过多个pass的着色器逐像素操作，实现针对视频图像的后处理操作；第二类为多个图层式的后处理设计，如图3所示，相对于图2逐像素多pass处理流程之外的多个图层并行方法；图2的方法串联了多个pass完成像素处理，而图3并行了多个诸如图2的处理过程，实现了多个图层共同计算、图层叠加和集中渲染展示的效果。
为了应对诸如受下行带宽限制往往采用仅下传关键帧的图片模式的方法，数据格式为JPEG图片格式，不能直接套用视频流处理流程，解决方法(设计参见图4)为：对其进行数据的纹理处理并完成硬件加速的像素计算，获取一幅幅完整的下传图片。
1、DirectX自定义数据流处理管线设计
借助于开源解码库FFMPEG中实现的遵照DXVA规范的硬解码功能，将高清视频H.264流阶段性解码为与DirectX渲染接口相适应的壳数据格式，该壳数据格式即为硬解码后续显示渲染和后处理的数据来源。
在获取了初步硬解码的壳数据后，后续的显示渲染需要考虑两个关键点：首先，考虑到显示渲染的加速特性，该硬件解码的壳数据在显示渲染时需要尽量避免向内存的拷贝操作，显存中的数据操作则更为高效；其次，在未拷贝显存解码数据的前提下，同样需保留针对该显存数据的自定义显示渲染后处理能力。
较为常见的高清视频硬解码数据显示渲染直接依赖固定管线方式将显存数据进行了数据诸如数据格式转换后直接显示出来，而其中的渲染数据在固定管线中无法获取和后处理，丧失了对数据操作的灵活性，不利于针对其的后续情报处理。
采用图1所示该自定义管线设计，将硬解码后数据作为着色器资源接入自定义管线，从而对数据完成所需的自定义操作，同时整个流程避免向内存进行数据拷贝，提高处理效率。
2、集群多路高清视频数据的情报后处理
无人机集群的情报后处理需要对获取的视频数据进行算法的后处理，如视频实时去雾处理，视频中的兴趣目标的跟踪标示等。前面对高清视频数据硬件解码已完成渲染着色器管线设计，并将解码的壳数据接入着色器当中作为着色器资源。后处理即对该着色器资源的操作过程。
无人机集群的情报后处理视频数据在着色器中后处理包括两类，一类为直接利用着色器高效的并行化优势，进行直接地逐像素处理，这一过程对集群的多路数据是各自之间是独立、并行的。例如，视频实时硬件去雾；另一类为创建类似图层的多个着色器处理管线，作为多种情报信息数据渲染的图层渲染。
视频数据逐像素的算法处理往往需要多个串联多个像素着色器来完成，上一像素着色器的处理结果作为了后续处理的输入资源。
多个图层的情报信息渲染设计模式为并联式，各个单独管线负责了一个细分的情报信息的渲染和处理，集合而成最终的渲染结果。
3、集群下传图片模式下的硬件加速处理方法
在某些算法以及所处平台等条件的制约下，无法满足视频流的回传，只能将图片进行稀疏的回传从而降低整体的集群带宽压力；因此需要针对图片模式下的压缩数据进行有效的加速处理。
以YUV压缩格式为例，在显示渲染前需对此进行格式转化计算，转化方程参考ITU-R BT.601标准：
其中的常量部分为：
由上述公式可见其转化过程为逐像素进行，针对高清视频数据的转化，显而易见的适合利用显卡的并行化处理方式来完成该转化过程(逐个像素处理对应的算法设计是一个一个像素来计算，设计好计算流程，在显卡的着色器里运转起来是所有像素同时完成的，从而达到并行的效果)。
4、实验结果对比分析
最终根据实际的无人机集群飞行视频自主侦察试验，验证本发明：其中集群数量为12架，其中3架为实时视频流，另外9架为图片下传模式(受遥测下行链路带宽限制)。采用本发明方法以及现有技术方法进行渲染显示的试验结果如表1所示。本发明在无人机集群视频处理和情报后处理方面保持了较大的效率优势。
表1
测试内容
CPU图像及其情报处理方法
本发明结果
视频流渲染平均帧数
4.8帧/秒
23.3帧/秒
图片渲染平均帧数
0.4帧/秒
1.9帧/秒
以上对本申请实施例所提供的一种无人机集群视频图片渲染及后处理的方法、介质和装置，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。