一种适用于边缘计算的视频同步处理方法及系统
阅读说明：本技术 一种适用于边缘计算的视频同步处理方法及系统 (Video synchronization processing method and system suitable for edge calculation ) 是由 白景坡 廖逍 邱镇 王兴涛 卢大伟 张晓航 徐凡 李文璞 李小宁 靳敏 于 2021-07-14 设计创作，主要内容包括：本发明公开了一种适用于边缘计算的视频同步处理方法及系统,方法包括：通过编解码处理器对视频进行预处理；通过边缘计算单元对所述编解码处理器预处理后的视频进行分析处理；通过编解码处理器对分析处理后的视频进行标记框叠加输出。本发明采用视频编解码处理器+边缘计算单元的双核模式,由视频编解码处理器对视频进行采集、缓存、编码、时间戳插入以及标注叠加处理,由边缘计算单元对视频进行抽帧处理以及对视频中缺陷目标进行实时诊断分析,并反馈标注坐标信息及对应时间戳,双核分工处理,有效降低了视频传输带宽和处理延时,在边缘侧实现了标记坐标与原始视频同步输出。(The invention discloses a video synchronous processing method and a system suitable for edge calculation, wherein the method comprises the following steps: preprocessing the video through a coding and decoding processor; analyzing and processing the video preprocessed by the encoding and decoding processor through an edge computing unit; and performing mark frame superposition output on the video after analysis and processing through an encoding and decoding processor. The dual-core video coding and decoding processor and the edge computing unit are adopted, the video coding and decoding processor is used for collecting, caching, coding, inserting the timestamp and carrying out label superposition processing on the video, the edge computing unit is used for carrying out frame extraction processing on the video and carrying out real-time diagnosis and analysis on a defect target in the video, and feeding back label coordinate information and the corresponding timestamp, the dual-core division processing is adopted, the video transmission bandwidth and the processing delay are effectively reduced, and the synchronous output of the label coordinate and the original video is realized on the edge side.)
技术领域
本发明涉及视频同步处理技术领域，尤其涉及一种适用于边缘计算的视频同步处理方法及系统。
背景技术
随着人工智能和工业自动化的发展，设备故障的自动识别和智能诊断技术应用越来越广泛，基于图像识别的智能诊断技术拥有识别速度快、准确率高、适用范围广等优点引起广泛的关注。在电力图像诊断领域的研究主要是针对常见的线路缺陷类型或特定问题进行检测识别，例如输电线断股、螺丝脱落、绝缘子破损、防振锤破损、线夹破损、间隔棒的定位等。在理论研究方面，已形成了基于计算机视觉和图像处理的故障诊断理论。
人工智能算法的实现需要强大的计算能力支撑，特别是深度学习算法的大规模应用，对计算能力提出了更高的要求，近年来随着FPGA、GPU、TPU的大量应用，边缘侧计算能力得到了极大提升，边缘侧的智能图像识别技术也得到了广泛应用。图像识别技术主要实现产业应用中对图像或视频内物体/场景识别、分类、定位、检测、图像分割等功能需求，因此被广泛应用于实现视频监控、自动驾驶、车辆/人脸识别、医疗影像分析、机器人自主导航、工业自动化系统、航空及遥感测量等领域。在处理性能上以1080P视频为例，每秒钟可实现10帧左右数据分析处理。
但是，现有的具备边缘计算功能的摄像机通常没有对原始视频进行缓存标记处理，只是简单的将边缘计算单元的识别结果回传到编解码处理器，编解码处理器在进行标记框叠加处理时不能准确获取其所对应的原始视频帧数据，造成视频叠加不同步的问题。
因此，亟待解决视频叠加不同步的问题。
发明内容
有鉴于此，本发明提供了一种适用于边缘计算的视频同步处理方法，能够有效解决视频叠加不同步的问题。
本发明提供了一种适用于边缘计算的视频同步处理方法，包括：
通过编解码处理器对视频进行预处理；
通过边缘计算单元对所述编解码处理器预处理后的视频进行分析处理；
通过所述编解码处理器对分析处理后的视频进行标记框叠加输出。
优选地，所述通过编解码处理器对视频进行预处理，包括：
通过BT1120接口对视频进行采集预处理，对视频原码以帧为单位，按照先入先出模式进行缓存；
对缓存后的视频进行H.264编码；
在H.264帧数据中插入时间戳；
将插入时间戳后的视频数据打包成RTSP码流格式发送至所述边缘计算单元。
优选地，所述通过边缘计算单元对所述编解码处理器预处理后的视频进行分析处理，包括：
接收所述编解码处理器发送的RTSP码流格式的视频数据；
对接收到的RTSP码流格式的视频数据进行H.264解码，并将解码后的视频原始数据以等间隔的预设时间抽取一帧发送到AI加速计算模块；
通过所述AI加速计算模块基于提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到所述编解码处理器。
优选地，所述通过所述编解码处理器对分析处理后的视频进行标记框叠加输出，包括：
根据所述边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据；
根据所述边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理；
将叠加后的视频发送到输出缓存区由对应的输出接口将视频输出。
优选地，所述在H.264帧数据中插入时间戳，包括：
在每个数据帧的IP帧传输之前加入一个SEI NAL帧。
一种适用于边缘计算的视频同步处理系统，包括：编解码处理器和边缘计算单元；其中：
所述编解码处理器，用于对视频进行预处理；
所述边缘计算单元，用于对所述编解码处理器预处理后的视频进行分析处理；
所述编解码处理器，还用于对分析处理后的视频进行标记框叠加输出。
优选地，所述编解码处理器包括：
缓存模块，用于在通过BT1120接口对视频进行采集预处理后，对视频原码以帧为单位，按照先入先出模式进行缓存；
编码模块，用于对缓存后的视频进行H.264编码；
时间戳插入单元，用于在H.264帧数据中插入时间戳；
发送模块，用于将插入时间戳后的视频数据打包成RTSP码流格式发送至所述边缘计算单元。
优选地，所述边缘计算单元包括：
接收模块，用于接收所述编解码处理器发送的RTSP码流格式的视频数据；
解码模块，用于对接收到的RTSP码流格式的视频数据进行H.264解码，并将解码后的视频原始数据以等间隔的预设时间抽取一帧发送到AI加速计算模块；
AI加速计算模块，用于基于提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到所述编解码处理器。
优选地，所述编解码处理器还包括：
提取模块，用于根据所述边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据；
标记框叠加模块，用于根据所述边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理；
输出模块，用于将叠加后的视频发送到输出缓存区由对应的输出接口将视频输出。
优选地，所述时间戳插入单元具体用于：
在每个数据帧的IP帧传输之前加入一个SEI NAL帧。
综上所述，本发明公开了一种适用于边缘计算的视频同步处理方法，当需要实现对视频同步处理时，首先通过编解码处理器对视频进行预处理，然后通过边缘计算单元对编解码处理器预处理后的视频进行分析处理，通过编解码处理器对分析处理后的视频进行标记框叠加输出。本发明采用视频编解码处理器+边缘计算单元的双核模式，由视频编解码处理器对视频进行采集、缓存、编码、时间戳插入以及标注叠加处理，由边缘计算单元对视频进行抽帧处理以及对视频中缺陷目标进行实时诊断分析，并反馈标注坐标信息及对应时间戳，双核分工处理，有效降低了视频传输带宽和处理延时，在边缘侧实现了标记坐标与原始视频同步输出。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种适用于边缘计算的视频同步处理方法实施例1的方法流程图；
图2为本发明公开的一种适用于边缘计算的视频同步处理方法实施例2的方法流程图；
图3为本发明公开的一种适用于边缘计算的视频同步处理系统实施例1的结构示意图；
图4为本发明公开的一种适用于边缘计算的视频同步处理系统实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种适用于边缘计算的视频同步处理方法实施例1的流程图，所述方法可以包括以下步骤：
S101、通过编解码处理器对视频进行预处理；
当需要实现对视频同步处理时，首先通过编解码处理器对输入的视频进行视频预处理，并将经过预处理后的视频发送至边缘计算单元。
S102、通过边缘计算单元对编解码处理器预处理后的视频进行分析处理；
在编解码处理器对视频进行预处理后，进一步通过边缘计算单元对编解码处理器预处理后的视频进行分析处理，得到分析处理后的视频，并将分析处理后的视频发送至编解码处理器。
S103、通过编解码处理器对分析处理后的视频进行标记框叠加输出。
然后，再通过编解码处理器对接收到的分析处理后的视频进行标记框叠加输出。
综上所述，在上述实施例中，当需要实现对视频同步处理时，首先通过编解码处理器对视频进行预处理，然后通过边缘计算单元对编解码处理器预处理后的视频进行分析处理，通过编解码处理器对分析处理后的视频进行标记框叠加输出。采用视频编解码处理器+边缘计算单元的双核模式，由视频编解码处理器对视频进行采集、缓存、编码、时间戳插入以及标注叠加处理，由边缘计算单元对视频进行抽帧处理以及对视频中缺陷目标进行实时诊断分析，并反馈标注坐标信息及对应时间戳，双核分工处理，有效降低了视频传输带宽和处理延时，在边缘侧实现了标记坐标与原始视频同步输出。
如图2所示，为本发明公开的一种适用于边缘计算的视频同步处理方法实施例2的流程图，所述方法可以包括以下步骤：
S201、通过BT1120接口对视频进行采集预处理，对视频原码以帧为单位，按照先入先出模式进行缓存；
当需要实现对视频同步处理时，首先视频编解码处理器首先通过BT1120接口对视频进行采集预处理，然后对视频原码以帧为单位，按照FIFO(先入先出)模式进行1秒钟缓存。其中，对视频原码以FIFO模式缓存主要有两个作用，一是对视频的原码进行缓存的方式节约了后续对视频进行叠加标注过程的处理延时，后续叠加标注时可以直接对原码进行操作，无需再进行解码；二是采用FIFO模式的缓存方式在后续对视频进行叠加标注时可以快速提取所需的视频帧进行叠加输出，极大的降低了帧搜索时间。
S202、对缓存后的视频进行H.264编码；
通过调用视频编解码处理器内部的编码模块，对缓存后的视频进行H.264编码。以H.264的编码方式对视频进行编码压缩主要作用是降低视频传输数据量，从而降低传输带宽，提高传输速度。H.264编码具有码率低、图像质量高、容错能力强、网络适应性强等特点。
S203、在H.264帧数据中插入时间戳；
为了支持视频同步，在H.264帧数据中加入时间戳同步，需要在视频流中增加时间戳信息，通过扩展H264 SEI帧实现，在每个数据帧的IP帧传输之前加入一个SEI NAL帧，表明本帧的时间戳信息。SEI时间戳帧格式定义如下：
NAL start(00,00,00,01)+NAL type:sei(0x06)+SEI payload type(0x05)+SEIpayload size(0x1B)+16字节UUID(0x5b,0x55,0xb7,0xca,0x78,0x73,0x11,0xe9,0x8f,0x9e,0x2a,0x86,0xe4,0x08,0x5a,0x59)+11字节时间戳字符串,10位有效时间+\0结束,ms为单位(0x30,0x30,0x30,0x30,0x31,0x31,0x32,0x30,0x30,0x30,0x00)+NAL结束码(0x80)。
S204、将插入时间戳后的视频数据打包成RTSP码流格式发送至边缘计算单元；
然后，将处理后的视频数据打包成RTSP码流格式发送到边缘计算单元。RTSP码流为视频传输通用标准格式，具有传输效率高的特点。
S205、接收编解码处理器发送的RTSP码流格式的视频数据；
边缘计算单元通过内部自带的驱动模块接收编解码处理器发送的RTSP码流格式的视频数据。
S206、对接收到的RTSP码流格式的视频数据进行H.264解码，并将解码后的视频原始数据以等间隔的预设时间抽取一帧发送到AI加速计算模块；
然后，通过调用边缘计算单元内部的解码模块，对接收的RTSP码流格式的视频数据进行H.264解码。并将解码后的视频原始数据以等间隔每300ms抽取一帧发送到AI加速计算模块。
S207、通过AI加速计算模块基于提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到编解码处理器；
AI加速计算模块通过提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到编解码处理器，反馈信息包括目标坐标，时间戳等信息，封装格式为json，具体定义如下：
{
“line_num”:16,#线数量，识别框位置，矩形框4条线对应一个文字框
“text_num”:4，#文字数量，识别文字结果
“timetick”:23423，#时间戳
"lines":[
“stpointx”:12,#开始x坐标
“stpointy”:13,#开始y坐标
“endpointx”:56,#结束x坐标
“endpointy”:123,#结束y坐标
“thick”:4,#OSD厚度
“color”:255#OSD颜色0x00ff0000
],
"texts":[
“stpointx”:12,#开始x坐标
“stpointy”:13,#开始y坐标
“fontsize”:32,#字体大小
“osdtext”:123,#算法分析结果，显示内容
“color”:255#OSD颜色0x00ff0000
]
}
S208、根据边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据；
编解码处理器根据边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据。
S209、根据边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理；
编解码处理器根据边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理。
S210、将叠加后的视频发送到输出缓存区由对应的输出接口将视频输出。
编解码处理器将叠加好的视频发送到输出缓存区由对应的输出接口将视频输出。
综上所述，本发明通过自定义视频传输协议，在视频编解码处理器中对原始视频图像及自定义时间戳进行缓存处理，在边缘计算单元处理、分析、回传识别坐标信息中标记所处理视频图像的时间戳，从而使视频编解码处理器在对原始图像进行标记框叠加处理时能够与原始视频进行同步。
如图3所示，为本发明公开的一种适用于边缘计算的视频同步处理系统实施例1的结构示意图，所述系统可以包括：编解码处理器31和边缘计算单元32；其中：
编解码处理器31，用于对视频进行预处理；
当需要实现对视频同步处理时，首先通过编解码处理器对输入的视频进行视频预处理，并将经过预处理后的视频发送至边缘计算单元。
边缘计算单元32，用于对编解码处理器31预处理后的视频进行分析处理；
在编解码处理器对视频进行预处理后，进一步通过边缘计算单元对编解码处理器预处理后的视频进行分析处理，得到分析处理后的视频，并将分析处理后的视频发送至编解码处理器。
编解码处理器31，还用于对分析处理后的视频进行标记框叠加输出。
然后，再通过编解码处理器对接收到的分析处理后的视频进行标记框叠加输出。
综上所述，在上述实施例中，当需要实现对视频同步处理时，首先通过编解码处理器对视频进行预处理，然后通过边缘计算单元对编解码处理器预处理后的视频进行分析处理，通过编解码处理器对分析处理后的视频进行标记框叠加输出。采用视频编解码处理器+边缘计算单元的双核模式，由视频编解码处理器对视频进行采集、缓存、编码、时间戳插入以及标注叠加处理，由边缘计算单元对视频进行抽帧处理以及对视频中缺陷目标进行实时诊断分析，并反馈标注坐标信息及对应时间戳，双核分工处理，有效降低了视频传输带宽和处理延时，在边缘侧实现了标记坐标与原始视频同步输出。
如图4所示，为本发明公开的一种适用于边缘计算的视频同步处理系统实施例2的结构示意图，所述系统可以包括：编解码处理器41和边缘计算单元42；其中，编解码处理器41包括：缓存模块411、编码模块412、时间戳插入单元413、发送模块414、提取模块415、标记框叠加模块416和输出模块417，边缘计算单元42包括：接收模块421、解码模块422和AI加速计算模块423；其中：
缓存模块411，用于在通过BT1120接口对视频进行采集预处理后，对视频原码以帧为单位，按照先入先出模式进行缓存；
当需要实现对视频同步处理时，首先视频编解码处理器首先通过BT1120接口对视频进行采集预处理，然后对视频原码以帧为单位，按照FIFO(先入先出)模式进行1秒钟缓存。其中，对视频原码以FIFO模式缓存主要有两个作用，一是对视频的原码进行缓存的方式节约了后续对视频进行叠加标注过程的处理延时，后续叠加标注时可以直接对原码进行操作，无需再进行解码；二是采用FIFO模式的缓存方式在后续对视频进行叠加标注时可以快速提取所需的视频帧进行叠加输出，极大的降低了帧搜索时间。
编码模块412，用于对缓存后的视频进行H.264编码；
通过调用视频编解码处理器内部的编码模块，对缓存后的视频进行H.264编码。以H.264的编码方式对视频进行编码压缩主要作用是降低视频传输数据量，从而降低传输带宽，提高传输速度。H.264编码具有码率低、图像质量高、容错能力强、网络适应性强等特点。
时间戳插入单元413，用于在H.264帧数据中插入时间戳；
为了支持视频同步，在H.264帧数据中加入时间戳同步，需要在视频流中增加时间戳信息，通过扩展H264 SEI帧实现，在每个数据帧的IP帧传输之前加入一个SEI NAL帧，表明本帧的时间戳信息。SEI时间戳帧格式定义如下：
NAL start(00,00,00,01)+NAL type:sei(0x06)+SEI payload type(0x05)+SEIpayload size(0x1B)+16字节UUID(0x5b,0x55,0xb7,0xca,0x78,0x73,0x11,0xe9,0x8f,0x9e,0x2a,0x86,0xe4,0x08,0x5a,0x59)+11字节时间戳字符串,10位有效时间+\0结束,ms为单位(0x30,0x30,0x30,0x30,0x31,0x31,0x32,0x30,0x30,0x30,0x00)+NAL结束码(0x80)。
发送模块414，用于将插入时间戳后的视频数据打包成RTSP码流格式发送至边缘计算单元；
然后，将处理后的视频数据打包成RTSP码流格式发送到边缘计算单元。RTSP码流为视频传输通用标准格式，具有传输效率高的特点。
接收模块421，用于接收编解码处理器发送的RTSP码流格式的视频数据；
边缘计算单元通过内部自带的驱动模块接收编解码处理器发送的RTSP码流格式的视频数据。
解码模块422，用于对接收到的RTSP码流格式的视频数据进行H.264解码，并将解码后的视频原始数据以等间隔的预设时间抽取一帧发送到AI加速计算模块；
然后，通过调用边缘计算单元内部的解码模块，对接收的RTSP码流格式的视频数据进行H.264解码。并将解码后的视频原始数据以等间隔每300ms抽取一帧发送到AI加速计算模块。
AI加速计算模块423，用于通过AI加速计算模块基于提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到编解码处理器；
AI加速计算模块通过提前固化的边缘计算模型对抽取的视频图像帧进行AI加速分析处理，并将识别到的缺陷坐标信息通过网络TCP协议反馈到编解码处理器，反馈信息包括目标坐标，时间戳等信息，封装格式为json，具体定义如下：
{
“line_num”:16,#线数量，识别框位置，矩形框4条线对应一个文字框
“text_num”:4，#文字数量，识别文字结果
“timetick”:23423，#时间戳
"lines":[
“stpointx”:12,#开始x坐标
“stpointy”:13,#开始y坐标
“endpointx”:56,#结束x坐标
“endpointy”:123,#结束y坐标
“thick”:4,#OSD厚度
“color”:255#OSD颜色0x00ff0000
],
"texts":[
“stpointx”:12,#开始x坐标
“stpointy”:13,#开始y坐标
“fontsize”:32,#字体大小
“osdtext”:123,#算法分析结果，显示内容
“color”:255#OSD颜色0x00ff0000
]
}
提取模块415，用于根据边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据；
编解码处理器根据边缘计算单元反馈的时间戳从视频缓冲区提取对应的视频原始数据。
标记框叠加模块416，用于根据边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理；
编解码处理器根据边缘计算单元反馈的坐标信息在原始视频中进行标记框的叠加处理。
输出模块417，用于将叠加后的视频发送到输出缓存区由对应的输出接口将视频输出。
编解码处理器将叠加好的视频发送到输出缓存区由对应的输出接口将视频输出。
综上所述，本发明通过自定义视频传输协议，在视频编解码处理器中对原始视频图像及自定义时间戳进行缓存处理，在边缘计算单元处理、分析、回传识别坐标信息中标记所处理视频图像的时间戳，从而使视频编解码处理器在对原始图像进行标记框叠加处理时能够与原始视频进行同步。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种目标弹幕展示方法、装置、电子设备和存储介质