阅读说明：本技术 基于前向纠错和接收反馈的实时视频数据传输的实现方法 (Method for realizing real-time video data transmission based on forward error correction and receiving feedback ) 是由 柳建平 于 2020-08-06 设计创作，主要内容包括：本发明公开了基于前向纠错和接收反馈的实时视频数据传输的实现方法,包括以下步骤：S1.获取视频数据；S2.浏览视频数据；S3.视频数据缺失处理；S4.还原实时获取的视频数据；S5.发送端发生视频数据：S51：发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；S52：视频数据传输；S33：视频编码；S6.接收端接收视频数据。本发明当视频数据中一帧的一部分数据发生缺损时,根据当前发生缺损的数据帧帧与相邻数据帧之间的运动关系,估测出缺损部分的大致图像,并在相邻数据帧中提取相应缺损部分的画面图像,将该画面图像代替缺损部分,从而提高视频数据播放的连贯性和一致性,保证了良好的观看效果。(The invention discloses a method for realizing real-time video data transmission based on forward error correction and receiving feedback, which comprises the following steps: s1, acquiring video data; s2, browsing video data; s3, processing the missing of the video data; s4, restoring the video data acquired in real time; s5, video data generation at a sending end: s51: the sending end caches the sent original data packet and records the sending time of the original data packet; s52: video data transmission; s33: video coding; and S6, receiving the video data by the receiving end. When part of data of one frame in the video data is defective, the invention estimates the approximate image of the defective part according to the motion relation between the data frame with the defect and the adjacent data frame, extracts the image of the corresponding defective part from the adjacent data frame, and replaces the defective part with the image, thereby improving the continuity and consistency of the video data playing and ensuring good watching effect.)

基于前向纠错和接收反馈的实时视频数据传输的实现方法

技术领域

本发明属于视频传输技术领域，具体涉及基于前向纠错和接收反馈的实时视频数据传输的实现方法。

背景技术

视频监控，是种与网络摄像机配套使用，可采用有线或无线方式连接网络，易于安装部署，不需要用户额外配置专用电脑和采集录像等设备，用户可采用手机或电脑作为监控终端设备，可随时随地接收报警信息和查看监控视频。该具有稳定可靠、经济实用等特点，可用于防火防盗、安全护卫、人员监护、远程管理等，特别适合个人、家庭、店铺等使用，然而市面上各种的基于前向纠错和接收反馈的实时视频数据传输的实现方法仍存在各种各样的问题。

如授权公告号为CN103747253A所公开的一种基于FIFO的视频编码数据传输方法，其虽然实现了具有实时性高、可靠性高和资源消耗低的特点，但是并未解决现有的基于前向纠错和接收反馈的实时视频数据传输的实现方法还存在的问题：视频数据在传输时，容易出现缺失，如果不进行处理，会造成视频停顿、不连贯的情况，影响观看效果，同时在对视频数据进行还原时，传输速度较慢，为此我们提出基于前向纠错和接收反馈的实时视频数据传输的实现方法。

发明内容

本发明的目的在于提供基于前向纠错和接收反馈的实时视频数据传输的实现方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于前向纠错和接收反馈的实时视频数据传输的实现方法，包括以下步骤：

S1.获取视频数据：采用多个摄像头在同步控制信号的作用下进行同步拍摄，并将拍摄的视频数据保持在视频监控存储设备中，并获取设置在不同位置上的多个摄像头所拍摄到的视频数据；

S2.浏览视频数据：采用智能终端浏览S1中视频监控存储设备中所存储的视频数据并远程控制视频监控设备；

S3.视频数据缺失处理：在视频数据的当前帧发生数据缺失时，选择缺失数据的临近数据块，确定所述临近数据块在当前帧的相邻帧中的位置，进而确定所述临近数据块的运动矢量，依据所述临近数据块的运动矢量对所述相邻帧进行调整，选取调整之后的相邻帧中与所述缺失数据相应的数据，替代所述缺失数据；

S4.还原实时获取的视频数据：S41.通过分析对比模块针对摄像头获取的实时监控视频与数据库中固定背景信息数据进行对比分析；S42.通过DSP处理器对固定背景信息与非固定背景信息进行分离；S43.DSP处理器将非固定背景信息提取压缩打包；S44.DSP处理器通过网络将非固定背景信息传送至服务器；S45.服务器接收非固定背景信息数据后根据获取视频的摄像头身份调取相应的固定背景信息；S46.将身份对应的非固定背景信息和固定背景信息合成还原摄像头实时获取的监控视频；

S5.发送端发生视频数据：S51：发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；S52：视频数据传输，首先综合考虑净荷数据长度和传输过程中的丢包与信道工作机制的关系，采用前向纠错的自适应帧长选择算法，根据反馈的信道质量和目标节点的跳数，发送端与接收端交互配合完成自适应帧长的计算与调整，以使在多跳的无线传输环境下能够保证系统的传输效率；S33：视频编码：在视频发送端，视频编码器进行当前画面群中的当前帧采集，采集完成后进行视频编码，形成当前帧的视频数据包；将生成的视频数据包和当前画面群中之前帧的视频数据包进行Reed-Solomon编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群中所有的帧都已经编码并发送完成；

S6.接收端接收视频数据：视频接收端作为视频解码端接收到当前画面群中当前帧的视频数据包和与当前帧相应的校验数据包，并对所述视频数据包和校验数据包进行解析处理，以解析出所述编码数据包，采用前向纠错编码对所解析出的编码数据包进行解码处理，以解码出原始数据包，并对解码出的属于同一源视频数据的原始数据包进行合并处理，以恢复为原始视频数据，完成视频数据传输。

优选的，所述S2中智能终端浏览视频数据时包括以下步骤：S21.所述智能终端向视频监控存储设备进行身份检查和权限验证，验证通过后执行下一步，未通过则退出；S22.所述智能终端向视频监控存储设备获取所述视频监控设备列表；S23.所述智能终端选择观看实时监控视频或回看历史监控视频；S24.所述智能终端观看所选定的视频监控设备采集的实时监控视频；S25.所述智能终端远程配置并控制所选定的视频监控设备；S26.所述智能终端回看所选定的视频监控设备采集的存放于视频监控存储设备上的历史监控视频；S27.所述智能终端结束本次操作。

优选的，所述S3中对视频数据缺失处理还包括对所述相邻帧中与所述缺失数据相应的数据中的边缘数据进行柔化处理。

优选的，所述柔化处理采用低通滤波器实现。

优选的，所述柔化处理包括：计算所述缺失数据边缘数据块与临近数据块像素值的平均值；将所述像素值的平均值设为所述当前帧缺失数据的边缘块数据的像素值。

优选的，所述S4中的数据库中固定背景信息根据历史数据筛选而出，且所述DSP处理器通过无线网络将非固定背景信息传送至服务器。

优选的，所述S5中视频编码还包括如果当前画面群中的当前帧为当前画面群中的第一帧，则第一帧采集完成并完成视频编码时，直接将该帧生成的视频数据包进行RS编码，生成相应的校验数据包后，立即发送该帧视频数据包和校验数据包；如果当前画面群中当前帧和之前帧的视频数据包生成RS校验数据包时，当前帧和之前帧的视频数据包需要乘上变换矩阵；同时，视频编码端将对应帧视频数据包的变换矩阵信息告知视频解码端。

优选的，所述S5中的前向纠错编码为里所码或喷泉编码的其中一者，且所述喷泉编码支持Raptor和RaptorQ两种模式。

与现有技术相比，本发明的有益效果是：

(1)本发明当视频数据中一帧的一部分数据发生缺损时，根据当前发生缺损的数据帧帧与相邻数据帧之间的运动关系，估测出缺损部分的大致图像，并在相邻数据帧中提取相应缺损部分的画面图像，将该画面图像代替缺损部分，从而提高视频数据播放的连贯性和一致性，保证了良好的观看效果。

(2)本发明通过在还原实时获取的视频数据中分离非固定背景信息，进行差异化传送，减小无用信息传输流量，传输速度快，且服务器读取数据速度快，因此，在有效节省流量的情况下，满足高清视频数据的快速传输。

附图说明

图1为本发明的流程框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

基于前向纠错和接收反馈的实时视频数据传输的实现方法，包括以下步骤：

S1.获取视频数据：采用多个摄像头在同步控制信号的作用下进行同步拍摄，并将拍摄的视频数据保持在视频监控存储设备中，并获取设置在不同位置上的多个摄像头所拍摄到的视频数据；

S2.浏览视频数据：采用智能终端浏览S1中视频监控存储设备中所存储的视频数据并远程控制视频监控设备；

S3.视频数据缺失处理：在视频数据的当前帧发生数据缺失时，选择缺失数据的临近数据块，确定所述临近数据块在当前帧的相邻帧中的位置，进而确定所述临近数据块的运动矢量，依据所述临近数据块的运动矢量对所述相邻帧进行调整，选取调整之后的相邻帧中与所述缺失数据相应的数据，替代所述缺失数据；

S4.还原实时获取的视频数据：S41.通过分析对比模块针对摄像头获取的实时监控视频与数据库中固定背景信息数据进行对比分析；S42.通过DSP处理器对固定背景信息与非固定背景信息进行分离；S43.DSP处理器将非固定背景信息提取压缩打包；S44.DSP处理器通过网络将非固定背景信息传送至服务器；S45.服务器接收非固定背景信息数据后根据获取视频的摄像头身份调取相应的固定背景信息；S46.将身份对应的非固定背景信息和固定背景信息合成还原摄像头实时获取的监控视频；

S5.发送端发生视频数据：S51：发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；S52：视频数据传输，首先综合考虑净荷数据长度和传输过程中的丢包与信道工作机制的关系，采用前向纠错的自适应帧长选择算法，根据反馈的信道质量和目标节点的跳数，发送端与接收端交互配合完成自适应帧长的计算与调整，以使在多跳的无线传输环境下能够保证系统的传输效率；S33：视频编码：在视频发送端，视频编码器进行当前画面群中的当前帧采集，采集完成后进行视频编码，形成当前帧的视频数据包；将生成的视频数据包和当前画面群中之前帧的视频数据包进行Reed-Solomon编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群中所有的帧都已经编码并发送完成；

S6.接收端接收视频数据：视频接收端作为视频解码端接收到当前画面群中当前帧的视频数据包和与当前帧相应的校验数据包，并对所述视频数据包和校验数据包进行解析处理，以解析出所述编码数据包，采用前向纠错编码对所解析出的编码数据包进行解码处理，以解码出原始数据包，并对解码出的属于同一源视频数据的原始数据包进行合并处理，以恢复为原始视频数据，完成视频数据传输。

本实施例中，优选的，所述S2中智能终端浏览视频数据时包括以下步骤：S21.所述智能终端向视频监控存储设备进行身份检查和权限验证，验证通过后执行下一步，未通过则退出；S22.所述智能终端向视频监控存储设备获取所述视频监控设备列表；S23.所述智能终端选择观看实时监控视频或回看历史监控视频；S24.所述智能终端观看所选定的视频监控设备采集的实时监控视频；S25.所述智能终端远程配置并控制所选定的视频监控设备；S26.所述智能终端回看所选定的视频监控设备采集的存放于视频监控存储设备上的历史监控视频；S27.所述智能终端结束本次操作。

本实施例中，优选的，所述S3中对视频数据缺失处理还包括对所述相邻帧中与所述缺失数据相应的数据中的边缘数据进行柔化处理。

本实施例中，优选的，所述柔化处理采用低通滤波器实现。

本实施例中，优选的，所述柔化处理包括：计算所述缺失数据边缘数据块与临近数据块像素值的平均值；将所述像素值的平均值设为所述当前帧缺失数据的边缘块数据的像素值。

本实施例中，优选的，所述S4中的数据库中固定背景信息根据历史数据筛选而出，且所述DSP处理器通过无线网络将非固定背景信息传送至服务器。

本实施例中，优选的，所述S5中视频编码还包括如果当前画面群中的当前帧为当前画面群中的第一帧，则第一帧采集完成并完成视频编码时，直接将该帧生成的视频数据包进行RS编码，生成相应的校验数据包后，立即发送该帧视频数据包和校验数据包；如果当前画面群中当前帧和之前帧的视频数据包生成RS校验数据包时，当前帧和之前帧的视频数据包需要乘上变换矩阵；同时，视频编码端将对应帧视频数据包的变换矩阵信息告知视频解码端。

本实施例中，优选的，所述S5中的前向纠错编码为里所码或喷泉编码的其中一者，且所述喷泉编码支持Raptor和RaptorQ两种模式。

实施例2

基于前向纠错和接收反馈的实时视频数据传输的实现方法，包括以下步骤：

S1.获取视频数据：采用多个摄像头在同步控制信号的作用下进行同步拍摄，并将拍摄的视频数据保持在视频监控存储设备中，并获取设置在不同位置上的多个摄像头所拍摄到的视频数据；

S2.浏览视频数据：采用智能终端浏览S1中视频监控存储设备中所存储的视频数据并远程控制视频监控设备；

S3.视频数据缺失处理：在视频数据的当前帧发生数据缺失时，选择缺失数据的临近数据块，确定所述临近数据块在当前帧的相邻帧中的位置，进而确定所述临近数据块的运动矢量，依据所述临近数据块的运动矢量对所述相邻帧进行调整，选取调整之后的相邻帧中与所述缺失数据相应的数据，替代所述缺失数据；

S4.还原实时获取的视频数据：S41.通过分析对比模块针对摄像头获取的实时监控视频与数据库中固定背景信息数据进行对比分析；S42.通过DSP处理器对固定背景信息与非固定背景信息进行分离；S43.DSP处理器将非固定背景信息提取压缩打包；S44.DSP处理器通过网络将非固定背景信息传送至服务器；S45.服务器接收非固定背景信息数据后根据获取视频的摄像头身份调取相应的固定背景信息；S46.将身份对应的非固定背景信息和固定背景信息合成还原摄像头实时获取的监控视频；

S5.发送端发生视频数据：S51：发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；S52：视频数据传输，首先综合考虑净荷数据长度和传输过程中的丢包与信道工作机制的关系，采用前向纠错的自适应帧长选择算法，根据反馈的信道质量和目标节点的跳数，发送端与接收端交互配合完成自适应帧长的计算与调整，以使在多跳的无线传输环境下能够保证系统的传输效率；S33：视频编码：在视频发送端，视频编码器进行当前画面群中的当前帧采集，采集完成后进行视频编码，形成当前帧的视频数据包；将生成的视频数据包和当前画面群中之前帧的视频数据包进行Reed-Solomon编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群中所有的帧都已经编码并发送完成；

S6.接收端接收视频数据：视频接收端作为视频解码端接收到当前画面群中当前帧的视频数据包和与当前帧相应的校验数据包，并对所述视频数据包和校验数据包进行解析处理，以解析出所述编码数据包，采用前向纠错编码对所解析出的编码数据包进行解码处理，以解码出原始数据包，并对解码出的属于同一源视频数据的原始数据包进行合并处理，以恢复为原始视频数据，完成视频数据传输。

本实施例中，优选的，所述S3中对视频数据缺失处理还包括对所述相邻帧中与所述缺失数据相应的数据中的边缘数据进行柔化处理。

本实施例中，优选的，所述柔化处理采用低通滤波器实现。

本实施例中，优选的，所述柔化处理包括：计算所述缺失数据边缘数据块与临近数据块像素值的平均值；将所述像素值的平均值设为所述当前帧缺失数据的边缘块数据的像素值。

本实施例中，优选的，所述S4中的数据库中固定背景信息根据历史数据筛选而出，且所述DSP处理器通过无线网络将非固定背景信息传送至服务器。

实施例3

基于前向纠错和接收反馈的实时视频数据传输的实现方法，包括以下步骤：

S1.获取视频数据：采用多个摄像头在同步控制信号的作用下进行同步拍摄，并将拍摄的视频数据保持在视频监控存储设备中，并获取设置在不同位置上的多个摄像头所拍摄到的视频数据；

S2.浏览视频数据：采用智能终端浏览S1中视频监控存储设备中所存储的视频数据并远程控制视频监控设备；

S3.视频数据缺失处理：在视频数据的当前帧发生数据缺失时，选择缺失数据的临近数据块，确定所述临近数据块在当前帧的相邻帧中的位置，进而确定所述临近数据块的运动矢量，依据所述临近数据块的运动矢量对所述相邻帧进行调整，选取调整之后的相邻帧中与所述缺失数据相应的数据，替代所述缺失数据；

S4.还原实时获取的视频数据：S41.通过分析对比模块针对摄像头获取的实时监控视频与数据库中固定背景信息数据进行对比分析；S42.通过DSP处理器对固定背景信息与非固定背景信息进行分离；S43.DSP处理器将非固定背景信息提取压缩打包；S44.DSP处理器通过网络将非固定背景信息传送至服务器；S45.服务器接收非固定背景信息数据后根据获取视频的摄像头身份调取相应的固定背景信息；S46.将身份对应的非固定背景信息和固定背景信息合成还原摄像头实时获取的监控视频；

S5.发送端发生视频数据：S51：发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；S52：视频数据传输，首先综合考虑净荷数据长度和传输过程中的丢包与信道工作机制的关系，采用前向纠错的自适应帧长选择算法，根据反馈的信道质量和目标节点的跳数，发送端与接收端交互配合完成自适应帧长的计算与调整，以使在多跳的无线传输环境下能够保证系统的传输效率；S33：视频编码：在视频发送端，视频编码器进行当前画面群中的当前帧采集，采集完成后进行视频编码，形成当前帧的视频数据包；将生成的视频数据包和当前画面群中之前帧的视频数据包进行Reed-Solomon编码，生成相应的校验数据包后，立即向视频接收端发送该帧视频数据包和校验数据包，如此循环直到当前画面群中所有的帧都已经编码并发送完成；

S6.接收端接收视频数据：视频接收端作为视频解码端接收到当前画面群中当前帧的视频数据包和与当前帧相应的校验数据包，并对所述视频数据包和校验数据包进行解析处理，以解析出所述编码数据包，采用前向纠错编码对所解析出的编码数据包进行解码处理，以解码出原始数据包，并对解码出的属于同一源视频数据的原始数据包进行合并处理，以恢复为原始视频数据，完成视频数据传输。

本实施例中，优选的，所述S2中智能终端浏览视频数据时包括以下步骤：S21.所述智能终端向视频监控存储设备进行身份检查和权限验证，验证通过后执行下一步，未通过则退出；S22.所述智能终端向视频监控存储设备获取所述视频监控设备列表；S23.所述智能终端选择观看实时监控视频或回看历史监控视频；S24.所述智能终端观看所选定的视频监控设备采集的实时监控视频；S25.所述智能终端远程配置并控制所选定的视频监控设备；S26.所述智能终端回看所选定的视频监控设备采集的存放于视频监控存储设备上的历史监控视频；S27.所述智能终端结束本次操作。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。