一种基于隐水印的多路直播视频同步方法和系统

文档序号:196280 发布日期:2021-11-02 浏览:29次 >En<

阅读说明:本技术 一种基于隐水印的多路直播视频同步方法和系统 (Multi-channel live video synchronization method and system based on hidden watermark ) 是由 柴中进 于 2021-07-28 设计创作,主要内容包括:本发明公开了一种基于隐水印的多路直播视频同步方法和系统,所述方法包括:获取多路当前视频原图帧;获取多路当前视频原图帧的编码器的绝对时间;将多路视频编码器连接NTP服务器,根据所述NTP服务器将多路编码器的相同绝对时间对应的当前视频原图帧同步;将所述绝对时间编码为隐水印加入到所有当前对应的视频原图帧中;将加入隐水印的当前视频原图帧传输给解码端,解码后同步输出视频数据。所述方法和系统通过对隐水印编码和解码可以获得视频原图帧的时间戳信息,因此可以支持包括但不仅限于SEI等格式,几乎可以支持所有的编码层格式,从而使多路视频时间同步具有更好的适配性。(The invention discloses a multichannel live video synchronization method and a multichannel live video synchronization system based on a hidden watermark, wherein the method comprises the following steps: acquiring multiple paths of original frames of the current video; acquiring absolute time of encoders of multiple paths of current video original frames; connecting a plurality of paths of video encoders to an NTP server, and synchronizing the current video original image frames corresponding to the same absolute time of the plurality of paths of encoders according to the NTP server; encoding the absolute time into a hidden watermark and adding the hidden watermark into all the current corresponding video original image frames; and transmitting the current video original image frame added with the hidden watermark to a decoding end, and synchronously outputting video data after decoding. The method and the system can obtain the time stamp information of the original video frame by encoding and decoding the hidden watermark, thereby supporting formats including but not limited to SEI and the like, and almost supporting all encoding layer formats, so that the multi-path video time synchronization has better adaptability.)

一种基于隐水印的多路直播视频同步方法和系统

技术领域

本发明涉及直播视频技术领域,特别涉及一种基于隐水印的多路直播视频同步方法和系统。

背景技术

目前在直播视频中同步帧的方法有用通过将时间戳写入编码层SEI信息中的方式同步帧时间。然而现有技术存在只有部分编码格式支持SEI,且在视频转码过程中可能存在丢失时间信息的问题。

发明内容

本发明其中一个发明目的在于提供一种基于隐水印的多路直播视频同步方法和系统,所述方法和系统可通过在视频原图帧中加入隐水印,所述隐水印编码了当前绝对时间,从而可以避免视频转码过程中时间信息丢失的问题。

本发明另一个发明目的在于提供一种基于隐水印的多路直播视频同步方法和系统,所述方法和系统通过对隐水印编码和解码可以获得视频原图帧的时间戳信息,因此可以支持包括但不仅限于SEI等格式,几乎可以支持所有的编码层格式,从而使多路视频时间同步具有更好的适配性。

本发明另一个发明目的在于提供一种基于隐水印的多路直播视频同步方法和系统,所述方法和系统采用NTP服务器进行时间同步,所有的视频编码器和解码器都连接所述NTP服务器,并且每一视频的在编码时都通过所述NTP服务器进行时钟对齐,同一时刻将所有视频画面都将编码的隐形水印作为同步信号的标记加入到视频原图帧中,在信号传输的过程中同步信号标记不会消失,也无法改变。

为了实现至少一个上述发明目的,本发明进一步提供一种基于隐水印的多路直播视频同步方法,所述方法包括:

获取多路当前视频原图帧;

获取多路当前视频原图帧的编码器的绝对时间;

将多路视频编码器连接NTP服务器,根据所述NTP服务器将多路编码器的相同绝对时间对应的当前视频原图帧同步;

将所述绝对时间编码为隐水印加入到所有当前对应的视频原图帧中;

将加入隐水印的当前视频原图帧传输给解码端,解码后同步输出视频数据。

根据本发明其中一个较佳实施例,所述绝对时间的同步方法包括:

获取同一NTP服务器的当前基准时间,并获取多路编码器当前帧的绝对时间;

将多路编码器当前帧的绝对时间和同一NTP服务器当前基准时间同步。

根据本发明另一个较佳实施例,所述解码端获取不同IP地址的视频流,将所述视频流解码后提取视频流中每帧图片隐水印。

根据本发明另一个较佳实施例,将所述隐水印编码到所述视频原图帧的方法包括:

获取视频原图帧,并将所述视频原图帧经过二维傅里叶变换,生成视频原图帧的频域图;

获取绝对时间数据,生成绝对时间水印,并将所述绝对时间水印经过二维傅里叶变化,生成绝对时间的频域图;

将所述绝对时间水印和视频原图帧的频域图相互叠加,生成含有绝对时间水印数据的频谱图;

将所述含有绝对时间水印数据的频谱图进行二维傅里叶逆变换转换到时域,生成含有所述绝对时间隐水印的图像。

根据本发明另一个较佳实施例,所述视频流解码的方法包括:

获得含有所述绝对时间隐水印的图像;

将所述含有所述绝对时间隐水印的图像进行相同的二维傅里叶逆变换获得含有绝对时间水印数据的频谱图;

将所述含有绝对时间水印数据的频谱图进行二维傅里叶变换,获得绝对时间水印。

根据本发明另一个较佳实施例,在解码端解码获取所述绝对时间水印后,将所述绝对时间水印采用OCR文字识别服务器进行文字识别,获取字符串形式的时间戳。

根据本发明另一个较佳实施例,根据识别的时间戳判断是否是相同时间的视频原图帧,并将相同时间的视频原图帧同步输出。

根据本发明另一个较佳实施例,相同时间的视频原图帧以SDI基带信号同步输出到后端进行视频制作和显示。

为了实现至少一个上述发明目的,本发明进一步提供一种基于隐水印的多路直播视频同步系统,所述系统执行上述一种基于隐水印的多路直播视频同步方法。

本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被处理器执行上述一种基于隐水印的多路直播视频同步方法。

附图说明

图1显示的是本发明一种基于隐水印的多路直播视频同步方法流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。

请结合图1,本发明公开了一种基于隐水印的多路直播视频同步方法和系统,所述系统包括多个摄像头、现场视频编码器、NTP服务器和OCR文字识别服务器,其中多个摄像头用于采集现场视频,现场视频编码器用于将采集的视频进行编码。每个摄像头都连接一个现场视频编码器,每个视频编码器连接所述NTP服务器,用于对来自不同路的视频原始图片帧进行时间同步,在本发明其中一个较佳实施例中,每个现场视频编码器还连接云端视频解码服务器,用于对编码的视频原始图片帧进行解码操作。

值得一提的是,所述现场视频编码器在连接所述NTP服务器实现数据同步后,将同步的时间编码为隐水印加入到获取的视频原始图片帧中,作为时间同步标识,在加入隐水印的视频原始图片帧在数据传输过程中不会丢失,且即使是视频被转码、缩放也不影响对同步时间的提取,同时隐水印不会显现,不影响用户对视频的观看体验。

其中所述基于隐水印的多路直播视频同步方法包括:首先现场的摄像头采集视频原始图像帧,所述视频原始图像帧传入到现场编码器中,并且编码器获取每个摄像头采集视频时的绝对时间,所述绝对时间为采集视频原图帧对应摄像头所在现场编码器的系统时间,由于摄像头是可以多个且配置在不同的系统中,从而获取多路的视频流,其中每一视频原始图像帧都保存对应的绝对时间。进一步的,所述现场视频编码器获取NTP服务器的基准时间,其中每一个现场视频编码器和相同的一个NTP服务器连接,所述现场视频编码器在获取所述NTP服务器的基准时间后,将获取的视频原始图像帧保存的绝对时间进行校正同步,将相同绝对时间不同路的视频原始图像帧排列到同一输出顺序中。值得一提的是,本发明还通过现场视频编码器将每一视频原始图像帧对应的绝对时间编码成绝对时间水印图,并将该绝对时间水印图以数字的形式编码成隐水印编入到所述视频原始图像帧。

其中所述隐水印编入到视频原始图片帧的方法包括如下步骤:获取视频原图帧的图像,根据所述视频原图帧的绝对时间生成水印图,将所述视频原图帧的图像采用二维傅里叶变换转换成视频原图帧的频域图,且采用同样的二维傅里叶变换将所述绝对时间水印图转换为绝对时间频域图,且将绝对时间频域图和所述视频原图帧的频域图相互叠加,生成含有所述绝对时间水印数据的频谱图,将所述频谱图进行二维傅里叶逆变换转换为含有所述绝对时间的图像帧。该图像帧不显示隐水印信息,从而不影响对视频的观看。需要说明的是隐水印的二维傅里叶变换以及逆变换均是现有技术,本发明对具体的变换方法不再赘述。

将编码后含有所述绝对时间的图像帧传输给解码端,所述解码端对含有所述绝对时间的图像帧进行解码操作,解码后获取所述绝对时间水印图,并进一步采用OCR文字识别服务器识别所述绝对时间水印图,由于在现场视频编码器中绝对时间可以是字符串形式,比如2020.01.01 14:27:07,因此通过OCR文字识别服务器可以识别字符串形式的时间戳。将该时间戳作为视频信号同步输出的依据,将识别的相同时间戳的视频原图帧同时输出。其中输出的可以是SDI基带信号,用于后端制作显示。

值得一提的是,含有所述绝对时间的图像帧的解码操作如下:将编码后含有所述绝对时间的图像帧进行二维傅里叶逆变换,转换为含有所述绝对时间水印数据的频谱图,进一步将含有所述绝对时间水印数据的频谱进行二维傅里叶变换转换为绝对时间水印和视频原图帧的图像。从而进一步获取绝对时间水印。也就是说,上述解码操作为将绝对时间水印编码加入到视频原图帧图像的反编码操作。

特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线段、电线段、光缆、RF等等,或者上述的任意合适的组合。

附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明,本发明的目的已经完整并有效地实现,本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。

8页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:直播中的虚拟礼物展示方法、装置、系统和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类