具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施方式公开了一种基于视频流的SEI帧回放数据同步方法，包括以下步骤：

步骤1，获取录制好的视频文件，并解析出视频文件中所有的SEI帧数据，同时确定每一SEI帧所对应的当时时间戳以及辅助文档的每一页在视频播放时间线上出现的相对时间；所述视频文件的SEI帧中分别记载有直播时的当时时间戳以及辅助文档的每一页在视频播放时间线里出现的相对时间；

步骤2，分别计算两相邻SEI帧所对应当时时间戳的间隔时间△T，根据所述间隔时间△T确定两相邻SEI帧之间是否丢失视频帧数据；是，则进入步骤3，否，则不处理视频文件而让视频文件正常播放；

步骤3，将辅助文档数据时间戳在这两相邻SEI帧时间戳内的辅助文档数据删除并将后面的辅助文档数据向前移动。

对应的，本发明公开了一种基于视频流的SEI帧回放数据同步系统，包括SEI帧解析模块、视频帧丢失确定模块和辅助文档数据校对模块，其中用于

SEI帧解析模块，用于获取录制好的视频文件，并解析出视频文件中所有的SEI帧数据，同时确定每一SEI帧所对应的当时时间戳以及辅助文档的每一页在视频播放时间线上出现的相对时间；所述视频文件的SEI帧中分别记载有直播时的当时时间戳以及辅助文档的每一页在视频播放时间线里出现的相对时间；

视频帧丢失确定模块，用于分别计算两相邻SEI帧所对应当时时间戳的间隔时间△T，根据所述间隔时间△T确定两相邻SEI帧之间是否丢失视频帧数据；是，则进入步骤3，否，则不处理视频文件而让视频文件正常播放；

辅助文档数据校对模块，用于将辅助文档数据时间戳在这两相邻SEI帧时间戳内的辅助文档数据删除并将后面的辅助文档数据向前移动。

在本实施例中，基于视频流的SEI帧回放数据同步方法以基于视频流的SEI帧回放数据同步系统作为步骤的执行对象，或者以基于视频流的SEI帧回放数据同步系统内的组成部分作为步骤的执行对象。具体地，步骤1以SEI帧解析模块作为步骤的执行对象，步骤2以视频帧丢失确定模块作为步骤的执行对象，步骤3以辅助文档数据校对模块作为步骤的执行对象。

其中，客户端在直播过程中将当前的时间戳加入到视频的SEI帧中，辅助文档数据，如ppt数据，也会记录PPT中每一页在视频播放时间线里出现的相对时间，直播结束后会生成mp4/m3u8 的视频文件；步骤1中，通过视频文件可以在线读取文件的字节数据，解析出视频文件里所有的SEI帧数据，从而确定每一个SEI帧对应的时间戳和PPT中每一页在视频播放时间线里出现的相对时间，从而能够在进行直播回放时根据读取SEI从而校对ppt的时间。

其中，步骤2中，在计算每一SEI帧所对应的当时时间戳后，根据两相邻SEI帧所对应当时时间戳的间隔时间△T来确定两相邻SEI帧之间是否丢失视频帧数据，以便于确定需不需要对辅助文档数据进行处理；若视频文件中存在丢失视频帧的情况，则需要对辅助文档数据进行处理以保证视频回放时辅助文档和视频的同步性。

具体的，步骤2中，根据所述间隔时间△T确定两相邻SEI帧之间是否丢失视频帧数据的步骤包括：

判断所述间隔时间△T是否大于预设间隔时间△t，是则两相邻SEI帧之间丢失视频帧数据，否则两相邻SEI帧之间不丢失视频帧数据。

对应的，基于视频流的SEI帧回放数据同步系统中，视频帧丢失确定模块中还具体用于判断所述间隔时间△T是否大于预设间隔时间△t，是则两相邻SEI帧之间丢失视频帧数据，否则两相邻SEI帧之间不丢失视频帧数据。

正常来说，每两相邻SEI帧的时间差是固定的，一般为2S，因此若相邻的SEI帧的时间相差超过了2s，则认为中间丢了视频帧数据，也就是发生了断流。因此，本发明中，将预设时间间隔设置为正常情况下不发生断流时两相邻SEI帧的时间差，当相邻的SEI帧的时间相差超过了该预设时间间隔，则表示两相邻SEI帧之间丢失了视频帧数据，需要对辅助文档数据进行矫正，才能保证视频回放时辅助文档和视频的同步。

具体的，基于视频流的SEI帧回放数据同步系统中，步骤2包括以下子步骤：

步骤201，确定第n个SEI帧的时间戳T1和第n+1个SEI帧的时间戳T2，根据公式△T=T2-T1计算两相邻SEI帧之间的间隔时间△T；其中n=0,1,2,3……；

步骤202，判断所述间隔时间△T是否大于预设间隔时间△t，是则两相邻SEI帧之间丢失视频帧数据，否则两相邻SEI帧之间不丢失视频帧数据。

对应的，视频帧丢失确定模块包括

间隔时间计算单元，用于确定第n个SEI帧的时间戳T1和第n+1个SEI帧的时间戳T2，并根据公式△T=T2-T1计算两相邻SEI帧之间的间隔时间△T；

视频帧丢失确定单元，用于判断所述间隔时间△T是否大于预设间隔时间△t，是则两相邻SEI帧之间丢失视频帧数据，否则两相邻SEI帧之间不丢失视频帧数据。

同样的，步骤2是以视频帧丢失确定模块作为步骤的执行对象，或者是以视频帧丢失确定模块中的组成部分作为步骤的执行对象；具体的，步骤201是以间隔时间计算单元作为步骤的执行对象，步骤202是以视频帧丢失确定单元作为步骤的执行对象。

步骤201，由于客户端在直播过程中已经将当前的时间戳加入到视频的SEI帧中，因此可以确定每一SEI帧所对应的当时时间戳，根据第n个SEI帧的时间戳T1和第n+1个SEI帧的时间戳T2，利用公式△T=T2-T1就能计算两相邻SEI帧之间的间隔时间△T；步骤202通过判断所述间隔时间△T是否大于预设间隔时间△t来确定视频文件中每两相邻SEI帧之间是否丢失视频帧数据。

步骤3中，若视频文件中存在有两相邻SEI帧之间丢失了视频帧数据，则将辅助文档数据时间戳在这两相邻SEI帧时间戳内的辅助文档数据删除，并将后面的辅助文档数据向前移动。

具体的，步骤3中，将辅助文档数据时间戳在T1和T2之间的辅助文档数据删除，并将后面的辅助文档数据往前移动(△T-△t)。

对应的，基于视频流的SEI帧回放数据同步系统中，辅助文档数据校对模块具体用于将辅助文档数据时间戳在T1和T2之间的辅助文档数据删除，并将后面的辅助文档数据往前移动(△T-△t)。

下面以PPT数据的校对过程进行说明：正常情况下，推流过程中不存在断流时，即视频文件不存在视频帧丢失时，视频的SEI帧数据和PPT数据的时间戳对应关系如图3所示；而推流过程中存在断流时，即视频文件存在视频帧丢失时，视频的SEI帧数据和PPT数据的时间戳对应关系如图4所示；从图3及图4可以看出，视频在第10秒及之后的视频段往前挪了4秒，PPT从第三页开始，出现的时间点页已经不在视频播放的正确位置上了，即PPT第三页原本应该是在时间戳为12s 的SEI帧处出现，而现在确在时间点为16s的SEI帧处出现，因此此时需要通过调整PPT第三页及之后的数据，将PPT第三页及之后的数据往前移动(△T-△t)；本实施例中，△T=6s，而△t=2s，因此需要将PPT第三页及之后的数据往前移动4s；如图5所示，调整完毕后，调整后的PPT数据在原先的播放位置显示，从而保证了视频回放时PPT和视频的同步。

本发明另一个实施例还提供了一种基于视频流的SEI帧回放数据同步装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的基于视频流的SEI帧回放数据同步方法。

本发明另一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现所述的基于视频流的SEI帧回放数据同步方法。

综上所述，本发明通过利用在直播过程中将当前的时间戳加入到视频的SEI帧中，同时辅助文档数据（如PPT数据）也会记录辅助文档的每一页在视频播放时间线里出现的相对时间；在进行直播回放时，通过解析视频文件中的所有SEI帧数据确定每一SEI帧所对应的当时时间戳以及辅助文档的每一页在视频播放时间线上出现的相对时间，然后再根据两相邻SEI帧所对应当时时间戳的间隔时间确定是否丢失视频帧数据，若丢失则将辅助文档数据时间戳在这两相邻SEI帧时间戳内的辅助文档数据删除并将后面的辅助文档数据向前移动，从而能够准确地对辅助文档数据进行矫正，极大保证了回放中辅助文档和视频的同步性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。