具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示是本发明一实施例提供的电子绘本的播放方法的流程示意图。

如图1所示，本发明提供的电子绘本的播放方法。播放方法包括：

在步骤101中；获取音视频中关键帧图片特征库与音频文本内容特征库；关键帧图片特征库包括键帧图片索引文件，音频文本内容特征库包括音频文本内容索引文件；

在步骤102中；将关键帧图片索引文件与音频文本内容索引文件进行匹配；

在步骤103中；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；

在步骤104中；依据新索引的关键帧图片和音频文本内容匹配一致性映射关系同步播放关键帧图片与音频文本内容。

如图2所示，基于同一发明构思，本发明还提供一种电子绘本的生成方法，生成方法包括如下步骤S1-S3:

S1、获取步骤，用于获取音视频中关键帧图片特征库与音频文本内容特征库，通过对关键帧图片特征库进行视频模型算法处理生成关键帧图片索引文件，通过对音频内容特征库进行音频模型算法处理生成音频文本内容索引文件；

S2、匹配步骤，用于将关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；

S3、生成步骤，用于根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式。

如图3所示，S2包括下子步骤S21-S23：

S21、通过视频模型算法对关键帧图片索引文件进行处理得到与关键帧图片对应的n组关键帧图片序号，通过音频模型算法对音频文本内容索引文件进行处理得到与音频文本内容对应的n组音频文本内容序号；

S22、将每一组关键帧图片序号与每一组音频文本内容序号进行匹配；

S23、生成对应新索引的关键帧图片序号与音频文本内容序号匹配一致性映射关系。

具体地，在本发明一实施例中，S2还包括以下子步骤S24-S26：

S24、根据视频模型算法对关键帧图片进行处理生成与关键帧图片序号对应的关键帧图片索引表，根据音频模型算法对音频文本内容进行处理生成与音频文本内容序号对应的音频文本内容索引表；

S25、将关键帧图片索引表与音频文本内容索引表进行匹配；

S26、生成对应新索引的关键帧图片索引表与音频文本内容索引表匹配一致性映射关系。

在本发明提供的电子绘本的生成方法中，关键帧图片索引表包括图片序号、关键帧图片对应的时间信息与图片标签，音频文本内容索引表包括音频序号、音频文本内容对应的时间信息与内容标签。

如图4所示，基于同一发明构思，本发明还提供一种电子绘本的生成系统包括本地数据处理系统、云端数据处理系统与用户端，用户端分别与本地数据处理系统、云端数据处理系统通信连接；本地数据处理系统与云端数据处理系统用于对获取音视频中的关键帧图片特征库与音频文本内容特征库进行采集分析以获得关键帧图片索引文件与音频文本内容索引文件，并对存储于本地数据处理系统与云端数据处理系统中的关键帧图片索引文件与音频文本内容索引文件进行匹配；生成对应新索引的关键帧图片和音频文本内容匹配一致性映射关系；根据新索引的关键帧图片和音频文本内容匹配一致性映射关系生成绘本模式；用户端用于开启本地数据处理系统与云端数据处理系统中的的关键帧图片特征库与音频文本内容特征库的内容后，进行绘本模式结果的获取、存储与播放。

具体地，本地数据处理系统包括本地音视频特征库模块、本地存储模块、本地运算模块与本地数据同步模块，本地音视频特征库模块用于提供视频模型算法与音频模型算法的参数信息，将视频模型算法的参数信息与音频模型算法的参数信息发送至本地运算模块，本地运算模块通过视频模型算法的参数信息与音频模型算法的参数信息对音视频进行处理，生成关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，并将生成的关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表分别发送至存储模块，本地存储模块用于存储关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，本地数据同步模块用于更新本地音视频特征库模块中视频模型算法与音频模型算法的参数信息，同时同步上传存储于存储模块中关键帧图片索引表与音频文本内容索引表的信息以及运算模块的请求。本地运算模块通过获取视频模型算法的参数信息与音频模型算法的参数信息将关键帧图片、音频文本内容，分析建立关键帧图片索引表与音频文本内容索引表的索引关系，实现关键帧图片、音频文本内容的分离和映射关系。

具体地，云端数据处理系统包括云端音视频特征库模块、云端存储模块、云端运算模块与云端数据同步模块，云端音视频特征库模块获取关键帧图片特征库与音频文本内容特征库，以便于本地音视频特征库模块中视频模型算法与音频模型算法的参数信息同步更新，云端存储模块用于存储关键帧图片、音频文本内容、关键帧图片索引表与音频文本内容索引表，云端同步模块用于将存储云端存储模块的关键帧图片特征库与音频文本内容特征库或存储本存储模块的关键帧图片特征库与音频文本内容特征库同步上传于云端数据处理系统中，并转发到云端存储模块中备份保存。

进一步地，视频模型算法的参数信息包括关键帧图片提取的运算方法、关键帧获取速度、关键帧图片清晰度大小等模型参数，关键帧图片提取的运算方法、关键帧获取速度、关键帧图片清晰度大小等模型参数存储于本地存储模块与云端存储模块，音频模型算法的参数信息包括音频文本的运算方法与音频内容获取速度等模型参数。

进一步地，用户端包括接口模块，用户端通过接口模块获取存储模块中的关键帧图片特征库与音频文本内容特征库的内容。用户端安装有应用程序，通过户端安装有应用程序开启本地数据处理系统、云端数据处理系统，进行关键帧图片、音频文本内容的索引结果的获取、存储、播放等相关数据内容。接口模块接受用户端的应用程序的请求并调用初始化的各关键帧图片特征库与音频文本内容特征库的可访问功能参数的同时将音视频内容发送给接口模块处理。应用程序再通过接口模块获取访问存储模块的生成的关键帧图片与音频文本内容，并执行相应播放等动作指令。同时，用户端也可以通过程序应用通过接口模块对关键帧图片、音频文本内容的索引关系表的结果进行修订，可以解决因部分识别场景偏差可以通过人工识别校准，用户端也可以直接自己建立关键帧图片、音频文本内容的索引关系表的时间匹配索引关系，系统就人工建立的索引关系进行存储播放。

该电子绘本的生成方法、系统和电子绘本的播放方法的一实例如下：

接口模块用于接收用户通过用户端发出的操作请求，同时将音视频内容的相关信息及模式生成的初始化模型参数发送给存储模块、本地运算模块与云端运算处理。其中，音视频内容的相关信息包括音视频的名称、存储位置等，初始化模型参数信息包括生成关键帧图片特征库的清晰图(1080P)、播放速率(1倍)、播放模式(自动翻页)。因此，用户设置本次生成绘本为本地视频A，时长为3分钟，并选择参数为清晰度1080P、播放速度1倍、自动翻页模式。

本地存储模块、本地运算模块与云端运算接收到接口模块发送的请求参数，调用本地音视频特征库模块中的视频模型算法与音频模型算法的参数信息，通过视频模型算法与音频模型算法生成关键帧图片、音频文本内容的索引关系表。

如图5所示，生成的关键帧图片索引表结果分别如下：

关键帧图片序号1、索引A1、开始时间0.3min、图片标签的内容为猫、老鼠、厨房；关键帧图片序号2、索引A2、开始时间1min、图片标签的内容为猫、老鼠、草地；关键帧图片序号3、索引A3、开始时间3.5min、图片标签的内容为猫、老鼠、大树；依次类推，本次视频索引生成20个索引结果，索引从A1到A20。

生成的音频文本内容索引表结果分别分别如下：

音频序号1、索引B1、开始时间0.5min、内容标签为猫、老鼠、厨房；音频序号2、索引B2、开始时间1.5min、视频内容为猫、老鼠、室外；音频序号3、索引B3、开始时间4min、内容标签为猫、老鼠、爬山；依次类推，本次视频索引生成20个索引结果，索引从B1到B20。

生成的关键帧图片与音频文本内容的映射关系结果分别为关键帧图片序号1、索引A1、索引B1；键帧图片序号2、索引A2、索引B2；键帧图片序号3、索引A3、索引B3；依次类推，本次视频、音频映射索引生成20个索引映射关系。

因此，用户通过使用的用户端，根据生成关键帧图片和音频文本内容一致性的索引关系，进行翻页、暂停、关闭等播放控制操作，完成电子绘本模式的播放体验。因为关键帧图片特征库与音频文本内容特征库生成索引的结果存在一定偏差准确性问题，所以系统支持通过人工调整索引关系进行处理。因此，该电子绘本的生成方法、系统和电子绘本的播放方法的另一实例如下：

通过本地存储模块、本地运算模块与云端运算模块接收到用户端接口模块发送的请求参数，调用本地音视频特征库模块中的视频模型算法与音频模型算法的参数信息，通过视频模型算法与音频模型算法生成关键帧图片、音频文本内容的索引关系表。

如图5所示，生成的关键帧图片索引表结果分别如下：

关键帧图片序号1、索引A1、开始时间0.3min、视频内容为猫、老鼠、厨房；关键帧图片序号2、索引A2、开始时间1min、视频内容为猫、老鼠、草地；关键帧图片序号3、索引A3、开始时间3.5min、视频内容为猫、老鼠、大树；依次类推，本次音视频索引生成20个索引结果，索引从A1到A20。

生成的音频文本内容索引表结果分别分别如下：

音频序号1、索引B1、开始时间0.5min、视频内容为猫、老鼠、厨房；音频序号2、索引B2、开始时间1.5min、视频内容为猫、老鼠、室外；音频序号3、索引B3、开始时间4min、视频内容为猫、老鼠、爬山；依次类推，本次视频索引生成20个索引结果，索引从B1到B20。

生成的关键帧图片与音频文本内容的映射关系结果，分别为序号1、索引A1、索引B1；序号2、索引A2、索引B2；序号2、索引A3、索引B3；依次类推，本次视频、音频映射索引生成20个索引映射关系。

用户使用的用户端的应用程序作为本地控制管理模块，播放发现部分视频页面同音频内容存在不一致性。因此，用户可以通过用户端的应用程序对索引关系在播放器界面进行调整，修正为正确的索引时间关系。例如，系统生成上述的索引关系B2的时间进度不正确，可以调整为“序号2、索引B2、开始时间为1.8min”。系统后续按照新的索引B2设定的数值进行匹配处理。

需要指出的是，上文对各种模块的描述中，分割成这些模块，是为了说明清楚。然而，在实际实施中，各种模块的界限可以是模糊的。例如，本文中的任意或所有功能性模块可以共享各种硬件和/或软件元件。又例如，本文中的任何和/或所有功能模块可以由共有的处理器执行软件指令来全部或部分实施。另外，由一个或多个处理器执行的各种软件子模块可以在各种软件模块间共享。相应地，除非明确要求，本发明的范围不受各种硬件和/或软件元件间强制性界限的限制。

本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。