具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种图像试题的答案生成方法、装置的系统框图。

如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网络教育类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

终端设备101、102、103可例如对图像试题进行多重识别以获取文本内容和试题结构；终端设备101、102、103可例如基于所述文本内容确定所述图像试题的试题意图；终端设备101、102、103可例如基于所述试题结构确定所述图像试题的关键实体；终端设备101、102、103可例如基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案。

终端设备101、102、103可例如基于所述关键实体生成所述图像试题的解析内容。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网络教育类网站提供支持的后台服务器。后台服务器可以对接收到试题图像或者试题类数据进行分析等处理，并将处理结果(例如试题对应的答案或者解析内容)反馈给终端设备。

服务器105可例如由终端设备101、102、103处获取图像试题，并对图像试题进行多重识别以获取文本内容和试题结构；服务器105可例如基于所述文本内容确定所述图像试题的试题意图；服务器105可例如基于所述试题结构确定所述图像试题的关键实体；服务器105可例如基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案；服务器105可例如将答案推送到终端设备101、102、103处。

服务器105还可例如基于所述关键实体生成所述图像试题的解析内容。

服务器105还可例如生成用于对文本内容进行识别的分类模型；服务器105还可例如生成用对对试题结构进行识别的关键实体提取模型；服务器105还可例如生成各种预设规则等，本申请不以此为限。

服务器105可以是一个实体的服务器，还可例如为多个服务器组成，服务器105的一部分可用于生成本公开中提及的各种机器学习模型和规则，服务器105的一另部分可用于根据上述机器学习模型对用户输入的图像试题进行分析并解答。更进一步的，本公开中训练过的各种机器学习模型都可经过精简或压缩从而设置在终端设备101、102、103中，以便终端设备101、102、103对试题图像进行实时分析计算，生成答案。需要说明的是，本公开实施例所提供的图像试题的答案生成方法可以由服务器105和/或终端设备101、102、103执行，相应地，图像试题的答案生成装置可以设置于服务器105和/或终端设备101、102、103中。本公开实施例所提供的图像试题的答案生成方法中的部分步骤可以由服务器105或终端设备101、102、103单独执行，部分步骤可以由服务器105或终端设备101、102、103共同执行。但对试题进行拍摄生成图像试题的拍摄端一般位于终端设备101、102、103中。

图2是根据一示例性实施例示出的一种图像试题的答案生成方法的流程图。图像试题的答案生成方法20至少包括步骤S202至S208。

如图2所示，在S202中，对图像试题进行多重识别以获取文本内容和试题结构。包括：通过光学字符识别方法、预设空间结构和LaTeX语法生成多重识别方法；通过多重识别方法对所述图像试题进行多重识别以获取所述文本内容和所述试题结构。

用户可通过自身的终端设备拍摄试题的图像生成基于图像类的试题，图像试题可如图3所示，用户可通过移动端应用或者网页端接口将图像试题上传到本地处理器或者远端服务器中后续处理，其中，后续处理可包括多重识别，还可包括对图像试题进行的各种图像调整类的处理，可例如图像压缩、图像增强等等。

无论是计算题还是常识题，传统拍照搜题只需要按行或者按列提取图中文字即可，然而，在本公开中对试题进行自动解答需要在提取到图中文字之外还得需要完整的结构信息，如图3所示，在进行自动解答的时候需要知道包括分号的情况下，哪些属于分母哪些属于分子，在有根号的情况下需要知道哪些是根号下的式子，常识题也是如此，如果没有完整的题目结构就很难正确的对图像试题进行解答。

在本公开中，通过光学字符识别方法、根据常见的试题的结构设置的预设空间结构和LaTeX语法生成多重识别方法，根据多重识别方法可对图像试题进行试题文字和试题结构的识别，根据识别结果生成文本内容和所述试题结构文本内容和所述试题结构。在本公开中的多重识别方法相对传统的检测技术更加关注结构类的细节，能够生成更加丰富的信息，有利于更加精确地生成答案。

其中，对于1/3这个公式，通过多重识别方法得到的文本内容为“1/3”，试题结构为“\frac{1}{3}”。

在S204中，基于所述文本内容确定所述图像试题的试题意图。在传统的拍照搜题中只需要知道大致的题目类型即可，如填空选择应用等题型，然后仅根据图片内容进行搜索匹配。然而，在本公开中的图像试题答案生成方法中，需要识别图像试题中试题的具体意图，也就是该试题对应的具体的类别，例如拼音题、古诗文题、解方程、比大小等，在获取试题的准确的意图后，将图像试题相关的数据输入到相应的机器学习模型中去进一步计算，以便得到更加准确的答案数据。

可例如，在所述文本内容匹配到第一预设规则时，基于匹配到的第一预设规则确定所述图像试题的试题意图；可将常见的图像试题对应的具体类别进行整理汇总，生成第一预设规则，第一预设规则中包括了多个文本内容和其对应的意图，可首先将文本内容和第一预设规则匹配，在文本内容和第一预设规则中的某个规则匹配成功时，可直接根据匹配成功的规则确定试题意图。

还可例如，在所述文本内容未匹配到第一预设规则时，将所述文本内容输入到分类模型中以确定所述图像试题的试题意图。其中，分类模型由逻辑回归模型生成。“生成分类模型”的具体内容将在图5对应的实施例中进行详细描述。分类模型可根据题目中的文本信息和结构信息识别具体题目意图，如解方程、比大小等。

在S206中，基于所述试题结构确定所述图像试题的关键实体。关键实体可由文本内容中一个或多个关键词构成，例如比大小题目1+1○3，需要提取1+1和3这两个关键词构成关键实体；还可例如常识题目，例如《琵琶行》的作者是谁，需要通过提取关键词“琵琶行”以及对应的关键词“作者”，由这两个关键词构成关键实体才能解答。

可例如，在所述试题结构匹配到第二预设规则时，基于匹配到的第二预设规则确定所述图像试题的关键实体；可将常见的试题结构对应的关键实体进行整理汇总，生成第二预设规则，第二预设规则中包括了多个试题结构和其对应的关键实体位置，可首先将试题结构和第二预设规则匹配，在试题结构和第二预设规则中的某个规则匹配成功时，可直接根据匹配成功的规则确定关键实体。可例如上文中的试题结构为“\frac{1}{3}”，可由试题结构直接匹配到该题目为除法计算类的试题，则可直接提取关键实体为“1”和“3”。

还可例如，在所述试题结构未匹配到第二预设规则时，将所述试题结构输入到关键实体提取模型中以确定所述图像试题的关键实体。“生成关键实体提取模型”的具体内容将在图6对应的实施例中进行详细描述。关键实体提取模型可根据题目中的试题结构识别关键实体。关键实体提取模型由双向LSTM和CRF模型生成。

一些常识题目和拼音类题目，并不是所有的词和句子都是解答所需的，可通过本公开中的方法提取到用户的问题所在关键实体，通过关键实体进行题目解答，可以提高解题速度。

在S208中，基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案。不同的题型有着不同的解答方式，可例如，在所述试题意图满足第三预设规则时，基于所述试题意图确定目标应用；将所述关键实体、所述试题结构输入目标应用中以生成所述图像试题的答案。可例如，在试题意图为加减法计算、乘除法计算或其他数学公式计算时，可之间调用计算类的应用，将上文识别出的关键实体、试题结构输入计算类应用中生成答案。

还可例如，在所述试题意图不满足第三预设规则时，基于所述试题意图确定目标模型，所述目标模型基于自然语言技术生成；将所述关键实体、所述试题结构输入所述目标模型中以生成所述图像试题的答案。可例如，在试题意图为比大小、拼音、古诗题时，可根据不同的试题意图确定不同类别的目标模型，进而将关键实体、所述试题结构输入基于自然语言技术生成的目标模型中，以生成答案。

在一个实施例中，生成试题答案之后，还包括：基于所述关键实体生成所述图像试题的解析内容。有些题目仅有简单的解答过程很难让用户学到真正的知识，为了能够让用户有更好的理解，如图4所示，还可根据相应图像试题对应的知识点等信息生成题目的解析，辅助用户更好的理解题目。在生成图像试题的答案之后，接续生成该图像试题相关的分析内容，一并展示在用户端。

更具体的，基于所述关键实体生成所述图像试题的解析内容，包括：在所述关键实体匹配到第四预设规则时，基于匹配到的第四预设规则确定所述图像试题的解析内容；在所述关键实体未匹配到第四预设规则时，将所述关键实体输入解析模型以生成所述图像试题的解析内容，其中，所述解析模型基于自然语言技术生成。

根据本公开的图像试题的答案生成方法，对图像试题进行多重识别以获取文本内容和试题结构；基于所述文本内容确定所述图像试题的试题意图；基于所述试题结构确定所述图像试题的关键实体；基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案的方式，能够不依赖于已有的预存数据，可以实时实地的满足用户多种试题解答需求，提供内容充分详实、高准确率的答案。

本公开的图像试题的答案生成方法，可以节约大量人力成本，适应与可变性较强的题型。可以更加全面满足用户需求，本公开中的方法不依赖于现有数据，通过充分的分析试题意图，对不同的意图进行专门的解答，可以实时实地的满足用户具体的解答需求，而且答案充分，准确率高。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图5是根据另一示例性实施例示出的一种图像试题的答案生成方法的流程图。图5所示的流程50是对“生成分类模型”的详细描述。

如图5所示，在S502中，获取多个试题图像对应的多个文本内容。获取多个不同种类的试题的多个文本内容，可通过OCR图像识别技术对多个试题图像进行识别，生成多个文本内容。

在S504中，通过独热编码和/或词频逆文本频率指数将所述多个文本内容转化为多个特征向量。其中，独热编码即One-Hot编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。其中，TF-IDF词频-逆文本频率是一种用于信息检索与数据挖掘的常用加权技术，可以评估一个词在一个文件集或者一个语料库中对某个文件的重要程度。一个词语在一篇文章中出现的次数越多，同时在所有文章中出现的次数越少，越能代表该文章的中心意思。

通过独热编码和/或词频逆文本频率指数可将文本内容转化为向量的形式，以便后续进行模型训练使用。

在S506中，基于所述多个特征向量对逻辑回归模型进行训练以生成所述分类模型。为多个特征向量分别设置其对应的类别标签，然后将多个特征向量和其对应的标识输入到逻辑回归模型(Logistic Regression,LR))中进行模型训练，在训练完成后生成分类模型。

图6是根据另一示例性实施例示出的一种图像试题的答案生成方法的流程图。图6所示的流程60是对“生成关键实体提取模型”的详细描述。

如图6所示，在S602中，获取多个试题图像对应的多个文本内容。获取多个不同种类的试题的多个文本内容，可通过OCR图像识别技术对多个试题图像进行识别，生成多个文本内容。

在S604中，基于所述多个文本内容生成多个词向量集合，其中，每个词向量集合对应于一个文本内容。可通过词向量生成方法，如word2vec，对多个文本内容进行处理，以生成对应于多个文本内容的词向量集合。

在S606中，通过所述多个词向量集合对双向LSTM和CRF模型进行训练以生成所述关键实体提取模型。在词向量集合中，分别标识出关键实体，每个词向量中，关键实体可为一个或多个，本公开不以此为限。将标注好的多个词向量输入到双向LSTM和CRF模型中进行训练，以生成关键实体提取模型。双向LSTM和CRF模型通过双向LSTM能够有效地捕捉到输入的文本内容的过去和未来特征。进而通过CRF层利用到句子级标签信息，最终给出每个词向量的标注结果。通过关键实体提取模型可为文本内容中的字符或者词语生成不同的标注，进而确定该字符或者词语是否为该文本内容的关键实体。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图7是根据一示例性实施例示出的一种图像试题的答案生成装置的框图。如图7所示，图像试题的答案生成装置70包括：识别模块702，意图模块704，实体模块706，答案模块708。

识别模块702用于对图像试题进行多重识别以获取文本内容和试题结构；识别模块702还用于通过光学字符识别方法、预设空间结构和LaTeX语法生成多重识别方法；通过多重识别方法对所述图像试题进行多重识别以获取所述文本内容和所述试题结构。

意图模块704用于基于所述文本内容确定所述图像试题的试题意图；意图模块704还用于在所述文本内容匹配到第一预设规则时，基于匹配到的第一预设规则确定所述图像试题的试题意图；意图模块704还用于在所述文本内容未匹配到第一预设规则时，将所述文本内容输入到分类模型中以确定所述图像试题的试题意图。

实体模块706用于基于所述试题结构确定所述图像试题的关键实体；实体模块706还用于在所述试题结构匹配到第二预设规则时，基于匹配到的第二预设规则确定所述图像试题的关键实体；实体模块706还用于在所述试题结构未匹配到第二预设规则时，将所述试题结构输入到关键实体提取模型中以确定所述图像试题的关键实体。

答案模块708用于基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案。答案模块708还用于在所述试题意图满足第三预设规则时，基于所述试题意图确定目标应用；将所述关键实体、所述试题结构输入目标应用中以生成所述图像试题的答案。答案模块708还用于在所述试题意图不满足第三预设规则时，基于所述试题意图确定目标模型，所述目标模型基于自然语言技术生成；将所述关键实体、所述试题结构输入所述目标模型中以生成所述图像试题的答案。

根据本公开的图像试题的答案生成装置，对图像试题进行多重识别以获取文本内容和试题结构；基于所述文本内容确定所述图像试题的试题意图；基于所述试题结构确定所述图像试题的关键实体；基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案的方式，能够不依赖于已有的预存数据，可以实时实地的满足用户多种试题解答需求，提供内容充分详实、高准确率的答案。

图8是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行基于旋转角监测的车辆智能助力推行方法。

如图8所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。

可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图8显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图9所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：对图像试题进行多重识别以获取文本内容和试题结构；基于所述文本内容确定所述图像试题的试题意图；基于所述试题结构确定所述图像试题的关键实体；基于所述试题意图、所述关键实体、所述试题结构生成所述图像试题的答案。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。