查询方法、装置、终端设备及存储介质

文档序号:193325 发布日期:2021-11-02 浏览:39次 >En<

阅读说明:本技术 查询方法、装置、终端设备及存储介质 (Query method, query device, terminal equipment and storage medium ) 是由 袁项南 陈轶博 李鑫 祖华龙 刘志伟 于 2020-04-30 设计创作,主要内容包括:本申请公开了一种查询方法、装置、终端设备及存储介质,涉及智能搜索领域。具体实现方案为:获取语音查询指令;根据所述语音查询指令获取预设区域的图像;根据所述预设区域的图像确定待查询内容;根据所述待查询内容确定查询结果,并展示所述查询结果。本申请实施例提供的方案,无需对书本进行拍照、框选等操作,直接通过用户发出语音查询指令即可启动查询操作,并最终得到查询结果进行展示,操作简便。(The application discloses a query method, a query device, terminal equipment and a storage medium, and relates to the field of intelligent search. The specific implementation scheme is as follows: acquiring a voice query instruction; acquiring an image of a preset area according to the voice query instruction; determining the content to be inquired according to the image of the preset area; and determining a query result according to the content to be queried, and displaying the query result. According to the scheme provided by the embodiment of the application, the operation of photographing, selecting frames and the like on the book is not needed, the query operation can be started by directly sending the voice query instruction by the user, the query result is finally obtained and displayed, and the operation is simple and convenient.)

查询方法、装置、终端设备及存储介质

技术领域

本申请实施例涉及数据处理领域中的智能搜索领域,尤其涉及一种查询方法、装置、终端设备及存储介质。

背景技术

随着各种教育产品的相继开发,查询字词的需求急剧扩大。

目前,查询字词主要是通过手机、平板等终端设备上的查词APP进行操作。当需要查询书本上的某个字词时,用户需要打开终端设备上的查词APP,对书本进行拍照,并在拍摄的照片上框选需要查询的字词实现查询。

目前的查字词的方式,操作过于繁琐。

发明内容

提供了一种查询方法、装置、终端设备及存储介质。

根据第一方面,提供了一种查询方法,包括:

获取语音查询指令;

根据所述语音查询指令获取预设区域的图像;

根据所述预设区域的图像确定待查询内容;

根据所述待查询内容确定查询结果,并展示所述查询结果。

根据第二方面,提供了一种查询装置,包括:

第一获取模块,用于获取语音查询指令;

第二获取模块,用于根据所述语音查询指令获取预设区域的图像;

处理模块,用于根据所述预设区域的图像确定待查询内容;

查询模块,用于根据所述待查询内容确定查询结果,并展示所述查询结果。

根据第三方面,提供了一种终端设备,包括反射镜、摄像头、显示器、麦克风阵列和扬声器,其中:

所述反射镜用于向所述摄像头反射预设区域的光线;

所述终端设备用于:

控制所述麦克风阵列获取语音查询指令;

根据所述语音查询指令控制所述摄像头获取预设区域的图像;

根据所述预设区域的图像确定待查询内容;

根据所述待查询内容确定查询结果,并控制所述显示器,和/或,所述扬声器,展示所述查询结果。

根据第四方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

本申请实施例提供的查询方法、装置、终端设备及存储介质,首先获取语音查询指令,然后根据语音查询指令获取预设区域的图像,并根据预设区域的图像确定待查询内容,最后根据待查询内容确定查询结果,并进行展示。本申请实施例提供的方案,无需对书本进行拍照、框选等操作,直接通过用户发出语音查询指令即可启动查询操作,并最终得到查询结果进行展示,操作简便。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1为本申请实施例提供的一种应用场景示意图一;

图2为本申请实施例提供的一种应用场景示意图二;

图3为本申请实施例提供的查询方法的流程示意图;

图4为本申请实施例提供的用户手势示意图;

图5为本申请实施例提供的确定待查询内容的流程示意图;

图6为本申请实施例提供的确定待查询内容的示意图一;

图7为本申请实施例提供的确定待查询内容的示意图二;

图8为本申请实施例提供的确定待查询内容的示意图三;

图9为本申请实施例提供的获取查询结果的流程示意图;

图10为本申请实施例提供的一种查询内容展示示意图;

图11为本申请实施例提供的查询装置的结构示意图;

图12为本申请实施例提供的终端设备的结构示意图;

图13是用来实现本申请实施例的查询方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

首先结合图1对本申请适用的一种应用场景进行介绍。

图1为本申请实施例提供的一种应用场景示意图一,如图1所示,示例的是目前的查询字词的方式。在图1中,包括书桌11,书桌11上放置了书本12,书本12中包括需要查询的内容。目前进行字词查询的方式是,用户打开手机13中的查词APP,对书本12进行拍照。

在图1中,区域14为手机13的拍摄范围,书本12位于区域14内。在对书本12进行拍摄,得到图像后,用户在手机13上框选需要查询的字词或者段落,进行查询。

图1示例的查询字词的方式,需要执行的步骤包括打开手机、打开查词APP、拍摄图像、框选内容,最后才能得到查询结果。查询的步骤十分繁琐。并且,框选内容的操作也十分不便,若用户既想查询某个字词,又想查询某个段落,图1示例的方式需要根据如上步骤操作几次才能实现查询,流程繁多。

为解决该问题,本申请实施例提供一种操作简便的查询方式。下面结合图2进行介绍。

图2为本申请实施例提供的一种应用场景示意图二,如图2所示,包括书桌21,书桌21上放置有智能音箱22,智能音箱22上包括反射镜23、摄像头24、显示器25、麦克风阵列26和扬声器27。

反射镜23经过角度调整,能够将预设区域的光线反射到摄像头24。摄像头24安装在显示器25上,显示器25上可以显示查询的结果。为了用户具备更舒适的视觉体验,显示器25并非处于竖直状态,而是稍微向上具有一定的仰角。在此种情形下,安装于显示器25上的摄像头24拍摄的是朝上的画面,而拍摄不到书桌21上的区域。因此,才设置反射镜23,便于此时摄像头24能够拍摄到书桌21上的区域。若摄像头24设置在可以直接拍摄到书桌21的位置,则智能音箱上可以不设置反射镜23。

麦克风阵列26用于获取用户的语音查询指令,用户直接发出声音即可启动查询。然后,智能音箱22控制摄像头24拍摄预设区域的图像,并根据语音查询指令和预设区域的图像进行处理,得到查询结果。

本申请实施例中的执行主体为智能音箱,智能音箱可以在联网后通过云服务器进行语音查询指令的处理,也可以借助本地服务器进行处理。

通过比对“用户的手指的位置”与“每个字词的范围和位置”,找到用户想搜的具体某个字或词;然后通过光学字符识别(Optical Character Recognition,OCR),识别出该字或词的文本;然后查询服务器端的字词典,找到对应读音、写法、释义等结果。

例如,通过智能音箱上的麦克风阵列,对用户说的话进行准确的识音;通过唤醒词识别技术,判断用户是否是对智能音箱在说话;通过语音识别技术,对用户说的话进行准确的文本识别和还原;通过自然语言理解技术,对识别后的文本进行准确语义的理解,等等。

查询结果可以在显示器25上进行显示,也可以通过扬声器27进行语音播报。

图2的示例中,用户仅仅通过将书本放置在预设区域,然后通过发出语音即可启动查询,操作流程十分简便。

可以理解的是,图2仅仅为一种适用的应用场景,并不构成对具体的应用场景的限定。在下面的实施例中,将详细的对本申请的方案进行说明。

图3为本申请实施例提供的查询方法的流程示意图,如图3所示,该方法可以包括:

S31,获取语音查询指令。

本申请实施例提供的方案可应用于如图2中所示的音箱等终端设备。语音查询指令为用户主动发出的指令。当用户有查询需求时,直接通过发出语音即可启动查询。

S32,根据所述语音查询指令获取预设区域的图像。

在图2示例的智能音箱上,设置有麦克风阵列。当用户发出语音查询指令后,麦克风阵列能够获取用户发出的语音查询指令,然后由智能音箱来对语音查询指令进行相应的处理。

本申请实施例中,预设区域可以为放置书本、绘本等物品的区域。在接收到语音查询指令后,智能音箱设备可以获取预设区域的图像,预设区域放置的书本上的内容即可被智能音箱设备获取到。

S33,根据所述预设区域的图像确定待查询内容。

在获取了预设区域的图像后,根据预设区域的图像确定待查询内容。例如,当书本放置在预设区域后,通过摄像头能够获取预设区域放置的书本上的内容。用户可以通过手指指定书本上的某些位置,智能音箱可以通过对预设区域的图像进行手势识别,来确定用户的手指所指的位置,并将用户的手指所指的位置附近的内容作为待查询内容。若用户不指定任何位置,则可以将预设区域的图像上的全部或部分内容作为待查询内容,等等。

S34,根据所述待查询内容确定查询结果,并展示所述查询结果。

在确定了待查询内容后,即可根据待查询内容确定查询结果。

例如,针对字词,可以查询其发音、释义、相近词、造句、对应的英文翻译等等内容。用户可以通过指令来查询待查询内容的某些方面,也可以不指示查询待查询内容的哪些方面。若用户指定了查询待查询内容的某些方面,例如查询发音,则此时智能音箱可以着重展示用户想要查询的方面。若用户不指定查询待查询内容的哪些方面,则可以将待查询内容的各方面的相关内容均进行展示,作为查询结果供用户查阅。在确定查询结果后,从而可以将查询结果展示给用户。

展示的方式可以包括语音展示、画面展示等等。若采用语音展示,例如查询发音,则可以控制智能音箱设备上的扬声器读出发音。若采用画面展示,例如查询相近词、造句等,则可以控制智能音箱设备上的显示器显示这些查询内容即可。

本申请实施例提供的查询方法,首先获取语音查询指令,然后根据语音查询指令获取预设区域的图像,并根据预设区域的图像确定待查询内容,最后根据待查询内容确定查询结果,并进行展示。本申请实施例提供的方案,无需对书本进行拍照、框选等操作,直接通过用户发出语音查询指令即可启动查询操作,并最终得到查询结果进行展示,操作简便。

下面结合具体的实施例对本申请的方案进行详细说明。

本申请实施例中的方案适用于如图2中所示的智能音箱等终端设备,下面将以图2中的智能音箱设备为例进行说明。

在图2中,进行查询之前,用户首先要将书本或其他的需要查询的物品放置在智能音箱面前的桌面上,并且在智能音箱顶部放置好反射镜。

书本上有用户想要查询的内容,用户可将需要查询的一页翻开,书本位于预设区域内,此时的预设区域即为反射镜能够将光线反射到摄像头的区域。位于预设区域的物品,其光线被反射镜反射到摄像头后,若摄像头启动,则摄像头通过拍摄反射镜,间接拍摄到了预设区域的图像。

当用户将书本放置在预设区域后,可随时发起语音查询指令进行查询。

用户发起语音查询指令后,在智能音箱启动查询之前,智能音箱通过麦克风阵列获取该语音查询指令,并且需要判断用户是否在对智能音箱讲话。

判断的方式是,判断语音查询指令中是否包括预设启动指令,若包括,则确定用户是在对智能音箱讲话,可以正常的启动后续的查询流程。若不包括预设启动指令,则确定用户不是在对智能音箱讲话,智能音箱可以不对用户的语音进行任何响应。

该预设启动指令例如可以是一些预设的话,或者字词。当麦克风阵列获取到语音查询指令后,智能音箱判断语音查询指令中是否包括这些预设的话,或者字词。预设启动指令可以根据实际的智能音箱产品进行设置,例如可以为“小度小度”、“音箱音箱”等一些固定的词语。

以“小度小度”作为预设启动指令为例,当用户需要查询时,语音查询指令需要先发出“小度小度”,智能音箱才能识别出用户在对它说话,从而根据语音查询指令进行查询。例如,语音查询指令可以为“小度小度,这个词怎么念”,“小度小度,这个字是什么意思”等等,在这些语音查询指令中,“小度小度”即为预设启动指令。通过设置预设启动指令,用户能够在需要的时候启动智能音箱,不需要的时候可以选择不启动,避免说的每一句话智能音箱均进行响应,提高了灵活性和便捷性。

在智能音箱确认用户对其发出指令后,智能音箱会获取预设区域的图像。用户在发出语音指令时,可用手指指向要查询的内容,智能音箱通过摄像头获取预设区域的图像,预设区域的图像中包括用户的手指。

然后,智能音箱对预设区域的图像进行手势识别处理,获取用户的手指在预设区域的图像上的位置,从而根据该用户的手指在预设区域的图像上的位置,确定待查询内容。能够根据用户的需要确定待查询内容,更具有针对性。

图4为本申请实施例提供的用户手势示意图,如图4中所示,是一个书本上的某一页中的段落。

当用户需要查询哪一部分的文字时,直接用手指指向该部分文字即可。例如在图4中,用户想要查询“天空”,则用手指指向书本段落中的“天空”即可。当摄像头获取到预设区域的图像后,能够对图像进行手势识别处理,获取用户的手指在预设区域的图像上的位置。可选的,需要获取手指指尖在预设区域的图像上的位置。针对手势识别来识别图像上的手指指尖的方式有多种,例如可根据手指的模型来识别,通过训练神经网络模型来识别,等等,此处不进行展开描述。

图5为本申请实施例提供的确定待查询内容的流程示意图,如图5所示,包括:

S51,获取语音查询指令中所述用户的第一查询需求。

本申请实施例中,第一查询需求包括字、词和段落中的至少一种。即,首先根据语音查询指令判断用户是想查询字、词还是段落。

S52,根据所述第一查询需求和所述用户的手指在所述预设区域的图像上的位置,确定所述待查询内容。

根据第一查询需求的不同,确定的待查询内容也会相应的不同。本申请实施例中,智能音箱能够获取预设区域的图像上的每个字的坐标,然后根据第一查询需求、用户的手指在预设区域的图像上的位置以及每个字的坐标,来确定待查询的内容,其中,用户的手指在预设区域的图像上的位置为手指的指尖在预设区域的图像上的坐标。能够实现不同的第一查询需求展示不同的查询结果,更具有针对性。

图6为本申请实施例提供的确定待查询内容的示意图一,如图6所示,采用虚线框示意了图6中的每个字在预设区域的图像上的位置。

图像中还包括用户的手指,在对预设区域的图像进行手势识别处理后,能够获取到用户的手指在预设区域的图像上的位置,即用户的指尖在预设区域的图像上的坐标。

若根据语音查询指令获取到用户的第一查询需求为字时,则可以根据用户的手指在预设区域的图像上的位置确定待查询的内容。

例如在图6中,获取到了每个字的坐标以及用户的指尖在预设区域的图像上的坐标后,可以根据每个字的坐标以及用户的指尖在预设区域的图像上的坐标,确定待查询字。

其中,待查询字与手指的指尖的距离小于或等于第一预设距离。

可选的,可以获取用户的指尖与图像中的每个字之间的距离,然后将与用户的指尖之间的距离最小的字作为待查询字。

例如在图6中,用户的指尖所在的位置位于“空”字所在的框内,用户的指尖与“空”字的距离最小,此时确定“空”字为待查询字。

图7为本申请实施例提供的确定待查询内容的示意图二,如图7所示,采用虚线框示意了图7中的每个字在预设区域的图像上的位置。

图像中还包括用户的手指,在对预设区域的图像进行手势识别处理后,能够获取到用户的手指在预设区域的图像上的位置,进一步的,可以获取用户的指尖在预设区域的图像上的坐标。

若根据语音查询指令获取到用户的第一查询需求为词时,可以以词为单位确定待查询内容。例如在图7中,词可以包括“树上”、“天空”、“那么”、“一群”、“大雁”等等。可以根据用户的手指在预设区域的图像上的位置确定待查询的内容。

例如在图7中,获取到了每个字的坐标以及用户的指尖在预设区域的图像上的坐标后,可以根据每个字的坐标以及用户的指尖在预设区域的图像上的坐标,确定待查询词。

其中,待查询词中的任意一个字与手指的指尖的距离小于或等于第二预设距离。第二预设距离可以大于第一预设距离、等于第一预设距离或者小于第一预设距离,本申请实施例对此不作限定。

可选的,可以获取用户的指尖与图像中的每个字之间的距离,然后将与用户的指尖之间的综合距离最小的词作为待查询词。

例如在图7中,用户的指尖所在的位置位于“空”字所在的框内,用户的指尖与“空”字的距离最小,其次与“天”字的距离最小,此时确定“天空”字为待查询词。

图8为本申请实施例提供的确定待查询内容的示意图三,如图8所示,采用虚线框示意了图8中的每个段落以及每个段落在预设区域的图像上的位置。

图像中还包括用户的手指,在对预设区域的图像进行手势识别处理后,能够获取到用户的手指在预设区域的图像上的位置,进一步的,可以获取用户的指尖在预设区域的图像上的坐标。

若根据语音查询指令获取到用户的第一查询需求为段落时,可以以段落为单位确定待查询内容。例如在图8中,包括3个段落。其中,段落的划分可以根据段落区识别,获取每个段落的边界和对应坐标,来识别不同的段落。可以根据用户的手指在预设区域的图像上的位置确定待查询的内容。

例如在图8中,获取到了不同的段落对应的区域以及用户的指尖在预设区域的图像上的坐标后,可以根据不同的段落对应的区域以及用户的指尖在预设区域的图像上的坐标,确定待查询段落。其中,用户手指的指尖在预设区域的图像上的坐标,处于待查询段落对应的区域内。

例如在图8中,用户的指尖所在的位置位于“空”字附近,处于第二个段落所在的区域(图8中的实线框对应的区域),此时确定第二个段落为待查询段落。

下面结合图9对获取查询结果的方案进行说明。

图9为本申请实施例提供的获取查询结果的流程示意图,如图9所示,包括:

S91,获取语音查询指令中所述用户的第二查询需求,所述第二查询需求包括发音、释义、笔画结构、相关字词、例句中的一个或多个。

第一查询需求指的是用户想要查询的是字、词还是段落,第二查询需求指的是用户想要查询待查询内容的哪个方面,例如包括发音、释义、笔画结构、相关字词、例句等等,其中笔画结构例如可以包括笔顺、字的结构、偏旁部首、笔画等等,相关字词例如可以包括近义词、反义词等等。

第一查询需求和第二查询需求均可以通过语音查询指令来获得。

下面结合表一对语音查询指令中的第一查询需求和第二查询需求进行说明。

在如下的表一中,“小度小度”为预设启动指令。通过预设启动指令,设备能够获知用户是在对其发起指令。表一中的部分语音查询指令中不包括第一查询需求和第二查询需求,例如“小度小度,这个是什么”,此时不清楚用户要查询的是字、词还是段落,不清楚要展示的是发音、释义还是例句等,因此可以将可能相关的内容均展示出来。部分语音查询指令中包括第一查询需求而不包括第二查询需求,例如“小度小度,这个词是什么”,表示用户想要查询的是词,但是没有表示想要查询这个词的哪些方面。此时可以将这个词的各个方面均进行展示,例如展示词的发音、示意、相近词、例句等等。部分语音查询指令中包括第一查询需求和第二查询需求,例如“小度小度,这个词是什么意思”标识用户想要查询的是这个词的释义,此时可着重展示词的释义,也可以辅助展示其他信息,包括词的发音、例句等。

表一

上述表一仅为语音查询指令的示意,并不构成具体的语音查询指令的限定。

S92,根据所述第二查询需求和所述待查询内容,确定所述查询结果,并展示所述查询结果。

如表一中示例的语音查询指令,根据第二查询需求和待查询内容即可确定待查询结果并进行展示。当可以根据第一查询需求,和/或,第二查询需求确定查询结果时,可仅展示对应的查询结果,也可以对其他相关的结果进行展示。若不能根据第一查询需求,和/或,第二查询需求确定查询结果时,可以粗略的展示所有相关的内容给用户。

图10为本申请实施例提供的一种查询内容展示示意图,如图10所示,通过语音查询指令得到的待查询内容是待查询字“爱”,从而示例了“爱”字的相关查询结果,包括发音、释义、例句等等。

本申请实施例提供的查询方法,首先获取语音查询指令,然后根据语音查询指令获取预设区域的图像,并根据预设区域的图像确定待查询内容,最后根据待查询内容确定查询结果,并进行展示。本申请实施例提供的方案,无需对书本进行拍照、框选等操作,直接通过用户发出语音查询指令即可启动查询操作,并最终得到查询结果进行展示,操作简便。同时,通过用户语音查询指令中的第一查询需求和第二查询需求来确定待查询内容和查询结果,更具有针对性,适用性更广。

图11为本申请实施例提供的查询装置的结构示意图,如图11所示,包括第一获取模块111、第二获取模块112、处理模块113和查询模块114,其中:

第一获取模块111用于获取语音查询指令;

第二获取模块112用于根据所述语音查询指令获取预设区域的图像;

处理模块113用于根据所述预设区域的图像确定待查询内容;

查询模块114用于根据所述待查询内容确定查询结果,并展示所述查询结果。

在一种可能的实施方式中,所述预设区域的图像中包括用户的手指;所述处理模块113具体用于:

对所述预设区域的图像进行手势识别处理,获取所述用户的手指在所述预设区域的图像上的位置;

根据所述用户的手指在所述预设区域的图像上的位置,确定所述待查询内容。

在一种可能的实施方式中,所述语音查询指令中包括所述用户的第一查询需求;所述处理模块113具体用于:

根据所述第一查询需求和所述用户的手指在所述预设区域的图像上的位置,确定所述待查询内容。

在一种可能的实施方式中,所述处理模块113具体用于:

确定所述预设区域的图像上的每个字的坐标;

根据所述第一查询需求、所述用户的手指在所述预设区域的图像上的位置和所述每个字的坐标,确定所述待查询内容。

在一种可能的实施方式中,所述第一查询需求包括字、词和段落中的至少一种;所述用户的手指在所述预设区域的图像上的位置为所述手指的指尖在所述预设区域的图像上的坐标;所述处理模块113具体用于:

在所述第一查询需求包括字时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询字;

在所述第一查询需求包括词时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询词;

在所述第一查询需求包括段落时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询段落。

在一种可能的实施方式中,所述手指的指尖与所述待查询字的距离小于或等于第一预设距离;

所述手指的指尖与所述待查询词中的任意字的距离小于或等于第二预设距离;

所述手指的指尖在所述预设区域的图像上的坐标,处于所述待查询段落对应的区域内。

在一种可能的实施方式中,所述语音查询指令中包括所述用户的第二查询需求;所述查询模块114具体用于:

根据所述第二查询需求和所述待查询内容,确定所述查询结果,并展示所述查询结果,所述第二查询需求包括发音、释义、笔画结构、相关字词、例句中的一个或多个。

在一种可能的实施方式中,在根据所述语音查询指令获取预设区域的图像之前,所述第二处理模块112还用于:

确定所述语音查询指令中包括预设启动指令。

本申请实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图12为本申请实施例提供的终端设备的结构示意图,如图12所示,包括反射镜121、摄像头122、显示器123、麦克风阵列124和扬声器125,其中:

所述反射镜121用于向所述摄像头122反射预设区域的光线;

所述终端设备用于:

控制所述麦克风阵列124获取语音查询指令;

根据所述语音查询指令控制所述摄像头获取预设区域的图像;

根据所述预设区域的图像确定待查询内容;

根据所述待查询内容确定查询结果,并控制所述显示器123,和/或,所述扬声器125,展示所述查询结果。

在一种可能的实施方式中,所述预设区域的图像中包括用户的手指;所述终端设备具体用于:

对所述预设区域的图像进行手势识别处理,获取所述用户的手指在所述预设区域的图像上的位置;

根据所述用户的手指在所述预设区域的图像上的位置,确定所述待查询内容。

在一种可能的实施方式中,所述语音查询指令中包括所述用户的第一查询需求;所述终端设备具体用于:

根据所述第一查询需求和所述用户的手指在所述预设区域的图像上的位置,确定所述待查询内容。

在一种可能的实施方式中,所述终端设备具体用于:

确定所述预设区域的图像上的每个字的坐标;

根据所述第一查询需求、所述用户的手指在所述预设区域的图像上的位置和所述每个字的坐标,确定所述待查询内容。

在一种可能的实施方式中,所述第一查询需求包括字、词和段落中的至少一种;所述用户的手指在所述预设区域的图像上的位置为所述手指的指尖在所述预设区域的图像上的坐标;

所述终端设备具体用于:

在所述第一查询需求包括字时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询字;

在所述第一查询需求包括词时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询词;

在所述第一查询需求包括段落时,根据所述手指的指尖在所述预设区域的图像上的坐标和所述每个字的坐标,确定待查询段落。

在一种可能的实施方式中,所述手指的指尖与所述待查询字的距离小于或等于第一预设距离;

所述手指的指尖与所述待查询词中的任意字的距离小于或等于第二预设距离;

所述手指的指尖在所述预设区域的图像上的坐标,处于所述待查询段落对应的区域内。

在一种可能的实施方式中,所述语音查询指令中包括所述用户的第二查询需求;所述终端设备具体用于:

根据所述第二查询需求和所述待查询内容,确定所述查询结果,并展示所述查询结果,所述第二查询需求包括发音、释义、笔画结构、相关字词、例句中的一个或多个。

在一种可能的实施方式中,在根据所述语音查询指令获取预设区域的图像之前,所述终端设备还用于:

确定所述语音查询指令中包括预设启动指令。

根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。

如图13所示,是根据本申请实施例的查询方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图13所示,该电子设备包括:一个或多个处理器131、存储器132,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图13中以一个处理器131为例。

存储器132即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的查询方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的查询方法。

存储器132作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的查询方法对应的程序指令/模块(例如,附图11所示的第一获取模块111、第二获取模块112、处理模块113和查询模块114)。处理器131通过运行存储在存储器132中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的查询方法。

存储器132可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据查询的电子设备的使用所创建的数据等。此外,存储器132可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器132可选包括相对于处理器131远程设置的存储器,这些远程存储器可以通过网络连接至查询的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

查询方法的电子设备还可以包括:输入装置133和输出装置134。处理器131、存储器132、输入装置133和输出装置134可以通过总线135或者其他方式连接,图13中以通过总线135连接为例。

输入装置133可接收输入的数字或字符信息,以及产生与查询的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置134可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

24页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:智能音箱语音服务系统、方法、装置及设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!