阅读说明：本技术 一种点击操作的识别方法及电子设备、存储介质 (Click operation identification method, electronic equipment and storage medium ) 是由 张春雷 于 2020-05-25 设计创作，主要内容包括：本申请实施例涉及电子设备技术领域,公开了一种点击操作的识别方法及电子设备、存储介质,能够提高识别点击操作的准确度。该方法包括：获取对物理页面拍摄的多张页面图像,并从多张页面图像中识别出指示物的末端以及末端投影在物理页面上的阴影变化。若阴影变化为由浅变深,且当在目标页面图像中末端投影在物理页面上的阴影区域与末端重合时,识别出点击操作；其中,目标页面图像为多张页面图像中某一页面图像。(The embodiment of the application relates to the technical field of electronic equipment, and discloses a click operation identification method, electronic equipment and a storage medium, which can improve the accuracy of click operation identification. The method comprises the following steps: a plurality of page images shot for the physical page are acquired, and the tail end of the indicator and the shadow change projected on the physical page by the tail end are identified from the plurality of page images. If the shadow changes from shallow to deep, and when the shadow area of the tail end projected on the physical page in the target page image is overlapped with the tail end, recognizing click operation; the target page image is a certain page image in the multiple page images.)

一种点击操作的识别方法及电子设备、存储介质

技术领域

本申请涉及电子设备技术领域，具体涉及一种点击操作的识别方法及电子设备、存储介质。

背景技术

目前，市面上配置有点读功能的电子设备并不少见。在点读场景下，现有的电子设备可以利用摄像头拍摄书本页面，当识别出用户手指点向书本页面上某一内容时(比如某个单词或句子)，则对该内容进行报读。然而，实践中发现，现有的电子设备受限于摄像头的拍摄角度，会在手指未触及书本页面时也出现触发点读的情况，导致识别点击操作的准确度较低。

发明内容

本申请实施例公开了一种点击操作的识别方法及电子设备、存储介质，能够提高识别点击操作的准确度。

本申请实施例第一方面提供一种点击操作的识别方法，所述方法包括：

获取对物理页面拍摄的多张页面图像；

从所述多张页面图像中识别出指示物的末端以及所述末端投影在所述物理页面上的阴影变化；

若所述阴影变化为由浅变深，且当在目标页面图像中所述末端投影在所述物理页面上的阴影区域与所述末端重合时，识别出点击操作；其中，所述目标页面图像为所述多张页面图像中某一页面图像。

作为一种可选的实施方式，在本申请实施例第一方面中，所述方法还包括：

响应于所述点击操作，识别所述末端在所述目标页面图像上指示的位置；

识别所述位置在所述目标页面图像中对应的目标内容；

按照预设形式对所述目标内容进行输出。

作为一种可选的实施方式，在本申请实施例第一方面中，所述获取对物理页面拍摄的多张页面图像之前，所述方法还包括：

接受针对某一目标指示方式输入的确认指令；

响应于所述确认指令，确定所述目标指示方式所对应的指示物特征信息；

所述从所述多张页面图像中识别出指示物的末端以及所述末端投影在所述物理页面上的阴影变化，包括：

根据所述指示物特征信息，从每张页面图像中识别出指示物的末端以及所述末端投影在所述物理页面上的阴影区域；

根据所述多张页面图像的拍摄时序以及每张页面图像中的阴影区域，识别出所述末端投影在所述物理页面上的阴影变化。

作为一种可选的实施方式，在本申请实施例第一方面中，所述响应于所述确认指令，确定所述目标指示方式所对应的指示物特征信息，包括：

若所述目标指示方式为自定义方式，则响应于所述确定指令，输出拍摄装置采集的第一拍摄预览画面；所述第一拍摄预览画面上显示有指示物取景框，所述指示物取景框用于提示用户将选取的指示物移动至所述指示物取景框对应的拍摄区域；

当检测到拍摄指令时，获取所述指示物取景框内拍摄到的指示物图像；

从所述指示物图像中提取指示物特征信息。

作为一种可选的实施方式，在本申请实施例第一方面中，所述指示物取景框还用于提示用户将指示物的末端朝向指定方向，所述指示物的末端为所述指示物上被用户选做点击用的一端；

所述从所述指示物图像中提取指示物特征信息，包括：

对所述指示物图像进行轮廓检测与提取，获得形状特征点，所述形状特征点用于确定指示物的形状轮廓；

按照所述指定方向，从所述形状特征点中识别出末端特征点，所述末端特征点用于从所述指示物的形状轮廓中确定所述指示物的末端；

根据所述形状特征点和所述末端特征点，确定指示物特征信息。

作为一种可选的实施方式，在本申请实施例第一方面中，所述获取对物理页面拍摄的多张页面图像之前，所述方法还包括：

获取对物理页面的第二拍摄预览画面；

对所述第二拍摄预览画面进行阴影分析，确定出在当前光源下的第一光线条件；

若所述第一光线条件不满足适于当前拍摄场景的目标光线条件，控制补光装置开启补光光源；其中，在所述补光光源下，对所述物理页面获得的第三拍摄预览画面对应的第二光线条件满足所述目标光线条件；

所述获取对物理页面拍摄的多张页面图像，包括：

获取在所述补光光源下对所述物理页面拍摄的多张页面图像。

作为一种可选的实施方式，在本申请实施例第一方面中，所述第一光线条件包括第一光线投射方向；所述若所述第一光线条件不满足适于当前拍摄场景的目标光线条件，控制补光装置开启补光光源，包括：

结合拍摄方向与光线投射方向之间的预设对应关系，确定与拍摄装置的当前拍摄方向所对应的目标光线投射方向，以作为适于当前拍摄场景的目标光线条件；

若所述第一光线投射方向与所述目标光线投射方向不匹配，则判定出所述第一光线条件不满足所述目标光线条件；

控制补光装置按照所述目标光线投射方向开启补光光源。

本申请实施例第二方面提供一种电子设备，所述电子设备包括：

获取模块，用于获取对物理页面拍摄的多张页面图像；

图像识别模块，用于从所述多张页面图像中识别出指示物的末端以及所述末端投影在所述物理页面上的阴影变化；

操作识别模块，用于在所述阴影变化为由浅变深，且当在目标页面图像中所述末端投影在所述物理页面上的阴影区域与所述末端重合时，识别出点击操作；其中，所述目标页面图像为所述多张页面图像中某一页面图像。

本申请实施例第三方面提供一种电子设备，所述电子设备包括：

一个或多个存储器；

一个或多个处理器，用于执行存储在所述一个或多个存储器中的一个或多个计算机程序，还用于执行如本申请第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如本申请第一方面所述的方法。

本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如本申请第一方面所述的方法。

与现有技术相比，本申请实施例具有以下有益效果：

在本申请实施例中，通过获取对物理页面拍摄的多张页面图像，从多张页面图像中识别出指示物的末端以及末端投影在页面上的阴影变化。如果阴影变化为阴影深度由浅变深，且当在目标页面图像中，指示物的末端投影在页面上的阴影区域与末端重合时，识别出点击操作。可见，通过分析指示物在物理页面上投影的阴影特性，当指示物的末端投影的阴影深度变化为由浅变深，说明指示物处于向下点击的过程，直至末端投影的阴影区域与末端重合，则视作末端触及页面，从而在完整地满足向下点击过程和末端触及页面的条件下，识别出点击操作，能够有效地减少在指示物移动或未触及页面等情况下的误触发操作，提高了识别点击操作的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种电子设备的使用场景示意图；

图2是本申请实施例公开的一种点击操作的识别方法的流程示意图；

图3是本申请实施例中一种第一拍摄预览画面的画面示意图；

图4是本申请实施例中另一种第一拍摄预览画面的画面示意图；

图5是本申请实施例中一种电子设备识别点击操作的场景示意图；

图6是本申请实施例中一种电子设备识别划动操作的场景示意图；

图7是本申请实施例公开的另一种点击操作的识别方法的流程示意图；

图8是本申请实施例公开的一种电子设备的结构示意图；

图9是本申请实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种点击操作的识别方法及电子设备、存储介质，能够提高识别点击操作的准确度。本申请实施例公开的点击操作的识别方法应用于电子设备，电子设备可以包括智能手机、智能音箱、家教机、点读机、可穿戴设备、笔记本电脑和平板电脑等，对此不作具体限定。以下结合附图进行详细描述。

为了更好的理解本申请实施例公开的点击操作的识别方法，以下先对本申请实施例公开的一种电子设备进行描述。

请参阅图1，图1是本申请实施例公开的一种电子设备的使用场景示意图。如图1所示，该电子设备10设有显示屏101、拍摄装置103以及反光装置105。反光装置105与电子设备10可拆卸连接，并可固定于电子设备10的外壳上任意位置。应当理解的是，图1所示的电子设备10为平板电脑，这仅仅是一种示例，并不构成本申请实施例中对电子设备的类型限定。

在一些可选的实施例中，电子设备10可以在外壳的任意位置设有一个或多个拍摄装置，对拍摄装置的具体数目与位置均不作限定。相应的，反光装置105可以自由固定于任一拍摄装置的前方。为了方便理解，以下均以图1中设于电子设备10顶部的拍摄装置103和反光装置105为例进行描述。

如图1所示，当电子设备10与水平面(比如桌面)呈一定角度摆放时，反光装置105可以用于改变拍摄装置103的光路，使得拍摄装置103拍摄到摆放在水平面上的物理页面11的页面图像。其中，物理页面11可以包括作业本、课本、书籍、杂志和试卷等纸质资料中的页面，对此不作限定。

在一些可选的实施例中，拍摄装置103可以为广角摄像头。

在一些可选的实施例中，电子设备10还可以设有补光装置。补光装置可以设于电子设备10的外壳顶部或侧部等任意位置，对此亦不作具体限定。补光装置主要可以用于提供补光光源，并对补光光源发出的光线强度以及光线投射方向进行控制，以满足不同拍摄场景下的补光需求。进一步可选的，补光装置还可以在用户手推下或者在马达驱动下，发生360°范围中的任意角度的旋转，使得补光装置的补光范围更广。

下面对本申请实施例公开的点击操作的识别方法进行详细描述。

请参阅图2，图2是本申请实施例公开的一种点击操作的识别方法的流程示意图。该方法可以包括以下步骤：

201、获取对物理页面拍摄的多张页面图像。

作为一种可选的实施方式，电子设备具体可以在检测到当前环境满足点读条件时，进入点读模式，并在点读模式下，获取对物理页面拍摄的多张页面图像。点读条件可以包括但不限于预设的光线条件和物理页面条件。具体来说，电子设备可以启动拍摄装置进行拍摄，同时利用环境光传感器检测当前环境的环境亮度。如果电子设备从拍摄到的图片识别出物理页面(比如语文课本)，并且环境亮度属于适于阅读的预设亮度范围，则判定出当前环境满足点读条件。预设亮度范围可以是系统默认或人为设定的亮度取值范围，比如500Lux～600Lux，不作具体限定。

还可选的，电子设备启动拍摄装置的触发方式可以包括但不限于：1、用户通过按压电子设备上指定的实体按键、点击显示屏上的虚拟按键或者输入语音启动指令，启动电子设备上已预先获得拍摄权限的任一授权软件，比如点读学习软件；2、电子设备从日程表中读取到即时学习任务，且当前时间属于为该即时学习任务所设定的学习时间段内。

202、从多张页面图像中识别出指示物的末端以及末端投影在页面上的阴影变化。

在本申请实施例中，指示物可以包括手指、智能笔、写字笔或其他可起到指示作用的物体等，对此不作具体限定。指示物的末端可以是指示物上用来指示物理页面上的内容的一端，比如手指的指尖、写字笔的笔尖。可选的，电子设备可以存储有不同指示物所对应的指示物特征信息。电子设备利用指示物特征信息对页面图像进行图像特征识别与匹配，可以从页面图像中匹配出对应的指示物，并定位出指示物的末端。

作为一种可选的实施方式，步骤201之前，电子设备还可以接受针对某一目标指示方式输入的确认指令，并响应于确认指令，确定目标指示方式所对应的指示物特征信息。

其中，目标指示方式用于确定用户选择的指示物。在一种可能的实现方式中，电子设备可以在接收上述确认指令之前，在显示屏上输出多个供参考的指示方式。这些指示方式可以包括已预先录入特征信息的指示物。因此，用户可以从显示屏上输出的多个指示方式中点击或语音选择出目标指示方式，使得电子设备接收到对目标指示方式的确认指令。

示例性的，如果电子设备提前对用户的右手食指以及智能笔录入了相应的指示物特征信息，则电子设备在显示屏上显示手指和智能笔两种指示方式。如果用户选择了智能笔，则电子设备可以直接调出智能笔对应的指示物特征信息。可见，为用户提供多种指示方式进行选择，能够提高指示物的多样性，并且扩展了更多的使用场景，便于用户在不同使用场景选用不同的指示物。此外，用户每次会确定一种指示物，还能够避免出现因多种指示物同时被识别到而导致指示物定位不准确的问题。

在另一种可能的实现方式中，多个供参考的指示方式还可以包括自定方式。在自定义方式下，用户可以自行录入新的指示物特征信息。因此，电子设备响应于确认指令，确定目标指示方式所对应的指示物特征信息，具体可以为：

若目标指示方式为自定义方式，则电子设备响应于确定指令，输出拍摄装置采集的第一拍摄预览画面，第一拍摄预览画面上显示有指示物取景框，指示物取景框可以通过文字或动画等形式，提示用户将选取的指示物移动至指示物取景框对应的拍摄区域。当检测到拍摄指令时，电子设备可以获取指示物取景框内拍摄到的指示物图像，并从指示物图像中提取指示物特征信息。

其中，第一拍摄预览画面为拍摄装置开启时拍摄到的预览画面，拍摄指令可以是电子设备响应于用户对拍摄按键的点击操作所生成的指令，也可以是用户语音输入的指令(比如用户语音指示“拍照”)，对此不作限定。指示物取景框可以位于第一拍摄预览画面中的任意位置，比如第一拍摄预览画面的正中间或左上角，亦不作限定。可选的，用户还可以手动调整指示物取景框的大小，或者将指示物取景框拖动到第一拍摄预览画面上的任一位置，以适应于不同的取景需求。

可见，通过在拍摄预览画面中输出用于录入指示物信息的指示物取景框，便于用户根据自身习惯添加新的指示物，实现了指示物的个性化定制，进一步提高了选用指示物的灵活性。

进一步的，作为一种可选的实施方式，指示物取景框还可以通过文字或动画等形式，提示用户将指示物的末端朝向指定方向，指示物的末端为指示物上被用户选做点击用的一端。因此，电子设备从指示物图像中确定指示物特征信息，具体可以为：

电子设备对指示物图像进行轮廓检测与提取，获得形状特征点，形状特征点用于确定指示物的形状轮廓。之后，电子设备按照指定方向，从形状特征点中识别出末端特征点，末端特征点用于从指示物的形状轮廓中确定指示物的末端。最后，电子设备可以根据形状特征点和末端特征点，确定指示物特征信息。

其中，指定方向可以为指向指示物取景框的上方、下方或左下方等任意方向，对此不作具体限定。

其中，可选的，电子设备对指示物图像进行轮廓检测与提取的方式具体可以为：电子设备对指示物图像进行二值处理和滤波处理，从指示物图像中提取出指示物的轮廓图像，滤波处理可以包括但不限于高斯滤波处理和数学形态学滤波处理(至少包括腐蚀和膨胀、开运算和闭运算)，以消除光照及其它干扰噪声影响。电子设备还可以利用八领域轮廓跟踪算法，对轮廓图像进行矢量分析，获得形状特征点，而矢量分析可以包括但不限于确定轮廓图像的交点、切点、凹凸部分以及对指示物的形状轮廓进行分段识别等。

进一步的，电子设备基于形状特征点在轮廓图像中的位置分布，可以确定形状特征点在指定方向上对应的末端区域，进而从末端区域中提取出末端特征点。

可见，通过提示用户将指示物末端朝向指定方向，便于快速从形状特征点中定位出指示物末端所对应的末端特征点，提高了特征提取的处理效率。此外，还能够避免同时识别出指示物的多个端部而造成定位混乱，或者避免出现指示物上录入相应特征点的一端不是用户所需的指示端，改善了指示物末端定位的准确性。

示例性的，请参阅图3，图3是本申请实施例中一种第一拍摄预览画面的画面示意图。如图3所示，指示物取景框301位于第一拍摄预览画面30的右下角。在指示物取景框301的上方，显示有提示文字303：请将选用的指示物放入框内。而在指示物取景框301的内部，还显示有指向左下方向的方向图标305。进一步的，请参阅图4，图4是本申请实施例中另一种第一拍摄预览画面的画面示意图。如图4所示，用户可以将选用的写字笔307移动至指示物取景框301的拍摄范围内，并将写字笔307的笔尖朝向左下方向。此时，电子设备可以拍摄到包含写字笔307的指示物图像309。

相应的，步骤202具体可以为：电子设备根据指示物特征信息，从每张页面图像中识别出指示物的末端以及末端投影在页面上的阴影区域，再根据多张页面图像的拍摄时序以及每张页面图像中的阴影区域，从多张页面图像中识别出末端投影在页面上的阴影变化。

其中，电子设备可以先对每张页面图像进行特征识别与匹配，确定页面图像中所有轮廓对象所对应的轮廓特征点，其具体实现方式可以参照上述对从指示物图像进行轮廓检测与提取的描述，不再赘述。之后，电子设备再将所有轮廓对象的轮廓特征点与指示物特征信息一一进行特征匹配，若存在某一轮廓对象的轮廓特征点与指示物特征信息的匹配度大于或等于设定的匹配度，则根据该轮廓对象所在位置，从页面图像中定位出指示物以及指示物的末端。最后，电子设备还可以根据该轮廓对象所在位置，从页面图像中确定与该轮廓对象满足预设投影关系的其他轮廓对象，并将其他轮廓对象的轮廓特征点作为阴影轮廓点，因此阴影轮廓点对应的区域即为末端投影的阴影区域。可选的，预设投影关系可以通过分析页面图像对应的光线投射方向所得，也可以是最邻近关系，即其他轮廓对象的末端位置距该轮廓对象的末端位置最近。

进一步的，由于页面图像中的阴影区域通常已被二值化，电子设备可以对每张页面图像中阴影区域进行灰度值分析，如果灰度值越小，说明阴影区域越深，反之则越浅。再结合多张页面图像的拍摄时序，即可快速分析出多张页面图像中的阴影变化。

203、若阴影变化为由浅变深，且当在目标页面图像中末端投影在页面上的阴影区域与末端重合时，识别出点击操作；其中，目标页面图像为多张页面图像中某一页面图像。

在本申请实施例中，随着拍摄时序，当多张页面图像中阴影区域的灰度值越来越小，可以视作阴影变化由浅变深。应当理解的是，步骤203中阴影变化为由浅变深指的是在目标页面图像之前对物理页面拍摄到的多张历史页面图像所需满足的条件。

在本申请实施例中，电子设备判定目标页面图像中末端投影的阴影区域与末端重合的方式可以包括但不限于：电子设备检测阴影区域的顶部位置与指示物末端的顶部位置之间距离值，如果该距离值小于或等于预设距离值，则电子设备判定阴影区域与末端重合；或者，电子设备检测指示物末端与阴影区域之间的重合面积，如果该重合面积大于或等于预设面积，则判定阴影区域与末端重合。

作为一种可选的实施方式，步骤203之后，电子设备还可以响应于点击操作，识别末端在目标页面图像上指示的位置，进而识别该位置在目标页面图像中对应的目标内容，并按照预设形式对目标内容进行输出。

其中，电子设备可以直接通过光学字符识别(optical character recognition，OCR)对整个目标页面图像进行内容识别，获得文本内容。基于文本内容与目标页面图像的映射关系，电子设备可以快速从文本内容中获取与末端的位置所对应的目标内容，比如单个字、词组、符号和短句等等。

其中，电子设备按照预设形式对目标内容进行输出可以包括但不限于以下几种方式：电子设备直接在显示屏上显示目标内容；或者，电子设备搜索与目标内容相关的衍生资源，并在显示屏上输出衍生资源，比如，如果目标内容是一个单词，则衍生资源可以是与该单词相关的例句、课文、讲解视频等；或者，电子设备朗读该目标内容；或者，电子设备在显示屏上显示完整的文本内容，并在文本内容中对目标内容进行标记。

可见，按照不同的预设形式，对根据点击操作所确定的目标内容进行输出，拓展了更多互动功能以及内容获取和输出形式，丰富了学习应用场景。

进一步的，作为一种可选的实施方式，步骤203之后，电子设备还可以继续对物理页面进行拍摄，若拍摄到下一页面图像中也满足：指示物末端投影在物理页面上的阴影区域与指示物末端重合，且指示物末端在下一页面图像中的第二位置相较于在目标页面图像中的第一位置发生变化，则电子设备可以识别出划动操作，并从文本内容中识别出第一位置和第二位置之间对应的选定内容，并按照上述预设形式对选定内容进行输出，从而实现快速选定或标记长文本的效果。

可选的，在电子设备从文本内容中识别出第一位置和第二位置之间对应的选定内容之前，电子设备还可以判断从第一位置到第二位置所指示的方向是否与物理页面上的文本方向一致，若不一致，且电子设备已输出过第一位置和第二位置之间对应的选定内容，则还可以对选定内容进行撤销操作。撤销操作包括但不限于在显示屏上擦除对选定内容的显示以及取消显示屏上对选定内容的标记。

可见，结合指示物的阴影特性及其在页面图像中的坐标移动，还能够实现文本选定、标记以及撤销等多种自由操作，实用性较好。

为了更好的理解上述实施方式，请参阅图5，图5是本申请实施例中一种电子设备识别点击操作的场景示意图。如图5所示，页面图像a、b和c均为部分示意图，且三者的拍摄时序为：页面图像a→页面图像b→页面图像c。从页面图像a到页面图像b时，用户手指50处于向下点击的过程，故阴影区域51逐渐变深为阴影区域52。直到页面图像c中，用户手指50的末端501与阴影区域53重合，视作一次点击操作。此时，电子设备可以识别出末端501所指示位置对应的单词，即“琵琶”。

图6是本申请实施例中一种电子设备识别划动操作的场景示意图。如图6所示，在页面图像d中，用户手指60的末端可被识别出对物理页面61上位置611的点击操作。此时，若用户继续保持手指60的末端与末端所投影阴影区域的重合状态，并将手指60的末端顺着物理页面61滑动至页面图像e中所示的位置612，电子设备可以识别出物理页面61上位置611与位置612之间对应的一个句子，即“琵琶声停欲语迟”。

可见，实施上述方法实施例，能够在完整地满足向下点击过程和末端触及页面的条件下，识别出点击操作，从而有效地减少在指示物移动或未触及页面等情况下的误触发操作，提高了识别点击操作的准确度。

请参阅图7，图7是本申请实施例公开的另一种点击操作的识别方法的流程示意图。

701、获取对物理页面的第二拍摄预览画面。

在本申请实施例中，第二拍摄预览画面可以为上述第一拍摄预览画面，也可以为与第一拍摄预览画面不同的预览画面，对此不作限定。

702、对第二拍摄预览画面进行阴影分析，确定出在当前光源下的第一光线条件。

703、若第一光线条件不满足适于当前拍摄场景的目标光线条件，控制补光装置开启补光光源；其中，在补光光源下，对物理页面获得的第三拍摄预览画面对应的第二光线条件满足目标光线条件。

在本申请实施例中，如果第一光线条件满足目标光线条件，则电子设备可以直接获取在当前光源下对物理页面拍摄的多张页面图像。

在一种实现方式中，第一光线条件可以包括第一光线投射方向。电子设备可以匹配出第二拍摄预览画面中任一物体轮廓上的末端位置以及该物体所投阴影区域上的末端位置(具体可以参考上述方法实施例的描述)，并从该物体轮廓上的末端位置向阴影区域上的末端位置引一条光线，即可将该光线的方向作为当前光源下的光线投射方向。

进一步地，电子设备具体可以结合拍摄方向与光线投射方向之间的预设对应关系，确定与拍摄装置的当前拍摄方向所对应的目标光线投射方向，以作为适于当前拍摄场景的目标光线条件。若第一光线投射方向与目标光线投射方向不匹配，则电子设备判定出第一光线条件不满足目标光线条件，并控制补光装置按照目标光线投射方向开启补光光源。

其中，拍摄方向与光线投射方向之间的预设对应关系可以由人为确定，也可以由电子设备根据成功识别点击操作的历史结果确定。也就是说，考虑到拍摄装置基于不同拍摄方向和光线投射方向的搭配，拍摄到固定物体投影的阴影位置均不同，在一些情况中，不合适的光线投影方向会导致拍摄装置无法拍摄到被物体遮挡的阴影，使得图像阴影识别的准确率较低，进而影响到对点击操作的识别成功率。可见，根据上述实现方式，电子设备可以预先统计识别成功率较高的拍摄方向与光线投射方向搭配，因此每次只需根据拍摄方向(通常为拍摄装置的镜头轴心线方向)，便可以快速确定与之匹配的目标光线投射方向，以此对当前光源下的光线投射方向进行调整，改善了对点击操作的识别成功率。

在另一种实现方式中，电子设备还可以分别利用环境光传感器和色温传感器检测到当前光源下的光线强度和色温。如果电子设备检测到当前光源下的光线强度(或色温)不属于适于拍摄或阅读的光线强度范围(或色温范围)，则确定相应的补光参数，并控制补光装置按照补光参数的设置开启补光光源。可选的，补光参数可以为经验值，或者，由电子设备根据光线强度、补光参数和所需的光线强度范围的对应关系通过机器学习的方式得到。

704、获取在补光光源下对物理页面拍摄的多张页面图像。

可见，实施上述步骤701～步骤704，能够根据不同的拍摄场景适应性地调整环境中的光线条件，提高了对图像进行阴影识别的成功率及准确率。

705、从多张页面图像中识别出指示物的末端以及末端投影在页面上的阴影变化。

706、若阴影变化为阴影深度由浅变深，且当在目标页面图像中末端投影在页面上的阴影区域与末端重合时，识别出点击操作；其中，目标页面图像为多张页面图像中某一页面图像。

在本申请实施例中，步骤704～步骤706请参照图2所示实施例中对步骤201～步骤203的描述，此处不再赘述。

可见，实施上述方法实施例，能够在完整地满足向下点击过程和末端触及页面的条件下，识别出点击操作，从而有效地减少在指示物移动或未触及页面等情况下的误触发操作，提高了识别点击操作的准确度；此外，还能够能够根据不同的拍摄场景适应性地调整环境中的光线条件，提高了对图像进行阴影识别的成功率及准确率。

上述对本申请实施例中点击操作的识别方法进行了说明，下面对本申请实施例中的电子设备进行说明。

请参阅图8，图8是本申请实施例公开的一种电子设备的结构示意图。该电子设备包括获取模块801、图像识别模块802以及操作识别模块803，其中：

获取模块801，用于获取对物理页面拍摄的多张页面图像。

图像识别模块802，用于从多张页面图像中识别出指示物的末端以及末端投影在物理页面上的阴影变化。

操作识别模块803，用于在阴影变化为由浅变深，且当在目标页面图像中末端投影在物理页面上的阴影区域与末端重合时，识别出点击操作；其中，目标页面图像为多张页面图像中某一页面图像。

可选的，在本申请的一些实施例中，电子设备还可以包括位置识别模块、内容识别模块以及输出模块，其中：

位置识别模块，用于响应于点击操作，识别末端在目标页面图像上指示的位置。

内容识别模块，用于识别该位置在目标页面图像中对应的目标内容。

输出模块，用于按照预设形式对目标内容进行输出。

可选的，在本申请的一些实施例中，电子设备还可以包括接收模块和确定模块，其中；

接收模块，用于在获取模块801获取对物理页面拍摄的多张页面图像之前，接受针对某一目标指示方式输入的确认指令。

确定模块，用于响应于确认指令，确定目标指示方式所对应的指示物特征信息。

图像识别模块802，具体用于根据指示物特征信息，从每张页面图像中识别出指示物的末端以及末端投影在物理页面上的阴影区域；根据多张页面图像的拍摄时序以及每张页面图像中的阴影区域，识别出末端投影在物理页面上的阴影变化。

可选的，在本申请的一些实施例中，确定模块，具体可以包括输出单元、获取单元以及提取单元，其中：

输出单元，用于在目标指示方式为自定义方式时，则响应于确定指令，输出拍摄装置采集的第一拍摄预览画面；第一拍摄预览画面上显示有指示物取景框，指示物取景框用于提示用户将选取的指示物移动至指示物取景框对应的拍摄区域。

获取单元，用于在检测到拍摄指令时，获取指示物取景框内拍摄到的指示物图像。

提取单元，用于从指示物图像中提取指示物特征信息。

可选的，在本申请的一些实施例中，指示物取景框还用于提示用户将指示物的末端朝向指定方向，指示物的末端为指示物上被用户选做点击用的一端。确定模块，具体可以包括轮廓提取单元、末端提取单元以及信息确定单元，其中：

轮廓提取单元，用于对指示物图像进行轮廓检测与提取，获得形状特征点，形状特征点用于确定指示物的形状轮廓。

末端提取单元，用于按照指定方向，从形状特征点中识别出末端特征点，末端特征点用于从指示物的形状轮廓中确定指示物的末端。

信息确定单元，用于根据形状特征点和末端特征点，确定指示物特征信息。

可选的，在本申请的一些实施例中，电子设备还可以包括分析模块和控制模块，其中：

获取模块801，还可以用于在获取对物理页面拍摄的多张页面图像之前，获取对物理页面的第二拍摄预览画面。

分析模块，用于对第二拍摄预览画面进行阴影分析，确定出在当前光源下的第一光线条件。

控制模块，用于在第一光线条件不满足适于当前拍摄场景的目标光线条件时，控制补光装置开启补光光源；其中，在补光光源下，对物理页面获得的第三拍摄预览画面对应的第二光线条件满足目标光线条件。

获取模块801，还用于获取在补光光源下对物理页面拍摄的多张页面图像。

可选的，在本申请的一些实施例中，第一光线条件包括第一光线投射方向。控制模块，具体可以用于结合拍摄方向与光线投射方向之间的预设对应关系，确定与拍摄装置的当前拍摄方向所对应的目标光线投射方向，以作为适于当前拍摄场景的目标光线条件；若第一光线投射方向与目标光线投射方向不匹配，则判定出第一光线条件不满足目标光线条件，并控制补光装置按照所述目标光线投射方向开启补光光源。

需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。

可见，实施上述实施例，能够在完整地满足向下点击过程和末端触及页面的条件下，识别出点击操作，从而有效地减少在指示物移动或未触及页面等情况下的误触发操作，提高了识别点击操作的准确度。

请参阅图9，图9是本申请实施例公开的另一种电子设备的结构示意图。

该电子设备包括：

一个或多个存储器901；

一个或多个处理器902，用于执行存储在一个或多个存储器901中的一个或多个计算机程序，以执行上述各实施例中描述的方法。

需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。

需要说明的是，本申请实施例中，图9所示的电子设备还可以包括拍摄装置、反光装置、用于输出声音的扬声器模组、显示屏、电池模组、无线通信模组(如移动通信模块、WIFI模块、蓝牙模块等)、定位模块(比如GPS模块)、传感器模组(如环境光传感器、色温传感器等)、输入模组(如麦克风、按键)以及用户接口模组(如充电接口、对外供电接口、卡槽、有线耳机接口等)等未显示的部件。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机指令，该计算机指令运行时使计算机执行上述方法实施例所描述的点击操作的识别方法。

本申请实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-only memory，ROM)、随机存储器(random access memory，RAM)、可编程只读存储器(programmable read-only memory，PROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、一次可编程只读存储器(one-time programmable read only memory，OTPROM)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种点击操作的识别方法、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。