虚拟控制面板操作识别方法及冰箱

文档序号:778884 发布日期:2021-04-09 浏览:8次 >En<

阅读说明:本技术 虚拟控制面板操作识别方法及冰箱 (Virtual control panel operation identification method and refrigerator ) 是由 侯建国 李涛 苏翔飞 于 2019-09-24 设计创作,主要内容包括:本发明提供了一种虚拟控制面板操作识别方法及冰箱,该方法包括:投影步骤:基于虚拟投影模组向储物间室的指定区域内投射虚拟控制面板;位置获取步骤:当在指定区域捕捉到使用者手部信息时,获取使用者的手指在指定区域的手指位置信息;操作识别步骤,基于手指位置信息识别使用者对虚拟控制面板的操作,并生成向冰箱的主控板提供对应于操作的操作指令,以供主控板对操作指令进行响应。基于本发明提供的方案可通过双目测距组件对使用者的手指进行的识别及跟踪,并通过激光测距组件对双目测距组件对双目测距组件测得的数据进行修正,以在进一步提升识别准确度的同时,减小对用户的误操作的响应,提升虚拟投影模组投影效率以及用户的使用体验。(The invention provides a virtual control panel operation identification method and a refrigerator, wherein the method comprises the following steps: a projection step: projecting a virtual control panel into a designated area of the storage chamber based on the virtual projection module; a position acquisition step: when the hand information of a user is captured in the designated area, acquiring the finger position information of the finger of the user in the designated area; and an operation identification step of identifying the operation of the user on the virtual control panel based on the finger position information and generating an operation instruction corresponding to the operation to be provided for the main control panel of the refrigerator so that the main control panel responds to the operation instruction. Based on the scheme provided by the invention, the fingers of the user can be identified and tracked through the binocular ranging assembly, and the data measured by the binocular ranging assembly is corrected through the laser ranging assembly, so that the identification accuracy is further improved, meanwhile, the response to misoperation of the user is reduced, and the projection efficiency of the virtual projection module and the use experience of the user are improved.)

虚拟控制面板操作识别方法及冰箱

技术领域

本发明涉及冰箱技术领域,特别是涉及一种虚拟控制面板操作识别方法及冰箱。

背景技术

目前,对于冰箱的触控技术来讲,多在冰箱门体或是其他箱体外侧设置触控面板或是不同的操作按钮以对冰箱的运行参数等进行控制,多为搭载LED灯的显示板显示,其结构简单且功能单一。

随着冰箱的智能化,应用于冰箱的投影虚拟按键技术已被提出,而虚拟操作按键则更加能够增加用户的友好体验。但是,当前常用的检测多为激光检测或红外检测,对于手指在投影区域位置的判断准确度较低,无法对使用者的操作进行有效响应。

发明内容

本发明的一个目的是要提供一种虚拟控制面板操作识别方法。

本发明一个进一步的目的是要识别使用者对虚拟控制面板的误操作。

特别地,本发明提供了一种虚拟控制面板操作识别方法,应用于冰箱,冰箱包括:箱体,限定出储物间室;以及设置于储物间室内的虚拟投影模组;并且

该方法包括:

投影步骤:基于虚拟投影模组向储物间室的指定区域内投射虚拟控制面板;

位置获取步骤:当在指定区域捕捉到使用者手部信息时,获取使用者的手指在指定区域的手指位置信息;

操作识别步骤,基于手指位置信息识别使用者对虚拟控制面板的操作,并生成向冰箱的主控板提供对应于该操作的操作指令,以供主控板对操作指令进行响应。。

可选地,储物间室包括冷藏间室,虚拟投影模组设置于冷藏间室的顶部;

投影步骤包括:基于虚拟投影模组向冷藏间室底部的指定区域投射虚拟控制面板;

其中,指定区域位于冷藏间室为门体储物盒设置的让位区在冷藏间室底部的投影区域内。

可选地,虚拟投影模组包括第一测距组件;

位置获取步骤包括:

第一获取子步骤:启动第一测距组件,若第一测距组件在其第一检测范围内检测到使用者的手部信息,则根据目标跟踪算法获取使用者的手指在指定区域的第一位置信息。

可选地,操作识别步骤包括:

识别子步骤:基于第一位置信息计算使用者的手指与指定位置的第一相对距离,并将第一相对距离与预设阈值比较,根据比较结果识别使用者对虚拟控制面板的操作;

响应子步骤:生成向冰箱的主控板提供对应于操作的操作指令,以供主控板对操作指令进行响应。

可选地,虚拟投影模组还包括:第二测距组件;

位置获取步骤还包括:

第二获取子步骤:启动第二测距组件,若第二测距组件在其第二检测范围内判断有使用者的手部存在,则获取使用者手部的第二位置信息。

可选地,识别子步骤还包括:

基于第二位置信息计算得到使用者的手指与指定位置的第二相对距离;

基于第二相对距离将第一相对距离修正得到待判断相对距离;

基于待判断相对距离与预设阈值比较,根据比较结果识别使用者对虚拟控制面板的操作。

可选地,识别子步骤还包括:

计算第一相对距离和第二相对距离的差值,并判断差值的绝对值是否在预设阈值范围内;

若差值的绝对值超出预设阈值范围,则基于第二相对距离调节第一相对距离,将第一相对距离修正得到待判断相对距离;

其中,待判断相对距离与第一相对距离的差值在预设阈值范围内。

可选地,第一测距组件为双目测距组件;

第二测距组件为激光测距组件。

可选地,在投影步骤之前,还包括:

环境判断步骤:判断当前环境是否满足虚拟投影模组的预设投射条件;

若判断当前环境满足虚拟投影模组的预设投射条件,则执行投影步骤。

根据本发明的另一个方面,还提供了一种冰箱,包括:

箱体,限定出储物间室;

虚拟投影模组,设置于储物间室内,虚拟投影模组配置成基于虚拟投影模组向储物间室的指定区域内投射虚拟控制面板;

投影控制器,包括存储器以及处理器,存储器内存储器有程序,程序被处理器执行时用于实现根据上述任一项的虚拟控制面板操作识别方法。

本发明提供了一种虚拟控制面板操作识别方法及冰箱,在本发明实施例提供的虚拟控制面板操作识别方法中,在虚拟投影模组投射虚拟控制面板后,可通过对指定区域内使用者手部的手指位置信息进行判断,以判断使用者对虚拟控制面板正常操作的同时识别对应的操作,进而由冰箱进行响应。基于本发明提供的方法,可通过双目测距组件对使用者的手指进行的识别及跟踪,并进行双目测距计算并快速判断是否有按键按下。另外,本发明提供的方案,还可以通过激光测距组件对双目测距组件对双目测距组件测得的数据进行修正,以在进一步提升识别准确度的同时,减小对用户的误操作的响应,提升虚拟投影模组投影效率以及用户的使用体验。

根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:

图1是根据本发明一个实施例的冰箱结构示意图;

图2是根据本发明一个实施例的虚拟投影模组结构示意图;

图3是根据本发明实施例的指定区域、投影面、检测面相对位置示意图;

图4是根据本发明实施例的安装盒与冷藏间室相对位置示意图;

图5是根据本发明一个实施例的冰箱结构示意图;

图6是根据本发明实施例的虚拟控制面板操作识别方法流程示意图;

图7是根据本发明实施例的虚拟投影模组在冰箱内部投影示意图;

图8是根据本发明实施例的双目测距的原理如示意图。

具体实施方式

图1是根据本发明一个实施例的冰箱100结构示意图,参见图1可知,本实施例提供的冰箱100可以包括:箱体110,限定出储物间室111;虚拟投影模组120。如图2所示,虚拟投影模组120可以包括:投影组件121,配置成在储物间室111的指定区域内投射虚拟控制面板;识别组件122,配置成检测指定区域内使用者的操作;处理器123,配置成根据识别组件122的检测结果识别使用者对虚拟控制面板的操作,并生成向冰箱100的主控板提供对应于该操作的操作指令,以供主控板对该操作指令进行响应。

本实施例提供的冰箱100,通过利用投影组件121在冰箱100的储物间室111投影虚拟控制面板,便于冰箱100内部功能显示以及控制调节,尤其在冰箱门体处于打开的状态下,可以通过箱体110储物间室111内部设置的虚拟投影模组120在指定区域内投射虚拟控制面板以方便冰箱100使用者进行不同的操作,满足使用者的使用需求,提高用户体验。本实施例中的处理器123主要作为虚拟投影模组120的核心数据处理部件,其与投影组件121和识别组件122通信连接,以实现控制投影组件121进行投射、控制识别组件122进行检测,并根据识别组件122检测到的数据判断虚拟控制面板是否被使用者操作,进而把相应的操作指令发送到冰箱100的主控板。

其中,投影组件121所投射的虚拟控制面板可以是由使用者对冰箱内部运行参数,如运行模式、运行温度选择放入物品类型等相关信息的操作控制面板(如虚拟触控面板),还可以呈现指定影像、图片、物品存储知识等信息的信息显示面板(如预设影像信息),投影组件121所投射的虚拟控制面板中还可以具有多个触控按键,以针对冰箱不同的运行场景的调控需求、以及显示需求进行设置,除上述介绍的之外,虚拟控制面板还可以具备其他对冰箱运行模式或功能等参数的调控功能,本发明不做限定。

在本发明实施例中,参见图1,储物间室111可以包括冷藏间室112;投影组件121和识别组件122设置于冷藏间室112的顶部。结合图1、图2可知,虚拟投影模组120还可以包括安装盒124,虚拟投影模组120中的投影组件121、识别组件122以及处理器123均可设置于该安装盒124内。其中,安装盒124可配有透明盒盖,投影组件121和识别组件122并列设置于安装盒124内,且位于安装盒124内靠近冰箱门体的一侧。安装盒124可设于冷藏间室112的顶部的中间位置,且与箱体110的前端的距离在预设距离范围内。本实施例中,通过安装盒124可以将虚拟投影模组120中各个组件集合在一起,合理安排各个组件的位置,可大幅减小虚拟投影模组120在冰箱100内部所占用的空间。本实施例中通过将投影组件121设置于冷藏间室112的顶部,可以使得投影组件121在垂直投射虚拟控制面板。而安装盒124与箱体110的前端的距离在预设距离范围内,该预设距离范围可根据冰箱100尺寸进一步调整,从而使得投射距离最短,投射角度最好,遮蔽影响小。

举例来讲,假设冰箱100冷藏间室112的长度为L(cm),宽W(cm),则安装盒124的中心位于L/2处,该位置可以提供一个较好的投影位置,且投影的形状不会发生形变,考虑到隔物件架物品对投影的影响,因此距离箱体110前端(具体可以为冰箱100顶部的外沿)的距离M(cm),M<W/2处,为防止冷藏室瓶座碰撞。

参见图1、图3可知,投影组件121向储物间室111投射虚拟控制面板的指定区域位于冷藏间室112的底部;投影组件121与识别组件122分别在指定区域形成投射面以及检测面,投射面和检测面至少部分重叠;投影组件121,还配置成在投射面和检测面的重叠区域投射虚拟控制面板。可选地,投影组件121向储物间室111投射虚拟控制面板的指定区域优先位于冷藏间室112为门体储物盒设置的让位区在冷藏间室112底部的投影区域内,进而使得虚拟投影模组120的投射距离最短、投射角度最好且遮蔽影响小。

实际应用中,由于在冰箱门体上会设有进行储物的储物盒,因此,在冷藏间室112中设置的搁物板的尺寸会小于冷藏间室112内部尺寸,并在冷藏间室112中设置为门体储物盒设置的让位区,以在冰箱门体关门后在门体储物盒置于冷藏间室112的让位区中而不会与冷藏间室112中的搁物板触碰。本实施例提供的方案,通过把虚拟投影模组120设置在冷藏间室112顶部中间位置,且使得投影组件121向储物间室111投射虚拟控制面板的指定区域优先位于冷藏间室112为门体储物盒设置的让位区在冷藏间室112底部的投影区域内,不仅可以使得投影组件121在冷藏间室112底部完整投射虚拟控制面板,而且使得识别组件122可以有效检测指定区域内使用者的操作,有效减小甚至避免冷藏间室112中搁物板对虚拟控制面板的投射过程或是检测使用者的操作的过程产生遮蔽影响。

如图3所示,位于冷藏间室112底部的指定区域为区域1,投影组件121的投射面为区域2,识别组件122的检测面为区域3。其中,区域2和区域3均属于区域1内的一部分,且区域2和区域3具有重叠区域,即区域4。投影组件121所投射的虚拟控制面板则位于区域4内。假设投影组件121垂直投射长L1(cm)、宽W1(cm)的虚拟控制面板,那么,L1、W1均小于冷藏间室112为门体储物盒设置的让位区在冷藏间室112底部的投影区域最大长度和宽度。

参见图2可知,本发明实施例将投影组件121和识别组件122并列设置在安装盒124中,具体设置时,可以控制投影组件121和识别组件122的之间间隔小于一定距离,可以使得投影组件121的投影面和识别组件122的检测面最大限度的重叠,虚拟控制面板落于投射面和检测面的重叠区域内,可以在实现投影的同时,通过识别组件122对使用者对虚拟控制面板的操作进行有效检测。

在本发明一可选实施例中,如图2所示投影组件121可以配置成向指定区域投射虚拟控制面板;识别组件122可以优选为测距组件,如具有双目摄像头的双目测距组件或是激光测距组件,,其可以配置成在虚拟投影模组120投影过程中检测使用者的手指的位置,并对手指进行跟踪与识别,进而进行距离计算判断是否有按键被触发,从而避免由使用者误操作带来的错误响应,浪费投影资源,影响用户使用体验。

本实施例中的投影组件121,其可以是由RGB三色激光发射器组成的激光投影组件发射成像激光,并在指定区域内投射虚拟控制面板。该虚拟控制面板可以呈现指定影像、图片等信息,还可以是包括至少一个虚拟控制按键,基于上述虚拟控制按键可以对冰箱100的运行参数、功能模式等进行设定及选取。上文提及,虚拟投影模组120可以设置于箱体110冷藏间室112的顶部,优选地,安装盒124可垂直安装于冷藏间室112的顶部,使得安装盒124的底面与冷藏间室112的顶面平行设置。

在本发明一可选实施例中,如图4所示,冷藏间室112的顶部前端设有收容部113,安装盒124可收容于该收容部113。进一步地,安装盒124的底面与冷藏间室112的顶面呈倾斜设置,倾斜角度可小于一定的夹角,该夹角可根据实际需求进行设置,本发明不做限定。也就是说,在本实施例中,可以在冰箱100冷藏间室112顶部采用凹槽处理,安装盒124可以半嵌入的方式设置在冷藏间室112的顶部,且与冷藏间室112的顶面倾斜设置,可以进一步减小安装盒124对冷藏间室112的占用空间,使得安装盒124更加容易集成在冷藏间室112。

由于虚拟投影模组投射比(α)=投影距离(λ)/画面宽度(w),其中α的取值范围1.5-1.9,若冷藏室高度为Hcm,其中H的取值范围70cm-90cm,此时虚拟投影模组投射出画面的宽度范围为36cm-60cm,当前的冰箱100能够满足该模块投出画面大小的要求。

在本发明一可选实施例中,上述冰箱100还可以包括门体感应装置(未在图中示出),配置成检测冰箱100的开门事件,并生成开门信号;并且,投影组件121,还配置成在获取到开门信号后启动,以向储物间室111的指定区域内投射虚拟控制面板。本实施例中通过设置门体感应装置,在检测到冰箱100开门时才会生成开门信号,以在投影组件121在获取到该开门信号时投射虚拟控制面板,当冰箱100关门后可自动停止向指定区域投射虚拟控制面板,以进一步降低能耗,节约能源。

本发明实施例提供了一种的冰箱100,通过将投影组件121在冰箱100的储物间室111投影虚拟控制面板,便于冰箱100内部功能显示以及控制调节,尤其在冰箱门体处于打开的状态下,可以通过箱体110储物间室111内部设置的虚拟投影模组120在指定区域内投射虚拟控制面板以方便冰箱100使用者进行不同的操作,满足使用者的使用需求,提高用户体验。进一步地,本发明实施例提供的冰箱100通过将虚拟投影模组120设置在箱体110储物间室111顶部中间,进而使得虚拟投影模组120的投射距离最短、投射角度最好且遮蔽影响小。而且,通过增设门体感应装置在投影组件121在获取到该开门信号时投射虚拟控制面板,当冰箱100关门后可自动停止向指定区域投射虚拟控制面板,以进一步降低能耗,节约能源。

在本发明可选实施例中,如图5所示,还可以在冰箱100中设置投影控制器140,该投影控制器140可以包括存储器以及处理器,存储器内存储器有程序,该程序被处理器执行时用于实现本发明以下任一实施例的虚拟控制面板操作识别方法。本实施例中的投影控制器140可以与上述实施例中提及的虚拟投影模组中的处理器123集成到一起,也可以是单独设置的控制器,本发明不做限定。

图6示出了根据本发明实施例的虚拟控制面板操作识别方法流程示意图,应用于上述实施例所述的冰箱100,参见图6可知,本发明实施例的虚拟控制面板操作识别方法可以包括:

S602,投影步骤:基于虚拟投影模组120向储物间室的指定区域内投射虚拟控制面板。具体可以基于虚拟投影模组120向冷藏间室底部的指定区域投射虚拟控制面板。

本实施例中,虚拟投影模组120可以设置在冷藏间室的顶部中间位置,且距离冷藏间室前端的距离在预设距离范围内,从而使得投射距离最短,投射角度最好,遮蔽影响小。另外,虚拟投影模组120向储物间室111投射虚拟控制面板的指定区域优先位于冷藏间室112为门体储物盒设置的让位区在冷藏间室112底部的投影区域内,不仅可以使得虚拟投影模组120在冷藏间室112底部完整投射虚拟控制面板,而且使得虚拟投影模组120可以有效检测指定区域内使用者的操作,有效减小甚至避免冷藏间室112中搁物板对虚拟控制面板的投射过程或是检测使用者的操作的过程产生遮蔽影响。

S604,位置获取步骤:当在指定区域捕捉到使用者手部信息时,获取使用者的手指在指定区域的手指位置信息。

S606,操作识别步骤,基于手指位置信息识别使用者对虚拟控制面板的操作,并生成向冰箱的主控板提供对应于该操作的操作指令,以供主控板对操作指令进行响应。

本实施例提供的方法通过在指定区域内捕捉使用者的手部信息,并进一步获取使用者的手指在指定区域的手指位置信息,进而根据手指位置信息准确识别使用者对虚拟控制面板的操作,可以在有效识别使用者误操作的同时准确判断用户的操作,进而由冰箱的主控板进行快速响应,提升用户体验。

上文介绍,冰箱中还可以设置测距组件,进一步地,该测距组件可以包括第一测距组件,为虚拟投影模组120中其优选为包括双目摄像头的双目测距组件122,可选地,上述步骤S604还可以包括:

第一获取子步骤:启动第一测距组件,若第一测距组件在其第一检测范围内检测到使用者的手部信息,则根据目标跟踪算法获取使用者的手指在指定区域的第一位置信息。

图7为本发明实施例中虚拟投影模组120内部投影示意图,其中投影组件121进行虚拟控制面板的投射,识别组件122(本实施例中为双目测距组件)实现对使用者手指位置的识别。图8示出了双目测距的原理如示意图。结合图7、图8可知,O1和O2分别为左右两个摄像头的光心,x1和x2则是物体在左右两个摄像头成像平面上的投影,f是焦距,即成像平面到摄像头的距离,W是摄像头间距,L是目标相对于双目摄像头所在水平面的距离,根据三角形相似定理可以得出:

由上式可以得到其中,d=x1-x2),且共有未知数f,T,d。其中,焦距f和摄像头间距离W是一定的,具体数据通过相机标定得到;视差数据d则需要通过立体匹配获取。与L的值进行比较的预设阈值P,可以根据不同的冰箱冷藏间室高度H进行设置,本发明不做限定。

进一步地,上述步骤S606可以包括:

识别子步骤:基于第一位置信息计算使用者的手指与指定位置的第一相对距离,并将第一相对距离与预设阈值比较,根据比较结果识别使用者对虚拟控制面板的操作。

响应子步骤:生成向冰箱的主控板提供对应于操作的操作指令,以供主控板对操作指令进行响应。

即,当使用者的手指进入摄像头的捕捉范围之内时,摄像头通过目标跟踪算法处理后立即进行手指识别与跟踪,获取手指的位置信息,同时进行距离计算,确定手指距离指定位置的第一相对距离。其中该指定位置可以是双目摄像头中任意摄像头所在位置(如距离双目摄像头所处水平面的任一位置),当手指触摸到投影显示处时,双目摄像头可根据计算出的第一相对距离与预设阈值进行比较,若大于该设定的阈值,即可判断是对冰箱的正常操作,则冰箱响应。一般来讲,虚拟投影模组120在进行投影前会先设定所投射虚拟控制面板的大小以及可实现触控按钮,本发明实施例中,可通过双目摄像头识别使用者手指在虚拟控制面板的按钮触控,同时基于使用者的手指相对于双目摄像头所在平面的高度与预设阈值进行判断使用者是否是对虚拟控制面板的正确操作,进而响应该操作。

进一步地,虚拟投影模组120还可以包括:第二测距组件,其优选为激光测距组件。上述步骤S604还可以包括:

第二获取子步骤:启动第二测距组件,若第二测距组件在其第二检测范围内判断有使用者的手部存在,则获取使用者手部的第二位置信息。

可选地,上述步骤识别子步骤还可以包括基于第二位置信息计算得到使用者的手指与指定位置的第二相对距离;基于第二相对距离将第一相对距离修正得到待判断相对距离;基于待判断相对距离与预设阈值比较,根据比较结果识别使用者对虚拟控制面板的操作。在本实施例中,对第一相对距离进行修正得到待判断相对距离时,可以计算第一相对距离和第二相对距离的差值,并判断差值的绝对值是否在预设阈值范围内;若该差值的绝对值超出预设阈值范围,则基于第二相对距离调节第一相对距离,将第一相对距离修正得到待判断相对距离;其中,待判断相对距离与第一相对距离的差值在预设阈值范围内。该预设阈值可根据不同的应用场景或使用需求进行设置,本发明不做限定。

本实施例通过增加激光测距模组对双目测距模组所计算的使用者的手指与指定位置的第一相对距离进行修正,当双方测量的距离在阈值范围内则证明距离一致,当不一致则用激光测距组件校准至一定范围内,再进行虚拟投影面板的操作及冰箱的响应,否则操作无效,从而进一步提升对使用者操作的准确性。

在本发明一可选实施例中,上述步骤S602之前,还可以包括:环境判断步骤:判断当前环境是否满足虚拟投影模组120的预设投射条件;若判断当前环境满足虚拟投影模组120的预设投射条件,则执行投影步骤。可选地,判断当前环境是否满足预设投射条件时,可以判断冰箱开门是否达到一定时间,或是冰箱开门后,检测虚拟投影模组120的预设投影路径上是否存在遮蔽物等情况,只有在满足一定的条件时,才会进行虚拟控制面板的投射,否则虚拟控制面板不工作,从而提升虚拟投影模组120的使用效率,延长使用寿命。

本发明实施例提供了一种虚拟控制面板操作识别方法及冰箱,在本发明实施例提供的虚拟控制面板操作识别方法中,在虚拟投影模组120投射虚拟控制面板后,可通过对指定区域内使用者手部的手指位置信息进行判断,以判断使用者对虚拟控制面板正常操作的同时识别对应的操作,进而由冰箱进行响应。基于本发明实施例提供的方法,可通过双目测距组件122对使用者的手指进行的识别及跟踪,并进行双目测距计算并快速判断是否有按键按下。另外,本发明实施例提供的方案,还可以通过激光测距组件对双目测距组件122对双目测距组件122测得的数据进行修正,以在进一步提升识别准确度的同时,减小对用户的误操作的响应,提升虚拟投影模组120投影效率以及用户的使用体验。

至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

17页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:光触媒模块及具有其的冰箱

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!