用于改进盲人用户或视力受损用户的环境感知的医疗装置

文档序号:107911 发布日期:2021-10-15 浏览:58次 >En<

阅读说明:本技术 用于改进盲人用户或视力受损用户的环境感知的医疗装置 (Medical device for improving the environmental perception of blind or visually impaired users ) 是由 皮埃尔·布里安德 于 2019-11-15 设计创作,主要内容包括:本发明涉及一种用于改进盲人用户或视力受损用户的环境感知的装置,包括:-一组机械致动器(3),其预期与用户的皮肤接触,-至少一个数码相机(6),其被设计成获取面向所述用户的环境的当前数字图像,-处理电路(2),其连接到所述相机以从所述所获取数字图像接收像素信号并且将所述像素信号的至少一个部分转换成控制信号,所述控制信号中的每一个向这组致动器中的一个机械致动器供电,-眼睛跟踪模块,用于跟踪(7)所述用户的每只眼睛以识别所述用户的注视方向。所述处理电路随后在由所述相机(6)拍摄的所述环境中选择作为所述注视方向的函数的所获取的当前图像的区域并且将所述区域的所述像素信号转换成控制信号,所述控制信号中的每一个向所述组(3)中的一个致动器供电以刺激所述用户的皮肤。(The invention relates to a device for improving the perception of the environment of a blind or visually impaired user, comprising: -a set of mechanical actuators (3) intended to be in contact with the skin of a user, -at least one digital camera (6) designed to acquire a current digital image facing the environment of the user, -processing circuitry (2) connected to the camera to receive pixel signals from the acquired digital image and to convert at least one portion of the pixel signals into control signals, each of the control signals powering one of the mechanical actuators of the set of actuators, -an eye tracking module for tracking (7) each eye of the user to identify the gaze direction of the user. The processing circuit then selects a region of the acquired current image as a function of the gaze direction in the environment captured by the camera (6) and converts the pixel signals of the region into control signals, each of which supplies one actuator of the group (3) to stimulate the skin of the user.)

用于改进盲人用户或视力受损用户的环境感知的医疗装置

技术领域

本发明涉及改进具体来说盲人用户或视力受损用户的环境感知。术语“盲人用户”应理解为表示遭受长期失明或仅由环境引起的失明的人,所述环境例如(对于军事或其它用途而言在完全黑暗中)以触觉使用为目的或作为虚拟或增强现实或其它用途的补充。

背景技术

从现有技术中已知视网膜植入物。这些是在盲人的一只眼睛后面手术植入的装置,所述装置通过从安装在眼镜上的视频传感器再现无线电携带的图像而电刺激去往大脑的神经元。然而,这些装置的成本和实施复杂性限制着其使用。

与这些装置并行的,还从现有技术中已知用于盲人的便携式装置,所述便携式装置能够将从面向个体的环境获取的视频图像转换成在个体的皮肤或黏膜上再现的“触觉图像”。当前使用的版本包括在这种情况下位于用户的舌头上的连接到电刺激单元(低强度)的前置摄像机。虽然这种再现是相当基本的,但盲人仍然是有用的。

这些装置的一个主要缺点在于,当相机瞄准的对象移动时,它们的性能会大大降低。通常,用户必须将他们的胸部、脖子、头转向声音来源的方向或其它方向。最终,此种系统最后会让厌倦该装置的用户疲惫不堪。

发明内容

本发明将改进这种情况。

出于此目的,本发明提供一种装置,所述装置通过测量盲人眼睛的移动并且通过根据此测量闭环控制再现在皮肤上的图像来改进环境的空间感知。

因此,本发明的目的在于一种用于改进盲人用户或视力受损用户的环境感知的装置,所述装置包括:

-至少一组机械致动器,其预期与用户的皮肤接触,

-至少一个数码相机,其布置成用于获取面向用户的环境的当前数字图像,

-处理电路,其连接到相机以从所获取的数字图像的像素接收信号并且将像素信号的至少一部分转换成控制信号,每个控制信号向来自这组致动器的一个机械致动器供电。

具体来说,所述装置还包括用于用户的至少一只眼睛的至少一个眼睛跟踪模块,以便识别用户的注视方向。此外,处理电路被布置成用于在由相机拍摄的环境中选择取决于注视方向的所获取的当前图像的区域,并且用于将来自上述区域的像素的信号转换成控制信号,每个控制信号向这组中的一个致动器供电以刺激用户的皮肤。

术语“机械致动器”通常理解为表示可以例如布置成矩阵的元件,并且每一元件能够在接收到电脉冲后移动。因此,这些可以是压电元件,所述压电元件例如设计成具有:

-位移的振幅是压电元件接收的电信号的函数,和/或

-位移的频率是压电元件接收的电信号的函数。

或者,这些可以是与微机电(或“MEMS”)类型的系统组合的压电元件。

作为另一变体,分布在平面矩阵上的聚焦超声波的发射可以用于刺激用户的皮肤。作为又一变体,提供一种电极,所述电极发射感觉为微小电击的电脉冲(所述电脉冲的强度可以表征图像灰度级且具有表征特定颜色的重复频率,稍后将通过示例性实施例演示)。

上文用户的“皮肤”理解为既指用户的皮肤(在躯体上或其它部位)也指例如上腭、舌头或其它部位的黏膜,还对应于通用医疗术语“表皮”。因此,致动器可以采用处理微电流的电极形式,并且例如容纳在颊内假腭中(例如接合到义齿腭的部分),但不防碍用户说话、进食或饮水。

此外,术语“数码相机”理解为表示以下事实:从环境获取的图像包括通常布置为矩阵的像素,并且电信号可以被分配给向致动器供电的每个像素。例如,对于单色(“黑色和白色”)图像,向致动器供电的电信号的强度可以与像素的灰度级(例如,从深黑灰色到浅白灰色)成比例。取决于此电信号的强度,机械致动器可能以较大或较小的振幅和/或频率移位。

因此,本发明意义上的装置允许通过用户的眼睛跟踪测量以及因此通过用户的注视再现聚焦于环境特定区域的用户的注意力。例如,如果用户已在特定方向上听到声音,则用户可以朝向此方向注视,装置通过再现在此方向上选择的环境区域的“触觉图像”来实现此方向。

出于此目的,本发明必须克服盲人失去眼睛跟踪能力的偏见。然而,对于那些至少最近失明的人(且假设他们保留了眼球),反直觉地观察到盲人的眼睛仍然运动(尽管他们失明)。

因此,本发明的目的在于一种采用由软件应用程序控制的装备(或设备)单元形式的装置,并且旨在用于特别是减少障碍(在这种情况下,盲人用户的失明)影响的目的。就此而言,本发明的装置可以被视为医疗装置。

在一个实施例中,处理电路可以布置用于在所获取的当前图像中选择取决于注视方向的当前图像的有限区域,并且用于将来自所述有限区域的像素的信号转换成控制信号,每个控制信号向来自这组中的一个致动器供电以刺激用户的皮肤。

在一个变体中,所述处理电路可以布置用于旋转移动的相机(不一定是广角的),以便跟随用户的注视方向。然而,可能有利的是实施固定(广角)相机并且通过计算机选择因此根据注视方向以广角获取的图像中的相关区域。

然而,所述处理电路还可以布置用于也旋转移动(至少在方位上)的广角相机,以跟踪朝向用户的鼻子会聚的眼睛移动(其对应于搜索“近视”)。此外,这些相机能够自动对焦(具有模糊检测模块),这允许用户在附近空间(“近视”)和远处(“远视”)两者中获得对环境的空间感知。在聚焦情况之外且特别是对于“远视”,可以默认地以相对于彼此的定向来调整相机,同时尽可能接近地符合用户的同侧眼睛的生理定向(横向相对于矢状平面大约15°,因此一个相机相对于另一个的定向为大约30°)。

在一个可能实施例中,所述装置还包括:

-两组机械致动器,其预期与用户的皮肤接触,以及

-用于用户的相应眼睛的两个眼睛跟踪模块,用于限定当前图像中的两个区域并且将来自两个区域中的每一个的像素的信号转换成向两组相应致动器供电的两组相应控制信号。

通过将眼睛跟踪应用于用户的每一只眼睛,装置还可以借助于一对机械致动器组提供对用户注视前方的三维空间的感知。实际上,归功于此双眼协调能力,对于眼睛跟踪以及对于机械致动器组两者,装置可以向用户提供对正在查看的三维空间的感知。如下文将参考图1演示的,致动器组彼此不同且空间分离,但是人脑仍然自然地被配置用于从两个单独的二维图像开始再现单个三维图像(如同它通常对用户的两只眼睛所做的那样)。

因此,对于失明但此处假设仍具有移动双眼能力的人来说,用户可以在其皮肤上接收两个“触觉图像”,所述图像可以相互印证以用于3D感知。

然而,这是一种复杂的实施例。可以提供单眼跟踪模块(出于经济原因,或另外如果用户仅具有一只眼睛可以测量到瞳孔移动),所述单眼跟踪模块可能具有两个相机以拍摄面向用户的环境(可能在每个相机轴之间具有约30°的角度,以符合眼睛光轴的通常生理定向)。使用单眼跟踪唯一可能的不确定性是辨别:

-用户正在查看附近图像且眼睛通常朝向鼻子会聚的情况,以及

-用户正看向远处,但看向一侧,并且看向鼻子的情况。

在这种情况下,相机可以“自动对焦”并因此区别开这两个情况中的每一个。

在本发明的一个实施例中,相机和眼睛跟踪模块至少安装到共同的机械支架上,眼睛跟踪模块朝向用户的一只眼睛(通常是用户的同侧)定向,相机定向成获取面向用户的环境的当前数字图像。因此,相机可以沿着用户的同侧眼睛的生理轴定向(或每个相机沿着一只眼睛的轴线定向。

因此,相机与眼睛跟踪模块之间的距离在支架上随时间保持恒定,从而允许用户的注视位置与相机在任何给定时间拍摄的内容相关。

有利地,相机为具有10mm与35mm之间的焦距的广角类型。

在本发明的一个实施例中,装置包括无线链路,用于将控制信号传输到致动器以用于处理电路与致动器之间的至少一个连接。

无线链路提供以下优点:例如以紧凑方式将致动器(所述致动器可以刺激个体的躯体或背部,如下文参考图1所描述)连接到装置的其余部分;以及例如在将眼睛跟踪模块、相机和处理电路等分组的机械支架与机械致动器之间创建链路。

由于用户的手的皮肤特别敏感,因此在一个变体中,可以提供集成到手套中的机械致动器,例如机械致动器组有利地以相应贴片的形式放置于用户的手掌上。例如,为每只手提供具有机械致动器贴片的手套,每只手对应于要感知的环境的一个图像(因此具有可能的三维重建)。相机、眼睛跟踪模块和处理电路可以安装到共同的支架上并且无线地连接到手套的贴片。

在机械致动器可以刺激用户头部的一部分(例如,如图5中所说明的前额)的一个变体中,组合件(相机、眼睛跟踪模块等以及致动器)可以安装到例如采用戴在前额上且在用户的眼睛上方找到的头戴式耳机形式的共同的支架上。

在一个实施例中,致动器被布置成用于根据作为所接收的控制信号的函数的强度刺激用户的皮肤,并且控制信号各自为像素的颜色强度的函数。

“像素的颜色强度”理解成表示给定颜色的像素的亮度。

例如,对于“黑色和白色”图像,可以根据从白色变成黑色的像素的灰度级激活每个致动器。作为变体,可以针对彩色图像的每个像素提供一组三个致动器,每个致动器具有随着此像素的“红、蓝、绿”颜色级别而变的强度或振动频率。

例如,对于彩色图像的“再现”,可以将像素的亮度(例如,从暗到亮)转换成致动器移动的强度(因此更用力地按压用户的皮肤),然而每个致动器的振动频率可以通过分配给此致动器的颜色类型(红色或蓝色或绿色)确定。例如,再现蓝色级别的致动器比再现红色级别的致动器振动得更快(绿色或黄色由具有中间振动频率的致动器表示)。

因此,在每个致动器在振动时可移动以通过循环振动刺激用户的皮肤的实施例中,致动器的振动频率可以取决于像素颜色的类型。

在一个实施例中,图像区域可以具有与眼睛跟踪模块所跟踪的眼睛的视场形状相对应的一般形状,然后可以安置这组致动器中的致动器,以便根据对应于此视场形状的二维形状分布。

因此,应理解,在装置中,为区域中的像素提供了与所述组的致动器“一对一”的对应关系。因此,所述组中的多个致动器的数目可以与区域中的像素数目相对应。在空间上,还可以提供所述区域中的像素与这组致动器中的相应致动器的位置的对应关系。然而,这是一个示例性实施例。例如,致动器可以与图像的一组四个像素或更多像素(例如,具有平均灰度级)相关联。类似地,致动器在这组致动器内可能不规则地间隔开(因为这组致动器可以在身体的或多或少敏感区域上延伸,越敏感的区域通常能够接收越多的致动器)。

装置通常可以包括特别用于基于所获取的图像区域的像素驱动致动器的处理电路。此处理电路随后实施一种方法,即本发明的另一主题,且所述方法包括以下步骤:

-从所获取的数字图像的像素接收信号,

-通过对用户的注视方向进行眼睛跟踪来接收测量,

-确定在区域的所获取图像中与注视方向相对应的边界,且从所述区域的像素中选择信号,

-将来自所述区域的像素的信号转换成控制信号,每个控制信号预期向这组机械致动器中的一个致动器供电,所述区域中的像素数目对应于这组机械致动器包括的致动器的数目,

-将相应控制信号传输到所述组中的致动器。

装置的处理电路通常可以包括(如图4所示)处理器和存储器,所述存储器存储计算机程序的指令以在这些指令由处理器执行时实施此方法。本发明的目的还在于此种计算机程序(其通用算法可以有下文描述的图3说明)。

附图说明

此外,在阅读下文中呈现的示例性实施例的描述后以及在检查附图后,本发明的其它优点和特征将变得显而易见,附图中:

图1

[图1]示出了根据第一示例性实施例的佩戴本发明的主题的用于改进环境感知的医疗装置的个体;

图2

[图2]是参考图1的本发明的主题的装置的一部分的透视图;

图3

[图3]对应于参考图1的本发明的主题的方法的一般算法的流程图;

图4

[图4]示意性地说明了特别是图1中所示的装置的处理电路;

图5

[图5]示出了根据第二示例性实施例的佩戴用于改进环境感知的医疗装置的个体;

图6

[图6]示出了观察正面环境的个体5,即在本发明的意义上的装置的穿戴者;

图7

[图7]示意性地说明了机械致动器组中的一个;

具体实施方式

图1示出用于改进通常在用户前方的空间中的环境感知的装置。所述装置由盲人或弱视用户5佩戴,此装置包括将广角相机6和眼睛跟踪模块7集成的机械支架1。更确切地说,在用户的眼睛仍移动并且当随后在每只眼睛上可以进行眼睛跟踪时的情况下,该装置可以包括(如图1所示的)两个广角相机6,每一个广角相机用于拍摄用户每只眼睛前方的环境;以及两个眼睛跟踪模块7,每一个眼睛跟踪模块用于跟踪一只眼睛的移动。

两个相机(特别是广角相机)通常安装在支架1上的固定对应位置中,并且在广角图像中选择的区域部分地重叠以提供立体效果,从而允许3D感知。出于此目的,该装置还包括空间分离的两组机械致动器3,如图1所示。

相机6和跟踪模块7经由有线链路连接到驱动两组机械致动器3的处理电路2。

在所示实例中,机械支架1放置于用户5的头部上,而两组机械致动器3则位于用户5的躯体上。通过眼睛跟踪模块7实时地测量用户5的眼睛的移动。此外,此处通过实例,选择所获取图像中与用户的当前注视方向相对应的区域。或者,相机(不一定是广角的)可以安装在相应枢转轴上,并且相机定向在用户的当前注视方向上。在又一替代方案中,可以提供单个广角相机,但是具有针对每只眼睛的眼睛跟踪,并且在拍摄的环境中选择两个区域,通过这两个区域的部分重叠再次提供立体效果。

在通过一个或多个“广角”类型的相机拍摄环境的实施例中,选择此类相机的焦距,以便在所获取图像中覆盖用户5的视场将对应的内容(如果用户身体健全)。

在广角相机6拍摄环境的同时测量用户5的眼睛的移动。更确切地说,如图6所示,由眼睛跟踪模块7实施的测量由处理电路2分析,以便根据(对于每只眼睛)注视方向D的测量选择仅通过广角相机6获取的环境E的当前图像的适当像素区域Z。

可以通过无线链路将实施的测量发送到处理电路2。实际上,此应用中的无线链路允许用户5受到较少限制且具有更大移动自由,处理电路2和机械致动器3位于用户5的躯体(或通常背部)上。

处理电路2处理所接收数据且将指令发送到所述组3中的机械致动器AM。

位于胸部的机械致动器3根据由处理电路2接收的命令刺激用户5的皮肤。所述机械致动器在用户的皮肤上“再现”在处理完处理电路2中的数据之后所改进的图像。

实际上,处理电路2将每个像素的像素强度(例如,灰度级)转换成通过致动器的刺激的机械强度。特定振动频率可以与像素的每个颜色相关联(例如,用于红色的低频率以及用于蓝色的高频率)。例如,还可以将增加的振动频率分配给在可见光谱的颜色中从红色到紫色的各种颜色。

图2示出了机械支架1的透视图,所述机械支架具有面9以及固持在面9上的两个分支8,例如经由铰接链接(未示出)以机械方式刚性地附接到所述面。两个眼睛跟踪模块7朝向眼睛定位,通常用于拍摄瞳孔且跟踪瞳孔的移动(通常通过由因此获取的图像中的计算机模块实施的形状识别),并且从中确定用户的注视方向。另一方面,两个广角相机7位于环境的方向上(沿着个体的眼睛的生理轴)。

图3示出了概述由处理电路2实施的方法的可能步骤的流程图。此方法可以包括在步骤S1处通过相机6获取当前图像。在步骤S2处,实施眼睛跟踪,以便确定用户的当前注视方向(基于通过由一个或多个眼睛跟踪模块7对用户5的注视方向进行眼睛跟踪进行的测量)。因此使视场与注视定向相关。在步骤S3处,取决于此当前注视方向,在环境E的所获取图像(如上文参考图6所描述的)中选择对应于注视方向D的区域Z。更具体来说,选择来自此区域Z的像素的信号,以在步骤S4处将其转换成用于机械致动器AM(例如图7中所示的致动器3组)的控制信号sp。这些可以是由电信号sp控制的如上文所描述的压电元件或MEMS,以便在振动时如下驱动这些元件:

-在作为像素强度(例如灰度级)的函数的振动幅度下,以及

-在由颜色类型确定的振动频率下(例如,对于蓝色、绿色或红色的三个频率水平)。

在步骤S5处,随后将这些控制信号发送到机械致动器AM。

不言而喻,针对每只眼睛(以及因此每个当前相机图像)实施这些步骤S1到S5,且对于连续地获取的图像实时地连续执行这些步骤。

皮肤上的两个机械致动器3的两个振动图像旨在尽可能接近视网膜可能捕获的那些图像(如果个体身体健全)。此实施例允许向个体5重新教示周围空间。

图4以示意图形式输出装置,所述装置包括广角相机6和眼睛跟踪模块7以及处理电路2,所述处理电路在此处包括:

-输入接口IN,用于从设备6(当前图像的像素)和7(注视方向的测量)接收信号,

-存储器MEM,用于至少暂时地存储对应于这些信号的数据以及在本发明意义上的计算机程序的指令,用于实施上文参考图3描述的方法,

-处理器PROC,其能够与输入接口IN和存储器MEM协作,以读取并执行计算机程序的指令且因此经由以下项传递用于致动器AM的控制信号

-输出接口OUT,其连接到致动器3组。

图5示出由用户5佩戴在头上的用于改进环境的空间感知的装置。该装置包括在头的任一侧上延伸的机械支架1,以及位于个体5的前额上的两个机械致动器3。机械支架1包括面9以及固持在面上的两个分支8,如图2中所说明。与图1中所说明的装置相比,处理电路2集成到机械支架1中。机械支架1采用允许用户5完全自由的头戴式耳机的形式。此处,可以在此实施例中提供在机械支架1与机械致动器3之间的短有线链路。这是因为所述装置并不限制用户5的移动并且整个装置处于用户的头部上。

不言而喻,本发明不限于上文描述的示例性实施例,并且本发明可以延伸到其它变体。

因此,例如,上文已描述特定于颜色的振动频率。作为变体,对于黑色和白色图像,可以选择随着每个像素的灰度级而变化的振动频率。

先前,根据与所选图像区域采用的视场形状相对应的二维形状定义这组致动器中的致动器的分布,特别是每个组中的致动器数目对应于所选图像区域中的像素数目。然而,作为变体,可以随着用户变得习惯所述装置而逐渐使所述组的致动器以增加的数目(从这组致动器的中心开始直至所述组中的整个全部致动器)激活。作为另一变体,再次随着用户变得习惯所述装置,可以从所述组的N个致动器中平均化n个致动器的振动(或其它刺激)幅度,然后通过使n减小来随后细化感知的定义。不言而喻,为了加快这种自适应,还可以(通过计算机)校正并因此减少初始动眼神经像差,例如以减弱眼扫视运动。

14页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于伤口治疗的薄型分配部件

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!