用于生物识别和健康状态确定的光学设备和相关装置

文档序号:1957441 发布日期:2021-12-10 浏览:13次 >En<

阅读说明:本技术 用于生物识别和健康状态确定的光学设备和相关装置 (Optical device for biometric identification and health status determination and related apparatus ) 是由 乔纳森·M·罗思伯格 罗伦斯·C·威斯特 泰勒·S·阿尔斯顿 M·阿里安佐 O·凯伊-考德勒 于 2019-12-12 设计创作,主要内容包括:本公开提供用于捕获人的视网膜眼底的图像、识别人、访问与人相关联的各种电子记录(包括健康记录)或账户或装置、确定人对某些疾病的易感性、和/或诊断人的健康问题的技术和设备。一些实施例提供了成像设备,其具有用于捕获人的眼睛的一个或多个图像的一个或多个成像装置。本文描述的成像设备可以包括电子装置,用于分析捕获到的图像和/或健康数据和/或与其他装置交换捕获到的图像和/或健康数据。根据各种实施例,本文描述的成像设备可以替代地或附加地被配置用于生物识别和/或健康状态确定技术,如本文所描述的那样。(The present disclosure provides techniques and apparatus for capturing images of a person&#39;s retinal fundus, identifying the person, accessing various electronic records (including health records) or accounts or devices associated with the person, determining the person&#39;s susceptibility to certain diseases, and/or diagnosing health problems with the person. Some embodiments provide an imaging apparatus having one or more imaging devices for capturing one or more images of a person&#39;s eyes. The imaging apparatus described herein may comprise electronic means for analyzing and/or exchanging captured images and/or health data with other means. According to various embodiments, the imaging devices described herein may alternatively or additionally be configured for biometric identification and/or health state determination techniques, as described herein.)

用于生物识别和健康状态确定的光学设备和相关装置

技术领域

本申请涉及生物识别,例如使用人的视网膜眼底。

背景技术

用于识别人、访问人的私人装置或账户、确定人的健康状态和/或诊断人的健康状况的现有技术将受益于改进。

发明内容

本公开的一些方面提供了一种成像设备,该成像设备包括被配置为容纳人的第一眼睛和第二眼睛的壳体,该壳体中设置有光学相干断层扫描(OCT)装置和荧光装置,该OCT装置被配置为对第一眼睛的视网膜进行成像和/或测量,该荧光装置被配置为对第二眼睛的视网膜进行成像和/或测量。

本公开的一些方面提供了一种成像设备,该成像设备包括双目形壳体,该壳体中设置有包括光学成像装置和荧光成像装置的多个成像装置,其中,该光学成像装置和荧光成像装置被配置为使用相同的光学组件进行成像和/或测量。

本公开的一些方面提供了一种成像设备,该成像设备包括壳体,该壳体中设置有多个成像装置和至少两个透镜,其中,至少两个透镜分别与多个成像装置中的至少两个对准,以对人的第一眼睛和第二眼睛中的至少一个进行成像和/或测量。

本公开的一些方面提供了一种用于成像设备的支架,该支架包括:保持部分,被配置为容纳成像设备的壳体;以及基座,耦接到保持部分,并且被配置为在容纳于保持部分中时支撑成像设备。

上述概述并非旨在限制。此外,各种实施例可以单独地或组合地包括本公开的任何方面。

附图说明

附图并不意图按照比例绘制。在附图中,在各个图中示出的每个相同或几乎相同的组件由相同的标号表示。为了清楚起见,不是每个组件都在每张图中标出。在附图中:

图1是根据本文描述的技术的一些实施例的用于生物识别和健康或其他账户访问的云连接系统的框图。

图2是根据图1所示系统的一些实施例的用于本地生物识别和健康或其他账户访问的示例性装置的框图。

图3是示出根据图1至图2的实施例的用于捕获一个或多个视网膜眼底图像并从捕获到的图像中提取图像数据的示例性方法的流程图。

图4是根据图3的方法的人的视网膜眼底的侧视图,包括可以在一个或多个图像中捕获和/或在从图像中提取的数据中指示的各种特征。

图5A是根据图3的方法的一些实施例的示例性卷积神经网络(CNN)的框图。

图5B是根据图5A的CNN的一些实施例的示例性卷积神经网络(CNN)的框图。

图5C是根据图5A的CNN的替代实施例的包括长短期记忆(LSTM)网络的示例性递归神经网络(RNN)的框图。

图6是根据图3的方法的一些实施例的示例性全卷积神经网络(FCNN)的框图。

图7是根据图3的方法的替代实施例的示例性卷积神经网络(CNN)的框图。

图8是根据图3的方法的其他替代实施例的示例性卷积神经网络(CNN)的框图。

图9是示出根据图1至图2的实施例的用于识别人的示例性方法的流程图。

图10A是根据图9的方法的一些实施例的用于模板匹配视网膜眼底特征的方法的流程图。

图10B是根据图9的方法的一些实施例的用于比较人的视网膜眼底的平移和旋转不变特征的方法的流程图。

图11是示出根据图1至图2的实施例的示例性用户界面的框图。

图12是示出根据本文描述的技术的一些实施例的示例性分布式账本的框图,其组件可通过网络访问。

图13A是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括通过通信网络发送与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据,以及通过通信网络接收人的身份。

图13B是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括基于与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人,以及基于人的第一生物特征来验证人的身份。

图13C是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括基于与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人,以及更新与多个视网膜眼底图像相关联的存储数据。

图13D是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括提供与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据作为经训练的统计分类器(TSC)的第一输入,以及基于来自TSC的至少一个输出来识别人。

图13E是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括基于与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人,以及确定人的身体状况。

图13F是示出根据本文描述的技术的一些实施例的示例性方法的流程图,该方法包括提供与人的视网膜眼底的第一图像相关联的和/或包括人的视网膜眼底的第一图像的第一图像数据作为经训练的统计分类器(TSC)的第一输入,在步骤处基于来自TSC的至少一个输出来识别人,以及确定人的身体状况。

图14A是根据本文描述的技术的一些实施例的示例性成像设备的前透视图。

图14B是根据本文描述的技术的一些实施例的图14A的成像设备的后透视图和部分透明视图。

图15是根据本文描述的技术的一些实施例的替代示例性成像设备的仰视图。

图16A是根据本文描述的技术的一些实施例的另一示例性成像设备的后透视图。

图16B是根据本文描述的技术的一些实施例的图16A的成像设备的分解图。

图16C是根据本文描述的技术的一些实施例的使用图16A的成像设备对人的一只或每只眼睛进行成像的人的侧视图。

图16D是根据本文描述的技术的一些实施例的由支架支撑的图16A的成像设备的透视图。

具体实施方式

发明人已经发现,捕获到的人的视网膜眼底的图像可用于识别人、确定人对某些疾病的易感性和/或诊断人的健康问题。因此,发明人已经研发了用于捕获人的视网膜眼底的图像的技术。此外,发明人已经研发了用于识别人、访问与人相关联的各种电子记录(包括健康记录)或账户或装置、确定人对某些疾病的易感性和/或诊断人的健康问题的技术。

本文描述的技术的一些实施例提供了用于基于云的生物识别的系统,该系统能够保护敏感数据,例如存储在云上的电子记录或账户。一些实施例提供了用于在云上存储与各种患者相关联的健康信息和/或用于通过生物识别系统保护患者的健康信息的系统,使得患者可以更容易地访问健康信息而不牺牲安全性或机密性。在一些实施例中,生物识别系统可以与用于存储健康信息和/或用于确定患者的身体状况的系统集成在一起,使得来自用于识别人的一个或多个捕获到的图像的数据也可以用于更新人的健康信息,和/或确定人的身体状况。

发明人已经认识到,例如对于使用字母数字口令或密码系统和各种形式的生物特征安全机制进行验证来说,当前安全系统中存在若干问题。字母数字口令或密码系统可能容易受到黑客攻击,例如通过蛮力(例如,尝试每种可能的字母数字组合)。在这种情况下,用户可以通过使用一长串字符或通过使用更多样化的字符(例如,标点符号或字母与数字的混合)来增强他们的密码。然而,在这类方法中,用户更难记住密码。在其他情况下,用户可能选择包含个人信息(例如,出生日期、周年纪念日或宠物名称)的口令或密码,这样可能更容易记住,但也更容易被第三方猜到。

虽然一些生物特征安全系统被配置为例如通过声纹、面部、指纹和虹膜识别用于验证,与口令和密码系统相比,这也可以提供改进的欺诈保护,但是发明人已经认识到,这些系统最终在识别正确的人方面是效率低下的。通常,这些系统要么具有高的误接受率,要么具有高的误拒绝率。高的误接受率使欺诈活动更容易,而高的误拒绝率使得更难以肯定地识别患者。此外,虽然诸如DNA识别之类的其他系统在识别正确的人方面是有效的,但是发明人已经认识到,此类系统的侵入性过大。例如,DNA识别需要侵入性测试程序,例如血液或唾液样本,随着识别频率的增加,这变得日益不切实际和昂贵。此外,DNA鉴定是昂贵的,并且容易通过窃取诸如包含DNA的头发之类的人为物品而被欺诈。

为了解决与现有系统相关联的问题,发明人已经研发了生物识别系统,该系统被配置为使用捕获到的人的视网膜眼底的图像来识别人。这种系统提供了一种具有低误接受率和低误拒绝率的微创成像方法。

此外,本文所述的生物识别与传统系统的验证技术的进一步区别在于,本文描述的生物识别系统可被配置为不仅确认人的身份,而且实际上在不需要来自人的任何信息的情况下确定人的身份。验证通常要求人提供识别信息以及口令、密码或生物特征测量,以确定提供的识别信息是否与口令、密码或生物特征测量相匹配。相比之下,本文描述的系统可以被配置为基于一个或多个捕获到的人的视网膜眼底的图像来确定人的身份。在一些实施例中,可以获得其他的安全方法,例如口令、密码或生物特征测量(例如,人的声纹、面部、指纹和虹膜),用于进一步的验证以补充生物识别。在一些实施例中,除了捕获到的人的视网膜眼底的图像之外,人还可以向生物识别系统提供识别信息。

发明人还已经认识到,可用于从捕获到的图像中识别人的视网膜眼底特征也可用作人对某些疾病的易感性的指标,并且甚至可用于诊断人的身体状况。因此,替代地或附加地,本文描述的系统可以被配置为确定人对各种疾病的易感性,并诊断人的一些健康问题。例如,在捕获或以其他方式获得人的视网膜眼底的一个或多个图像以供识别时,系统还可基于图像做出此类确定或诊断。

转向附图,图1至图2示出了示例性系统和装置,其被配置为实现用于生物识别、健康信息管理、身体状况确定和/或电子账户访问中的任一个或每一个的技术。在系统和装置的描述之后的这些技术的描述将返回参考图1至图2所示的系统和装置。

参考图1至图2,图1示出了云连接系统,在该系统中装置可以与远程计算机进行通信,以执行与本文描述的技术相关联的各种操作。与图1相反,图2示出了一种装置,该装置可以被配置为在该装置上本地执行本文描述的任何或所有技术。

参考图1,发明人已经认识到,至少在某些情况下,生物识别、健康信息管理和用户终端装置上的其他任务所需的处理可能需要耗电和/或昂贵的处理和/或存储组件。为了解决这些问题,发明人已经研发了云连接系统和装置,这可以将一些或所有要求最高的处理和/或存储密集型任务转移到远程计算机上,使得用户端装置可以实现为具有更便宜和更节能的硬件。在某些情况下,该装置可能只需要捕获人的图像并将与该图像相关联的数据发送到远程计算机。在这种情况下,计算机可以基于图像数据执行生物识别、访问/更新健康信息和/或账户信息、和/或确定身体状况,并将所得到的数据发送回装置。因为该装置可以仅捕获图像并将与该图像相关联的数据发送到计算机,所以该装置可能需要非常少的处理能力和/或存储器,这有助于相应地降低装置端的成本和功耗。因此,该装置可以具有增加的电池寿命并且对于最终用户来说可以更负担得起。

图1是示例性系统100的框图,该系统100包括连接到通信网络160的装置120a和计算机140。

装置120a包括成像设备122a和处理器124a。在一些实施例中,装置120a可以是诸如移动电话、平板电脑之类的便携式装置和/或诸如智能手表之类的可穿戴装置。在一些实施例中,装置120a可以包括独立的网络控制器,用于通过通信网络160进行通信。替代地,网络控制器可以与处理器124a集成。在一些实施例中,装置120a可以包括一个或多个显示器,用于经由用户界面提供信息。在一些实施例中,成像设备122a可以与装置120a的其他组件分开封装。例如,成像设备122a可以例如经由电缆(例如,通用串行总线(USB)电缆)和/或有线或无线网络连接通信地耦接到其他组件。在其他实施例中,成像设备122a可以与装置120a的其他组件一起封装,例如在相同的移动电话或平板计算机壳体内(作为示例)。

计算机140包括存储介质142和处理器144。存储介质142可以包含图像和/或与用于识别人的图像相关联的数据。例如,在一些实施例中,存储介质142可以包含视网膜眼底图像和/或与视网膜眼底图像相关联的数据,其用于与要识别的人的视网膜眼底图像进行比较。

根据各种实施例,通信网络160可以是局域网(LAN)、手机网络、蓝牙网络、互联网或任何其他这样的网络。例如,计算机140可以位于相对于装置120a的远程位置,例如与装置120a分开的房间,并且通信网络160可以是LAN。在一些实施例中,计算机140可以位于与装置120a不同的地理区域中,并且可以通过互联网进行通信。

应当理解,根据各种实施例,代替装置120a或者除了装置120a之外,可以包括多个装置。例如,系统100中可以包括中间装置,用于在装置120a和计算机140之间进行通信。替代地或另外地,代替计算机140或者除了计算机140之外,可以包括多台计算机以执行本文归于计算机140的各种任务。

图2是根据本文描述的技术的一些实施例的示例性装置120b的框图。类似于装置120a,装置120b包括成像设备122b和处理器124b,该装置120b可以以针对装置120a描述的方式进行配置。装置120b可以包括一个或多个显示器,用于经由用户界面提供信息。装置120b还包括存储介质126。存储在存储介质126上的数据(例如图像数据、健康信息、账户信息或其他此类数据)可以促进装置120b上的本地识别、健康信息管理、身体状况确定和/或账户访问。应当理解,装置120b可以被配置为本地执行与本文描述的技术相关联的任何或所有操作,并且在一些实施例中,可以将数据发送到诸如计算机140等远程计算机以便远程执行这类操作。例如,装置120b可以被配置为连接到通信网络160。

I.用于获得人的视网膜的图像和/或测量人的视网膜的技术和设备

发明人已经研发了用于捕获人的视网膜眼底的一个或多个图像和/或获得与图像相关联的数据的技术,参考图1至图2描述其各方面。

成像设备122a或122b可以被配置为捕获人的视网膜眼底的单个图像。或者,成像设备122a或122b可以被配置为捕获人的视网膜眼底的多个图像。在一些实施例中,成像设备122a或122b可以是二维(2D)成像设备,例如数码相机。在一些实施例中,成像设备122a或122b可以更先进,例如结合光学相干断层扫描(OCT)和/或荧光寿命成像显微镜(FLIM)。例如,在一些实施例中,成像设备122a或122b可以是视网膜感测装置,其可以被配置为例如使用白光或红外(IR)光、荧光强度、OCT或荧光寿命数据进行宽视场或扫描视网膜眼底成像。替代地或附加地,成像设备122a或122b可以被配置为用于一维(1D)、二维(2D)、3维(3D)或其他维对比成像。在本文中,荧光和寿命被认为是对比度的不同维度。可以使用红色信息通道(例如,具有633-635nm之间的波长)、绿色信息通道(例如,具有大约532nm的波长)或任何其他合适的光成像通道中的任一个或每一个来捕获本文所述的图像。作为非限制性示例,荧光激发波长可以在480-510nm之间,发射波长在480-800nm之间。

成像设备122a或122b可以与装置120a或120b的其他组件分开封装,使得它可以定位在人的眼睛附近。在一些实施例中,装置120a或装置120b可以被配置为适应(例如,符合等)人的面部,例如特别是在人的眼睛周围。或者,装置120a或120b可以被配置为保持在人的眼睛前面。在一些实施例中,成像设备122a或122b的透镜可以在人的视网膜眼底的成像期间放置在用户的眼睛前面。在一些实施例中,成像设备122a或122b可以被配置为响应于用户按下装置120a或120b上的按钮来捕获一个或多个图像。在一些实施例中,成像设备122a或122b可以被配置为响应于来自用户的语音命令来捕获图像。在一些实施例中,成像设备122a可以被配置为响应于来自计算机140的命令来捕获图像。在一些实施例中,成像设备122a或122b可以被配置为在装置120a或120b感测到人的存在(例如通过在成像设备122a或122b的视角中检测人的视网膜眼底)时自动捕获图像。

发明人还已经研发了具有增强的成像功能和通用形状因子的新颖且改进的成像设备。在一些实施例中,本文描述的成像设备可以包括两个或更多个成像装置,例如公共壳体内的OCT和/或FLIM装置。例如,单个成像设备可以包括壳体,该壳体被成形为在壳体内支撑OCT和FLIM装置以及用于执行成像和/或访问云以进行图像存储和/或发送的相关电子装置。在一些实施例中,成像设备上的电子装置可以被配置为执行本文描述的各种处理任务,例如识别成像设备的用户(例如,通过对人的视网膜眼底成像)、访问用户的电子健康记录、和/或确定用户的健康状态或身体状况。

在一些实施例中,本文描述的成像设备可以具有有助于对人的双眼进行(例如,同时)成像的形状因子。在一些实施例中,本文描述的成像设备可以被配置为通过成像设备的不同成像装置对每只眼睛进行成像。例如,如下文进一步描述的,成像设备可以包括透镜对,该透镜对被保持在成像设备的壳体中,用于与人的眼睛对准,并且该透镜对也可以与成像设备的各个成像装置对准。在一些实施例中,成像设备可以包括基本上双目形的形状因子,其中成像装置位于成像设备的每一侧。在成像设备的操作期间,人可以简单地翻转成像设备的竖直取向(例如,通过围绕与执行成像的方向平行的轴旋转装置)。因此,成像设备可以从通过第一成像装置对人的右眼成像转变为通过第二成像装置对右眼成像,并且同样地,从通过第二成像装置对人的左眼成像转变为通过第一成像装置对左眼成像。在一些实施例中,本文描述的成像设备可以被配置为安装在桌子或书桌上,例如安装在支架上。例如,支架可以允许成像设备围绕一个或多个轴旋转,以便于用户在操作期间进行旋转。

应当理解,本文描述的成像设备的各方面可以使用与基本上双目形不同的形状因子来实现。例如,具有不同于基本上双目形的形状因子的实施例可以结合以下描述的示例性成像设备以本文描述的方式以其他方式进行配置。例如,这种成像设备可以被配置为使用成像设备的一个或多个成像装置同时对人的一只或两只眼睛进行成像。

图14A至图14B中示出了根据本文描述的技术的成像设备的一个示例。如图14A所示,成像设备1400包括具有第一壳体部分1402和第二壳体部分1403的壳体1401。在一些实施例中,第一壳体部分1402可以容纳成像设备1400的第一成像装置1422,并且第二壳体部分1403可以容纳成像设备的第二成像装置1423。如图14A至图14B所示,壳体1401基本上是双目形的。

在一些实施例中,第一成像装置1422和第二成像装置可以包括光学成像装置、荧光成像装置和/或OCT成像装置。例如,在一个实施例中,第一成像装置1422可以是OCT成像装置,而第二成像装置1423可以是光学和荧光成像装置。在一些实施例中,成像设备1400可以仅包括单个成像装置1422或1423,例如仅光学成像装置或仅荧光成像装置。在一些实施例中,第一成像装置1422和第二成像装置1423可以共享一个或多个光学组件,例如透镜(例如,会聚透镜、发散透镜等)、反射镜和/或其他成像组件。例如,在一些实施例中,第一成像装置1422和第二成像装置1423可以共享公共光路。可以想到的是,这些装置可以独立或共同操作。每个可以是OCT成像装置,每个可以是荧光成像装置,或者两者可以是一个或另一个。可以对两只眼睛同时进行成像和/或测量,或者可以对每只眼睛单独地进行成像和/或测量。

壳体部分1402和1403可以通过前壳体部分1405连接到壳体1401的前端。在说明性实施例中,前壳体部分1405被成形为适应人的面部轮廓,例如具有符合人脸的形状。当适应人脸时,前壳体部分1405还可以提供从人的眼睛到成像设备1400的成像装置1422和/或1423的视线。例如,前壳体部分1405可以包括第一开口1410和第二开口1411,其对应于第一壳体部分1402和第二壳体部分1403中的相应开口,以在第一光学装置1422和第二光学装置1423与人的眼睛之间提供阻碍最小的光路。在一些实施例中,开口1410和1410可以覆盖有可以包括玻璃或塑料的一个或多个透明窗口(例如,每个具有其自己的窗口、具有共享窗口等)。

第一壳体部分1402和第二壳体部分1403可以通过后壳体部分1404在壳体1401的后端处连接起来。后壳体部分1404可以成形为覆盖第一壳体部分1402和第二壳体部分1403的端部,使得成像设备1400的环境中的光不进入壳体1401并且不干扰成像装置1422或1423。

在一些实施例中,成像设备1400可以被配置为通信地耦接到另一个装置,例如移动电话、台式机、膝上型计算机或平板计算机、和/或智能手表。例如,成像设备1400可以被配置为例如通过USB和/或合适的无线网络来建立到这些装置的有线和/或无线连接。在一些实施例中,壳体1401可包括一个或多个开口以容纳一个或多个电缆(例如,USB)电缆。在一些实施例中,壳体1401可以具有设置在其上的一个或多个天线,用于向这些装置发送无线信号和/或从这些装置接收无线信号。在一些实施例中,成像装置1422和/或1423可以被配置为与电缆和/或天线对接。在一些实施例中,成像装置1422和/或1423可以从电缆和/或天线接收电力,例如用于为设置在壳体1401内的可充电电池充电。

在成像设备1400的操作期间,使用成像设备1400的人可以将前壳体部分1405靠在人脸上,使得人的眼睛与开口1410和1411对准。在一些实施例中,成像设备1400可以包括抓握构件(未示出),该抓握构件耦接到壳体1401并且被配置为由人手抓握。在一些实施例中,抓握构件可以使用软塑料材料形成,并且可以符合人体工程学地成形为适应人的手指。例如,人可以用双手抓住抓握构件并将前壳体部分1405靠在人脸上,使得人的眼睛与开口1410和1411对准。替代地或附加地,成像设备1400可以包括安装构件(未示出),该安装构件耦接到壳体1401并被配置为将成像设备1400安装到安装臂,例如,用于将成像设备1400安装到桌子或其他设备。例如,当使用安装构件安装时,成像设备1400可以稳定在一个供人使用的位置中,而无需人将成像设备1400保持在适当位置。

在一些实施例中,成像设备1400可以采用固定器,例如,从成像设备1400朝向人的眼睛例如沿着开口1410和1411与人的眼睛对准的方向的可见光投射。根据各种实施例,固定器可以是亮点,例如圆形点或椭圆形点,或图像,例如图像或房屋或一些其他对象。发明人认识到,即使只有一只眼睛感知到对象,人通常也会在同一方向上移动双眼以聚焦在对象上。因此,在一些实施例中,图像设备1400可以被配置为仅向一只眼睛提供固定器,例如仅使用一个开口1410或1411。在其他实施例中,可以向两只眼睛提供固定器,例如使用两个开口1410和1411。

图15示出了根据一些实施例的成像设备1500的其他实施例。如图所示,成像设备1500包括壳体1501,一个或多个成像装置(未示出)可以设置在该壳体1501内。壳体1501包括连接到中心壳体部分1504的第一壳体部分1502和第二壳体部分1503。中心壳体部分1504可以包括和/或用作连接第一壳体部分1502和第二壳体部分1503的铰链,并且第一壳体部分1502和第二壳体部分1503可以围绕该铰链旋转。通过围绕中心壳体部分1504旋转第一壳体部分1502和/或第二壳体部分1503,将第一壳体部分1502和第二壳体部分1503分开的距离可以相应地增大或减小。在成像设备1500的操作之前和/或期间,人可以旋转第一壳体部分1502和第二壳体部分1503以适应将人的眼睛分开的距离,以便于将人的眼睛与第一壳体部分1502和第二壳体部分1503的开口对准。

第一壳体部分1502和第二壳体部分1503可以以结合图14A至图14B针对第一壳体部分1402和第二壳体部分1403描述的方式进行配置。例如,每个壳体部分可以在其中容纳一个或多个成像装置,例如光学成像装置、荧光成像装置和/或OCT成像装置。在图15中,每个壳体部分1502和1503耦接到前壳体部分1505A和1505B中单独的一个。前壳体部分1505A和1505B可以成形为符合使用成像设备1500的人的面部轮廓,例如,符合靠近人的眼睛的人的面部部分。在一个示例中,前壳体部分1505A和1505B可以使用柔韧的塑料形成,当靠着人的面部放置时,该塑料可以符合人的面部轮廓。前壳体部分1505A和1505B可以具有对应于第一壳体部分1502和第二壳体部分1503的开口的相应开口1511和1510,以便与第一壳体部分1502和第二壳体部分1503的开口对准,从而提供从人的眼睛到成像设备1500的成像装置的阻碍最小的光路。在一些实施例中,开口1510和1511可以覆盖有使用玻璃或塑料制成的透明窗口。

在一些实施例中,中心壳体部分1504可以包括一个或多个电子电路(例如,集成电路、印刷电路板等),用于操作成像设备1500。在一些实施例中,装置120a和/或120b的一个或多个处理器可以设置在中心壳体部分1504中,例如用于分析使用成像装置捕获的数据。中心壳体部分1504可以包括与其他装置和/或计算机电通信的有线和/或无线装置,例如针对成像设备1400所描述的那些。例如,可以由通信地耦接到成像设备1500的装置和/或计算机来执行进一步的处理(例如,如本文所述的那些)。在一些实施例中,成像设备1500上的电子电路可以基于从这种通信耦接的装置或计算机接收的指令来处理捕获到的图像数据。在一些实施例中,成像设备1500可以基于从通信地耦接到成像设备1500的装置和/或计算机接收的指令来启动图像捕获序列。在一些实施例中,可以使用成像设备上的一个或多个处理器来执行本文针对装置120a和/或120b描述的处理功能。

如本文结合成像设备1400所描述的,成像设备1500可以包括抓握构件和/或安装构件和/或固定器。

图16A至图16D示出了根据一些实施例的成像设备1600的其他实施例。如图16A所示,成像设备1600具有壳体1601,该壳体1601包括多个壳体部分1601a、1601b和1601c。壳体部分1601a具有控制面板1625,该控制面板1625包括用于打开或关闭成像设备1600以及用于启动扫描序列的多个按钮。图16B是成像设备1600的分解图,示出了设置在壳体1601内的组件,例如成像装置1622和1623以及电子装置1620。根据各种实施例,成像装置1622和1623可以包括光学成像装置、荧光成像装置和/或OCT成像装置,如本文结合图14A至图14B和图15所描述的。成像设备还包括前壳体部分1605,其被配置为容纳人的眼睛以进行成像,例如,如图16C中所示。图16D示出了安置在支架1650中的成像设备1600,如本文进一步描述的。

如图16A至图16D所示,壳体部分1601a和1601b可以例如通过以下方式基本上包围成像设备1600:将成像设备1600的全部或大部分组件设置在壳体部分1601a和1601b之间。壳体部分1601c可以例如使用一个或多个螺钉而机械地耦接到壳体部分1601a和1601b,这些螺钉将壳体1601紧固在一起。如图16B所示,壳体部分1601c可以在其中具有多个壳体部分,例如用于容纳成像装置1622和1623的壳体部分1602和1603。例如,在一些实施例中,壳体部分1602和1603可以被配置为将成像装置1622和1623容纳在适当位置。壳体部分1601c还包括成对的透镜部分,其中设置有透镜1610和1611。壳体部分1602和1603以及透镜部分可以被配置为保持成像装置1622和1623与透镜1610和1611对准。壳体部分1602和1603可以容纳聚焦部件1626和1627,该聚焦部件1626和1627用于调整透镜1610和1611的焦点。一些实施例还可以包括固定翼片1628。通过调整(例如,按压、拉动、推动等)固定翼片1628,壳体部分1601a、1601b和/或1601c可以彼此分离,以便为了维护和/或修理目的而接近成像设备1600的组件。

电子装置1620可以以结合图15针对电子装置1620描述的方式进行配置。控制面板1625可以电耦接到电子装置1520。例如,控制面板1625的扫描按钮可以被配置为将扫描命令传送到电子装置1620,以启动使用成像装置1622和/或1623的扫描。作为另一个示例,控制面板1625的电源按钮可以被配置为向电子装置1620传送通电或断电命令。如图16B所示,成像设备1600还可以包括电磁屏蔽1624,其被配置为将电子装置1620与成像设备1600的周围环境中的电磁干扰(EMI)源隔离开。包括电磁屏蔽1624可以改善电子装置1620的操作(例如,噪声性能)。在一些实施例中,电磁屏蔽1624可以耦接到电子装置1620的一个或多个处理器,以消散在一个或多个处理器中产生的热量。

在一些实施例中,本文描述的成像设备可以被配置为安装到支架,如图16D的示例中所示。在图16D中,成像设备1600由支架1650支撑,该支架1650包括基座1652和保持部分1658。基座1652被图示为包括大致U形的支撑部分,并且具有附接到支撑部分的下侧的多个支脚1654。基座1652可以被配置为将成像设备1600支撑在桌子或书桌上方,例如图中所示。保持部分1658可以成形为容纳成像设备1600的壳体1601。例如,保持部分1658的面向外部的侧面可以成形为与壳体1601相符。

如图16D所示,基座1652可以通过铰链1656耦接到保持部分1658。铰链1656可以允许围绕与支撑基座1652的表面平行的轴旋转。例如,在成像设备1600和支架1650的操作期间,人可以将其中安置有成像设备1600的保持部分1658旋转到人感觉舒适的角度,以对一只或两只眼睛进行成像。例如,人可以坐在桌子或书桌支撑架1650处。在一些实施例中,人可以使成像设备1600围绕平行于光轴的轴旋转,成像设备内的成像装置沿着光轴对人的眼睛进行成像。例如,在一些实施例中,支架1650替代地或附加地包括平行于光轴的铰链。

在一些实施例中,保持部分1658(或支架1650的一些其他部分)可以包括充电硬件,其被配置为通过有线或无线连接向成像设备1600发送电力。在一个示例中,支架1650中的充电硬件可以包括耦接到一个或多个无线充电线圈的电源,并且成像设备1600可以包括无线充电线圈,其被配置为从支架1650中的线圈接收电力。在另一个示例中,支架1650中的充电硬件可以耦接到保持部分1658的面向外部的侧面上的电连接器,使得当成像设备1600安置在保持部分1658中时,成像设备1600的互补连接器与支架1650的连接器对接。根据各种实施例,无线充电硬件可以包括一个或多个功率转换器(例如,AC到DC、DC到DC等),其被配置为向成像设备1600提供适当的电压和电流以进行充电。在一些实施例中,支架1650可以容纳至少一个可充电电池,其被配置为向成像设备1600提供有线或无线电力。在一些实施例中,支架1650可以包括一个或多个电源连接器,其被配置为从标准壁装插座(例如,单相壁装插座)接收电力。

在一些实施例中,前壳体部分1605可以包括多个部分1605a和1605b。部分1605a可以使用机械弹性材料形成,而前部1605b可以使用机械柔顺材料形成,使得前壳体部分1605对于用户而言佩戴舒适。例如,在一些实施例中,部分1605a可以使用塑料形成,并且部分1605b可以使用橡胶或硅树脂形成。在其他实施例中,前壳体部分1605可以使用单一的机械弹性或机械柔顺材料形成。在一些实施例中,部分1605b可以设置在前壳体部分1605的外侧,而部分1605a可以设置在部分1605b内。

发明人已经认识到,可以通过捕获人的视网膜眼底的多个图像获得的几个优点。例如,从多个捕获到的图像中提取数据有助于生物识别技术,该技术实施成本较低,同时也不易受到欺诈。如本文包括参考部分III所描述的,从捕获到的图像中提取的数据可用于通过将捕获到的图像数据与存储的图像数据进行比较来识别人。在一些实施例中,当捕获到的图像数据与存储的图像数据的某些部分具有至少预定的相似度时,可以指示肯定识别。虽然可能需要高的预定相似度(例如,接近100%)来防止系统错误地识别人,但这种所需的高相似度常规上导致较高的误拒绝率(FRR),这意味着更难肯定地识别正确的人。这可能是因为,当使用具有低分辨率和/或低视场的人的单个捕获到的图像识别人时,捕获到的图像可能无法达到高的预定相似度,例如由于图像中丢失或扭曲的特征。因此,可能期望的是,能够以高分辨率和高视场捕获图像的成像设备,以允许在不损害FRR的情况下使用高的预定相似度。然而,能够支持高的预定相似度的高质量成像设备通常比简单的数码相机更昂贵。使用更昂贵的成像设备的常规替代方案是使用较低的预定相似度。然而,这样的系统可能更容易受到欺诈。

为了解决这个问题,发明人已经研发了用于生物识别的技术,可以使用普通的数码相机来执行该技术以增强灵活性。与单图像比较系统相反,发明人已经研发了可以捕获多个图像以进行比较的系统,这有助于在不需要更高的分辨率或视场成像设备的情况下使用更高的相似度。在一些实施例中,可以从人的视网膜眼底的多个图像中提取数据并将其组合成单个集合以进行比较。例如,多个图像可以由成像设备122a或122b捕获,每个成像设备可以彼此稍微旋转以捕获人的视网膜眼底的不同部分。在一些实施例中,人的眼睛可以旋转和/或可以跟踪成像设备122a或122b。因此,可以从图像中提取表示人的视网膜眼底的特征的数据并将其组合成表示各种特征的位置的数据集。因为多个图像组合使用,因此没有单个捕获到的图像需要具有高分辨率或具有高视场。相反,简单的数码相机(例如与移动电话集成的数码相机)可以用于如本文所述的成像。

在一些实施例中,系统100或120b可以被配置为使用记录的生物特征来验证视网膜眼底识别(例如,多因素识别)。例如,装置120a或120b还可包括一个或多个生物传感器,例如指纹读取器和/或麦克风。因此,装置120a或120b可以记录人的一个或多个生物特征,例如人的指纹和/或声纹。可以以针对视网膜眼底图像描述的方式提取指示生物特征的特征的数据,并且在装置120a的情况下,可以将数据发送到计算机140以进行验证。因此,一旦基于视网膜眼底图像做出识别,生物特征数据就可以与存储的与人相关联的特征数据进行比较以验证视网膜眼底识别,从而增加安全性。

II.基于视网膜图像识别人的技术

发明人已经研发了用于基于人的视网膜图像识别人的技术。该技术可以包括将从人的视网膜眼底的一个或多个捕获到的图像中提取的数据与从其他视网膜眼底图像中提取的存储的数据进行比较。本文包括参考图3至图4描述了用于从一个或多个捕获到的图像中提取数据的技术。图3提供了一种用于捕获人的视网膜眼底的一个或多个图像并从捕获到的图像中提取数据的说明性方法,并且图4示出了可以在从图像中提取的数据中指示的人的视网膜眼底的一些特征。

图3是示出示例性方法300的流程图,该方法300包括在步骤302处,捕获一个或多个视网膜眼底图像,以及在步骤304处,从图像中提取图像数据。根据图1的实施例,方法300可以由装置120a执行,或者可替换地,方法300可以部分由装置120a执行并且部分由计算机140执行。根据图2的实施例,方法300可以完全由装置120b执行。

可以根据部分I中描述的技术的任何或所有实施例来执行在步骤302处捕获图像。在步骤304处从图像中提取图像数据可以包括处理器124a或124b从成像设备122a或122b获得捕获到的图像,并从图像中提取表示人的视网膜眼底的特征的数据。例如,数据可以包括特征的相对位置和取向。在一些实施例中,可以从多个捕获到的图像中提取特征数据并将其组合成单个特征数据集。应当理解,步骤304处的特征提取可以由计算机140执行。例如,在系统100的一些实施例中,装置120a可以被配置为捕获图像并将图像发送到计算机140以进行数据提取。

同样在步骤304期间,提取的数据可以被记录在存储介质(例如,装置120b的存储介质124)上。在基于云的系统100的一些实施例中,当装置120a不能访问通信网络160时,成像设备122a可以捕获图像和/或从图像中提取数据,并且因此处理器124a可以将图像和/或数据存储在存储介质上,至少直到可以通过通信网络160发送图像和/或数据的时间为止。在这种情况下,处理器124a可以在将图像和/或数据发送到计算机140之前不久从存储介质获得图像和/或数据。在一些实施例中,视网膜眼底图像可能不是由装置120a或120b捕获的,而是由单独的装置捕获。图像可以被传送到装置120a或120b,可以从图像中提取数据并将其存储在存储介质上。或者,数据也可以由单独的装置提取并被传送到装置120a或装置120b。例如,装置120a可以负责将数据传递到计算机140,或者装置120b可以基于数据识别人或执行一些其他任务。

图4是包括各种特征的视网膜眼底400的侧视图,这些特征可以在图3的方法300期间在步骤302处在一个或多个图像中捕获,和/或可以在步骤304处从图像中提取的数据中指示。例如,视网膜眼底400的静脉和动脉的特征可用于识别人。这类特征可以包括静脉和动脉的分支端部410和分叉420。发明人已经认识到,类似于指纹识别,分支端部410和分叉420(有时称为“细节”)的位置可以用作唯一标识符。因此,在一些实施例中,分支端部410和/或分叉420的相对位置可从单个捕获到的图像中提取并记录在一个或多个数据集中。在一些情况下,分支端部410和/或分叉420的相对位置可以从多个捕获到的图像中提取并组合成单个数据集。例如,每个分支端部410和/或分叉420的平均相对位置可以记录在数据集中。在一些实施例中,诸如鼻动脉430、鼻静脉440、颞动脉450和/或颞静脉460等特定静脉或动脉的相对位置可以记录在一个或多个数据集中。

在一些实施例中,在步骤304处,代替分支端部410和/或分叉420的数据或除其之外,可以提取表示其他特征的数据。例如,视盘470的各方面或视盘边缘(例如,视网膜眼底400内的相对位置)可以记录在数据集中。在一些实施例中,与视盘470相关联的数据可以被记录在与静脉或动脉相关联的数据分开的数据集中。替代地或附加地,表示中心凹480和/或黄斑490的相对位置的数据可以记录在数据集中。可以在从捕获到的图像提取的数据中指示的其他特征包括视神经、血管周围环境、AV切口、玻璃疣、视网膜色素沉着等。

在一些实施例中,提取上述特征中的任一个或所有可以包括将图像的分割求解为包括各个特征的相对位置和取向的完整空间图。例如,空间图可以包括二进制掩码,其指示诸如分支端部410或分叉420之类的特征是否存在于图中的任何特定位置处。在一些实施例中,可以基于空间图计算指示特征位置的相对角度。为了节省存储空间和/或简化空间图的计算,一些特征(例如,静脉)的厚度可以减小到单个像素宽度。替代地或附加地,可以从空间图中去除冗余数据,例如由多个图像的组合产生的数据。

在一些实施例中,特征数据可以包括平移和旋转不变特征的相对位置和取向,以促进尺度不变特征变换(SIFT)和/或加速鲁棒特征(SURF)比较,如本文包括参考部分III所描述的。例如,上述提取到的特征可以是尺度不变特征变换(SIFT)特征和/或加速鲁棒特征(SURF)。

根据图5A-5C、图6和图7A-7B中所示的实施例,发明人还已经研发了用于使用经训练的统计分类器(TSC)从一个或多个捕获到的图像中提取数据的技术。例如,在一些实施例中,方法300的步骤304可由诸如图5A-5C、图6和图7A-7B的实施例中所示的TSC来执行。由成像设备122a或122b捕获的一个或多个图像可以输入到TSC。捕获到的图像可以包括来自一个或多个宽视场或扫描的视网膜图像的数据,这些图像例如通过白光、IR、荧光强度、OCT或1D、2D或3D荧光寿命数据从成像设备122a或122b来收集。TSC可以被配置为识别和输出图像中各种视网膜眼底特征的各方面。发明人已经认识到,实现用于从捕获到的图像中提取特征数据的TSC有助于使用多个捕获到的图像进行识别。例如,本文描述的TSC可以被配置为基于各个图像或图像组形成预测。该预测可以具有来自TSC的一个或多个输出的形式。每个输出可以对应于单个图像或多个图像。例如,一个输出可以指示特定视网膜眼底特征出现在给定图像中的一个或多个位置的可能性。或者,输出可以指示多个特征出现在图像的一个或多个位置的可能性。此外,输出可以指示单个特征或多个特征出现在多个图像中的一个或多个位置的可能性。

本文描述的TSC可以以软件、硬件或使用软件和硬件的任何合适的组合来实现。例如,TSC可以在装置120a的处理器124a、计算机140的处理器144和/或装置120b的处理器124b上执行。在一些实施例中,一个或多个机器学习软件库可用于实现如本文所述的TSC,例如Theano、Torch、Caffe、Keras和TensorFlow。这些库可用于训练诸如神经网络之类的统计分类器,和/或用于实现经训练的统计分类器。

在一些实施例中,使用TSC的数据提取可以发生在装置120a上,该装置120a可以通过通信网络160将TSC的输出发送到计算机140。或者,计算机140可以从装置120a获得捕获到的图像,并且例如使用在计算机140上执行的TSC从捕获到的图像中提取捕获到的图像数据。根据后一实施例,装置120a可以被配置为将捕获到的图像以图像的一个或多个压缩版本(例如,由联合图像专家组(JPEG)标准化)的形式发送到计算机140,或者可替换地作为一个或多个未压缩版本(例如通过便携式网络图形(PNG))发送到计算机140。在图2的实施例中,装置120b可以通过提取(例如使用在处理器124b上执行的TSC)从捕获到的图像中获得捕获到的图像数据。

图5A-5C、图6和图7-8示出了用于在本文描述的生物特征安全系统中使用的神经网络统计分类器的各方面。根据图5A-5B的说明性实施例,神经网络统计分类器可以包括卷积神经网络(CNN)。根据图5A和5C的说明性实施例,神经网络统计分类器还可以包括递归神经网络(RNN),例如长短期记忆(LSTM)网络。或者,根据图6的说明性实施例,神经网络统计分类器可以包括全卷积神经网络(FCNN)。图7示出了FCNN,其被配置为识别人的视网膜眼底的图像中的特征的边界。图8示出了CNN,其被配置为识别各个体素,具有对各种视网膜眼底特征(诸如血管)的位置的更高不变性的优点。

图5A和5B是形成示例性卷积神经网络(CNN)的部分500a和500b的框图,该示例性卷积神经网络被配置为从捕获到的人的视网膜眼底的图像中提取数据。在图5A和5B的说明性实施例中,部分500a可以可操作地耦接到部分500b,例如,部分500a的输出耦接到部分500b的输入。

如图5A所示,CNN的部分500a包括一系列交替的卷积层510a-510g和池化层520a-520c。图像530可以是人的视网膜眼底的256像素x256像素(256x256)图像,被提供为部分500a的输入。部分500a可以被配置为从图像530获得特征图540,并且将特征图540输出到部分500b。部分500b可以被配置为生成预测570以指示图像530的各方面,例如视网膜眼底特征的位置。

在输入到部分500a之前,可以对图像530进行预处理,例如通过重采样、滤波、插值、仿射变换、分割、腐蚀、膨胀、度量计算(即,细节)、直方图均衡化、缩放、分箱、裁剪、颜色归一化、调整大小、重塑、背景减法、边缘增强、角点检测和/或使用任何其他合适的预处理技术。预处理技术的示例包括:

1.重新缩放图像以具有相同的半径(例如,300像素),

2.减去局部平均颜色,

例如,将局部平均值映射到50%灰度

3.将图像剪裁成其尺寸的一部分(例如,90%)以去除边界效应。

这可能包括将图像裁剪成仅包含视网膜像素并且测试直方图均衡化对算法的性能的影响。

4.裁剪图像以包含大部分视网膜像素

(注意;如果使用它,可能不需要基于半径重新缩放图像。)

在一些实施例中,图像530可以是由成像设备122a或122b捕获的图像的压缩或未压缩版本。或者,图像530可以从由成像设备122a或122b捕获的一个或多个图像进行处理。在一些实施例中,图像530可以包括图像重建后视网膜数据,例如一个或多个3D体积OCT图像。替代地或附加地,图像530可以包括捕获到的图像的未处理部分。例如,图像530可以包括来自一个或多个频谱域OCT图像、荧光寿命统计、预滤波的图像或预安排的扫描的频谱。在一些实施例中,图像530可以与对应于人的视网膜眼底的切片的多个2D图像相关联。在一些实施例中,切片可以是相邻的。例如,根据各种实施例,图像530可以与对应于两个、三个、四个或五个相应的相邻切片的图像相关联。在一些实施例中,图像530可以包括其中血管显著的一个或多个相应切片的一个或多个2D图像。

CNN 500a被配置为通过卷积层510a-510g和池化层520a-520c处理图像530。在一些实施例中,可以训练卷积层510a-510g和池化层520a-520c,以检测捕获到的图像中的视网膜眼底特征的各方面。首先,CNN 500a使用卷积层510a和510b处理图像530以获得32个256×256特征图532。接下来,在应用可能是最大池化层的池化层520a之后,应用卷积层510c和510d以获得64个128×128特征图534。接下来,在应用也可能是最大池化层的池化层520b之后,应用卷积层510e和510f以获得128个64×64特征图536。接下来,在应用池化层520c和卷积层510g之后,所得到的256个32×32特征图538可以在输出540处提供为图5B所示的CNN的部分500b的输入。可以使用梯度下降、随机梯度下降、反向传播和/或其他迭代优化技术来训练CNN部分500a。

在一些实施例中,CNN 500a可以被配置为一次处理单个图像,例如人的视网膜眼底的单个切片。或者,在一些实施例中,CNN 500a可以被配置为同时处理多个图像,例如来自3D体积图像的多个相邻的切片。发明人已经认识到,可以使用来自单个切片或来自多个相邻切片的信息来计算诸如分支端部、分叉、重叠、大小调整或其他此类特征的各方面。在一些实施例中,由卷积层510a-510g在人的视网膜眼底的多个切片上执行的卷积可以是二维(2D)的或三维(3D)的。在一些实施例中,CNN 500a可以被配置为仅使用来自特定切片的信息来预测每个切片的特征。或者,在一些实施例中,CNN 500a可被配置为使用来自该切片以及来自一个或多个相邻切片的信息。在一些实施例中,CNN 500a可以包括全3D处理管线,从而使用所有切片中存在的数据同时计算多个切片的特征。

在图5B中,部分500b包括卷积层512a-512b和全连接层560。部分500b可以被配置为从部分500a的输出540接收特征图538。例如,部分500b可以被配置为通过卷积层512a和512b来处理特征图538,以获得256个32x32特征图542。然后,可以通过全连接层560来处理特征图542,以生成预测570。例如,全连接层560可以被配置为使用特征图542中的概率分布来确定哪些视网膜眼底特征最有可能被卷积层510a-510g和512a-512b以及池化层520a-520c识别。因此,预测570可以指示图像530内的视网膜眼底特征的各方面。在一些实施例中,预测570可以包括概率值,例如对应于计算出的某些特征位于图像530的某些区域中的可能性的概率热图。在一些实施例中,预测570可以指示分支端部或分叉的相对位置和/或大小,或其他这样的特征。

根据图5A-5C的实施例,部分500c可以可操作地耦接到图5A中所示的部分500a。例如,部分500c可以代替部分500b耦接到输出540。图5A中所示的部分500a是CNN部分,而部分500c是递归神经网络(RNN)部分。部分500c可用于对作为输入而随时间提供的输入图像之中的时间约束进行建模。RNN部分500c可以实现为长短期记忆(LSTM)神经网络。这种神经网络架构可用于处理在执行监测任务期间由成像设备122a或122b获得的一系列图像(随时间推移的纵向系列图像)。例如,根据图1的实施例,装置120a可以将一系列图像发送到计算机140。在一些实施例中,装置120a可以发送一系列图像的时序信息,例如在系列中每个图像之间经过的时间。图5A和5C的CNN-LSTM神经网络可以接收一系列图像作为输入,并且将从至少一个较早获得的图像中导出的视网膜眼底特征与从后来获得的图像中获得的特征相结合以生成预测580。

在一些实施例中,图5A-5C中所示的CNN和CNN-LSTM可以使用核大小为3并且步幅为1的卷积层、核大小为2的池化层、以及方差缩放初始化器。可以使用随机梯度下降和/或时间反向传播来训练RNN部分500c。

图6是说明性的全卷积神经网络(FCNN)600的框图。FCNN 600包括输出压缩部分620和输入扩展部分660。输出压缩部分620包括一系列交替的卷积层和池化层,它们可以以针对图5A的部分500a描述的方式进行配置。输入扩展部分660包括一系列交替的卷积层和去卷积层、以及质心层666。质心层666计算估计,作为从每个位置处的回归位置估计计算的质心。

在一些实施例中,输出压缩部分620和输入扩展部分660通过处理路径640a连接起来。处理路径640a包括长短期记忆(LSTM)部分,其可以以针对图5C的RNN部分500c所描述的方式进行配置。包括处理路径640a的实施例可以用于以针对图5A和5C的CNN-LSTM描述的方式对时间约束进行建模。或者,根据其他实施例,输出压缩部分620和输入扩展部分660通过处理路径640b连接起来。与处理路径640a相反,处理路径640b包括卷积网络(CNN)部分,其可以以针对图5B的CNN部分500b所描述的方式进行配置。

在一些实施例中,FCNN 600可以使用核大小为3并且步幅为1的卷积层、核大小为2的池化层、核大小为6并且步幅为2的去卷积层、以及方差缩放初始化器。

FCNN 600的输出可以是与输入相同维度的单通道输出。因此,可以通过在点位置处引入高斯核强度分布(Gaussian kernel intensity profile)来生成诸如血管特征点等点位置的图,其中,训练FCNN 600以使用均方误差损失来回归这些分布。

可以使用梯度下降、随机梯度下降、反向传播和/或其他迭代优化技术来训练FCNN600。

在一些实施例中,可以使用标记的图像来训练本文所述的TSC。例如,可以使用视网膜眼底特征(例如,血管的分支端部、分叉或重叠,视盘、血管、分叉、端部、重叠和中心凹)的图像训练TSC。扫描可以由一名或多名临床专家手动注释。在一些实施例中,注释可以包括血管重叠、分叉和端点的位置的指示。在一些实施例中,注释可以包括对完整结构(例如,完整的血管、视盘或中心凹)的覆盖范围。

发明人已经认识到,通过将TSC配置为多任务模型,TSC的输出可用于识别人的视网膜眼底的特征的一个或多个位置,并且还用于分割血管。例如,血管提供了用于识别人的若干特征,并且因此使用血管标签来训练多任务模型是有益的,使得该模型被配置为更准确地识别血管的位置。因此,CNN部分500a和/或FCNN 600可以包括多任务模型。

图7是全卷积神经网络(FCNN)700的框图,该FCNN 700可以被配置为指示捕获到的图像中的某些视网膜眼底特征(例如,血管、视盘或中心凹)的边界的位置。训练FCNN 700可能涉及零填充训练图像,使用大小为3且步长1的卷积核,使用大小为2的最大池化核,以及大小为6和大小为2的去卷积(放大和卷积)核。神经网络的输出可以指示某些视网膜眼底特征的边界的位置。

发明人已经认识到,一些TSC可以被配置为对各个体素进行分类,这具有对各种视网膜眼底特征(例如血管)的位置的更高不变性的优点。图8是卷积神经网络(CNN)800的框图,该CNN 800可以被配置为通过对各个体素进行分类来指示某些视网膜眼底特征的边界的位置。在一些实施例中,CNN 800可以在第一层处包括大小为5且步幅为1的卷积核,并且在后续层中包括大小为3的核。在图8的说明性实施例中,CNN 800被配置用于大小为25的输入邻域。在其他实施例中,CNN 800可以被重复为不同大小的输入邻域(例如,30或35)的构建块。在一些实施例中,更大的邻域可以使用更大的初始核大小(例如,7)。可以在最后一个特征层中合并CNN 800的特征图并将其组合以产生单个预测。

在实施例中,通过计算输出类别相对于输入图像的梯度,创建显著图,以了解图像的哪些部分对输出有贡献。这量化了输出类别值如何相对于输入图像像素的微小变化而变化。将这些梯度可视化为强度图像提供了注意力的定位。

计算基本上是输出类别的梯度相对于输入图像的梯度的比率:

输出/输入

这些梯度用于突出显示引起输出变化最大的输入区域,并且因此突出显示对输出贡献最大的显著图像区域。

应当理解,图5A-5C、图6和图7-8中所示的神经网络架构是说明性的,并且这些架构的变化是可能的。例如,除了或代替一个或多个图示的层之外,还可以将一个或多个其他神经网络层(例如卷积层、去卷积层、整流线性单元层、上采样层、级联层或填充层)引入到图5A-5C、图6和图7-8的任何神经网络架构中。作为另一个示例,一个或多个层的维度可以变化,并且一个或多个卷积层、池化层和/或去卷积层的核大小也可以变化。此外,本文描述的TSC可以替代地或附加地包括支持向量机、图形模型、贝叶斯分类器或决策树分类器。

发明人已经研发了用于将从一个或多个捕获到的图像中提取的数据与从一个或多个其他视网膜眼底图像中提取的存储数据进行比较的技术。参照图9,可以获得捕获到的图像数据和存储的图像数据,并且可以确定存储的图像数据的至少一部分是否与捕获到的图像数据具有至少预定的相似度。根据图5A-5C、图6和/或图7-8的任何或所有实施例,可以通过使用TSC进行提取来获得捕获到的图像数据和/或存储的图像数据。在图10A的说明性方法中,在捕获到的图像数据和存储的图像数据之间执行模板匹配,以生成相似性度量。相比之下,图10B的说明性方法包括平移和旋转不变特征比较以生成相似性度量。

图9是用于通过将从捕获到的人的视网膜眼底的图像中提取的捕获到的图像数据与存储的图像数据进行比较来识别人的说明性方法900的流程图。方法900包括:在步骤902处,获得捕获到的图像数据;在步骤904处,获得存储的图像数据的一部分;在步骤906处,将捕获到的图像数据与存储的图像数据的一部分进行比较;以及在步骤908处,确定存储的图像数据的该部分是否与捕获到的图像数据具有至少预定的相似度。如果存储的图像数据的该部分足够相似以至于构成匹配,则方法900以成功的识别(ID)结束。或者,如果存储的图像数据的该部分没有相似到足以构成匹配,则方法900继续到步骤910,以确定是否存在尚未与捕获到的图像数据进行比较的任何存储的图像数据。如果是,则方法900返回到步骤904,并获得存储的图像数据的不同部分以与捕获到的图像数据进行比较。如果所有存储的图像数据已经与捕获到的图像数据进行比较而没有成功匹配,则方法900以不成功的ID结束。根据图1的实施例,方法900可以由计算机140使用从装置120a发送的一个或多个图像和/或数据来执行。或者,根据图2的实施例,方法900可以完全由装置120b执行。

在步骤902处获得捕获到的图像数据可以使用结合图3的步骤304描述的图像提取技术来执行。替代地或附加地,根据图5A-5C、图6或图7-8的任何或所有实施例,可以从TSC输出捕获到的图像数据。在一些实施例中,在步骤902处获得的捕获到的图像数据包括为当前识别获取的所有捕获到的图像数据。例如,成像设备122a或122b可以捕获人的视网膜眼底的多个图像,并且在步骤902处可以获得与每个图像的所有视网膜眼底特征对应的数据。或者,在步骤902处可以仅获得对应于一些图像的数据。作为另外的替代方案,在步骤902处可以获得与每个图像的特定视网膜眼底特征或特征组相对应的数据。因此,在一些实施例中,方法900可以返回到步骤902,以根据步骤906处的比较结果来获得捕获到的图像数据的其他部分。

在步骤904处获得存储的图像数据可以类似于针对捕获到的数据所描述的那样来执行。存储的图像数据可以与一个或多个先前处理过的视网膜眼底图像相关联。例如,存储的图像数据可以随着人们向系统100或装置120b进行注册而累积。在一些实施例中,人们向系统100或装置120b注册可以包括捕获人的视网膜眼底的一个或多个图像、从捕获到的图像中提取指示人的视网膜眼底的特征的数据、以及将提取的数据存储在存储介质142或126上。在一些实施例中,人们注册可以包括获得识别信息,例如人的法定全名和政府颁发的身份号码(例如,社会保障号码)。在一些实施例中,识别信息与联系信息(例如,个人的电话号码和/或电子邮件地址)相关联。在一些实施例中,人还可以在注册时提供用户名。在一些实施例中,在系统100或装置120b每次成功识别人时,可以更新与每个注册的人相关联的存储的图像数据。例如,当系统100或装置120b成功识别注册的人时,用于识别人的捕获到的图像可被添加到存储的图像数据中。

对于捕获到的图像数据,可以根据3D体积图像、2D图像、荧光寿命数据或OCT光谱数据处理存储的图像数据,并且可以将其提供给TSC。例如,可以将捕获到的图像数据和存储的图像数据提供给相同的TSC,从而可以比较从捕获到的图像数据和存储的图像数据提取的特征数据。在一些实施例中,捕获到的图像数据和存储的图像数据是相同类型的。例如,捕获到的和存储的图像数据中的每一个可以包括一个或多个视网膜切片(例如,相邻切片)的一个或多个2D图像。当捕获到的和存储的图像数据与同一人相关联时,捕获到的图像数据可以包括第一次获得的相邻切片的多个图像,并且存储的图像数据可以包括晚于第一次的第二次获得的相同相邻切片的多个图像。举例来说,可能在获得捕获到的图像数据之前最近几分钟或长达几年已经对存储的图像数据进行处理。

在除了视网膜眼底识别之外还提供基于生物特征的验证的实施例中,除了视网膜眼底图像之外或代替视网膜眼底图像,还可以向TSC提供一个或多个记录的生物特征(例如,声纹、指纹等)。在这种情况下,可以向TSC提供与多个生物特征相关联的存储的特征数据(例如,用于各种用户)。因此,TSC的输出可以指示生物特征的特征,以促进以针对视网膜眼底图像描述的方式对特征的比较。因此,TSC还可以促进使用生物特征进行身份的验证。

作为多个人向系统100或装置120b注册的结果,存储介质142或126上存储的图像数据的特定部分可以与相应的人相关联。因此,在步骤904处获得存储的图像数据可以包括获得与注册的人相关联的存储的图像数据的一部分。例如,可以在步骤904处获得与特定人相关联的所有图像数据(例如,来自先前成功的识别的所有数据)以与捕获到的图像数据进行比较。或者,可以在步骤904处获得单个数据集,例如针对该特定人获取的最近的图像数据,和/或指示特定视网膜眼底特征或特征组的各方面的数据。在一些实施例中,可以在步骤904处获取单个数据集作为多个存储的数据集的组合,例如平均值。在一些实施例中,根据步骤906处的比较结果,在返回到步骤902时可以获得存储的图像数据的其他部分。

在步骤906处将捕获到的图像数据与存储的图像数据的一部分进行比较可以由计算机140或装置120b执行。根据各种实施例,可以使用互相关、模板匹配、平移和旋转不变的最大化加权和/或距离度量来执行比较。例如,根据图10A的说明性实施例,计算机140或装置120b可以在步骤902处获得的捕获到的图像数据和在步骤904处的存储的图像数据之间执行模板匹配,以生成相似性度量。或者,根据图10B的说明性实施例,计算机140或装置120b可以比较在步骤902处获得的捕获到的图像数据和在步骤904处获得的存储的图像数据的平移和旋转不变特征的相对位置和/或取向,以生成相似性度量。步骤906处的比较可以对所有视网膜眼底特征的数据进行,或者仅对单独的特征或特征组的数据进行比较。例如,可以在捕获到的图像数据和存储的图像数据中的视盘的各方面之间进行单独的比较,以及在捕获到的图像数据和存储的图像数据的血管(例如,分支端部或分叉)的各方面之间进行单独的比较。在一种情况下,可以在步骤906处进行一个方面的比较,并且方法900稍后可以循环回到步骤906,以针对不同的方面执行另一比较。

在步骤908处确定捕获到的图像数据和存储的图像数据的一部分是否具有至少预定的相似度可以是基于在步骤906处生成的相似性度量。例如,相似性度量可以提供两个数据集之间的相似度,并且步骤908可以包括确定由相似性度量提供的相似度是否满足被用作成功识别的阈值的预定相似度。

可以基于多种因素(例如,从中提取捕获到的图像数据的捕获到的图像的数量、图像的分辨率和视场、在捕获到的图像数据和存储的图像数据中指示的不同类型特征的数量、以及在步骤906处实施的比较技术)来设置预定的相似度。虽然应该将预定的相似度设置得相对较高以防止欺诈识别,但是这样高的预定相似度可能导致高误拒绝率,使得更难肯定地识别正确的人。通常,允许预定的相似度可以与图像的数量、图像的分辨率和视场、以及所使用的不同类型特征的数量一样高。例如,具有许多不同类型特征的捕获到的大量高质量图像有助于使用更高的预定相似度,而不会冒高误拒绝率的风险。这是因为在捕获到的数据中存在更大量的信息,这可以减轻捕获到的图像(例如,光线不足)或发送的数据(例如,由于发送中的错误)中的缺陷的影响。

如果存储的图像数据的一部分与存储的图像数据具有至少预定的相似度,则方法900可以以成功的匹配结束。在一些实施例中,计算机140或装置120b可以从存储介质142或126获得与存储的图像数据的一部分相关联的识别信息。或者,计算机140或装置120b可以从通信网络160上的另一个位置获得识别信息。例如,识别信息可以与存储的图像数据的一部分一起存储,或者存储的图像数据可以包括去往存储识别信息的位置的链接。在一些实施例中,识别信息可以包括人的全名和/或用户名。

在基于记录的生物特征来执行生物验证的实施例中,可以以针对视网膜眼底图像和图像数据描述的方式进行捕获到的和存储的生物特征数据之间的比较。生物验证通常在获得识别信息之后进行。例如,存储的生物特征数据可以与识别信息一起存储。因此,可以在完成视网膜眼底识别后进行生物特征比较。在使用TSC的实施例中,存储的生物特征数据可以与记录的生物特征数据同时或可选地在之后作为输入提供给TSC。例如,可以在识别的同时或甚至在识别之前将记录的生物特征数据提供给TSC,其中,保存TSC的输出以在识别完成之后使用。

根据图1的实施例,计算机140可以获得识别信息并将识别信息发送到装置120a,以得出识别人的结论。装置120a或120b可以例如经由在一个或多个显示器上生成的用户界面来通知人识别成功。在一些实施例中,装置120a或120b可以准许人访问健康信息或与人相关联的账户,如本文包括参考部分III所描述的。在一些实施例中,可以更新存储的图像数据以包括一些或全部捕获到的图像数据,例如指示视网膜眼底特征的数据,以供将来识别。

如果存储的图像数据的一部分与捕获到的图像数据不具有至少预定的相似度,则方法900进行到步骤910,以确定是否存在更多尚未与捕获到的图像数据进行比较的存储的图像数据。如果存在更多尚未与捕获到的图像数据进行比较的存储的图像数据,则方法900返回到步骤904并获得尚未进行比较的存储的图像数据的一部分。例如,与捕获到的图像数据进行比较的存储的图像数据的每部分可以与注册的人相关联,并且剩余的存储的图像数据的一部分仍然可能与捕获到的图像数据进行匹配以识别人。应当理解,在一些实施例中,方法900可以返回到步骤902而不是步骤904。例如,捕获到的图像数据可以包括与人的视网膜眼底的多个捕获到的图像对应的多个部分,并且因此可以在步骤902处获得对应于一个或多个其他捕获到的图像的不同部分,以与先前在步骤904处获得的存储的相同图像数据进行比较。

或者,如果没有更多存储的图像数据要与捕获到的图像数据进行比较,则方法900可以以不成功的识别结束。例如,捕获到的图像数据可能对应于尚未向系统100或装置120b进行注册的人。根据图1的实施例,计算机140可以将不成功的识别通知给装置120a,并且装置120a可以提示人向系统100注册,例如通过提供可以与捕获到的图像数据一起存储的识别信息。根据图2的实施例,装置120b可以提示人向装置120b注册。应当理解,装置120a和120b可以不被配置为注册新用户,例如在系统100和装置120b可以被配置为仅在医疗保健专业人员在场的情况下注册新用户的实施例中。

图10A是用于通过模板匹配将捕获到的图像数据与存储的图像数据进行比较的说明性方法1000a的流程图。方法1000a包括:在步骤1002a处,执行模板匹配;以及在步骤1004a处,生成相似性度量。在一些实施例中,方法1000a可以由装置120b或计算机140来执行。在一些实施例中,可以针对存储在存储介质142或存储介质126上的对应于单个图像或者与同一个人相关联的图像的组合的数据的每个子集来执行方法1000a。

在步骤1002a处执行模板匹配可以包括装置120b或计算机140将在方法900的步骤902处获得的捕获到的图像数据的至少一部分与在步骤904处获得的存储的图像数据的至少一部分进行比较。例如,与由成像设备122a或122b捕获的图像的区域对应的捕获到的图像数据的一部分可以与对应于从中提取存储的图像数据的一个或多个图像的区域的存储的图像数据的一个或多个部分进行比较。在这种比较期间,可以在捕获到的图像数据的一部分和存储的图像数据的一个或多个部分之间执行互相关,例如通过卷积或其他乘法。在一些实施例中,比较包括矩阵乘法,其中,结果存储在相似性矩阵中。相似性矩阵可以在步骤1004a处用于生成相似性度量。

在一些情况下,捕获到的图像的一部分可以与存储的图像数据的一个或多个部分进行比较,并且然后可以调整捕获到的图像的一部分的大小和/或对其进行旋转,并与相同的部分进行比较。然后捕获到的图像数据的一部分可以与存储的图像数据的一个或多个其他部分进行比较,该一个或多个其他部分对应于从中提取存储的图像数据的图像的其他区域。在存储的图像数据与多个图像相关联的实施例中,一旦捕获到的图像数据的一部分已经与关联于特定图像的所有存储的图像数据进行比较,就可以将捕获到的图像数据的一部分与关联于不同图像的存储的图像数据进行比较。或者,可以对跨多个图像的各个视网膜眼底特征或特征组来执行单独的比较。一旦捕获到的图像数据的一部分已经与关联于特定人的所有存储的图像数据(例如该人的所有图像或指示来自图像的各种特征的所有数据)进行比较,方法1000a就可以继续在步骤1004a处生成对应于特定人的相似性度量。例如,相似性度量可以指示捕获到的图像是否与特定人匹配。

在步骤1004a处生成相似性度量可以包括装置120b或计算机140计算在方法900的步骤902处获得的捕获到的图像数据与在步骤904处获得的存储的图像数据之间的相似性。在一些实施例中,单独的相似性度量可以在捕获到的图像数据和与特定图像相关联的存储的图像数据的每个部分之间进行计算。在一些实施例中,单个相似性度量可以在比较后的图像数据和整个存储的图像数据之间进行计算。例如,相似度度量可以是在捕获到的图像数据和存储的数据之间计算的最大相似度。替代地,相似性度量可以是在捕获到的图像数据和存储的图像数据的各个部分之间的平均相似性。在捕获到的图像数据与存储的图像数据的比较包括执行卷积以产生相似性矩阵的实施例中,可以在比较期间生成相似性度量的各部分,并且一旦完成模板匹配,就可以最终确定相似性度量以考虑所有比较数据。

图10B是用于将捕获到的图像数据中指示的平移和旋转不变特征与存储的图像数据中指示的那些进行比较的说明性方法1000b的流程图。例如,根据图5A-5C、图6和图7-8的实施例,可以在TSC的输出中指示平移和旋转不变特征。方法1000b包括:在步骤1002b处,执行平移和旋转不变特征比较;以及在步骤1004b处,生成相似性度量。方法1000b可由装置120b或计算机140执行。

在步骤1002b处执行平移和旋转不变特征比较可以包括装置120b、计算机140将捕获到的图像数据中指示的平移和旋转不变特征的相对位置和取向与存储的图像数据中指示的平移和旋转不变特征的相对位置和取向进行比较。例如,可以在一些或所有捕获到的图像数据和存储的图像数据之间执行SIFT或SURF比较。在存储的图像数据与多个图像相关联的实施例中,可以对与特定图像相关联的存储的图像数据的每个部分执行单独的比较。可替代地,在一些实施例中,可以对存储的数据中指示特定视网膜眼底特征或特征组的部分(例如包括与多个图像相关联、指示多个图像中的特定特征的数据)执行单独的比较。在一些情况下,可以从多个图像组合特征数据,并且将特征数据与捕获到的图像数据进行比较。

在步骤1004b处生成相似性度量可以以结合图10A针对步骤1004a描述的方式进行。例如,可以针对与捕获到的图像数据进行比较的存储的图像数据的每个部分生成相似性度量。或者,可以基于对与同一人的多个图像相关联的存储的图像数据的各部分进行比较和/或在每次比较中聚焦不同的视网膜眼底特征来生成单个相似性度量,从而为每个图像或每个特定特征或特征组生成相似性度量。

III.基于人的视网膜图像访问人的电子记录或装置的技术

发明人已经研发了通过生物特征安全系统保护和/或访问与人相关联的电子账户或记录或装置的技术,该生物特征安全系统被配置为能够基于人的视网膜眼底的图像进行访问。作为一个示例,发明人已经研发了使用生物识别来保护用户账户或装置的技术。此外,发明人已经研发了使用生物识别保护与人相关联的健康信息(例如,电子健康记录)的技术。用于生物识别的技术在其他识别人的环境中也可能有用,例如用于确保金融交易的安全。生物识别包括通过基于人的视网膜图像和/或视网膜测量结果对人进行识别来实现访问。人的这种视网膜图像和/或测量结果可以通过使用OCT和FLIO中的至少一个来获得。

在图1至图2的一些实施例中,装置120a或120b可以被配置为在成功识别时准许人访问装置120a或120b。例如,装置120a可以在从计算机140接收到成功识别的通知时准许人访问。在一些实施例中,装置120a可以连同该通知一起接收特定于人的用户账户数据。例如,装置120a可以从计算机140接收个性化设置,例如优选的音频/视觉主题(例如,颜色主题和/或声音)、图形设置(例如,色盲偏好)、个性化主屏幕(例如,桌面背景)和/或之前由人访问的用于操作装置120a的软件应用。在一些实施例中,装置120b可以具有存储在存储介质126上的个性化设置,并且可以在成功识别时选择特定于人的个性化设置。替代地或附加地,装置120a或装置120b可以被配置为准许人访问各种其他类型的账户,例如互联网上的社交媒体账户和/或用于进行交易的金融账户。

在图1至图2的一些实施例中,装置120a或120b可以被配置为在成功识别时提供对诸如电子健康记录等健康信息的访问。例如,计算机140可以存储与一个或多个人相关联的健康信息,并且在成功识别人时,可以将与人相关联的健康信息发送到装置120a。或者,装置120b可以在其上存储健康信息,该健康信息可以在成功识别人时例如从存储介质126获得。在一些实施例中,装置120a或120b或计算机140可以基于在捕获到的图像中指示的视网膜眼底特征来更新健康信息。例如,在一些实施例中,可以更新健康信息以包括捕获到的图像和/或识别期间或以其他方式从其提取的特征数据。以这种方式,每次该人登录装置120a或120b时都可以更新健康信息。在一些实施例中,人可以通过使用装置120a或120b将其正在经历的症状直接报告到他们的电子健康记录中来更新电子健康记录,而不是经常必须亲自与他们的医疗保健专业人员会面。

图11是示出根据图1至图2的实施例的示例性用户界面1100的框图。例如,在显示器1130上提供用户界面1100,该显示器1130可以是装置120a或120b的显示器。

显示器1130可以是液晶显示器(LCD)屏幕(例如,计算机监视器或电话屏幕),或者替代地可以是投影或全息图。在一些实施例中,显示器1130可以包括触摸屏,其被配置为通过按压出现在触摸屏上的内容来进行用户交互。在一些实施例中,显示器1130可以与装置120a或120b集成。或者,在一些实施例中,显示器1130可以与装置120a或120b分开,并且可以通过有线或无线连接耦接到装置120a或120b。

显示器1130包括显示器1130上用于识别信息1132、健康信息1134、财务信息1136和其他信息1138的部分。在一些实施例中,识别信息1132、健康信息1134和/或财务信息1136可以在向用户呈现其他信息1138的同时出现在显示器1130的边缘处。作为非限制性示例,识别信息1132可以包括人的用户名,健康信息1134可以包括人的压力水平,财务信息1136可以包括人的银行账户余额,并且其他信息1138可以包括通过社交媒体接收到的消息。

在一些实施例中,识别信息1132可以向用户指示识别是否成功。例如,识别信息1132可以包括指示成功识别的通知。替代地或附加地,识别信息1132可以包括使用生物识别获得的识别出的人的姓名。

在一些实施例中,可以在生物识别期间或除了生物识别之外获得健康信息1134、财务信息和/或其他信息1138。在一些实施例中,装置120a或120b可以被配置为在成功识别时访问和/或更新与人相关联的健康信息。替代地或附加地,装置120a或120b可以被配置为在成功识别时访问和/或更新与人相关联的财务或其他账户信息。

可以根据图1的实施例从计算机140或根据图2的实施例从装置120b的存储介质126获得健康信息1134。在一些实施例中,例如,基于从计算机140或存储介质126获得的信息,健康信息1134可以包括具有健康警告的通知。健康信息1134可以包括与糖尿病、心血管疾病、脑震荡、帕金森病、阿尔茨海默病和/或压力相关联的风险评估。在一些实施例中,健康信息替代地或附加地可以包括特定于人的视网膜健康的风险评估。例如,风险评估可以与糖尿病性视网膜病变、年龄相关性黄斑变性、黄斑水肿、视网膜动脉阻塞、视网膜神经纤维层和/或青光眼相关联。

可以根据图1的实施例从计算机140或根据图2的实施例从装置120b的存储介质126获得财务信息1136。在一些实施例中,财务信息1136可以包括与人相关联的一个或多个财务账户(例如,银行账户或投资账户)的余额。

应当理解,显示器1130可以仅包括识别信息1132、健康信息1134、财务信息1136和/或其他信息1138中的一些,因为该示例仅表明用户可以如何根据各种实施例与多种形式的信息进行交互。

患者通常通过亲自咨询他们的医疗保健专业人员或通过使用口令或密码可访问的在线数据库来访问和/或更新他们的电子健康记录。如部分II中所描述的,发明人已经认识到,如本文所述的被配置为使用捕获到的人的视网膜眼底的图像来识别人的生物特征安全系统提供了超过口令和密码的增强的保护,同时实现了比现有的生物特征安全系统更低的误拒绝率和误接受率。在使患者的健康信息更易于访问和易于患者自行更新的情况下,患者的健康信息的安全性和机密性是重要的考虑因素。如果电子健康记录不安全或不足够安全,除患者及其医疗保健专业人员之外的其他各方可能能够访问敏感的健康信息。由此导致的保密性缺失可能使患者对他们的信息是私密的失去信任,并可能进一步被劝阻求医。此外,如果患者的电子健康记录可能被伪造或以其他方式篡改,则医疗保健专业人员将无法做出正确的诊断。因此,发明人已经研发了用于使用生物识别系统安全地访问健康信息的系统,使得患者可以更容易地访问健康信息,同时保持机密性和安全性。

在一些实施例中,装置120a或装置120b可以被配置为识别人并访问人的电子健康记录,即使人失去知觉。例如,在诸如自然灾害等大规模伤亡事件期间,可以使用装置120a或装置120b识别无意识的受害者并且可以获得他们的电子健康记录。例如,紧急医疗技术人员(EMT)等第一响应者可以使用该装置来识别每个人并使用该装置访问健康信息,以便更准确地进行分诊。因此,该装置可有助于以快速且有组织的方式对诸如自然灾害等事件做出响应。

参考图12,健康或其他账户信息可以存储在分布式账本(例如,区块链)的一个或多个组件上。发明人已经认识到,分布式账本提供对存储在账本上的数据所做的更改的具体记录。例如,账本的每个组件可以具有唯一标识符,该标识符被更新以反映对组件进行的更改的时间和/或范围,和/或对账本内的其他组件所做的更改。因此,分布式账本可以有助于检测存储在账本上的信息(例如,识别信息、用户账户数据、财务数据或健康信息)是否已经被更改,以及何时和在何种程度上进行了更改。发明人已经认识到,通过生物识别系统保护对电子健康记录的分布式账本的组件的访问增强了电子健康记录的准确性和机密性。在一些实施例中,对存储在分布式账本上的健康信息的更改可以只能由与健康信息相关联的人或授权的医疗保健专业人员(例如该人的医生)进行。

根据各种实施例,分布式账本的组件可包括用户账户数据、财务数据、诸如电子健康记录之类的健康信息、存储的图像数据和/或与人或其他人相关联的识别信息。

图12是示出示例性分布式账本1200的框图,该分布式账本1200包括通过网络1260可访问的组件1220和1240。分布式账本1200可以通过存储在各种装置和计算机(例如,装置120a、装置120b或计算机140)上的账本的组件1220和1240实现分布式数据结构,并且通过通信网络160可访问。例如,在一些实施例中,网络1260可以是图1的通信网络160,使得组件1220和1240可以存储在装置120a和/或计算机140上或可以对于装置120a和/或计算机140是可访问的。或者,网络1260可以是通信网络160的子网络,例如分布在通信网络160上但不能被通信网络160上的所有装置访问的对等(P2P)网络。根据非限制性示例,分布式账本1200可以实现区块链,其中,组件1220和1240用作块,其中,块标头链接到链中的其他块。

组件1220包括标头1222和数据1224,并且组件1240包括标头1242和数据1244。根据各种实施例,数据1224和/或1244可以包括与人相关联的存储的图像数据、诸如电子健康记录等健康信息、用户账户数据、财务数据和/或识别信息。标头1222和1242可以各自包括特定于组件1220和1240的唯一标识符,例如用于标识组件1220或1240的地址或哈希。标识符可以包括向后和/或向前引用链中的一个或多个其他组件的信息。例如,如果组件1220和1240被链接,则标头1222可以包括指代组件1240的信息,和/或标头1242可以包括指代组件1220的信息。替代地或附加地,标识符可以包括基于对每个组件的数据1224或1244所做的更改的信息,例如进行更改的时间或范围。在一些实施例中,标识符可以由涉及其他组件的标识符和/或与组件的数据的更改相关联的信息的数学运算来产生。例如,组件1220的数据1224可以包括人的识别信息和/或电子健康记录,其可以被更改以包括更新后的健康信息。因此,标头1222可以被更新以指示进行了更改,并且在一些情况下,指示更改的范围。此外,也可以更新链接到组件1220的其他组件的标头,以包括组件1220的更新后的标识符。例如,在组件1240链接到组件1220的一些实施例中,可以基于对标头1222的更改而更新标头1242,和/或反之亦然。

在图1至图2的实施例中,装置120a和/或计算机140有时可以存储分布式账本的一个或多个组件。替代地或附加地,装置120a和/或计算机140可以被配置为访问分布式账本1200的具有与人相关联的数据1224和/或1244的组件1220和/或1240。

在图1至图10B的实施例中,可以使用来自分布式账本1200的组件1220和/或1240的存储的图像数据来执行生物识别。例如,装置120b或计算机140可以从分布式账本1200的组件1220和/或1240获得存储的图像数据。此外,识别信息可以被存储为组件1220和/或1240的数据1224和/或1244的至少一部分。在一些实施例中,组件1220的数据1224可以包括存储的图像数据,以及到组件1240的链接,该组件1240可以存储与数据1244中存储的图像数据相关联的识别信息。在确定组件1220上存储的图像数据与捕获到的图像数据具有至少预定的相似度时,可以从具有存储的图像数据的组件1220获得或者可以从链接的组件1240获得与人相关联的识别信息。

IV.基于人的视网膜图像确定人的健康状态的技术

发明人已经研发了使用捕获到的人的视网膜眼底的图像来确定人对某些疾病的易感性的技术。例如,如本文所述,人的视网膜眼底的外观可以指示该人是否处于各种病症(condition)(例如,糖尿病、不良心血管事件或压力)的风险中。作为将健康状态确定集成到用于生物识别的系统中的优势,用于识别人的捕获到的图像数据可用于确定人的健康状态。根据各种实施例,可以在识别人之前、期间或之后执行基于人的视网膜眼底的图像对人的易感性的确定。例如,确定可以与识别分开执行,或者可以作为识别期间的附加或替代步骤来执行。

发明人已经认识到,人的视网膜眼底的外观可以指示各种身体状况。例如,糖尿病性视网膜病可能表现为从较小血管的血管壁突出的微小隆起或微小动脉瘤,有时液体和血液渗漏到视网膜中。此外,较大的视网膜血管会开始扩张并变得直径不规则。视网膜中的神经纤维可能开始肿胀。有时,视网膜的中心部分(黄斑)开始肿胀,如黄斑水肿。受损的血管可能会关闭,导致视网膜中新的异常血管的生长。青光眼性视神经病变或青光眼可能表现为视乳头旁视网膜神经纤维层(RNFL)变薄,以及由于轴突和继发性视网膜神经节细胞丢失而导致的视盘凹陷。发明人已经认识到,例如OCT指示的RNFL缺陷是青光眼的最早迹象之一。此外,年龄相关性黄斑变性(AMD)可能表现为黄斑脱皮和/或隆起、黄斑色素沉着障碍(例如,中心视网膜区色素上皮层下的黄色物质)、和/或玻璃疣(例如,黄斑玻璃疣、外周玻璃膜疣和/或颗粒状玻璃膜疣)。AMD也可能表现为地理萎缩,例如明显的圆形色素沉着过度区域、钱币状萎缩和/或视网膜下积液。斯特格氏病可能表现为视网膜中心部分的感光细胞的死亡。黄斑水肿可能表现为中心凹周围区域的沟。黄斑裂孔可能表现为黄斑中的孔。眼睛漂浮物可能表现为非聚焦光路模糊。视网膜脱离可能表现为严重的视盘破裂和/或与下面的色素上皮分离。视网膜退化可能表现为视网膜的劣化。中心性浆液性视网膜病变(CSR)可能表现为黄斑部感觉视网膜升高和/或色素上皮局部脱离。脉络膜黑色素瘤可能表现为源自脉络膜色素细胞的恶性肿瘤。白内障可能表现为不透明晶状体,并且还可能导致荧光寿命和/或2D视网膜眼底图像模糊。黄斑毛细血管扩张可能表现为黄斑的荧光寿命环显著增加,以及中心凹内和周围的小血管退化。阿尔茨海默病和帕金森病可能表现为RNFL变薄。应当理解,糖尿病性视网膜病、青光眼和其他此类病症如果不进行适当地筛查和治疗,则可能导致失明或严重的视力障碍。

因此,在一些实施例中,本文描述的系统和装置可以被配置为基于人的视网膜眼底的一个或多个图像来确定人对各种身体状况的易感性。例如,如果在图像中检测到一个或多个上述特定身体状况的迹象(例如,年龄相关性黄斑变性的黄斑脱皮和/或提拉),则系统和/或装置可以确定该人对该身体状况的易感性。在这种情况下,系统或装置可以直接通知该人和/或可以将该人的易感性通知给该人的健康专业人员。

此外,在一些实施例中,本文描述的系统和装置可以基于捕获到的和存储的图像做出这样的医学易感性确定。例如,在识别人时,可以通过将捕获到的图像与存储的图像进行比较来指示诸如RNFL变薄等一些迹象。虽然这样的进步会对现有的识别系统构成挑战,因为它可能导致错误地拒绝正确的人,但本文描述的系统可以被配置为在确定人的身体状况时考虑这种差异。因此,发明人已经研发了不仅检测和确定人的身体状况的迹象而且还适于在识别期间考虑身体状况的系统和装置。

替代地或附加地,在一些实施例中,本文描述的系统和装置可以基于来自TSC的一个或多个输出来做出这样的医学易感性确定。例如,可以提供人的视网膜眼底的一个或多个图像作为TSC的输入,该TSC可以提供指示人的视网膜眼底的特征的一个或多个输出。在一些实施例中,每个输出可以指示特定图像的特定部分中身体状况的迹象的可能性。或者,一个或多个输出可以指示单个或多个图像中多种身体状况的迹象的可能性。此外,输出可以指示单个或多个图像中一种或多种身体状况的多个迹象的可能性。输出可以指示一种或多种身体状况的一个或多个迹象跨单个图像或多个图像中的多个位置存在的可能性。因此,可以基于来自TSC的输出来确定人对各种身体状况的易感性。当存储的图像数据也被提供为TSC的输入时,来自TSC的输出不仅可以如本文所述的那样用于识别人,而且还可以基于输出中指示的特征来确定身体状况。

在一些实施例中,在成功识别后,可以基于捕获到的图像数据中出现视网膜眼底特征来更新人的健康信息中的风险评估。例如,根据图1的实施例,风险评估可以在计算机140上更新和/或可以提供给装置120a以显示在图11的用户界面1100中。根据图2的实施例,风险评估可以在装置120b上更新和/或可以提供风险评估以在用户界面1100中显示。

V.基于人的视网膜图像诊断人的健康状况的技术

发明人还已经研发了使用捕获到的人的视网膜眼底的图像来诊断人的各种健康状况或疾病的技术。例如,在一些实施例中,可以在识别之前、识别期间、成功识别之后诊断在部分IV中描述的任何健康状况,和/或使用在一次或多次识别期间积累的数据来诊断在部分IV中描述的任何健康状况。替代地或附加地,此类状况可包括视网膜细胞瘤或可矫正的视力问题(例如,近视或弱视)。这种确定可以以部分IV中描述的方式进行。根据图1的实施例,计算机140可以执行诊断并将诊断的结果提供给装置120a。根据图2的实施例,装置120b可以执行诊断并在其上提供诊断的结果。在一些实施例中,诊断的结果可以替代地或附加地提供给医疗保健专业人员,例如该人的医生。

VI.应用

如上所述,捕获到的人的视网膜眼底的图像可用于识别人、访问人的电子记录或安全装置、确定人的健康状态(包括确定人患某些疾病的倾向或对某些状况的易感性)、和/或诊断人的实际疾病或健康状况(例如,阿尔茨海默氏症、糖尿病、某些自身免疫性疾病等)。此外,本文描述的系统和装置可以被配置为确定人的生命体征、血压、心率和/或红细胞和白细胞计数。此外,本文描述的系统和装置可以被配置为与其他医疗装置(例如,超声探头、磁共振成像(MRI)系统等)一起使用。用于与本文所述的系统和装置一起使用的超声探头的示例在题为“UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS ANDMETHODS(通用超声装置及相关设备和方法)”的第2017/0360397号美国专利申请中进行了描述,该美国专利申请通过引用以整体方式并入本文。与本文所述的系统和装置一起使用的MRI系统的示例在题为“ELECTROMAGNETIC SHIELDING FOR MAGNETIC RESONANCEIMAGING METHODS AND APPARATUS(用于磁共振成像方法和设备的电磁屏蔽)”的第2018/0164390号美国专利申请中进行了描述,该美国专利申请通过引用以整体方式并入本文。

因此,已经描述了本公开中阐述的技术的几个方面和实施例,应当理解,本领域技术人员将容易想到各种改变、修改和改进。此类改变、修改和改进旨在落入本文所述技术的精神和范围内。例如,本领域普通技术人员将容易想到,用于执行功能和/或获得本文所述的结果和/或一个或多个优点的各种其他手段和/或结构,并且此类变化和/或修改中的每一个都被视为在本文描述的实施例的范围内。本领域技术人员将认识到或能够仅使用常规实验来确定本文描述的特定实施例的许多等同物。因此,应当理解,前述实施例仅通过示例的方式呈现,并且在所附权利要求及其等同物的范围内,可以以不同于具体描述的方式来实践本发明的实施例。此外,本文所述的两个或更多个特征、系统、物品、材料、套件和/或方法的任何组合都包括在本公开的范围内,如果这些特征、系统、物品、材料、套件和/或方法不是相互矛盾的话。

上述实施例可以以多种方式中的任一种来实施。本公开中涉及过程或方法的执行的一个或多个方面和实施例可利用装置(例如,计算机、处理器或其他装置)可执行的程序指令来执行或控制过程或方法的执行。在这方面,各种发明构思可以体现为编码有一个或多个程序的计算机可读存储介质(或多个计算机可读存储介质)(例如,计算机存储器、一个或多个软盘、光盘、光碟、磁带、闪存、现场可编程门阵列或其他半导体装置中的电路配置、或其他有形计算机存储介质),该一个或多个程序在一个或多个计算机或其他处理器上执行时,执行实现上述各种实施例中的一个或多个的方法。计算机可读介质可以是可输运的,使得存储在其上的一个或多个程序可以加载到一个或多个不同的计算机或其他处理器上以实现上述各个方面。在一些实施例中,计算机可读介质可以是非暂时性介质。

术语“程序”或“软件”在本文中以一般意义使用,以指代任何类型的计算机代码或计算机可执行指令集,其可用于对计算机或其他处理器进行编程以实现如上所述的各个方面。此外,应当理解,根据一方面,在被执行时实现本公开的方法的一个或多个计算机程序不需要驻留在单个计算机或处理器上,而是可以以模块化方式分布在多个不同的计算机或处理器之间来实现本公开的各个方面。

计算机可执行指令可以具有由一个或多个计算机或其他装置执行的多种形式,例如程序模块。通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常,在各种实施例中,可以根据需要组合或分布程序模块的功能。

此外,数据结构可以以任何合适的形式存储在计算机可读介质中。为了图示的简单性,可以将数据结构示出为具有通过数据结构中的位置相关的字段。这种关系同样可以通过为在计算机可读介质中具有位置的字段分配存储来实现,这些位置传达字段之间的关系。然而,可以使用任何合适的机制来在数据结构的字段中的信息之间建立关系,包括通过使用指针、标签或在数据元素之间建立关系的其他机制。

当以软件实现时,软件代码可以在任何合适的处理器或处理器的集合(无论是设置在单个计算机中还是分布在多个计算机中)上执行。

此外,应当理解,作为非限制性示例,计算机可以以多种形式中的任何一种来体现,例如机架安装式计算机、台式计算机、膝上型计算机或平板计算机。此外,计算机可以嵌入在通常不被视为计算机但具有合适的处理能力的装置(包括个人数字助理(PDA)、智能电话或任何其他合适的便携式或固定的电子装置)中。

此外,计算机可以具有一个或多个输入和输出装置。除其他外,这些装置还可用于呈现用户界面。可用于提供用户界面的输出装置的示例包括用于输出的视觉呈现的打印机或显示屏,以及用于输出的可听呈现的扬声器或其他声音生成装置。可用于用户界面的输入装置的示例包括键盘和指向装置,例如鼠标、触摸板和数字化平板电脑。作为另一个示例,计算机可以通过语音识别或以其他可听格式接收输入信息。

这样的计算机可以通过任何合适形式的一个或多个网络(包括局域网或广域网,例如企业网络,以及智能网(IN)或因特网)互连。这样的网络可以基于任何合适的技术,并且可以根据任何合适的协议操作,并且可以包括无线网络、有线网络或光纤网络。

此外,如所描述的,一些方面可以体现为一种或多种方法。在一些实施例中,方法可并入本文描述的一种或多种技术的各方面。

例如,图13A是示出根据本文描述的一些或所有实施例的示例性方法1300a的流程图,该示例性方法1300a包括:在步骤1320a处,通过通信网络[例如,向云]发送与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据;以及在步骤1340a处,通过通信网络接收人的身份。

图13B是示出根据本文描述的一些或所有实施例的示例性方法1300b的流程图,该示例性方法1300b包括:在步骤1320b处,基于与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人;以及在步骤1340b处,基于人的第一生物特征,验证该人的身份。应当理解,在一些实施例中,步骤1320a可以替代地或附加地包括基于在第一图像数据中指示的多种类型特征中的第一种来识别人,和/或,1340b可以包括基于多种类型特征中的第二种来验证身份。

图13C是示出根据本文描述的一些或所有实施例的示例性方法1300c的流程图,该示例性方法1300c包括:在步骤1320c处,基于与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人;以及在步骤1340c处,更新与多个视网膜眼底图像相关联的存储的数据。

图13D是示出根据本文描述的一些或所有实施例的示例性方法1300d的流程图,该示例性方法1300d包括:在步骤1320d处,提供与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据作为经训练的统计分类器(TSC)的第一输入;以及在步骤1340d处,基于来自TSC的至少一个输出来识别人。

图13E是示出根据本文描述的一些或所有实施例的示例性方法1300e的流程图,该示例性方法1300e包括:在步骤1320e处,基于与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据来识别人;以及在步骤1340e处,确定人的身体状况。

图13F是示出根据本文描述的一些或所有实施例的示例性方法1300g的流程图,该示例性方法1300g包括:在步骤1320f处,提供与人的视网膜眼底的第一图像相关联的第一图像数据和/或包括人的视网膜眼底的第一图像的第一图像数据作为经训练的统计分类器(TSC)的第一输入;在步骤1340f处,基于来自TSC的至少一个输出来识别人;以及在步骤1360f处,确定人的身体状况。

作为方法的一部分而执行的动作可以任何合适的方式排序。因此,可以构造以不同于所示出的顺序执行动作的实施例,该实施例可以包括同时执行一些动作,即使在说明性实施例中被示出为连续的动作。

如本文所限定和使用的所有定义应理解为涵盖字典定义、通过引用并入的文献中的定义和/或定义的术语的普通含义。

除非明确指出相反,否则本文在说明书和权利要求中使用的不定冠词“一”和“一个”应理解为表示“至少一个”。

本文在说明书和权利要求中使用的短语“和/或”应理解为意指如此组合的元素中的“一个或两个”,即,在一些情况下元素组合地存在,而在其他情况下元素分开存在。通过“和/或”列出的多个元素应以相同的方式解释,即,如此组合的元素中的“一个或多个”。除了由“和/或”子句具体标识的元素之外,可以可选地存在其他元素,无论是否与那些具体标识的元素相关。因此,作为非限制性示例,当与诸如“包括”之类的开放式语言结合使用时,对“A和/或B”的引用可以在一个实施例中仅指A(可选地,包括除B之外的元素);在另一个实施例中仅指B(可选地,包括除A之外的元素);在又一实施例中,指A和B两者(可选地,包括其他元素);等等。

如本文在说明书和权利要求中所使用的,指代一个或多个元素的列表的短语“至少一个”应理解为意指选自元素列表中的任何一个或多个元素中的至少一个元素,但不必包括在元素列表内具体列出的每个元素中的至少一个,并且不排除元素列表中的元素的任何组合。该限定还允许除了在短语“至少一个”所指的元素列表中具体标识的元素之外的元素可以可选地存在,无论与那些具体标识的元素是否相关。因此,作为非限制性示例,“A和B中的至少一个”(或等效地,“A或B中的至少一个”,或等效地,“A和/或B中的至少一个”)可以在一个实施例中指至少一个(可选地包括多于一个)A,不存在B(并且可选地,包括除B之外的元素);在另一个实施例中指至少一个(可选地包括多于一个)B,不存在A(并且可选地,包括除A之外的元素);在又一实施例中指至少一个(可选地包括多于一个)A,和至少一个(可选地包括多于一个)B(并且可选地,包括其他元素);等等。

此外,本文使用的措辞和术语是为了描述的目的,而不应被视为限制性的。“包括”、“包含”或“具有”、“含有”、“涉及”及其变体在本文中的使用意在涵盖其后列出的项目及其等同物以及附加项目。

在权利要求以及上述说明书中,诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“持有”、“构成”等所有过渡短语被理解为是开放式的,即意味着包括但不限于。只有过渡短语“由……组成”和“基本上由……组成”分别是封闭或半封闭的过渡短语。

58页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:健康辅助系统及可穿戴装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!