阅读说明：本技术 用于协助视力下降的用户的头部可安装的成像设备和系统 (Head-mountable imaging device and system for assisting users with reduced vision ) 是由 M·A·阿里 S·希克斯 A·坎贝尔 F·埃雷拉 于 2020-02-26 设计创作，主要内容包括：一种用于协助视力下降的用户的系统,包括头部可安装的成像设备30以及与头部可安装的成像设备30分离的第一装置10。第一装置10包括第一输入和第一输出,第一输入被配置为接收包括音频和视频的媒体内容,第一输出被配置为将输出音频信号和输出视频信号中的至少一个输出到媒体呈现装置50、51。第一装置10包括第二输出,第二输出被配置为将视频信号发送到头部可安装的成像设备30。头部可安装的成像设备30包括被配置为向用户的眼睛提供显示的显示装置和被配置成从第一装置10接收视频信号的输入。头部可安装的成像设备30包括处理器,该处理器被配置为处理输入视频信号以提供至少一种类型的图像增强,用于协助视力下降的用户。(A system for assisting a user with reduced vision includes a head-mountable imaging device 30 and a first apparatus 10 separate from the head-mountable imaging device 30. The first apparatus 10 comprises a first input configured to receive media content comprising audio and video and a first output configured to output at least one of an output audio signal and an output video signal to the media presentation apparatus 50, 51. The first apparatus 10 includes a second output configured to transmit the video signal to the head-mountable imaging device 30. The head-mountable imaging apparatus 30 comprises a display device configured to provide a display to the eyes of a user and an input configured to receive a video signal from the first device 10. The head-mountable imaging device 30 includes a processor configured to process an input video signal to provide at least one type of image enhancement for assisting a user with reduced vision.)

用于协助视力下降的用户的头部可安装的成像设备和系统

技术领域

本发明涉及一种头部可安装的成像设备和系统，用于协助视力下降的用户。

背景技术

患有各种形式的视力障碍的人，包括患有周围视力丧失的人和患有中央视力丧失的人，由于他们难以聚焦于远处的物体因而很难观看到它们。这与许多日常活动相关，包括观看电视，因为电视通常被放置在距观看者位置一定距离的地方。这对于具有周围或丧失周围视力的视力障碍人士来说可能是一个障碍，他们通常无法聚焦于远处的物体。因此，这些人士通常不得不坐得离电视很近，以便以可接受的质量观看电视。许多视力障碍人士可能由于不得不仅依靠诸如音频描述(AD)的声音指南而更加感到不便。

本发明的目的是解决与现有技术相关联的至少一个缺点。

发明内容

提供了一种用于协助视力下降的用户的系统，包括：

头部可安装的成像设备以及

与头部可安装的成像设备分离的第一装置，第一装置包括：

第一输入，其被配置为接收包括音频和视频的媒体内容；

第一输出，其被配置为将输出音频信号和输出视频信号中的至少一个输出到媒体呈现装置；

第二输出，其被配置为将视频信号发送到头部可安装的成像设备；以及

头部可安装的成像设备包括：

显示装置，其被配置为向用户的眼睛提供显示；

输入，其被配置为从第一装置接收视频信号；

处理器，其被配置为处理输入视频信号以提供至少一种类型的图像增强，用于协助视力下降的用户。

可选地，第二输出包括无线发射器，该无线发射器被配置为向头部可安装的成像设备发送视频信号，并且该头部可安装的成像设备包括无线接收器，该无线接收器被配置为从第一装置接收视频信号。可替代地，第一装置的第二输出可以通过电缆连接到头部可安装的成像设备的输入。

可选地，头部可安装的成像设备包括：

摄像机，其被配置为提供表示成像设备前面的场景的视频信号；

以及其中，该头部可安装的成像设备被配置为在第一模式和第二模式中选择性地操作，在第一模式中，来自摄像机的视频信号被处理并且被输出到显示装置，在第二模式中，从第一装置接收的视频信号被处理并且被输出到显示装置。

可选地，第一装置包括处理器，该处理器被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟。

可选地，所述延迟的值是预先配置的。

可选地，所述延迟的值是用户可配置的。

可选地，第一装置被配置为选择性地操作于：

第一模式，其中无线发射器被配置为将视频信号发送到头部可安装的成像设备，并且处理器被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟；以及

第二模式，其中无线发射器未被配置为将视频信号发送到头部可安装的成像设备，并且处理器未被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟。

可选地，所述图像增强包括以下至少之一：

边缘检测和检测到的边缘的呈现；

对比度增强；

整个图像的选定区域的放大。

可选地，第一装置是机顶盒，第一输入被配置为接收以下至少之一：地面电视信号、***信号和有线电视信号，并且第一装置包括调谐器。

可选地，第一装置被配置为接收互联网协议电视(IPTV)信号。

可选地，机顶盒包括媒体存储装置，并且第一装置能够记录和回放媒体内容。

可选地，第一装置被配置为连接到主机装置，第一输入包括无线接口，该无线接口被配置为从服务器接收媒体内容作为数据流。

可选地，第一装置被配置为连接到主机装置的HDMI端口。

提供了一种用于协助视力下降的用户的设备，包括：

与头部可安装的成像设备分离的第一装置，该第一装置包括：

第一输入，其被配置为接收包括音频和视频的媒体内容；

第一输出，其被配置为将输出音频信号和输出视频信号中的至少一个输出到媒体呈现装置；

无线发射器，其被配置为将视频信号发送到头部可安装的成像设备；以及

处理器，其被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟。

可选地，所述延迟的值是预先配置的。

可选地，所述延迟的值是用户可配置的。

可选地，第一装置被配置为选择性地操作于：

第一模式，其中无线发射器被配置为将视频信号发送到头部可安装的成像设备，并且处理器被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟；以及

第二模式，其中无线发射器未被配置为将视频信号发送到头部可安装的成像设备，并且处理器未被配置为在输出到媒体呈现装置的输出音频信号与发送到头部可安装的成像设备的视频信号之间引入延迟。

可选地，第一装置包括处理器，该处理器被配置为处理输入视频信号以提供至少一种类型的图像增强，用于协助视力下降的用户。由第一装置处的处理器执行的图像增强可以与由头部可安装的成像设备执行的任一图像增强结合使用或者代替由头部可安装的成像设备执行的任一图像增强。在第一装置处执行图像增强的优点可以是提高处理性能。在第一装置处执行图像增强的优点可以是减少头部可安装的成像设备处的能量消耗，因为所需的处理较少。这可以延长电池寿命。可选地，仅第一装置具有被配置为处理输入视频信号以提供至少一种类型的图像增强来协助视力下降的用户的处理器，并且在头部可安装的成像设备处不存在处理能力。

至少一个示例的优点是允许视力障碍的用户以改善的质量观看媒体内容，例如直播电视信号或者其他媒体内容。

至少一个示例的优点是允许视力障碍的用户经由头部可安装的成像设备观看媒体内容并且收听媒体内容的音频，其中改善了图像和音频之间的同步。

本文描述的功能可以在硬件、由处理设备执行的软件中或者由硬件和软件的组合来实现。该处理设备可以包括计算机、处理器，状态机、逻辑阵列或者任何其他合适的处理设备。该处理设备可以是通用处理器，其执行软件以使该通用处理器执行所需任务，或者该处理设备可以专用于执行所需功能。本发明的另一方面提供了机器可读指令(软件)，该指令(软件)在由处理器执行时执行所描述的任意方法。该机器可读指令可以存储在电子存储装置、硬盘、光盘或其他机器可读存储介质上。机器可读介质可以是非暂时性机器可读介质。术语“非暂时性机器可读介质”包括除了暂时性传播信号之外的所有机器可读介质。可以经由网络连接将机器可读指令下载到存储介质。

在本申请的范围内，设想可单独地或者以任意组合的方式采用在前述段落、权利要求和/或下文的描述和附图中阐述的各个方面、实施例、示例和替代方案，尤其是其各个特征。例如，结合一个实施例描述的特征适用于所有实施例，除非这些特征不兼容。

为免生疑问，应理解，关于本发明的一个方面描述的特征可以单独地或者与一个或多个其他特征适当组合地包括在本发明的任一其他方面内。

附图说明

现在将参考附图仅以举例的方式描述本发明的一个或多个实施例，其中：

图1和2示出了系统的第一示例；

图3示出了用于在系统中使用的机顶盒；

图4示出了用于在系统中使用的头部可安装的成像设备；

图5示出了头部可安装的成像设备的手柄；

图6A-6D示出了图像增强的示例；

图7示出了用于代替机顶盒使用的装置的示例。

具体实施方式

图1-4示出了用于协助视力下降的用户的系统的示例。该系统包括机顶盒(STB)10，头部可安装的成像设备30，以及采用显示器(电视50)和音频扬声器51的形式的媒体呈现装置。

STB 10包括用于接收电视信号的输入端口11。电视信号可以是地面电视信号、***信号或有线电视信号。电视信号通常在射频(RF)频带中进行调制。STB 10包括电视调谐器12，用于将所选的电视频道从RF下变频到基带。解调器解调由调谐器选择的电视信号。解调器可以作为调谐器12的部分提供，也可以单独地提供。解码器解码音频和视频数据。解调器以数字形式输出包括音频和视频的数字信号。使用了一系列调制和编码方案。例如，地面数字视频广播(DVB-T)使用正交频分复用(OFDM)和运动图像专家组(MPEG)MPEG-2或MPEG-4编码。一些电视格式(例如DVB-T)也包括数据。数据可以用于携带电视频道的字幕信息。音频、视频(和可选的数据)一起构成媒体内容，例如电视节目、电影或一些其他的媒体内容。STB 10可以被配置为接收IPTV信号而不接收上述其他类型的电视信号，或者除了上述其他类型的电视信号之外还接收IPTV信号。

STB 10包括用于连接到外部媒体呈现装置的音频和视频输出18。音频和视频输出可以采用数字输出(例如，高清多媒体接口(HDMI)、通用串行总线C型(USB-C))和/或模拟输出(例如：用于音频输出的phono/RCA端口和耳机端口)的形式。外部媒体呈现装置可以是显示器，例如电视。外部媒体呈现装置可以是音频放大器和扬声器。

STB 10可以包括用于连接到媒体存储装置的端口13。端口13可以是接收微型SD卡的端口、连接到外部磁盘驱动器或另一个视频流输入装置的通用串行总线(USB)端口。STB可以使用端口13从存储装置之一流式传输内容。

STB 10包括用于向头部可安装的成像设备30进行传输的无线发射器19。无线发射器19可以是Bluetooth^TM发射器，或者被配置为使用另一种短程无线协议的发射器。STB 10使用无线发射器19将视频数据发送到头部可安装的成像设备30。

STB 10可以包括用于将音频数据发送到无线头戴式耳机或无线耳机的无线发射器(例如，无线发射器19或单独的无线发射器)。

STB 10还可以包括媒体存储器21。媒体存储器21可以用于存储媒体内容以供以后回放或者提供暂停的直播电视特征。STB 10可以提供传统的数字视频记录器(DVR)的功能。

参考图1，该系统可以包括具有电源连接的台式装置/计算机；具有或不具有光学元件图像处理功能和无线模块的智能眼镜；以及智能眼镜控制器或远程控制(添加图片)。所提出的系统还可以包括具有有线连接或无线模块以从机顶盒接收电视信号的电视机。

图4示出了头部可安装的成像设备30的示例。成像设备30可以采用头部可安装的一副眼镜的形式，但其可以采用头戴式耳机的形式。图2中所示的成像设备30具有框架，该框架以与传统的一副眼镜相似的方式佩戴。头部可安装的成像设备30包括摄像机31，该摄像机31被配置为提供表示成像设备前面的场景的视频信号32。成像设备30可以具有单个摄像机31，或者具有多个摄像机，例如每只眼睛一个摄像机。成像设备30可以包括左眼显示器38和右眼显示器39。处理器35接收视频信号31，并且将处理后的视频信号输出到显示器38、39。处理器40被配置为执行图像处理以协助视力下降的用户。图6A-6D中示出了图像处理的示例。成像设备30可以包括透明屏幕或透镜，其允许用户通过屏幕/透镜观看所显示的图像与周围环境的组合，或者可以包括不透明的屏幕，其仅允许用户观看所显示的图像。头部可安装的成像设备30可以被称为“智能眼镜”。

可以在两种可能的模式中使用成像设备30。在第一模式中，成像设备30提供图像处理增强以协助用户观看周围环境。来自摄像机31的视频信号32被处理以协助用户并输出到显示器38、39。在第二模式中，成像设备30提供图像处理增强以用从第一装置10接收的媒体内容协助用户。从第一装置10接收的视频信号34被处理并且输出到显示器38、39。

头部可安装的成像设备30可以包括一个或多个用于允许用户控制图像处理的控件。例如，控件可以允许用户控制图像处理的参数，例如，控制所显示的边缘的数量或选择图像的一部分进行放大。一个或多个控件可以位于设备的戴在用户头上的部分40上，例如眼镜的臂。一个或多个控件43可以位于手柄42上。手柄42可以通过电缆41或者通过无线接口连接到头戴部分40。

在一些示例中，成像设备30的处理器35位于设备的戴在用户头上的部分40内。在其他示例中，处理器35可以位于盒中，该盒在物理上与设备的戴在用户头上的部分40是分离的。手柄42可以容纳处理器35。还可以在手柄42内提供电池来为设备30供电。

该系统使视力障碍的用户能够将直播电视信号(或其他媒体内容)从STB10流式传输到他们的眼镜30，并且使用眼镜30上的处理器35来增强直播电视信号。例如，用户可以选择感兴趣的对象或区域以实时放大感兴趣的对象。处理器35可以应用经证实对视力障碍有益的图像处理滤波器。

在一个方面，电视信号可以被实时地流式传输到同时包括智能眼镜和电视的多种类型的显示系统。在这一方面，视力障碍人士可以从更近的距离观看图像(例如，以高清晰度(HD)质量)，而不是使用眼镜30上的摄像机31，而其他观看者可以在电视屏幕50上观看相同的图像。

在一个方面，视力障碍人士可以从更近的距离以HD质量观看对象，并且应用诸如不同对比度等级的图像处理滤波器，而他们的家人可以在电视屏幕上观看相同的图像，而无需图像处理滤波器。

图2中所示的系统的一个问题是，在头部可安装的成像设备30上显示的图像可能滞后于经由电视50或扬声器51传送的音频。该滞后可能是由于两个处理路径的不同：

路径1＝STB 10到头部可安装的设备30，并且包括由于无线传输引起的延迟(在发射器19处的延迟、在传输中的延迟、在接收器33处的延迟)以及由于在显示给用户之前在处理器35处的处理引起的延迟；

路径2＝STB 10到电视50或扬声器51。

系统可以在输出到端口20的音频信号(和视频信号)的路径中引入延迟。这可以帮助将头部可安装的成像设备30上显示的图像与经由电视50或扬声器51传送的音频进行同步。电视50的其他观看者将同步观看图像和音频，并且不会意识到在到电视50的路径中引入的延迟。延迟的值可以基于其通常传输到眼镜30所花费的时间的长度。这样，双方都可以收听来自电视扬声器的音频，并且用他们首选的显示器同步查看图像。存在多种实现延迟的方法。一种可能是处理器15分别读出：(i)去往输出端口20的音频数据(和视频数据)以及(ii)去往无线发射器19的视频数据。处理器15可以被配置为与读出去往无线发射器19的视频数据相比，在稍后的时间读出去往输出端口20的音频数据(和视频数据)。

延迟的值可以是预先配置的，或者可以是用户可配置的。例如，用户可以通过使用头部可安装的成像设备30上的控件(例如，手柄42上的控件)来配置延迟。或者，用户可以通过使用STB 10上的控件或者STB 10的用户接口来配置延迟。

手柄42可以包括一个或多个可以检测手柄的运动的传感器。可以在手柄内提供一个或多个加速度计以测量沿不同轴的运动，例如x轴加速度计、y轴加速度计和z轴加速度计。图5示出了手柄42的两种可能的运动检测形式：围绕旋转轴的运动(在该示例中，旋转轴是手柄42的纵轴)；沿轴的运动(在该示例中，该轴沿着或者平行于手柄42的纵轴)。在一个示例中，可以通过旋转手柄来调节延迟的值，例如，顺时针方向以增加延迟并且逆时针方向以减少延迟。在一个示例中，可以通过沿轴移动手柄来调节延迟的值，例如向前以增加延迟并且向后以减少延迟。

STB 10被配置为选择性地操作于：

第一模式，其中无线发射器19被配置为将视频信号发送到头部可安装的成像设备30，并且处理器15被配置为在输出到媒体呈现装置50的输出音频信号与发送到头部可安装的成像设备30的视频信号之间引入延迟；以及

第二模式，其中无线发射器19未被配置为将视频信号发送到头部可安装的成像设备30，并且处理器15未被配置为在输出到媒体呈现装置50的输出音频信号与发送到头部可安装的成像设备30的视频信号之间引入延迟。

处理器15包括模式选择器功能16，以允许选择第一模式和第二模式。可以经由STB10的控件或用户接口来选择模式。可以由从头部可安装的成像装置30发送的数据来选择模式。

图6A-6D示出了用于协助视力下降的用户的图像处理的一些示例。图6A示出了改变图像的亮度的示例。这可以应用于彩色或灰度图像。图6B示出了边缘检测并且将检测到的边缘呈现为黑色背景上的白色边缘的示例。图6C示出了边缘检测并且将检测到的边缘呈现为覆盖在彩色或灰度图像上的白色边缘的示例。图6D示出了图像特征之间增强的对比度的示例。这可以用适用于整个屏幕的全局阈值来呈现黑白高对比度图像，或者用多个区域阈值呈现黑白高对比度图像，以补偿整个屏幕的光照变化。

其他可能的图像处理增强可以包括一种算法，该算法检测相似色调的大区域(例如，与亮度无关)并且随后将这些区域呈现为相同颜色的高亮度色板。处理器35可以执行其他增强或图像处理。其他处理功能包括以下一项或多项：放大或缩小；高分辨率静态图像的显示；画中画的呈现；文本标识和识别。由处理器35执行的增强或图像处理的类型可以取决于用户的视力缺陷。

图7示出了可以代替STB 10使用的装置110的示例。装置110旨在作为可以直接***主机装置的输入端口(例如HDMI端口)或者经由电缆和连接器连接到主机装置的输入端口的附件(例如，电子狗或小型装置)。主机装置150可以是显示器或电视50、计算机(例如，膝上型计算机或平板计算机)或者一些其他媒体呈现装置。装置110具有无线接收器111，以从服务器接收媒体内容流。无线接收器可以使用WiFi，并且可以经由无线局域网(WLAN)从诸如互联网服务器的本地或远程服务器流式传输内容。装备110包括至少一个音频/视频输出120，用于连接到主机装置150、外部媒体呈现装置。音频/视频输出118可以是HDMI端口、USB-C端口或者任何合适的端口。可以通过到主机装置150的电源连接121(例如，USB)或者经由单独的电源为装置110供电。

装置110包括用于向头部可安装的成像设备30发射的无线发射器119。无线发射器119可以是Bluetooth^TM发射器，或者被配置为使用另一种短程无线协议的发射器。装置110使用无线发射器119将视频数据传输到头部可安装的成像设备30。

除了无线接收器111之外，图7的装置110还可以具有输入端口125。或者，图7的装置110可以具有输入端口125而没有无线接收器111。输入端口125可以是HDMI端口、USB-C端口或者用于接收媒体内容的其他任何合适类型的端口。用户可以经由合适的导线将媒体内容的源连接到输入端口125。媒体内容的源可以是智能手机、平板电脑、计算机或者可以将媒体内容输出到装置110的任何其他装置。

装置110可以具有与以上关于STB 10描述的功能类似的功能。它可以在输出到端口120的音频信号(和视频信号)的路径中引入延迟。这可以帮助将在头部可安装的成像设备30上显示的图像与经由主机装置150传送的音频进行同步。用于选择延迟的选项与上述的相同。

可选地，STB 10或装置110可以处理输入视频信号以提供至少一种类型的图像增强23、123，用于协助视力下降的用户。由STB或装置110处的处理器执行的图像增强23、123可以与由头部可安装的成像设备30执行的任一图像增强结合使用，或者代替由头部可安装的成像设备30执行的任一图像增强。这可以帮助降低在头部可安装的成像设备30处的功率需求并且延长电池寿命。

在图3、4、6和7中，处理器15、35、115可以被实现为一个或多个处理器，其可以是微处理器、控制器或者用于执行指令以控制装置的操作的任何其他合适类型的处理器。可以使用诸如存储器22、41、122之类的任何计算机可读介质来提供处理器可执行指令。处理器可执行指令可以包括用于实现所描述方法的功能的指令。存储器是任何合适的类型，例如只读存储器(ROM)、随机存取存储器(RAM)、诸如磁或光存储装置的任何类型的存储装置。

在本说明书的整个描述和权利要求中，词语“包括”和“包含”以及词语的变体，例如“由……组成”和“包括”，指的是“包括但不限于”，并且并不意在(以及不)排除其他部分、添加物、组件、整数或步骤。

在本说明书的整个描述和权利要求中，除非上下文另有要求，否则单数形式包含复数形式。特别地，在使用不定冠词的情况下，除非上下文另有要求，否则本说明书应被理解为考虑了复数以及单数。

结合本发明的特定方面、实施例或者示例描述的特征、整数、特性、混合物、化学部分或基团应被理解为适用于本文所述的任何其他方面、实施例或者示例，除非与其不相容。