信息处理设备、信息处理方法和程序

文档序号:1836304 发布日期:2021-11-12 浏览:37次 >En<

阅读说明:本技术 信息处理设备、信息处理方法和程序 (Information processing apparatus, information processing method, and program ) 是由 尾崎保乃花 日下部佑理 井田健太郎 于 2020-04-02 设计创作,主要内容包括:该信息处理设备设置有控制单元,该控制单元基于确定信息执行控制,以向在用户的周边视野中的区域输出用于将用户向布置在真实空间中的通知对象引导的第一模式通知,所述确定信息与基于捕获的图像的用户的视野范围有关。(The information processing apparatus is provided with a control unit that performs control to output, to an area in a peripheral field of view of a user, a first mode notification for guiding the user to a notification object arranged in a real space, based on determination information relating to a field of view range of the user based on a captured image.)

信息处理设备、信息处理方法和程序

技术领域

本公开内容涉及信息处理设备、信息处理方法和程序。

背景技术

近年来,针对将图像投影到墙壁或屏幕上的投影仪,已经开发了配备有平移/倾斜驱动机构的驱动型投影仪。可以通过驱动投影仪在任何地方对图像进行投影。

此外,下面的专利文献1公开了一种技术,该技术用于在要通过诸如投影仪或触摸面板显示器的设备显示内容时,生成为真实空间赋予虚拟阴影效果的图像,从而对用户赋予所显示的内容的真实感。

引文列表

专利文献

非专利文献1:JP 2016--162142A

发明内容

技术问题

此处,在使用诸如投影仪或触摸面板显示器的设备对用户给出特定通知的情况下,需要引起用户的注意,并且因此,通知是在中断用户的工作的同时给出的。

然而,在中断用户工作的同时给出的这样的通知是对于用户具有低紧急程度的信息或具有低重要程度的信息的情况下,担忧的是,用户可能会感觉到烦躁并且压力可能积累。

问题的解决方案

根据本公开内容,提供了一种信息处理设备,该信息处理设备包括:控制单元,该控制单元基于确定信息进行控制,以在用户的周边视野区域内输出用于将用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获的图像的用户的视野范围有关。

根据本公开内容,提供了一种信息处理方法,该信息处理方法包括:由处理器基于确定信息进行控制,以在用户的周边视野区域内输出用于将用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获的图像的用户的视野范围有关。

根据本公开内容,提供了一种程序,该程序使计算机用作:控制单元,该控制单元基于确定信息进行控制,以在用户的周边视野区域内输出用于将用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获的图像的用户的视野范围有关。

附图说明

图1是用于说明根据本公开内容的实施方式的信息处理系统的概要的图。

图2是根据本公开内容的实施方式的信息处理系统中的每个设备的功能配置的示例的框图。

图3是用于说明根据本公开内容的实施方式的视野范围和工作区域的图。

图4是示出根据本公开内容的实施方式的第一示例的操作处理的流程的示例的流程图。

图5是示出根据本公开内容的实施方式的第二示例的操作处理的流程的示例的流程图。

图6是示出根据本公开内容的实施方式的第三示例的操作处理的流程的示例的流程图。

图7是用于说明根据本公开内容的实施方式的在第一模式通知和第二模式通知中使用的根据情况的模态组合的图。

具体实施方式

在下文中,将参照附图详细地描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同功能配置的部件将由相同的附图标记表示,并且将不重复其描述。

此外,将按以下顺序给出描述。

1.根据本公开内容的实施方式的信息处理系统的概要

2.配置的示例

3.示例

3-1.第一示例

3-2.第二示例

3-3.第三示例

4.补充

5.结论

<<1.根据本公开内容的实施方式的信息处理系统的概要>>

图1是用于说明根据本公开内容的实施方式的信息处理系统的概要的图。如图1所示,根据本实施方式的信息处理系统1包括向真实空间输出信息的输出设备300、感测关于真实空间的信息的传感器设备200和基于由传感器设备200感测到的信息来控制输出设备300向用户输出通知信息的信息处理设备100。

在图1所示的示例中,能够将图像投影到空间中的任何位置的驱动投影仪被假设为输出设备300的示例。驱动投影仪可以具有被安装以改变投影方向的驱动机构(例如,平移/倾斜驱动机构),或者可以具有被安装以将驱动投影仪本身向左、向右、向上、向下等移动的机构。

此外,在图1所示的示例中,传感器设备200被设置在驱动投影仪中。例如,在传感器设备200是摄像装置的情况下,可以在与投影方向相同的方向上捕获图像。注意,传感器设备200不限于被设置在驱动投影仪中,并且可以被设置在空间中的任何位置处。此外,可以存在多个输出设备300和传感器设备200,并且可以以多种类型来设置它们。

(背景)

如上所述,一般地,在使用诸如投影仪的设备向用户给出某种通知的情况下,需要引起用户的注意,并且因此,通知在中断用户的工作的同时被给出。然而,在中断用户的工作的同时给出的这样的通知是对于用户具有低紧急程度的信息或具有低重要程度的信息的情况下,担忧的是,用户可能会感到烦躁并且压力可能积累。

因此,鉴于这样的情况,在本公开内容中,作为通知的第一阶段,在用户的周边视野范围内给出用于引导至布置在真实空间中的通知目标的第一模式通知,使得在不干扰用户的工作的情况下,至少可以随意地通知用户存在某个通知。

在本说明书中,“周边视野”是用户的视野范围内的除中心视野区域外的区域。一般地,人类具有约120度的视野范围,并且例如,可以根据对象识别级别将视野的特性分类为“中心视野”、“有效视野”和“周边视野”。即,“中心视野”在可以清楚地识别对象、字符等的形状或颜色的范围内,并且对应于距聚焦注视点约1度至2度的范围。中心视野范围包括通常被称为“辨别视野”和“词识别限制”的范围。此外,“有效视野”在可以在中心视野周围几乎清楚地识别对象的形状的范围内,并且例如,对应于距注视点约4度至20度的范围。在本实施方式中,“中心视野”和“有效视野”范围被称为“中心视野区域”。

此外,“周边视野”在除中心视野和有效视野(即,中心视野区域)之外的范围内,并且在以下不能清楚地识别对象的字符、形状或颜色等但可以注意到运动(例如,显示为图像的动画)的范围内。

在用户正在工作的情况下,由于对象主要在中心视野区域中被视觉地识别,因此即使在周边视野中给出某个通知,用户的工作并没有被明确地中断。当用户突然转动他/她的眼睛或用他/她的眼睛的尾部感觉到通知时,用户的视线转动朝向第一模式通知。因此,可以避免为了识别中心视野区域中的第一模式通知而强行中断用户的工作,这会引起压力。

例如,如图1所示,在用户正在PC等上工作的情况下,当给出催促用户执行清洁的通知时,信息处理设备100在将用于将用户引导至第二模式通知50的第一模式通知40输出至用户的视野范围内的除中心视野区域62外的周边视野区域60的同时,将用于催促用户执行清洁的第二模式通知50(通知目标的示例)输出至不在用户的视野范围内的位置(诸如,墙壁)。

对于第一模式通知40,更自然的表达是优选的。例如,当通知目标是窗户(其可以是真实对象或虚拟对象(例如,投影图像))时,对于通知优选的是,使用再现自然现象的表达,例如,其影子(表示阳光从窗户进来的图像)。因此,可以避免由于不自然的表达而强行吸引用户的注意力或干扰用户的专注状态(即是,难以强行转移用户的注视点)。

在图1所示的示例中,示出角色正在用清洁工具在窗户外移动的图像被投影到墙壁上作为第二模式通知50,并且示出窗户的影子的图像被投影到桌子上作为第一模式通知40。第二模式通知50被输出至远离第一模式通知40的位置。

由于第一模式通知40被投影到用户的周边视野区域60上,因此存在有益的效果,即,不强行干扰用户的工作。用户用眼睛的尾部感觉到正在移动的角色的影子或进来的光,并且在用户关注到此的情况下,将用户的视线V1转动朝向第一模式通知40。当第一模式通知40被视觉地识别时,可以看到角色正在尝试告诉某事。因此,在用户想要知道通知内容的情况下,将用户的视线V2进一步转动朝向影子的源头,即,第二模式通知50。第二模式通知50被输出至远离第一模式通知40的位置。然而,通过使用人类“从结果推断原因的能力”,可以在不直接且明确地在第一模式通知40中指示的输出第二模式通知50的位置的情况下将用户的视线朝向第二模式通知50引导。人类可以推断并且找到环境变化的原因。例如,可以在窗户的影子投下时推断出窗户的位置,可以基于感觉到风或气味的方向来识别风或气味源于何处,并且可以基于发出声音的方向来识别声音源于何处。

用户在视觉上识别第二模式通知50,并且例如,可以从使用清洁工具的角色看出清洁被催促。注意,例如,在角色是母亲的化身的情况下,可以看出清洁由母亲来催促。

另一方面,在用户已注意到第一模式通知40但想要专注于工作的情况下,用户可以在不看第二模式通知50的情况下继续工作。

以这种方式,通过以逐步的方式表达通知,可以在不干扰用户工作的情况下给出通知。

注意,通知目标不限于如图1所示的示出通知内容的投影图像(第二模式通知50),并且可以是真实对象。通过第一模式通知40可以想起真实对象的存在或可以隐含地指示真实对象的方向,从而提醒用户与真实对象有关的任务。例如,当检测到门的钥匙未进行上锁时,提醒用户该门的存在,从而想起忘记钥匙应该进行上锁。在这种情况下,作为第一模式通知40,在周边视野中显示钥匙的图片,或者呈现钥匙解锁的声音。此外,在洗衣机完成洗涤但洗衣机在预定时间内被忽视的情况下,提醒用户洗衣机的存在。在这种情况下,在周边视野中显示洗衣机或衣物的图片,以想起诸如从洗衣机中取出衣物以使衣物变干的任务。

此外,第一模式通知40不限于视觉通知(显示投影图像等),并且可以是听觉通知(输出语音)、触觉通知(输出振动、风等)和嗅觉通知(输出气味)中的至少一个或其组合。

以上已经描述了根据本公开内容的实施方式的信息处理系统。接下来,将参照附图描述根据本实施方式的信息处理系统中包括的每个设备的特定配置。

<<2.配置的示例>>

图2是根据本公开内容的实施方式的信息处理系统中的每个设备的功能配置的示例的框图。如图2所示,根据本实施方式的信息处理系统包括信息处理设备100、传感器设备200和输出设备300。

<2-1.信息处理设备100的配置的示例>

信息处理设备100包括接口(I/F)单元110、环境识别单元120、视野检测单元130、用户识别单元140、数据处理单元150、定时器160和存储单元170。

(I/F单元110)

I/F单元110是用于将信息处理设备100连接至另一设备的连接器。例如,I/F单元110由通用串行总线(USB)连接器等实现,并且向传感器设备200和输出设备300的每个部件输入信息和从传感器设备200和输出设备300的每个部件输出信息。此外,例如,I/F单元110借助于无线/有线局域网(LAN)、数字生活网络联盟(DLNA)(注册商标)、Wi-Fi(注册商标)、蓝牙(注册商标)、其他专有线路等连接至传感器设备200和输出设备300。此外,I/F单元110可以经由因特网或家庭网络连接至另一设备。

例如,I/F单元110从传感器设备200接收由每个传感器感测的数据。此外,I/F单元110将驱动控制信号和诸如图像或语音的输出信号发送至输出设备300。

(环境识别单元120)

环境识别单元120估计用户周围的环境。例如,环境识别单元120识别三维空间并且计算投影表面。环境识别单元120可以基于由各种传感器检测到的感测数据(由摄像装置获取的捕获图像(可见光图像或红外图像)、由深度传感器获取的深度信息、由麦克风获取的语音信息、由人类传感器获取的距离信息、由温度传感器获取的温度信息、由照度传感器获取的照度信息等),来识别投影环境的三维形状和环境(亮度等)、投影环境中存在的真实对象的三维形状和三维位置、可投影区域(诸如具有预定大小的平面区域的投影表面)、用户的三维位置等。识别三维空间的结果、计算投影表面的结果、关于用户的位置的信息等被输出至数据处理单元150。

(视野检测单元130)

视野检测单元130基于捕获的图像来确定用户的视野范围。例如,视野检测单元130根据通过识别三维空间获得的用户的三维位置,利用摄像装置来捕获用户,根据捕获的图像来检测用户的位置、面部取向、姿势等,并且估计视线方向。此外,视野检测单元130可以将视线方向与在视线方向上存在的真实对象(对应于工作对象)正交的位置估计为注视点。此外,视野检测单元130可以根据用户的面部方向、姿势等来确定视野范围,以将距估计的注视点大约预定角度内的范围确定为中心视野区域或周边视野区域。确定用户的视野范围的结果被输出至数据处理单元150。

(用户识别单元140)

用户识别单元140根据感测数据来识别用户。例如,用户识别单元140通过基于通过捕获用户的面部获得的捕获图像识别用户的面部来识别用户。识别用户的结果被输出至数据处理单元150。

(数据处理单元150)

数据处理单元150对从环境识别单元120、视野检测单元130和用户识别单元140输出的数据进行处理以控制通知。具体地,数据处理单元150用作工作区域估计单元151和输出生成单元152。

工作区域估计单元151基于由视野检测单元130检测到的用户的视野方向、用户周围的情况(用户周围存在的真实对象等)以及由环境识别单元120识别的用户与工作对象之间的距离等来估计用户的视野范围内的工作区域。例如,工作区域估计单元151将用户在用户的视线方向上操作的PC或智能电话的屏幕、用户在阅读书时正在看的书、在用户正在看和操作键盘时的键盘区域或在用户正在洗碗、做饭、整理衣物时的手可触及的周边等估计为工作区域。

注意,上述由工作区域估计单元151对工作区域的估计和由视野检测单元130对视野的检测不限于基于由环境中提供的摄像装置等感测到的数据的方法,并且由用户穿戴的可穿戴设备可以用于更准确的检测。例如,还存在一种方法,在该方法中利用眼镜型可穿戴设备内部的摄像装置检测用户眼睛的瞳孔,并且这结合由可穿戴设备的外置摄像装置获得的捕获图像,以估计视野范围和工作区域。此外,还存在一种方法,在该方法中,尽管用户的位置是固定的,但是通过使用设置在工作对象等上的眼睛跟踪器来估计视野范围和工作区域。

随后,输出生成单元152生成用于向用户通知的信息。作为示例,对用户的通知可以假设是由用户预先用定时器设置的任务的通知(洗碗等)、与调度器协作的操作(外出时间等)、根据环境或情况的建议(因为天气好等而晾晒被褥的建议)、通知(邮件、新闻等的到达)、消息(来自父母的“整理房间”、“该吃晚饭了”等)等。作为示例,输出生成单元152生成示出通知内容的第二模式通知和用于引导至第二模式通知的第一模式通知。第一模式通知实现了以下通知,通过该通知,通过采用适合于基于物理定律及其空间的行为的表达,人的注意目标难以被强制改变,而不引起不适感。例如,如参照图1所描述的,可以为第二模式通知选择虚拟窗口,并且对于第一模式通知可以采用使用自然现象的表达,即窗户的影子,从而实现适合于空间的表达,而不引起不适感,同时自然地对应于第二模式通知。第二模式通知示出特定的通知内容。例如,第二模式通知可以如常规方法中那样示出为文本图标等。替选地,可以为第二模式通知选择显示在墙壁上的虚拟窗户或门、显示在天花板上的虚拟云、显示在墙壁或天花板上的角色等,并且第一模式通知可以呈虚拟影子或其虚拟进入光的形式,使得第二模式通知可以自然地对应于第一模式通知。

此处,下面的表1提供了可以用于自然对应的自然现象及其用于第一模式通知的对应模态的示例。

表1

此外,数据处理单元150进行控制以将所生成的第一模式通知投影在周边视野内。数据处理单元150可以通过给出不与中心视野交叠并且不与工作区域交叠的第一模式通知来防止妨碍用户的工作。因此,可以实现当用户专注于工作时不会注意到的或者即使用户注意到通知也能容易忽视的通知。此处,图3是用于说明根据本实施方式的视野范围和工作区域的图。当第一模式通知投影在周边视野内时,只要如图3的左侧所示的那样工作区域在中心视野内,即使第一模式通知被投影到周边视野的任何位置上也没有问题。然而,在如图3的右侧所示的那样工作区域与周边视野交叠的情况下,数据处理单元150使第一模式通知被显示,同时避免在周边视野中与工作区域交叠的部分,从而防止妨碍用户的工作。

此处,下面的表2提供了实现适合于向其给出第一模式通知的空间的表达而不引起不适感所需的元素的示例。

表2

将在稍后描述的每个示例中详细描述由数据处理单元150等输出第一模式通知和第二模式通知的定时。

此外,通知目标不限于诸如投影图像的虚拟对象(第二模式通知),并且也可以是真实对象。在这种情况下,第一模式通知用于随意提醒用户真实对象的存在。

数据处理单元150将要登记的数据输出至存储单元170。例如,由环境识别单元120获得的环境识别结果、由用户识别单元140获得的用户识别结果等可以记录在存储单元170中。

(定时器160)

在参考时间时使用计时器160。

(存储单元170)

存储单元170由只读存储器(ROM)和随机存取存储器(RAM)实现,该只读存储器存储用于环境识别单元120的识别、视野检测单元130的检测、用户识别单元140的识别以及数据处理单元150的处理的程序、操作参数等,并且该随机存取存储器临时存储适当改变的参数等。

以上详细描述了根据本实施方式的信息处理设备100的配置。注意,环境识别单元120、视野检测单元130、用户识别单元140和数据处理单元150可以借助于未示出的控制单元起作用。信息处理设备100中包括的控制单元具有硬件配置。控制单元用作算术处理器和控制器,并且根据信息处理设备100中的各种程序来控制整体操作。例如,控制单元通过电子电路(例如,中央处理单元(CPU)或微处理器)来实现。此外,控制单元可以包括存储要使用的程序、操作参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。

此外,信息处理设备100的配置不限于图2所示的示例。例如,信息处理设备100的配置的至少一部分可以由诸如服务器的外部设备来实现。

此外,信息处理设备100可以由智能家庭终端、PC、智能电话、平板终端、HMD、家庭服务器、边缘服务器、中间服务器、云服务器等来实现。

<2-2.输出设备200的配置的示例>

传感器设备200包括感测真实空间的各种传感器,并且各种传感器的示例可以包括人类传感器210、加速度传感器220、深度传感器230、麦克风240、摄像装置250、陀螺仪传感器260、地磁传感器270等。此外,例如,传感器设备200还可以包括光学传感器、照度传感器、力传感器、超声传感器、大气压力传感器、气体传感器(Co2)、热像仪(远红外摄像装置)等。传感器设备200可以包括多个传感器,并且多个传感器可以各自被设置在空间中。此外,如图1所示,传感器设备200可以被设置在驱动投影仪中。

<2-3.输出设备300的配置的示例>

输出设备300用于向真实空间输出信息,并且输出设备300的示例可以包括投影仪310、扬声器320、振动单元330、风输出单元340、气味输出单元350等。此外,例如,输出设备300还可以包括显示器、头戴式显示器(HMD)、空气调节器等。输出设备300可以包括多个输出设备,并且多个输出设备可以各自被设置在空间中。在图1中示出了包括作为示例的投影仪310的输出设备300(驱动投影仪)。

此外,驱动投影仪可以配备有作为扬声器320的示例的具有高指向性的超声波扬声器。在通过输出语音(听觉通知)给出通知的情况下,可以仅向目标用户给出通知。

此外,信息处理设备100可以预先掌握传感器设备200和输出设备300的位置(空间中的三维位置)。

<<3.示例>>

接下来,将使用多个示例详细描述根据本实施方式的信息处理系统。

<3-1.第一示例>>

图4是示出根据本实施方式的第一示例的操作处理的流程的示例的流程图。如图4所示,首先,信息处理设备100的视野检测单元130确定用户的视野范围(中心视野区域和周边视野)(步骤S103)。

随后,工作区域估计单元151估计用户的工作区域(步骤S106)。

随后,数据处理单元150控制从输出设备300输出第一模式通知和第二模式通知(步骤S109)。第一模式通知被输出至用户的周边视野(除工作区域之外),并且第二模式通知被输出至在用户周围的但在用户的周边视野之外并且远离第一模式通知的位置(优选地,如果用户的面部转动朝向该位置则落在用户的视野范围内的位置)。

随后,数据处理单元150确定用户是否已关注到第二模式通知(步骤S112)。例如,数据处理单元150确定用户的视线是否已经面向第二模式通知,基于捕获的图像根据用户的面部方向、姿势等来检测用户的视线。假设对第二模式通知的关注是用户注意到第一模式通知并且对第一模式通知感兴趣,从第一模式通知的表达预测第一模式通知的原因,并且转动他/她的视线朝向第二模式通知的情况,或者是用户无意识地转动他/她的视线朝向第二模式通知的情况。

随后,当在用户未关注到第二模式通知的状态下经过一定时间段(步骤S112/否,以及步骤S115/是)时,数据处理单元150终止第一模式通知和第二模式通知的输出(步骤S118)。在用户未关注到第二模式通知的状态下经过一定时间段的情况可以是用户专注于工作而未能注意到第一模式通知的情况、用户已注意到第一模式通知但由于用户想要继续工作等而忽视第一模式通知的情况等。在任一情况下,都可以在不强迫正在工作的用户改变他/她的注视目标的情况下终止第一模式通知和第二模式通知的输出,从而防止用户感到烦躁。

<3-2.第二示例>

接下来,将描述第二示例。在第二示例中,通知目标是真实对象。

图5是示出根据本实施方式的第二示例的操作处理的流程的示例的流程图。如图5所示,首先,信息处理设备100的视野检测单元130确定用户的视野范围(中心视野区域和周边视野)(步骤S203)。

随后,工作区域估计单元151估计用户的工作区域(步骤S206)。

随后,数据处理单元150检测作为通知目标的真实对象的位置(步骤S209)。注意,例如,在真实对象的位置已经知道并记录在存储单元170中的情况下,数据处理单元150从存储单元170获取位置信息。

接下来,数据处理单元150根据真实对象的位置生成并且输出第一模式通知(步骤S212)。例如,在存在关于实际窗户、门、厨房、电视、洗衣机等的通知的情况下,数据处理单元150生成并且输出表达风在吹、正在产生声音、正在产生振动、正在投下影子或者光正从其位置进来的第一模式通知。例如,在检测到门的钥匙未进行上锁的情况下,输出门被打开的声音、从门进来的光等,从而使得可以将用户的视线和意识引导至门(想起门)。

注意,数据处理单元150可以生成在不使用真实对象的位置的情况下简单地以随意的方式提醒用户真实对象的存在的第一模式通知。例如,在开始下雨并且期望推荐用户将衣物拿进来的情况下,可以以小的音量再现雨的声音、风的声音、衣夹相互碰撞的声音等,从而想起已经开始下雨并且需要将衣物拿进来。

随后,数据处理单元150确定用户是否已关注到第一模式通知(步骤S215)。在本示例中,第一模式通知是用于将用户的视线和意识引导至真实对象的通知。

随后,当在用户未关注到第一模式通知的状态下经过一定时间段(步骤S215/否,以及步骤S218/是)时,数据处理单元150终止第一模式通知的输出(步骤S221)。在用户未关注到第一模式通知的状态下经过一定时间段的情况可以是用户专注于工作而未能注意到第一模式通知的情况、用户已注意到第一模式通知但由于用户想要继续工作等而忽视第一模式通知的情况等。在任一情况下,都可以在不强迫正在工作的用户改变他/她的注视目标的情况下终止第一模式通知的输出,从而防止用户感到烦躁。

<3-3.第三示例>

接下来,将描述第三示例。此处,将描述调整第一模式通知和第二模式通知被输出的定时。

图6是示出根据本实施方式的第三示例的操作处理的流程的示例的流程图。如图6所示,首先,信息处理设备100的视野检测单元130确定用户的视野范围(中心视野区域和周边视野)(步骤S303)。

随后,工作区域估计单元151估计用户的工作区域(步骤S306)。

随后,数据处理单元150输出第二模式通知(步骤S309)。

随后,数据处理单元150确定用户是否已关注到第二模式通知(步骤S312)。

随后,在用户未关注第二模式通知(步骤S312/否)的情况下,数据处理单元150确定是否满足第一模式通知的条件(步骤S315)。例如,假设第一模式通知的条件是,任务的期限临近的情况(例如,外出之前一小时、由用户登记的任务的警报等)、自输出第二模式通知起经过一定时间段的情况等。

随后,在满足第一模式通知的条件(步骤S315/是)的情况下,数据处理单元150输出第一模式通知(步骤S318)。

随后,在用户已关注到第一模式通知(步骤S321)的情况下,数据处理单元150等待一定时间段(步骤S327)。因此,防止在用户将他/她的视线转移到第二模式通知之前删除第二模式通知。

然后,在等待一定时间段之后或在用户未关注第一模式通知的状态下经过一定时间段(步骤S321/否,以及步骤S324/是)的情况下,数据处理单元150终止第一模式通知的输出(步骤S330),并且随后终止第二模式通知的输出(步骤S333)。第一模式通知的输出和第二模式通知的输出可以顺序地终止,或者可以同时终止。

注意,在第一模式通知的条件满足之前用户已关注到第二模式通知(步骤S312/是)的情况下,数据处理单元150终止第二模式通知的输出(步骤S333)。

<<4.补充>>

在本系统中,对于第一模式通知和第二模式通知可以使用不同的模态。

此外,根据用户的情况可以选择模态或可以组合模态。图7是用于说明根据本实施方式的第一模式通知和第二模式通知中使用的根据情况的模态的组合的图。如图7所示,例如,在存在视觉通知、听觉通知和触觉通知的情况下,当用户正在听音乐时,由于视觉信息的呈现不适当,因此选择听觉信息的呈现和/或触觉信息的呈现。此外,当用户正在观看电影时,由于视觉信息的呈现和听觉信息的呈现不适当,因此选择触觉信息的呈现(例如,振动、风等)。此外,当用户用真空吸尘器进行清洁时,由于噪音,听觉信息的呈现是不适当的,并且因为振动是从真空吸尘器本身传递的,因此触觉信息的呈现也是不适当的。因此,选择视觉信息的呈现。注意,虽然图7提供了三种类型的呈现,但在需要时可以添加嗅觉通知。

此外,在工作区域不在周边视野内的情况下,由于视觉信息的呈现不适当,因此数据处理单元150优选地使用另一模态,例如,听觉信息的呈现或触觉信息的呈现。

此外,在以多个用户为目标的情况下,第一模式通知可以被输出至用户的相应的周边视野彼此交叠的位置。此外,在空间中存在多个用户的情况下,当期望仅通知特定用户时,可以首先在特定用户的周边视野范围内给出第一模式通知,当仅特定用户在预定方向上转动他/她的视线时(例如,当回头看时),可以输出第二模式通知。

此外,由用户每天穿戴的透射式HMD可以应用作为输出设备300,使得显示虚拟墙壁(AR显示),并且向该虚拟墙壁输出第二模式通知(虚拟窗户)。

此外,在本系统中,与常规的通知不同,具有低紧急程度但具有高重要程度的通知更有效。例如,在天气好、湿度低的日子,可以通过结合由窗户引起的视觉模态和由风引起的触觉模态来建议“晾晒被褥”。此外,与现有调度器协作地,本系统可以从出发时间之前的1小时至30分钟催促出发,并且可以从出发时间之前的30分钟将通知切换为作为常规警报的中断通知。因此,可以在减轻用户压力的同时可靠地执行通知。

此外,如果预先输入了任务,则可以随意催促该任务的实行。例如,可以输入“洗碗”,并且可以由本系统利用定时器(例如,在1小时之后,在2小时之后等)自动启动通过水的声音和餐具的“咔嗒”声音给出通知。

此外,在存在多个用户的情况下,例如可以在仅对于站立者可见的位置处显示第一模式表达,从而催促站立者“在站立的同时做家务”。

<<5.结论>>

如以上所述,在根据本公开内容的实施方式的信息处理系统中,可以在不干扰用户的工作的情况下至少随意地向用户通知存在某个通知。

以上已经参照附图详细描述了本公开内容的优选实施方式,但是本技术不限于这样的示例。显然地,在本公开内容的技术领域中具有普通知识的人可以在权利要求中阐述的技术思想的范围内设想到各种改变或修改,并且当然应当理解的是,这些改变或修改也落入本公开内容的技术范围内。

例如,可以在上述信息处理设备100、传感器设备200或输出设备300中内置的诸如CPU、ROM和RAM的硬件中创建计算机程序,使得信息处理设备100、传感器设备200或输出设备300可以表现出其功能。此外,还提供了存储计算机程序的计算机可读存储介质。

此外,本说明书中描述的效果仅是说明性或示例性的,而不是限制性的。即,与上述效果一起或代替上述效果,根据本公开内容的技术可以实现本领域技术人员根据本说明书的描述显而易见的其他效果。

注意,本技术还可以具有以下配置。

(1)一种信息处理设备,包括控制单元,所述控制单元基于确定信息进行控制,以在用户的周边视野区域内输出用于将所述用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获图像的用户的视野范围有关。

(2)根据(1)所述的信息处理设备,其中,

与视野范围有关的所述确定信息是用户在真实空间中的视野范围和工作区域,并且

所述控制单元进行控制以在用户的除工作区域外的周边视野区域内输出所述第一模式通知。

(3)根据(1)或(2)所述的信息处理设备,其中,所述周边视野是用户的视野范围内的除中心视野区域外的区域。

(4)根据(1)至(3)中任一项所述的信息处理设备,其中,所述第一模式通知是示出所述通知目标的影子的图像。

(5)根据(1)至(4)中任一项所述的信息处理设备,其中,

所述通知目标是示出通知内容的第二模式通知,并且

所述控制单元进行控制以在用户的视野范围之外输出所述第二模式通知。

(6)根据(5)所述的信息处理设备,其中,所述控制单元进行控制以:

输出所述第一模式通知和所述第二模式通知,并且在用户已关注到所述第二模式通知或者自输出所述第一模式通知和所述第二模式通知起已经过了一定时间段的情况下,终止所述第一模式通知和所述第二模式通知的输出。

(7)根据(5)所述的信息处理设备,其中,所述控制单元进行控制以:

在输出所述第二模式通知之后输出所述第一模式通知,并且在用户已关注到所述第一模式通知或者自输出所述第一模式通知起已经过了一定时间段的情况下,终止所述第一模式通知的输出。

(8)根据(1)至(4)中任一项所述的信息处理设备,其中,

所述通知目标是真实对象,并且

所述第一模式通知是使得想起所述真实对象的存在的通知信息。

(9)根据(8)所述的信息处理设备,其中,所述控制单元输出用于使用户的注意力指向所述真实对象的方向的所述第一模式通知。

(10)根据(1)至(8)中任一项所述的信息处理设备,其中,所述控制单元进行控制以根据用户的情况至少通过听觉呈现、触觉呈现或嗅觉呈现来给出所述第一模式通知。

(11)一种信息处理方法,包括:

由处理器基于确定信息进行控制,以在用户的周边视野区域内输出用于将所述用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获图像的用户的视野范围有关。

(12)一种程序,用于使计算机用作:

控制单元,所述控制单元基于确定信息进行控制,以在用户的周边视野区域内输出用于将所述用户向布置在真实空间中的通知目标引导的第一模式通知,所述确定信息与基于捕获图像的用户的视野范围有关。

附图标记列表

1 信息处理系统

40 第一模式通知

50 第二模式通知

60 周边视野区域

62 中心视野区域

100 信息处理设备

110 I/F单元

120 环境识别单元

130 视野检测单元

140 用户识别单元

150 数据处理单元

151 工作区域估计单元

152 输出生成单元

160 定时器

170 存储单元

200 传感器设备

210 人类传感器

220 加速度传感器

230 深度传感器

240 麦克风

250 摄像装置

260 陀螺仪传感器

270 地磁传感器

300 输出设备

310 投影仪

320 扬声器

330 振动单元

340 风输出单元

350 气味输出单元

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:显示装置处的基于帧速率的照明控制

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类