电子装置及其控制方法

文档序号:143739 发布日期:2021-10-22 浏览:17次 >En<

阅读说明:本技术 电子装置及其控制方法 (Electronic device and control method thereof ) 是由 金雨睦 崔铉美 宋东伸 于 2020-02-27 设计创作,主要内容包括:公开了一种电子装置。该电子装置包括:相机;存储器,被配置为存储属性信息和环境信息;以及处理器,被配置为基于由相机获得的图像识别多个对象,基于多个对象的属性信息之间的关系和环境信息识别来自多个对象当中的第一对象的第一上下文,并基于第一上下文控制电子装置的行进状态。(An electronic device is disclosed. The electronic device includes: a camera; a memory configured to store attribute information and environment information; and a processor configured to identify a plurality of objects based on an image obtained by the camera, identify a first context of a first object from among the plurality of objects based on a relationship between attribute information of the plurality of objects and the environment information, and control a travel state of the electronic apparatus based on the first context.)

电子装置及其控制方法

技术领域

本公开涉及一种电子装置及其控制方法,更具体地涉及一种能够自主地行进的电子装置及其控制方法。

背景技术

随着电子技术不断发展,新型的电子设备(诸如机器人)已经开发和普及,特别是用于诸如家庭、办公室、公共场所等的各种场所。

但是,这些设备可能无法辨识(recognize)对象之间的关系。如果人坐在椅子上,则椅子可以与人的移动分开地被人移动。在这种情况下,可能无法预测椅子的移动以及椅子与电子设备之间的碰撞。

发明内容

[技术问题]

如此,可能无法准确分析当前情形或可能无法准确预测未来情形,因为没有考虑多个对象之间的关系。

[问题的解决方案]

本公开的实施例克服了上述缺点和上文未描述的其他缺点。此外,本公开不需要克服上述缺点,并且本公开的实施例可以不克服上述任何问题。

一个或多个实施例提供了一种考虑多个对象的属性信息之间的关系来确定控制操作的电子装置及其控制方法。

根据本公开的实施例,一种电子装置包括:相机;存储器,被配置为存储属性信息和环境信息;以及处理器,被配置为基于由相机获得的图像识别(identify)多个对象,基于多个对象的属性信息之间的关系和环境信息识别来自多个对象当中的第一对象的第一上下文,并基于第一上下文控制电子装置的行进状态。

处理器还可以被配置为基于第一上下文识别第一对象的第一危险等级并且基于第一危险等级控制电子装置的行进状态。

处理器还可以被配置为基于该关系和环境信息识别第一对象的第一预测上下文,并基于第一预测上下文控制电子装置的行进状态。

多个对象中的一个可以是具有静态属性的静态对象,多个对象中的另一个可以是具有动态属性的动态对象,并且处理器还可以被配置为基于静态对象与动态对象之间的关系以及环境信息来预测多个对象中的至少一个对象的移动方向或移动距离中的至少一个,并基于预测的移动方向或预测的移动距离中的至少一个来控制电子装置的行进状态。

处理器还可以被配置为基于动态对象被识别为在静态对象的阈值距离内,来识别静态对象可被动态对象移动的上下文。

电子装置可以被配置为在保护模式、低噪声模式、监视模式和私密模式下操作,并且处理器还可以被配置为基于第一上下文来从保护模式、低噪声模式、监视模式和私密模式中识别电子装置的当前模式。

处理器还可以被配置为基于私密空间信息从第一对象获得、来自多个对象当中的第二对象为动态对象、以及多个对象之间的关系和私密空间信息,来控制电子装置的当前模式为私密模式或低噪声模式中的至少一个。

处理器还可以被配置为基于来自多个对象当中的危险对象被识别为具有危险属性和多个对象之间的关系,来控制电子装置的当前模式为监视模式或保护模式中的至少一个

多个对象中的每一个可以分别对应多个用户,属性信息可以包括多个用户中的每一个的简档信息,并且处理器还可以被配置为基于多个用户之间的关系和环境信息来识别多个用户的上下文,并基于上下文控制电子装置的行进状态。

多个对象中的至少一个可以是用户,多个对象中的作为用户的每一个的属性可以包括用户的对应的简档信息,并且处理器还可以被配置为基于该用户与多个对象中的其他对象之间的关系、环境信息和该用户的行为历史来识别该用户的上下文,并基于该用户的上下文来控制电子装置的行进状态。

环境信息可以包括与当前空间相关的空间信息、时间信息或位置信息中的至少一个。

处理器还可以被配置为基于多个对象中的每一个的属性信息之间的关系与环境信息来识别第一对象的第一上下文。

根据本公开的实施例,提供了一种存储对象的属性信息和环境信息的电子装置的控制方法。该控制方法包括:基于图像识别多个对象;基于多个对象的属性信息之间的关系和环境信息,识别来自多个对象当中的第一对象的第一上下文;以及基于第一上下文控制电子装置的行进状态。

控制方法还可以包括基于第一上下文识别第一对象的第一危险等级,并且控制电子装置的行进状态可以基于第一危险等级。

识别第一上下文可以包括基于该关系和环境信息识别第一对象的第一预测上下文,并且控制电子装置的行进状态可以基于第一预测上下文。

多个对象中的一个可以是具有静态属性的静态对象,多个对象中的另一个可以是具有动态属性的动态对象,控制方法还可以包括基于静态对象和动态对象之间的关系以及环境信息来识别多个对象中的至少一个对象的移动方向或移动距离中的至少一个,并且控制电子装置的行进状态可以基于预测的移动方向或预测的移动距离中的至少一个。

控制方法还可以包括,基于动态对象被识别为在静态对象的阈值距离内,识别静态对象可被动态对象移动的上下文。

控制电子装置的行进状态可以包括基于第一上下文识别电子装置的当前模式,并且可以从保护模式、低噪声模式、监视模式或私密模式中选择当前模式。

识别第一上下文可以包括识别是否从第一对象获得私密空间信息以及来自多个对象当中的第二对象是否是动态对象,并且控制电子装置的行进状态可以包括基于第一上下文将当前模式选择为私密模式或低噪声模式中的一个。

根据本公开的实施例,一种存储计算机指令的非暂时性计算机可读介质,所述指令当由存储对象的属性信息和环境信息的电子装置的处理器运行时,使电子装置执行操作,所述操作包括:基于图像识别多个对象;基于多个对象的属性信息之间的关系和环境信息识别来自多个对象当中的第一对象的第一上下文;以及基于第一上下文控制电子装置的行进状态。

根据本公开的实施例,一种电子装置包括:相机;电机;以及处理器,被配置为:识别电子装置行进的第一路径;控制电机沿第一路径移动电子装置;控制相机捕获图像;识别图像中的第一对象和第二对象;识别第一路径是否与第一对象的第一位置或第二对象的第二位置冲突;基于第一路径与第一位置或第二位置中的至少一个冲突,识别电子装置行进的第二路径;以及控制电机沿第二路径移动电子装置。

处理器还可以被配置为:基于第一对象的第一属性和第二对象的第二属性识别第一对象和第二对象之间的关系;基于第一对象和第二对象之间的关系以及环境信息,识别第一对象和第二对象之间的上下文;基于上下文识别电子装置行进的第三路径;以及控制电机沿第三路径移动电子装置。

处理器还可以被配置为:将第一对象识别为儿童,将第二对象识别为床;基于是否识别被识别为保护者的第三对象来识别上下文;基于第三对象未被识别,将上下文识别为需要保护,控制电机接近第一对象和第二对象,并控制电子装置监视儿童。

处理器还可以被配置为通过将图像输入到神经网络中来识别第一对象和第二对象。

电子装置还可以包括麦克风,并且处理器还可以被配置为基于与麦克风捕获的音频相对应的语音来识别第一对象和第二对象之间的关系。

本公开的附加和/或其他方面和优点将部分地在随后的描述中阐述,并且部分地将从描述中显而易见,或者可以通过本公开的实践而获知。

附图说明

本公开的某些实施例的上述和/或其他方面、特征和优点将从以下结合附图的描述中更加明显,其中:

图1是示出根据实施例的电子装置的框图;

图2是用于描述图1的电子装置的具体配置的框图;

图3是用于描述根据实施例的电子装置在室内空间中移动所沿的路线的视图;

图4是用于描述在图3中的特定位置处由电子装置识别的上下文(context)的视图;

图5是用于描述电子装置在特定移动路线上改变行进状态的操作的视图;

图6是用于描述电子装置改变移动路线的实施例的视图;

图7是用于描述电子装置监视移动路线上的特定位置处的对象的操作的视图;

图8是用于描述改变对象的属性并改变现有的移动路线的实施例的视图;

图9是用于描述取决于对象的属性改变现有的移动路线的实施例的视图;

图10是用于描述电子装置在特定移动路线上改变行进状态的操作的视图;

图11是用于描述电子装置存储关于成员的信息的操作的视图;

图12是用于描述电子装置识别成员的存在或不存在并执行与识别结果相对应的控制操作的实施例的视图;

图13是用于描述电子装置识别成员的存在或不存在并执行与识别结果相对应的控制操作的另一实施例的视图;

图14是用于描述电子装置基于关于成员的移动的信息设置移动路线的操作的视图;

图15是用于描述电子装置设置移动路线以避免与成员碰撞的操作的视图;

图16是用于描述由电子装置执行的识别与上下文对应的行进状态的多个操作的图;

图17是用于描述电子装置基于对象的信息或环境信息来识别上下文的操作的图;

图18是用于描述电子装置分析并更新上下文的操作的图;

图19是用于描述电子装置识别与上下文对应的行进状态的操作的流程图;和

图20是用于描述根据实施例的电子装置的控制方法的流程图。

具体实施方式

考虑到各种实施例中的功能,已经选择了在说明书和权利要求中使用的术语。但是,这些术语可能会随着在相应领域工作的工程师的意图、法律或技术解释、新技术的出现等而改变。此外,一些术语可以是申请人任意选择的术语。这些术语可以解释为具有说明书中定义的含义,并且在术语没有具体定义的情况下,可以基于说明书的一般内容和相应技术领域的公知技术知识来解释这些术语。

此外,贯穿说明书中的附图,相似的附图标记或符号表示执行基本相同功能的部件或组件。为了便于说明和理解,在彼此不同的实施例中将使用相同的附图标记或符号。即,即使在多个附图的全部中示出具有相同附图标记的组件时,也不意味着多个附图示出相同的实施例。

此外,在说明书和权利要求中,包括诸如“第一”、“第二”等序数的术语可以使用相应的组件而不管重要性或顺序如何,并且用于将组件彼此区分而不限制组件。作为示例,在组件由术语与序数组合表示的情况下,该组件的使用或设置顺序不应受序数限制。如有必要,序数可以相互替换。

在说明书中,单数形式旨在包括复数形式,除非上下文另有明确说明。应进一步理解,本说明书中使用的术语“包括”或“由…形成”指定了本说明书中提及的特征、数字、步骤、操作、组件、部件或其组合的存在,但不排除存在或添加一个或多个其他特征、数字、步骤、操作、组件、部件或其组合。

因为可以对本公开进行各种修改,所以将在附图中示出并在详细描述中详细描述具体实施例。然而,应当理解,本公开不限于特定实施例,而是在不脱离本公开的范围和精神的情况下包括所有修改、等同和替换。

表述“a、b和c中的至少一个”应理解为包括:仅a;仅b;仅c;a和b两者;a和c两者;b和c两者;或a、b和c的全部。

在实施例中,“模块”、“单元”或“-者/-器”是指执行至少一个功能或操作的组件,并且可以由硬件或软件来实现或由硬件和软件的结合来实现。此外,除了需要由特定硬件实现的“模块”、“单元”或“-者/-器”之外,多个“模块”、多个“单元”或多个“-者/-器”可以集成在至少一个模块或芯片中,并由至少一个处理器实现。

在实施例中,一个部分和另一部分之间的连接不仅包括直接连接,还包括经由介质的间接连接。此外,除非另有明确说明,否则“包括”任何组件将被理解为暗示包含其他组件但不排除任何其他组件。

在本公开中,计算(辨识)可以由基于机器学习的辨识系统执行,并且基于深度学习的辨识系统被描述为基于神经网络使用一系列机器学习算法的分类系统的示例。

基于深度学习的辨识系统可以包括至少一个分类器,并且分类器可以对应于一个或多个处理器。处理器可以由多个逻辑门的阵列来实现,或者可以由通用微处理器和存储可以由微处理器运行的程序的存储器的组合来实现。

分类器可以通过基于神经网络的分类器、支持向量机(SVM)、AdaBoost分类器、贝叶斯分类器、感知器分类器等来实现。在下文中,将描述通过基于卷积神经网络(CNN)的分类器来实现分类器的实施例。基于神经网络的分类器是被实现为通过使用多个由突触连接的人工神经元来模拟生物系统的可计算性的计算模型,并通过具有突触强度(突触权重)的突触执行人类的认知功能或学习过程。然而,分类器不限于此,而是可以通过上述各种分类器来实现。

一般的神经网络包括输入层、隐藏层和输出层,并且隐藏层可以根据需要由一层或多层构成。作为用于训练这种神经网络的算法,可以使用反向传播算法。

分类器可以训练神经网络,以便一旦任何数据输入到神经网络的输入层,就将输入学习数据的输出数据输出到神经网络的输出层。一旦输入从输入数据中提取的特征信息,就可以将特征信息的模式分类为多个类中的任意一类,并可以通过使用神经网络输出分类结果。

处理器是基于神经网络使用一系列机器学习算法的分类系统,并且可以使用基于深度学习的辨识系统。

图1是示出根据实施例的电子装置的框图。

参考图1,电子装置100可以包括存储器110、相机120和处理器130。

电子装置100可以由通过使用其自己的能力来自动处理给定任务或操作的装置来实现。例如,电子装置100可以由机器人来实现。作为示例,电子装置100可以由服务机器人、行进机器人、运输机器人、清洁机器人或宠物机器人来实现。替选地,例如,电子装置100可以由家庭服务机器人或工业机器人来实现。上述示例仅用于描述电子装置,并且电子装置不必局限于此。

存储器110可以由处理器130中包括的内部存储器(诸如只读存储器(ROM)(例如,电可擦除可编程只读存储器(EEPROM))或随机存取存储器(RAM))来实现,或由与处理器130分离的存储器来实现。在这种情况下,存储器110可以以嵌入电子装置100中的存储器的形式或以可附接到电子装置和可从电子装置拆卸的存储器的形式来实现,这取决于数据存储目的。例如,用于驱动电子装置100的数据可以存储在嵌入电子装置100的存储器中,并且用于电子装置100的扩展功能的数据可以存储在可附接到电子装置100和可从电子装置100拆卸的存储器中。嵌入在电子装置100中的存储器可以由易失性存储器(例如,动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器中的至少一种来实现,非易失性存储器例如一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、EEPROM、掩膜ROM、闪存ROM、快闪存储器(例如,NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD),并且可附接到电子装置100和可从电子装置100分离的存储器可以通过存储器卡(例如,紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC))、可连接到USB端口的外部存储器(例如USB存储器)等来实现。

根据实施例,存储器110可以存储与预定空间相关的多个对象的属性信息和环境信息。

这里,属性信息可以包括与对象相关的各种信息。具体地,对象的属性信息可以包括对象的名称、特性信息、特征信息和关系信息。

这里,属性信息可以指示对象的唯一属性。例如,属性信息可以是关于对象具有静态属性还是动态属性的信息。在对象是人的情况下,对象可以具有动态属性,并且在对象是事物情况下,对象可以具有静态属性。此外,特性信息可以指示材料的化学特性。在对象是水的情况下,对象可以具有液体特性,并且在对象是烟的情况下,对象可以具有气体特性。

此外,特征信息可以包括成为上下文分析的基础的各种特征。特征信息可以包括关于对象的结构、配置、功能等的信息。例如,床对象的特征信息可以包括关于床的一般结构的信息、床由床垫和床架构成的信息、以及床是人睡觉或躺下休息的地方的信息。此外,特征信息可以包括特定对象的外观和轮廓。具体地,人对象的特征信息可以包括每个人的独特特征,诸如面部、语音或指纹。

关系信息可以指示关于特定对象与另一对象的关系的信息。关系信息可以包括该对象的属性信息和另一对象的属性信息之间的各种关系。作为示例,关系信息可以包括指示第一对象使用第二对象的关系的内容。例如,在第一对象是人而第二对象是床的情况下,第一对象和第二对象可以具有第一对象使用第二对象的关系。作为另一示例,第一对象和第二对象可能处于危险关系中。例如,在第一对象是儿童而第二对象是火的情况下,第一对象和第二对象可能处于危险关系。作为另一示例,关系信息可以指示静态对象与静态对象之间的关系、静态对象与动态对象之间的关系、以及动态对象与动态对象之间的关系。

环境信息可以包括与预定空间相关的时间信息、空间信息或位置信息中的至少一个。此外,环境信息可以取决于时间、空间或位置的改变而改变。

时间信息可以包括对应于特定空间的时间信息。这里,特定空间可以指示操作电子装置100的整个空间或整个空间中的子空间。与特定空间对应的时间信息可以指示使用特定空间的时间或用户为特定空间预确定的时间。例如,可以通过使用一般用户的使用时间信息、用户行为历史信息、用户直接设置的时间信息等来获得使用卧室的时间(晚上11点到早上8点)。时间信息可以包括与特定信息对应的开始时间、结束时间或持续时间中的至少一种。

此外,空间信息可以包括与特定空间的使用相关的信息。例如,浴室是淋浴和洗脸的空间、厨房是用餐和烹饪的空间以及卧室是休息和睡觉的空间的内容可以对应于空间信息。这样的空间信息可以默认存储,也可以基于每个空间的属性从外部设备(例如外部服务器)获得。替选地,用户设置的使用信息可以包括在空间信息中。例如,在用户添加卧室作为阅读区域的情况下,相应的信息可以添加到空间信息中。此外,空间信息可以包括关于预定空间的地图信息。

位置信息可以包括特定位置或空间的相对或绝对位置信息。作为示例,位置信息可以包括特定位置的绝对坐标信息。例如,位置信息可以包括电子装置100在行进过程中要避开的对象所在的特定位置的坐标信息。作为另一示例,位置信息可以包括整个空间中所包括的每个子空间的相对坐标信息。例如,位置信息可以包括诸如厨房位于客厅前方以及主房间位于客厅右侧的信息的位置信息。

环境信息可以由电子装置100基于输入数据来获得。例如,电子装置100可以基于存储在存储器110中的空间信息来识别电子装置100当前所在的空间是浴室。

根据另一示例,可以基于识别的对象获得环境信息。例如,在识别淋浴器对象的情况下,电子装置100可以识别电子装置100当前所在的空间是浴室。

尽管已经描述了对象的属性信息和环境信息的一些实施例,但是对象的属性信息和环境信息不必局限于此,并且除上述内容之外还可以包括各种信息。

相机120可以由提供在电子装置100的前表面上的前置相机来实现,并且可以捕获电子装置100前方的对象的图像以获得捕获的图像。相机120可以捕获相机120前方的被摄体(subject)的图像,例如用户的面部,以获得用户面部图像。一旦被摄体的图像被相机120捕获,被摄体的图像通过电荷耦合器件(CCD)被转换成电图像信号,并且通过转换获得的图像信号被放大并转换成数字信号。如上所述通过转换获得的数字信号可以历经数字信号处理以被转换为捕获的图像。

处理器130控制电子装置100的一般操作。处理器130可以由处理数字信号的数字信号处理器(DSP)、微处理器或时间控制器(TCON)来实现。然而,本公开不限于此,处理器130可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、图形处理单元(GPU)、通信处理器(CP)或ARM处理器中的一个或多个,或可以由这些术语定义。此外,处理器130可以通过片上系统(SoC)或其中嵌入处理算法的大规模集成(LSI)来实现,或者可以以现场可编程门阵列(FPGA)形式来实现。处理器130可以通过运行存储在存储器110中的计算机可运行指令来执行各种功能。

根据实施例,处理器130可以基于由相机120获得的图像识别(或确定)多个对象,基于多个相应识别的对象的属性信息之间的关系和环境信息识别多个对象中的至少一个的上下文,并基于识别的上下文控制电子装置的行进状态(或操作状态或操作模式)。然而,也可以接收由提供在外部设备中的相机捕获的图像。

根据另一实施例,处理器130可以基于通过电子装置100的麦克风170或外部设备的麦克风获得的音频信号来识别多个对象。此外,处理器130可以基于各种类型的输入数据来识别多个对象。这里,可以通过电子装置100直接获得(或执行预扫描)输入数据的方法、用户直接输入输入数据的方法、或从外部服务器(例如,云服务器)接收输入数据的方法来获得输入数据。这里,电子装置100可以使用各种传感器,诸如图像传感器、声音传感器、加速度传感器、陀螺仪传感器、超声波传感器、红外传感器和射频传感器来直接获得输入数据。

此外,处理器130可以向人工智能学习模型提供上述各种数据,例如捕获的图像,并从人工智能学习模型接收关于识别的对象的信息。处理器130可以在同一时间点单独识别多个对象。例如,处理器130可以基于捕获的图像同时识别当前位于电子装置前方的人对象和床对象。

多个相应对象的属性信息之间的关系(或对象之间的关系)可以指示下述状态或操作:其可以通过多个对象中的每一个的特征或属性在多个对象之间引起。例如,多个相应对象的属性信息之间的关系可以包括使用关系、危险关系、保护关系、移动关系等。作为示例,人对象和床对象可以处于人使用床的关系。作为另一示例,火对象和儿童对象可能处于危险关系中。作为另一示例,成人对象和儿童对象可能处于保护关系中。作为另一示例,椅子对象和人对象可能处于移动关系。这里,移动关系可以指示第一对象(人)可以移动第二对象(椅子)的关系。这里,使用关系是为了便于说明而描述的综合概念,并且可以存在各种具体的关系。在描述各种实施例时,第一对象的属性信息和第二对象的属性信息之间的关系可以被描述为第一对象和第二对象之间的关系。

此外,处理器130可以基于对象的存在或不存在来确定对象之间的关系。处理器130可以取决于特定对象的存在或不存在来确定该关系不同。例如,在识别到儿童对象但未识别到成人对象的情况下,处理器130可以确定不存在保护者,通过额外考虑环境信息来识别儿童对象需要保护的上下文,并执行适当的控制操作。

根据实施例,处理器130可以基于多个对象的属性信息之间的关系(或对象之间的关系)和环境信息来识别各种上下文。上下文可以是包括情形、状态、背景、线程等的概念。进一步地,上下文可以包括与过去情形对应的过去上下文、与当前情形对应的当前上下文、或与可能的情形对应的预测上下文中的至少一种。稍后将参考图5描述本上下文的具体实施例,并且稍后将参考图6描述预测上下文的具体示例。

根据实施例,处理器130可以基于多个对象之间的关系和环境信息来识别上下文。例如,假设关于从晚上11点到早上8点的睡眠时间的信息被存储为环境信息。在电子装置100确定当前时间是早上6点的情况下,电子装置100可以考虑到人对象与床对象之间的关系(使用关系)和环境信息(睡眠时间)来识别“人正在床上睡觉”的当前上下文。

根据另一实施例,处理器130可以基于单个对象的属性信息和环境信息之间的关系来识别上下文。例如,假设关于与特定对象(例如,成人对象)对应的睡眠时间(从晚上11点到早上8点)的信息被存储为环境信息。在这种情况下,处理器130可以考虑为成人对象存储的睡眠时间(从晚上11点到早上8点)来识别上下文。然而,对于儿童对象,处理器130可以在不考虑存储的睡眠时间的情况下识别上下文。

根据另一实施例,处理器130可以通过使用对象的属性信息、多个对象之间的关系、环境信息、或特定对象的属性信息和环境信息之间的关系中的至少一个来识别上下文。例如,处理器130可以通过考虑多个对象之间的关系来识别上下文。在没有识别上下文的情况下,处理器130可以附加地考虑环境信息,并且在即使考虑环境信息也没有识别上下文的情况下,处理器130可以通过附加地考虑特定对象的属性信息和环境信息之间的关系来识别上下文。即,处理器130可以通过顺序地考虑各种信息来识别上下文,从而提高上下文辨识的准确性。

处理器130可以执行与识别的上下文对应的控制操作。具体地,处理器130可以基于识别的上下文来控制电子装置100的行进状态,或者执行控制以使得电子装置100执行特定功能。作为示例,处理器130可以执行设置电子装置100的基本行进路线并沿基本行进路线移动的操作、部分改变基本行进路线并沿新的行进路线移动的操作、在基本行进路线上停止的操作、部分改变基本行进路线并观察(或监视)特定位置处的特定对象的操作、在基本行进路线上停止并输出警报声音(或警告声音)的操作、等等。上述操作是说明性的并且本公开不必限于此。例如,处理器130可以基于人对象和TV对象识别人观看电视(TV)的上下文,并且在基本行进路线设置在TV对象与人对象之间的空间中的情况下改变基本行进路线,以免妨碍人观看电视。

处理器130可以基于识别的上下文来识别与识别的上下文对应的危险等级(或危险程度)并且基于识别的危险等级控制电子装置100的行进状态。

这里,危险等级(或危险程度)可以指示识别的上下文的危险程度。例如,取决于用户设置,危险等级可以分类为0到100,并且数字越大可以指示情形越危险。这里,0的危险等级可以指示没有电子装置100需要注意的情形。危险等级可以基于每个对象、多个对象之间的关系或绝对环境信息中的至少一个来确定。这里,多个对象之间的关系可以指示第一对象(特定对象)与第二对象(不同于特定对象的另一对象)的关系,或者可以指示第一对象和第二对象之间的世代(generation)关系。例如,危险等级可以指示动态对象(人)的危险程度,这是基于动态对象相对于静态对象(事物)的相对上下文来确定的。

处理器130可以基于多个对象之间的关系和环境信息来预测多个对象中的至少一个的可能上下文,并且基于预测上下文来控制电子装置的行进状态。

这里,可能的上下文可以指示基于当前上下文未来可能发生的各种情形。处理器130可以基于多个对象之间的关系和环境信息来预测未来可能发生的各种情形,而不是当前情形。可以通过分析当前上下文并选择未来可能发生的上下文来获得预测上下文。作为示例,在人躺在床上的情况下,预测上下文可以是人离开床的情形。作为另一示例,在人坐在椅子上的情况下,预测上下文可以是人可以将椅子向后移动以离开椅子的情形。

除了当前上下文之外,处理器130还识别预测上下文,因此电子装置100可以执行与各种上下文对应的控制操作。结果,电子装置100可以向用户提供适当的服务或控制操作。特别地,电子装置100可以预先考虑危险情形或重要情形以便能够为预测情形做好准备。

多个对象中的一个可以是具有静态属性的静态对象,并且多个对象中的另一可以是具有动态属性的动态对象。这里,处理器130可以基于静态对象和动态对象之间的关系以及环境信息来预测多个对象中的至少一个对象的移动方向或移动距离中的至少一个,并且基于预测的移动方向或预测的移动距离中的至少一个来控制电子装置的行进状态。

静态对象可以指示自身不移动的对象。例如,静态对象可以是诸如床、沙发、椅子、陶瓷品或淋浴器的对象。动态对象可以指示自身移动的对象。例如,动态对象可以是人、成人、儿童或宠物的对象。

这里,假设处理器130识别静态对象和动态对象两者。在这种情况下,处理器130可以考虑静态对象和动态对象之间的关系来识别上下文。作为示例,静态对象可以是静态对象可以被动态对象移动的关系。例如,椅子对象可以是椅子对象可以被人对象沿特定方向移动的关系。然而,并非所有的静态对象都可处于静态对象可以被动态对象移动的关系。例如,冰箱对象安装后一般不移动。因此,虽然冰箱对象是静态对象,但冰箱对象可能不处于冰箱对象被动态对象移动的关系。此外,椅子对象可能处于椅子对象可以被成人对象移动的关系,但椅子对象可能不处于椅子对象被儿童对象(例如婴儿)移动的关系。取决于静态对象的属性信息或与另一对象的关系,静态对象可以处于静态对象可以移动的关系。

电子装置100可以预测特定对象的移动方向、移动距离或移动速度中的至少一个。这里,特定对象可以是静态对象或动态对象。可以基于对象的属性信息来确定对象的移动方向、移动距离或移动速度。作为示例,假设人坐在椅子上的情况。处理器130可以识别椅子对象处于椅子对象可以被人移动的关系,并且可以预测椅子对象可以被人移动的方向、移动距离等。例如,在人坐在椅子上的情况下,处理器130可以识别人可以将椅子推回并且可以将椅子移动大约0.5m到1m。这里,移动方向和移动距离可以各自具有对应于对象的预定值。根据另一示例,可以通过分析识别的人对象的行为来获得移动方向和移动距离。

处理器130可以基于特定对象的预测的移动方向或预测的移动距离中的至少一个来控制电子装置100的行进状态。处理器130可以基于特定对象的预测的移动方向或预测的移动距离中的至少一个来改变现有的移动路线。

如果确定多个对象彼此接触,则处理器130可以考虑多个对象的属性信息之间的关系来识别上下文。作为示例,在静态对象和动态对象彼此接触的情况下,处理器130可以考虑静态对象和动态对象之间的关系来识别上下文。

具体地,在识别动态对象处于与静态对象的连续接触状态或与静态对象的接触状态中的至少一种状态的情况下,处理器130可以识别静态对象可以被动态对象移动的上下文。

连续接触状态或接触状态可以指示第一对象和第二对象彼此物理接触。例如,在人对象坐在椅子对象上的情形下,人对象和椅子对象可以处于连续接触状态。

根据另一示例,在识别第一对象和第二对象位于预定范围内的情况下,处理器130可以确定第一对象和第二对象处于连续接触状态。

在识别静态对象和动态对象处于静态对象可以被动态对象移动的关系并且识别动态对象和静态对象处于连续接触状态或接触状态的情况下,处理器130可以识别静态对象可能被动态对象移动的预测上下文。这里,预测上下文可以包括关于静态对象的预测的移动方向或预测的移动距离的信息。

此外,处理器130可以基于识别的上下文来识别电子装置的模式,并且电子装置的模式可以包括保护模式、低噪声模式、监视模式或私密模式中的至少一种。

处理器130可以识别与识别的上下文相对应的电子装置100的行进状态,并且识别可以根据识别的行进状态来控制电子装置100的模式(或行进模式)。低噪声模式可以是下述模式:其中执行降低发动机的性能或降低电机的每分钟转数(RPM)的操作,以减少电子装置100产生的噪声。特别地,在低噪声模式下,可以降低电子装置100的速度并且可以改变电子装置100的移动角度。

根据另一示例,在电子装置100包括显示器的情况下,电子装置100可以包括低亮度模式。在处理器130识别人对象正在睡觉的上下文的情况下,可以与降低电子装置100的显示器的屏幕亮度的操作一起执行降低电子装置100的噪声的操作。

监视模式可以是执行观察特定对象的操作的模式。电子装置100可以停在基本行进路线上或改变基本行进路线以观察特定对象。监视模式可以基于特定对象的上下文来确定。

保护模式可以是用于保护特定对象的模式。根据示例,为了保护特定对象,电子装置100可以改变基本行进路线以远离对象预定距离。保护模式可以对应于用于防止电子装置100和特定对象之间碰撞的模式。例如,在识别坐在椅子上的人的情况下,在保护模式下,电子装置100可以识别与椅子碰撞的可能性作为预测上下文,并改变基本行进路线以远离椅子。根据另一示例,电子装置100可以接近特定对象以保护特定对象。这里,保护模式可以是执行用于辅助保护特定对象的操作的模式。在保护模式下,电子装置100可以取决于上下文接近或远离特定对象。

私密模式可以是停止收集关于特定空间的数据的模式。在私密模式下,处理器130可以停止相机120在特定空间内的图像捕获操作。例如,在人正在浴室洗澡的情况下,处理器130可以在私密模式下停止相机120的图像捕获。此外,处理器130可以预先在存储器110中存储可以在私密模式下捕获特定空间的图像的距离和方向,并且处理器130可以控制电子装置100的相机120以禁止特定空间的图像捕获。根据另一示例,处理器130可以控制麦克风170以在私密模式下停止接收音频数据。

此外,在私密模式下,处理器130可以执行控制以使得电子装置100在与私密空间保持一定距离的同时切换到待机模式。

在私密模式下,处理器130可以请求用户单独确认以执行上述控制操作。作为示例,处理器130可以不自动捕获特定空间的图像并且可以请求用户确认执行图像捕获。作为另一示例,处理器130可以请求用户确认停止捕获特定空间的图像。

此外,在从多个对象之一获得私密空间信息并且多个对象中的另一个是动态对象的情况下,处理器130可以基于多个对象之间的关系和私密空间信息来识别动态对象的上下文,并且可以基于识别的上下文执行控制以使得电子装置处于私密模式或低噪声模式中的至少一个。

环境信息可以包括空间信息,并且空间信息可以包括私密空间信息。私密空间可以指示未开放的空间。处理器130可以将不开放的空间(诸如浴室或卧室)设置为私密空间,并将关于私密空间的信息存储在存储器110中。此外,处理器130可以基于辨识的对象获得作为环境信息的私密空间信息。处理器130可以基于多个对象之间的关系和私密空间信息来识别私密上下文,并且可以根据私密上下文执行控制以使得电子装置100以私密模式行进。

例如,在电子装置100识别淋浴器对象的情况下,电子装置100可以基于淋浴器对象识别浴室空间信息(私密空间信息)。这里,在电子装置100识别淋浴器对象和人对象的情况下,电子装置100可以识别淋浴器对象和人对象处于使用关系或可用关系。此外,处理器130可以基于淋浴器对象和人对象之间的关系以及私密空间信息来识别人通过使用淋浴器来淋浴的上下文,并且处理器130可以确定该上下文对应于私密上下文。此外,处理器130可以根据私密上下文控制电子装置100的行进状态。具体地,处理器130可以执行控制以使电子装置100以私密模式行进。

此外,在基于多个对象之间的关系识别多个对象中的一个对于多个对象中的另一个是危险的上下文的情况下,处理器130可以执行控制以使得电子装置处于监视模式或保护模式中的至少一种。

根据实施例,在预定的第一对象和第二对象同时被辨识的情况下,处理器130可以确定第一对象和第二对象之间的关系是危险关系。在识别多个对象之间的关系是危险关系的情况下,处理器130可以基于多个对象之间的关系来识别多个对象之一的上下文(或当前上下文)是否是危险上下文。即使在多个对象之间的关系是危险关系的情况下,多个对象之一的上下文也可能不是危险上下文。例如,儿童对象和沙发对象可能处于危险关系中。在儿童坐在沙发上的情况下,处理器130可以识别儿童和沙发之间的关系是危险关系并且儿童对象的上下文是危险上下文。处理器130可以将儿童可能从沙发跌落的情形识别为危险上下文。然而,即使在儿童和沙发同时被辨识(或识别)的情况下,儿童对象的上下文也可能不是危险上下文。例如,在儿童坐在沙发旁边的情况下,虽然沙发和儿童之间的关系是危险关系,但是儿童对象的上下文可能不是危险上下文。

多个对象中的每一个可以是预定用户(或成员),并且多个对象中的每一个的属性可以包括预定用户(或成员)的简档信息。这里,处理器130可以基于预定用户(或成员)和环境信息之间的关系识别预定用户(或成员)的上下文,并基于识别的上下文控制电子装置的行进状态。

处理器130可以在存储器110中存储预定空间(例如,房子)中的成员的简档信息。简档信息可以包括每个成员的唯一特征信息,诸如每个成员的姓名、年龄、性别、身高、面部、指纹、相貌、声音等。处理器130可以基于简档信息来识别成员是否存在于预定空间中以及成员位于预定空间中的哪个位置。此外,处理器130可以基于在预定空间中识别的成员对象之间的关系与环境信息来识别上下文。这里,成员之间的关系不仅指示预定空间中存在的多个成员之间的关系。预定空间中成员的存在或不存在可以对应于一个对象。例如,在第一对象不存在于预定空间中而第二对象存在于预定空间中的情况下,处理器130可以基于第一对象与第二对象之间的关系来识别上下文。

此外,处理器130可以基于成员的存在或不存在的组合来识别上下文。例如,处理器130可以基于第一成员至第三成员存在于预定空间中并且第四成员和第五成员不存在于预定空间中的事实来识别上下文。

成员对象之间的关系可以包括取决于成员的各种关系。作为示例,第一成员与第二成员的关系可以是第一成员保护第二成员的关系。相反,第二成员与第一成员的关系可以是第二成员受第一成员保护的关系。例如,在第一成员不存在于预定空间中而仅第二成员存在于预定空间中的情况下,处理器130可以识别需要保护第二成员的上下文。此外,处理器130可以控制电子装置100的行进状态以保护第二成员。

此外,多个对象中的至少一个可以是预定用户(或成员),并且多个对象中的每一个的属性可以包括预定用户(或成员)的简档信息。这里,处理器130可以基于预定用户(或成员)与多个对象中的另一个对象之间的关系、环境信息和预定用户(或成员)的行为历史来识别预定用户(或成员)的上下文,并基于识别的上下文控制电子装置的行进状态。

行为历史可以指示用户(或成员)的过去行为模式。例如,行为历史可以指示特定成员的过去行为,诸如移动路线、看电视、睡觉、阅读和烹饪。处理器130可以通过分析特定成员的行为历史来识别特定成员是否具有重复行为模式,并且可以基于重复模式识别上下文。例如,假设第一成员具有每早上8点第一成员在沙发上看电视的行为模式。处理器130可以分析第一成员的行为历史,并执行控制以防止电子装置100在早上8点在沙发和电视之间的空间中行进,以免妨碍第一位成员看电视。作为另一示例,在儿童坐在椅子上且前后摇晃的情形重复的情况下,处理器130可以基于行为历史识别儿童处于危险上下文中。作为另一示例,在儿童移动他/她的手臂用餐、放下镀银餐具、然后停止移动他/她的手臂的情况下,处理器130可以基于行为历史识别儿童离开危险上下文。

这里,作为示例,预定用户(或成员)与多个对象中的另一个之间的关系可以指示成员之间的关系、或特定成员与单独对象之间的关系。稍后将参考图11至图15描述其中使用成员的简档信息的具体实施例。

此外,处理器130可以基于识别的上下文来确定识别的上下文的危险程度,并且基于危险程度控制电子装置的行进状态不同。

处理器130可以识别多个上下文。作为示例,处理器130可以基于由相机捕获的输入图像来识别当前上下文和预测上下文。此外,处理器130可以确定至少一个获得的上下文的危险程度。处理器130可以考虑当前上下文发生的可能性、碰撞次数、发生频率和发生时的预期损坏程度来识别危险程度。此外,每个项目的内容可以被分成多个部分并且存储在存储器110中,并且处理器130可以针对每个上下文不同地应用存储的每个项目的数据。

此外,根据实施例,处理器130可以基于每个上下文的危险程度来控制电子装置100的行进状态。例如,在当前上下文的危险程度为60并且预测上下文的危险程度为90的情况下,处理器130可以执行与当前上下文(危险程度:60)对应的第一控制操作,以及与预测上下文(危险程度:90)对应的第二控制操作。这里,可以通过使用预定方法来确定执行与多个上下文对应的多个控制操作的顺序。例如,预定方法可以包括使当前上下文优先的方法、使危险程度较高的上下文优先的方法、使执行时间较短的控制操作优先的方法、使对特定用户的控制操作优先的方法等等。

根据另一实施例,处理器130可以通过比较与多个上下文对应的危险程度来确定具有最高危险程度的上下文,并且执行与具有最高危险程度的上下文对应的控制操作。除了危险程度(危险等级)之外,处理器130还可以获得每个上下文的安全程度(安全等级)、保护必要性水平和观察必要性水平。

此外,处理器130可以基于多个识别的对象中的每一个的属性信息和环境信息之间的关系来识别多个对象中的至少一个的上下文。

作为示例,该关系可以是对象之间的关系。作为另一示例,该关系可以是对象与环境信息之间的关系。处理器130可以通过使用对象之间的关系、对象与环境信息之间的关系、以及环境信息中的至少一个来识别上下文。例如,对象之间的关系可以指示人与床之间的关系。此外,对象与环境信息之间的关系可以指示人与睡眠时间(从晚上11点到早上8点)之间的关系。这里,对于每个人对象,睡眠时间可能不同。

根据另一实施例,电子装置100可以仅基于多个对象之间的关系而不需要环境信息来识别上下文。在电子装置100不可以基于多个对象之间的关系来识别上下文或存在环境信息的情况下,电子装置100可以考虑多个对象之间的关系和环境信息两者来识别上下文。

处理器130可以识别至少两个或更多个对象并且可以考虑到多个对象的属性信息之间的关系来识别上下文。尽管在本公开中已经描述了识别两个对象的情况,但是电子装置100可以考虑三个或更多个对象之间的关系来识别上下文。

根据本公开的电子装置100可以考虑对象之间的关系来识别上下文,因此电子装置100可以高准确性地辨识上下文,并且执行对应于各种情形的适当的控制操作。此外,电子装置100可以考虑环境信息来控制特定操作。即使在识别相同对象的情况下,上下文也可以取决于另一对象或环境信息而改变,因此可以提高电子装置100用于识别上下文的辨识能力。

此外,根据另一实施例,电子装置100将上下文划分为当前上下文和预测上下文,因此除了当前情形之外,电子装置100还可以为可能发生的各种情形做准备。电子装置100可以快速应对各种情形以提高用户的服务满意度。

此外,根据另一实施例,电子装置100可以通过使用成员的简档信息来识别上下文,因此电子装置100可以提供适合于使用预定空间的预定成员(或用户)的个人服务。具体地,电子装置100可以考虑成员之间的关系来识别上下文,从而可以提供适合于特定成员之间的关系的服务。

图2是用于描述图1的电子装置的具体配置的框图。

参考图2,根据实施例的电子装置100可以包括存储器110、相机120、处理器130、通信接口140、用户接口150、输入和输出(I/O)接口155、显示器160和麦克风170。

将省略对存储器110、相机120和处理器130的与上述操作相同部分的重叠描述。

存储器110可以指示由随机存取存储器(RAM)111、只读存储器(ROM)112、快闪存储器113和盘114实现的存储设备。存储器110可以指示临时或永久存储数据的存储器设备或存储设备。存储器110可以存储各种软件,诸如电子装置100的操作系统(O/S)或应用。

RAM 11可以指示通过访问任何区域而可读和可写的设备。RAM 111可以由动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)和铁电随机存取存储器(FeRAM)中的任一个来实现。

ROM 112可以是非易失性存储器设备,其中即使在电源关闭的情况下也保留数据。ROM 112可以由一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM或快闪存储器来实现。

快闪存储器113可以是非易失性存储器设备,数据可以从该非易失性存储器设备电擦除并且数据可以电重写到该非易失性存储器设备。快闪存储器113可以取决于内部方法由NAND闪存或NOR闪存实现。

盘114可以由磁盘或光盘来实现。磁盘可以是使用磁场的存储器设备,并且可以通过软盘或硬盘驱动器(HDD)来实现。此外,光盘可以是使用光反射的存储器设备,并且可以以光盘驱动器的形式实现。

存储器110可以包括可以以各种其他方案实现的附加存储。例如,存储器110可以包括以固态设备或固态盘(SDD)的形式实现的存储。

嵌入在电子装置100中的存储器可以由易失性存储器(例如,RAM 111)、非易失性存储器(例如,ROM 112和快闪存储器113)、或硬盘驱动器(HDD)或固态驱动器(SDD)中的至少一个来实现。可附接到电子装置100和可从电子装置100拆卸的存储器可以由存储器卡(例如,紧凑闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)或多媒体卡(MMC))、可连接到USB端口的外部存储器(例如,通用串行总线(USB)存储器)等来实现。

上面已经描述了存储器110的实现示例,但是存储器110不必局限于此。

通信接口140是以各种类型的通信方式与各种类型的外部设备执行通信的收发器(发送器和接收器)。通信接口140包括Wi-Fi模块141、蓝牙模块142、红外通信模块143、无线通信模块144等。处理器130可以使用通信接口140与各种外部设备执行通信。这里,外部设备可以包括诸如TV的电子装置、诸如机顶盒的图像处理设备、外部服务器、诸如远程控制器的控制设备、诸如蓝牙扬声器的声音输出设备、照明设备、诸如智能吸尘器或智能冰箱的家用电器、诸如物联网(IoT)家庭管理器的服务器等。此外,通信接口140可以包括用于执行上述操作的电路。

Wi-Fi模块141和蓝牙模块142分别以Wi-Fi方式和蓝牙方式执行通信。在使用Wi-Fi模块141或蓝牙模块142的情况下,首先发送和接收各种连接信息,诸如服务集标识符(SSID)和会话密钥,使用连接信息建立通信连接,然后可以发送和接收各种信息。

红外通信模块143通过使用红外数据协会(IrDA)技术来执行通信,该技术使用位于可见光和毫米波之间的红外光用于短距离无线数据传输。

无线通信模块144可以指示根据除了上述Wi-Fi模块141和蓝牙模块142之外的各种通信协议执行通信的模块,该各种通信协议诸如ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第四代(4G)和第五代(5G)。

此外,通信接口140可以包括局域网(LAN)模块、以太网模块或有线通信模块中的至少一个,有线通信模块通过使用双绞电缆、同轴电缆、光纤电缆等执行通信。

根据示例,通信接口140可以使用通信模块(例如,Wi-Fi模块)来执行与外部设备(远程控制器)和外部服务器的通信。通信接口140可以使用Wi-Fi模块来执行与外部设备(远程控制器)的通信,并且可以使用Wi-Fi模块来执行与外部服务器的通信。

根据另一示例,通信接口140可以使用不同的通信模块来执行与外部设备(远程控制器)和外部服务器的通信。例如,通信接口140可以使用以太网模块或Wi-Fi模块中的至少一个来执行与外部服务器的通信,并且可以使用蓝牙(BT)模块来执行与诸如远程控制器的外部设备的通信。然而,这仅是示例,并且在执行与多个外部设备或外部服务器的通信的情况下,通信接口140可以使用各种通信模块中的至少一个。

根据实现示例,通信接口140可以另外包括调谐器和解调器。

调谐器可以调谐用户选择的信道或预先存储的所有信道,以通过天线接收射频(RF)广播信号。

解调器可以接收并解调在调谐器中转换的数字中频(IF)(DIF)信号,并且可以执行信道解码等。

处理器130通常使用存储在存储器110中的各种程序来控制电子装置100的操作。根据实施例的处理器130可以由主CPU 131、图形处理单元(GPU)132或神经处理单元(NPU)133中的至少一个来实现。此外,主CPU 131、GPU 132或NPU 133中的至少一个可以通过总线连接到对应于存储器110的RAM 111、ROM 112等。

主CPU 131可以通过使用存储在ROM 112中的用于系统启动(booting)的命令集等来控制电子装置100的O/S。具体地,一旦输入开启命令以向主CPU 131供电,主CPU 131根据存储在ROM 122中的指令将存储在存储器110中的O/S复制到RAM 111,并运行O/S以启动系统。一旦启动完成,主CPU 131可以将存储在存储器110中的各种应用程序复制到RAM 111,并运行复制到RAM 111的应用程序以执行各种操作。

主CPU 131访问存储器110以使用存储在存储器110中的O/S来执行启动。此外,主CPU 131可以使用存储在存储器110中的各种程序、内容数据等来执行各种操作。

GPU 132可以对应于用于图形处理的高性能处理设备,并且可以是专门的电子电路,其设计为快速处理和改变存储器并加速帧缓冲器中图像的生成以在屏幕上输出。此外,GPU 132可以指示视觉处理单元(VPU)。

NPU 133可以对应于人工(AI)芯片组(或AI处理器),并且可以是AI加速器。NPU133可以对应于被优化以执行深度神经网络的处理器芯片。NPU 133可以对应于执行深度学习模型的处理设备而不是GPU 132,并且NPU 133也可以对应于与GPU 132一起执行深度学习模型的处理设备。

虽然主CPU 131、GPU 132和NPU 133全部在图2中示出,但是处理器130可以由主CPU 131、GPU 132或NPU 133中的至少一个来实现。

处理器130可以执行图形处理功能(视频处理功能)。例如,处理器130可以通过使用计算器和渲染器来渲染包括诸如图标、图像和文本的各种对象的屏幕。这里,计算器可以基于接收到的控制命令取决于屏幕的布局来计算属性值,诸如相应对象将被显示的坐标值,相应对象的形式、大小和颜色。此外,渲染器可以基于在计算器中计算的属性值来渲染包括对象的各种布局的屏幕。此外,处理器130可以执行关于视频数据的各种图像处理,诸如解码、缩放、噪声滤波、帧率转换和分辨率转换。

处理器130可以执行关于音频数据的处理。具体地,处理器130可以执行关于音频数据的各种处理,诸如解码、放大和噪声滤波。

用户接口150可以通过诸如按钮、触摸板、鼠标或键盘的设备来实现,或者可以通过可以执行上述显示功能和操作输入功能的触摸屏来实现。这里,按钮可以是各种类型的按钮,诸如形成在任何区域(诸如电子装置100的机身外观的前表面部分、侧表面部分或后表面部分)的机械按钮、触摸板和滚轮。

I/O接口155可以是高清多媒体接口(HDMI)、移动高清链路(MHL)、USB、DisplayPort(DP)、雷电、视频图形阵列(VGA)端口、RGB端口、D-subminiature(D-SUB)或数字视频接口(DVI)之一。

HDMI是能够为输入和输出音频信号和视频信号的音频/视频(AV)设备执行高性能数据传输的接口。DP是能够实现全HD屏幕、诸如2560×1600或3840×2160的超高清屏幕和立体3D图像并传送数字语音的接口。雷电是用于高速数据传输和连接的I/O接口,并且个人计算机(PC)、显示器、存储设备等全部可以通过一个端口并联连接。

I/O接口155可以输入和输出音频信号或视频信号中的至少一个。

根据实现示例,I/O接口155可以包括用于仅输入和输出音频信号的端口和用于仅输入和输出视频信号的单独端口,或者可以包括用于输入和输出音频信号和视频信号两者的一个端口。

电子装置100可以由不包括显示器的装置来实现并将视频信号发送到单独的显示装置。

电子装置100可以将从外部设备接收到的语音信号发送到外部服务器以进行语音辨识。

在这种情况下,用于与外部设备和外部服务器通信的通信模块可以被实现为一个模块。用于与外部设备和外部服务器通信的通信模块两者可以是例如Wi-Fi模块。

用于与外部设备和外部服务器通信的通信模块可以被实现为单独的模块。例如,与外部设备的通信可以通过使用蓝牙模块来执行,并且与外部服务器的通信可以通过使用以太网调制解调器或Wi-Fi模块来执行。

电子装置100可以另外包括麦克风170。例如,麦克风170可以在电子装置100的上侧、前表面、侧表面等处与电子装置100一体地形成。麦克风170可以在激活模式下接收声音。麦克风170可以包括各种组件,诸如以模拟形式收集诸如用户语音的声音的麦克风、放大所收集的用户语音的放大器电路、对放大的用户语音进行采样以及将用户语音转换为数字信号的A/D转换电路、以及从通过转换获得的数字信号中去除噪声成分的滤波电路。

麦克风170是用于接收用户语音或其他声音并将用户语音或其他声音转换为音频数据的组件。在这种情况下,麦克风170可以将接收到的模拟用户语音信号转换为数字语音信号并将数字语音信号发送到电子装置100。

根据实施例,电子装置100可以将接收到的数字语音信号发送到语音辨识服务器。在这种情况下,语音辨识服务器可以通过使用语音转文本(STT)功能将数字语音信号转换为文本信息。在这种情况下,语音辨识服务器可以将文本信息发送给另一服务器或另一电子装置以执行基于文本信息的搜索,或可以根据需要直接执行搜索。

根据另一实施例,电子装置100可以通过将STT功能直接应用于数字语音信号来转换数字语音信号,并将转换后的文本信息发送到外部服务器。

扬声器180可以是输出各种通知声音、音频消息等以及由I/O接口155处理的各种音频数据的组件。

电子装置100可以另外包括移动接口190以控制电子装置100的移动。例如,移动接口190可以包括电机控制器192和电机194。电机194可以是电动机,诸如DC电机。电机控制器192可以控制电机194。例如,电机控制器192可以控制电机194的速度、方向和扭矩。电机194可以包括多个电机。电机控制器192可以独立地控制多个电机194中的每一个的速度、方向和扭矩。可以根据由电子装置识别的行进状态来控制速度、方向和扭矩。

电子装置100不一定包括图2中所示的所有组件,并且可以仅由根据实现示例的一些组件构成。

图3是用于描述根据实施例的电子装置在室内空间中移动所沿的路线的视图。

参考图3,电子装置100可以分析通过使用相机120捕获的周围空间的图像并且基于该图像设置移动路线305。电子装置100可以基于移动路线305在周围空间中行进。电子装置100可以在基于移动路线305行进时识别各种上下文。电子装置100可以识别人躺在床上睡觉的上下文310、儿童坐在沙发上的上下文315、人坐在椅子上的上下文320、陶瓷品放在桌子上的上下文325、以及人在淋浴的上下文330。

在电子装置100识别人对象和床对象的情况下,电子装置100可以获得人对象的属性信息是动态的而床对象的属性信息是静态的信息。电子装置100可以基于人对象的属性信息和床对象的属性信息之间的关系来识别人躺在床上睡觉的上下文310。

此外,在电子装置100识别儿童对象和沙发对象的情况下,电子装置100可以获得儿童对象的属性信息是动态的而沙发对象的属性信息是静态的信息。电子装置100可以基于儿童对象的属性信息和沙发对象的属性信息之间的关系来识别儿童坐在沙发上的上下文315。

此外,在电子装置100识别人对象和椅子对象的情况下,电子装置100可以获得人对象的属性信息是动态的而椅子对象的属性信息是静态的信息。电子装置100可以基于人对象的属性信息和椅子对象的属性信息之间的关系来识别人坐在椅子上的上下文320。

此外,在电子装置100识别桌子对象和陶瓷品对象的情况下,电子装置100可以获得桌子对象的属性信息和陶瓷品对象的属性信息两者都是静态的信息。电子装置100可以基于陶瓷品对象的属性信息和桌子对象的属性信息之间的关系来识别陶瓷品放在桌子上的上下文325。这里,电子装置100可以通过识别关于特定对象(陶瓷品)所处的高度的信息来识别上下文。在特定对象位于距地板预定阈值(例如,50cm)或更多的情况下,处理器130可以识别特定对象(例如,陶瓷品)的上下文是危险上下文。

此外,在电子装置100识别人对象和淋浴器对象的情况下,电子装置100可以获得人对象的属性信息是动态的而淋浴器对象的属性信息是静态的信息。电子装置100可以基于人对象的属性信息和淋浴器对象的属性信息之间的关系来识别人在淋浴的上下文330。

图3中所示的多个上下文310、315、320、325和330可以对应于当前上下文。除了当前上下文之外,电子装置100还可以识别预测上下文。预测上下文可以指示基于当前上下文未来可能发生的各种情形。稍后将参考图5至图10描述与当前上下文和预测上下文相对应的电子装置100的控制操作。

图4是用于描述在图3中的特定位置处由电子装置识别的上下文的视图。

参考图4,参考图3描述的各种上下文310、315、320、325和330可以分别在电子装置100的移动路线305上的特定位置410、415、420、425和430处识别。例如,电子装置100可以考虑人对象的属性信息和床对象的属性信息之间的关系和环境信息来识别移动路线305上的第一位置410处的至少一个上下文。此外,电子装置100可以基于识别的上下文来控制电子装置100在第一位置410处的行进状态。例如,电子装置100可以通过沿着移动路线305移动来控制电子装置100移动到第一位置410。

图5是用于描述电子装置改变特定移动路线上的行进状态的操作的视图。

参考图5,电子装置100可以基于人对象和床对象之间的关系以及环境信息来识别人在床上睡觉的上下文。关于人对象和床对象之间的关系的信息可以是人使用床的信息。此外,环境信息可以是关于人的睡眠时间的信息。在电子装置100识别人在床上睡觉的上下文的情况下,电子装置100可以执行不妨碍人的睡眠的控制操作。电子装置100可以执行从基本行进状态到低噪声行进状态的改变,以便不妨碍人的睡眠。低噪声行进状态可以指示降低电子装置100的电机的RPM的操作和降低电子装置100的移动速度的操作。根据另一实施例,电子装置100可以执行降低包括在电子装置100中的显示器的屏幕亮度的操作或者降低从电子装置的扬声器输出的声音的音量的操作,以便不妨碍人的睡眠。

这里,电子装置100可以执行在仅在移动路线305上的特定路段510中沿着移动305行进时不妨碍人的睡眠的控制操作。特定部分510可以是从识别人在床上睡觉的上下文的特定位置到离开人对象预定距离的位置的区域,并且电子装置100可以获得关于特定路段510的信息。根据另一实施例,电子装置100可以通过使用存储在存储器110中的行进状态信息来设置特定路段510。电子装置100可以将电子装置100的行进状态改变的信息存储在存储器110中,并通过使用存储的信息设置特定路段510。

图6是用于描述电子装置改变移动路线的实施例的视图。

参考图6,电子装置100可以基于人对象和床对象识别预测上下文。这里,预测上下文可以指示人离开床的情形。电子装置100可以基于预测上下文来识别离开床的人可能站立的空间610。此外,在离开床的人可能站立的空间610与移动路线305重叠的情况下,电子装置100可以通过排除与空间610重叠的移动路线305来获得新的移动路线620。电子装置100可以根据新的行进路线620控制电子装置100的行进状态以预先防止与人的碰撞。电子装置100可以根据预测上下文来控制电子装置100的行进状态,以为突发的意外情形(人突然离开床的情形)做准备。

图7是用于描述电子装置监视移动路线上的特定位置处的对象的操作的视图。

参考图7,电子装置100可以基于儿童对象和沙发对象来识别儿童可能从沙发跌落的预测上下文。这里,电子装置100可以识别儿童对象和沙发对象之间的关系可以对应于危险关系。例如,沙发对象与儿童对象的关系可能对应于危险关系,而沙发对象与成人对象的关系可能不对应于危险关系。

此外,电子装置100可以基于预测上下文识别儿童可能跌落的空间或位置710。进一步地,当沙发对象和儿童对象的关系被识别为危险关系时,电子装置100可以改变电子装置100的行进状态来执行监视以观察儿童的状态。此处,电子装置100可以停在特定位置415处并持续观察(监视)儿童而不沿移动路线305移动。此处,在电子装置100确定儿童极有可能从沙发跌落的情况下,电子装置100可以控制扬声器输出警报声音(警告声音)。

此外,电子装置100可以确定在识别的空间或位置710中是否存在可能伤害儿童的对象。例如,在儿童可能从其跌落的空间或位置710中有水玻璃杯的情况下,电子装置100可以通过扬声器输出警报声音(警告声音)。虽然在上述示例中已经描述了电子装置100输出警报声音(警告声音)的情况,但是本公开不必局限于此,并且可以由电子装置100执行可以警告当前情形的各种操作。作为示例,在处理器130识别当前情形对应于预定上下文的情况下,处理器可以向特定用户进行呼叫、发送消息、传输图像等。例如,在识别两个人当前在预定空间并且预定空间着火的情况下,处理器130可以立即向紧急救援中心发送火灾消息或救援消息(“请求救援两个成人”)。

图8是用于描述改变对象的属性并且改变现有移动路线的实施例的视图。

参考图8,电子装置100可以基于人对象和椅子对象识别椅子被人移动的预测上下文。电子装置100可以在移动路线305上的特定位置420处识别人对象和椅子对象,并且可以基于预测上下文改变电子装置100的现有移动路线305。具体地,电子装置100可以获得椅子对象的属性信息是静态的信息。这里,电子装置100可以基于椅子对象和人对象之间的关系将椅子对象的属性信息从静态改变为动态。此外,电子装置100可以基于动态属性确定可以移动与人对象同时识别的椅子对象。此外,电子装置100可以识别椅子对象可以移动的空间范围810或位置。在电子装置100确定识别的空间范围810与现有移动路线305重叠的情况下,电子装置100可以通过排除现有移动路线的重叠部分来设置新的路线820。

根据另一示例,假设上午8点有两个成人和一个儿童坐在餐椅上,并且一张椅子是空的。电子装置100可以通过使用相机、麦克风、超声传感器或频率传感器中的至少一种来识别两个成人和一个儿童当前坐在餐椅上。此外,电子装置100可以基于环境信息识别上午8点是进餐时间。电子装置100可以基于人对象和椅子对象之间的关系以及环境信息来识别三个人当前正在用餐并识别用餐后椅子将被移动的预测上下文。电子装置100可以考虑电子装置100与椅子碰撞的次数、发生频率和发生时的损坏程度来确定预测上下文的危险程度。电子装置100可以基于过去的行为历史信息获得碰撞次数、发生频率和发生时的损坏程度。碰撞次数可以指示电子装置100和椅子之间的碰撞次数,并且可以指示碰撞的可能性。发生频率可以是指示在特定时段期间碰撞发生多少次的信息。损坏程度可以指示在碰撞时对电子装置100或椅子的损坏程度。电子装置100可以分开获得多个椅子中的每一个的危险程度。此外,电子装置100可以执行与每个椅子的危险程度相对应的控制操作。例如,电子装置100可以识别与成人所坐的椅子对应的上下文的危险程度为10,与儿童所坐的椅子对应的上下文的危险程度为8,并且与空椅子对应的上下文的危险程度为3。此外,电子装置100可以设置新的路线810以远离成人所坐的椅子100cm,以远离儿童所坐的椅子50cm,并远离空椅子20cm。电子装置100可以控制电子装置100沿着新的行进路线810移动。上述路线设置操作可以由电子装置100自动执行。

图9是用于描述取决于对象的属性改变现有移动路线的实施例的视图。

参考图9,电子装置100可以在特定位置425处识别陶瓷品对象901和具有一条腿的桌子对象902。这里,假设指示陶瓷品对象901易碎的属性信息存储在存储器110中。电子装置100可以基于陶瓷品对象901和具有一条腿的桌子对象902之间的关系来识别预测上下文,即,即使很小的冲击,陶瓷品也可能破碎。这里,陶瓷品对象901与具有一条腿的桌子对象902的关系可以对应于危险关系。然而,陶瓷品对象901与具有两条或更多腿的桌子对象的关系可能不对应于危险关系。

在电子装置100识别陶瓷品对象901和具有一条腿的桌子对象902的情况下,电子装置100可以识别陶瓷品对象901可能从其跌落的空间910或位置。此外,在电子装置100识别陶瓷品对象901可能从其跌落的空间910与现有移动路线305重叠的情况下,电子装置100可以通过排除现有移动路线305和陶瓷品对象901可能从其跌落的空间910的重叠部分来设置新的行进路线920。电子装置100可以控制电子装置100沿着新的行进路线920移动。此外,电子装置100可以输出用于警告陶瓷品损坏的消息或警报声音。

图10是用于描述电子装置改变特定移动路线上的行进状态的操作的视图。

参考图10,电子装置100可以基于特定位置430处的人对象1001和淋浴器对象1002来识别人正在淋浴的当前上下文。这里,电子装置100可以基于淋浴器对象1002识别人当前位于浴室(或淋浴间)中的上下文。此外,指示浴室(或淋浴间)对应于个人空间(私密空间)的信息可以包括在环境信息(空间信息)中。考虑到人对象1001和淋浴器对象1002之间的关系以及环境信息,电子装置100可以获得隐私保护上下文。

在电子装置100辨识私密保护上下文的情况下,电子装置100可以改变在现有移动路线305上的特定路段1010中电子装置100的行进状态。这里,电子装置100可以在继续控制电子装置100沿着移动路线305移动的同时,为了保护隐私,关闭相机或暂时停止特定路段1010中的图像捕获操作。这里,特定路段1010可以指示电子装置100在其中可以识别私密保护上下文的路段。根据另一实施例,关于特定路段1010的信息可以存储在存储器110中。电子装置100根据隐私保护上下文执行控制操作,由此可能获得保护个体隐私的效果。

参考图10,淋浴器对象1002与成人对象的关系可以对应于私密保护关系。然而,淋浴器对象1002与儿童(或特定人对象)的关系可能不对应于隐私保护关系。例如,可能存在需要观察儿童或需要护理的患者的淋浴的上下文。因此,即使在淋浴器对象1002被识别的情况下,电子装置100也可以取决于对象的不同关系获得不同的上下文。

图11是用于描述电子装置存储关于成员的信息的操作的视图。

参考图11,根据另一实施例,电子装置100可以基于预定空间将关于成员的信息存储在存储器110中。这里,预定空间可以指示操作电子装置100的有限空间,诸如房子或公司。成员可以指示在预定空间中被重复辨识的动态对象,并且动态对象可以是人或宠物。

作为示例,电子装置100可以将房子设置为预定空间并且可以将成年男性1101、成年女性1102、青少年女性1103、男性儿童1104和宠物1105设置为该预定空间的成员。此外,电子装置100可以在存储器110中存储每个成员的唯一特征信息,诸如每个成员的姓名、年龄、性别、身高、面部、指纹、相貌、声音等。电子装置100可以通过使用每个成员的唯一特征信息来识别成员是否存在于预定空间中以及成员位于预定空间中的哪个位置。

此外,电子装置100可以连续地监视每个成员的位置信息并且基于每个成员的位置信息来控制电子装置100的行进状态。例如,在电子装置100识别存储在存储器110中的所有成员都不存在于预定空间中的情况下,电子装置100可以在预定空间中执行特定控制操作。作为示例,电子装置100可以基于所有成员都不存在于预定空间中的信息来执行清洁操作或执行控制系统以中断室内供电的操作。作为另一示例,假设青少年女性1103和成年女性1102存在于预定空间中。电子装置100可以识别成年女性1102的位置以将关于青少年女性1103的信息报告给成年女性1102。电子装置100可以分析行为历史以估计成年女性1102的位置并且可以移动到成年女性1102在当前时间最常位于的位置。

图12是用于描述电子装置识别成员的存在或不存在并执行与识别结果相对应的控制操作的实施例的视图。

参考图12,电子装置100可以识别存储在存储器110中的每个成员是否存在于预定空间中。如图11所示的实施例,假设电子装置100将房子设置为预定空间并且将成年男性1101、成年女性1102、青少年女性1103、男性儿童1104和宠物1105设置为预定空间的成员。这里,电子装置100可以识别成年男性1101和成年女性1102对应于保护者或成人。此外,电子装置100可以将儿童1104识别为要保护的目标。在电子装置100识别要保护的目标存在于预定空间中而保护者不存在于预定空间中的情况下,电子装置100可改变电子装置100的行进状态以监视要保护的目标。例如,在电子装置100识别与成人对应的对象1101和1102不存在于房子内,以及仅儿童1104和青少年女性1103存在于房子内的情况下,电子装置100可以控制自身位于儿童1104附近以集中监视儿童1104。

图13是用于描述电子装置识别成员的存在或不存在并执行与识别结果相对应的控制操作的另一实施例的视图。

参考图13,电子装置100可以识别进入预定空间的成员并控制电子装置100的行进状态。假设根据图12所示的实施例,电子装置100监视要保护的目标,儿童1104。这里,在电子装置100新辨识保护者存在于预定空间中的情况下,电子装置100可以不监视要保护的目标。例如,假设在电子装置100由于保护者(或成人)不存在而监视儿童1104的状态下保护者1102进入房子。一旦电子装置100辨识到保护者1102进入房屋,电子装置100可以停止监视儿童1104的操作。

电子装置100可以通过使用要保护的儿童1104和保护者之间的关系来控制电子装置100的行进状态。根据另一示例,在电子装置100识别要保护的目标和不是保护者的成人对象存在于预定空间的情况下,电子装置100可以继续监视要保护的目标。虽然成人对象是成人,但是在与要保护的对象的关系中,成人对象不充当保护者。

图14是用于描述电子装置基于关于成员的移动的信息来设置移动路线的操作的视图。

参考图14,电子装置100可以基于成员的历史信息来控制电子装置100的行进状态。作为示例,电子装置100可以存储成员的移动路线。电子装置100可以通过分析成员的移动路线历史来识别主要移动路线。此外,电子装置100可以通过考虑成员的主要移动路线来设置电子装置100的移动路线。在电子装置100识别成员存在于预定空间的情况下,电子装置100可以设置电子装置100的移动路线以避开存储在存储器110中的成员的主要移动路线,以免妨碍成员的主要移动路线。

例如,假设主要移动路线1410作为宠物1105的历史信息之一存储在存储器110中。电子装置100可以控制电子装置100的行进状态以避免宠物1105的主要移动路线1410。具体地,电子装置100可以设置电子装置100的基本行进路线不与宠物1105的主要移动路线1410重叠。电子装置100可以控制电子装置100在预定空间内移动,同时避开主要移动路线1410。

根据另一示例,仅在电子装置100识别宠物1105存在于房子内而除宠物1105以外的成员不存在于房子内的情况下,电子装置100可以考虑宠物1105的主要移动路线来控制电子装置100的行进状态。在除宠物1105以外的特定成员存在于房子内的情况下,电子装置100可以识别宠物1105与特定成员一起移动,而不是沿着主要移动路线移动。因此,除了宠物对象1105的主要移动路线1410之外,电子装置100还可以考虑宠物1105与另一对象的关系来控制电子装置100的行进状态。

根据另一示例,电子装置100可以存储宠物1105沿着主要移动路线1410移动的特定时间间隔作为环境信息。例如,电子装置100可以识别仅在从早上8点到晚上8点的时间间隔内宠物1105沿着主要移动路线移动。具体而言,在电子装置100识别从上午8点到晚上8点宠物1105存在于房子内的情况下,电子装置100可以设置电子装置100的新的行进路线,以避开宠物的主要行进路线1410。

图15是用于描述电子装置设置移动路线以避免与成员碰撞的操作的视图。

参考图15,电子装置100可以基于成员的历史信息来控制电子装置100的行进状态。如上面参考图14所描述的,电子装置100可以设置电子装置100的移动路线以避开作为成员的历史信息之一的主要移动路线。作为示例,电子装置100可以控制电子装置100的行进状态以沿着预定空间的边缘行进。具体地,电子装置100可以设置用于沿着预定空间的边缘行进的路线。

例如,假设宠物1105的主要移动路线1410被存储在存储器110中。在电子装置100识别宠物1105存在于房子内的情况下,电子装置100可以设置沿房子的边缘行进的移动路线1505。

图16是用于描述由电子装置执行以识别与上下文对应的行进状态的多个操作的图。

参考图16,电子装置100可以接收对象辨识所需的各种数据(S1605)。这里,数据可以是由包括在电子装置100中的相机120获得的图像或者可以是从外部设备接收的图像。然后,电子装置100可以基于接收到的数据辨识对象(S1610)。这里,电子装置100可以通过使用人工智能学习模型来辨识对象。具体地,电子装置100可以将接收到的图像数据作为输入数据提供给人工智能学习模型,并且与图像数据对应的对象可以被指示作为通过使用人工智能学习模型获得的结果数据。根据实施例,电子装置100可以通过使用图像数据来辨识对象。根据另一示例,电子装置100可以接收音频数据并通过使用接收的音频数据辨识对象。

然后,电子装置100可以识别所辨识的对象是否是新的对象(S1615)。电子装置100可以通过与存储在存储器110中的数据进行比较来确定所辨识的对象是否是预先存储的对象来识别所辨识的对象是否是新的对象。例如,在所辨识的对象没有存储在存储器110中的情况下,电子装置100可以确定所辨识的对象是新的对象。然后,在所辨识的对象是新的对象的情况下,电子装置100可以获得对象的属性和特征(S1620)。这里,对象的属性和特征可以由用户直接输入,或者关于对象的属性和特征的信息可以从外部服务器接收。根据另一示例,电子装置100可以分析接收到的数据并将对象的属性和特征存储在存储器110中。此外,在S1620中,可以执行对象的改变后的属性信息或改变后的环境信息的更新。

在电子装置100在S1615中确定所辨识的对象不是新的对象的情况下,电子装置100可以基于对象的信息或环境信息来识别上下文(S1625)。电子装置100可以使用人工智能学习模型来识别上下文。具体地,电子装置100可以将关于对象的信息(属性信息)或环境信息中的至少一个作为输入数据提供给人工智能学习模型,并从人工智能学习模型接收结果数据。这里,结果数据可以是上下文信息。稍后将参考图17描述S1625中的具体操作。

然后,电子装置100可以检查(识别)所识别的上下文是否是新的上下文(S1630)。这里,在所识别的上下文是未存储在存储器110中的新的上下文的情况下,电子装置100可以对新的上下文执行上下文分析和更新操作(S1635)。稍后将参考图18描述S1635中的具体操作。

在电子装置100在S1630中确定所识别的上下文不是新的上下文,则电子装置100可以识别与该上下文相对应的电子装置100的行进状态(S1640)。作为示例,电子装置100可以识别适合于该上下文的电子装置100的行进状态,并控制电子装置100处于对应的行进状态。稍后将参考图19描述S1640中的具体操作。

图17是用于描述电子装置基于对象的信息或环境信息识别上下文的操作的图。

可以如图17所示具体说明图16中的S1625中的操作。电子装置100可以分析对象的信息和/或环境信息以基于对象的信息或环境信息识别上下文(S1705)。然后,在识别多个对象的情况下,电子装置100可以分析多个对象的信息之间的关系(S1710)。然后,电子装置100可以分析多个对象的信息之间的关系和环境信息(S1715)。然后,电子装置100可以基于在S1705到S1715中获得的信息来识别上下文(S1720)。

上面已经参考图17描述了由S1705到S1720构成S1625的情况。然而,可以省略从S1705到S1720的一个或多个步骤。例如,电子装置100可以确定可以基于S1710中的信息识别上下文,从而电子装置100可以确定省略S1715。

图18是用于描述电子装置分析和更新上下文的操作的图。

参考图18,在上下文的分析和更新(S1635)中,可以识别当前上下文或可能的上下文(预测上下文)(S1805)。然后,在S1635中,可以确定每个识别的上下文的危险程度(S1810)。作为示例,电子装置100可以从用户获得新的上下文的危险程度(危险等级)、安全程度(安全等级)、保护必要性等级和观察必要性等级。这里,电子装置100可以考虑碰撞的可能性、与特定对象的接触、曝光频率等,以确定危险程度。根据另一示例,电子装置100可以从外部服务器获得关于新的上下文的信息。根据另一示例,电子装置100可以直接分析并由此获得关于新的上下文的信息。然后,在S1635中,关于最终上下文的信息可以存储在存储器110中以更新现有上下文信息(S1815)。

图19是用于描述电子装置识别与上下文对应的行进状态的操作的流程图。

参考图19,在识别与上下文对应的电子装置100的行进状态时,电子装置100可以检查(识别)上下文是否是与当前情形对应的上下文(S1905)。在所识别的上下文是与当前情形对应的上下文的情况下,电子装置100可以识别当前上下文的危险程度(危险等级)、安全程度(安全等级)、保护必要性等级或观察必要性等级中的至少一个(S1910)。在所识别的上下文是可能的上下文的情况下,电子装置100可以识别预测上下文的危险程度(危险等级)、安全程度(安全等级)、保护必要性等级或观察必要性等级(S1915)。危险程度等可以取决于所识别的上下文是对应于当前情形的上下文还是对应于可能的情形的上下文而变化。例如,假设儿童从沙发跌落的情形。在当前上下文的情况下,可以将儿童从沙发跌落的情形的危险度设置为100。在预测上下文(可能的上下文)的情况下,儿童从沙发跌落的情形的危险程度可以设置为50。即使在相同上下文的情况下,取决于该情形是当前情形还是可能的情形,可能会获得不同危险程度。

在S1640中,在获得关于危险程度的信息之后,电子装置100可以确定所识别的危险程度是否等于或大于阈值(S1920)。这里,阈值可以指示预定值,并且可以根据用户的设置而改变。在S1920中确定获得的危险程度不等于或大于阈值的情况下,电子装置100可以执行控制以维持电子装置100的现有行进状态(S1930)。

在S1920中确定获得的危险程度等于或大于阈值的情况下,电子装置100可以改变电子装置100的行进状态(S1925)。然后,电子装置100可以确定是否可以在现有行进模式下执行改变的行进状态(S1935)。在S1935中确定可以在现有行进模式下执行改变的行进状态的情况下,电子装置100可以在现有行进模式下执行与改变的行进状态相对应的控制操作(S1945)。在S1935中确定不可以在现有行进模式下执行改变的行进状态的情况下,电子装置100可以执行从现有行进模式到与改变的行进状态对应的行进模式的改变。然后,电子装置100可以基于改变的行进模式执行与改变的行进状态相对应的控制操作(S1940)。

例如,假设电子装置100可以在第一模式下以第一行进状态或第二行进状态操作,并且可以在第二模式下以第三行进状态或第四行进状态操作。在第一行进状态为基本行进状态,并且执行从第一行进状态到第二行进状态的改变的情况下,电子装置100可以维持第一模式。然而,在第一行进状态为基本行进状态,并且执行从第一行进状态到第三行进状态的改变的情况下,电子装置100可以执行从第一模式到第二模式的改变。

图20是用于描述根据实施例的电子装置的控制方法的流程图。

参考图20,在根据实施例的存储对象的属性信息和与预定空间相关的环境信息的电子装置的控制方法中,可以基于由相机120获得的图像来识别多个对象(S2005)。

在电子装置100的控制方法中,可以基于多个相应识别的对象的属性信息之间的关系和环境信息来识别多个对象中的至少一个的上下文(S2010)。

在电子装置100的控制方法中,可以基于识别的上下文来控制电子装置的行进状态(S2015)。

这里,在控制电子装置的行进状态(S2015)中,可以基于所识别的上下文来识别与所识别的上下文对应的至少一个对象的危险等级,并且可以基于所识别的危险等级来控制电子装置的行进状态。

这里,在识别上下文(S2010)中,可以基于该关系和环境信息来预测多个对象中的至少一个的可能的上下文,并且在控制电子装置的行进状态(S2015)中,可以基于预测上下文来控制电子装置的行进状态。

此外,多个对象中的一个可以是具有静态属性的静态对象,并且多个对象中的另一个可以是具有动态属性的动态对象。这里,在识别上下文(S2010)中,可以基于静态对象和动态对象之间的关系和环境信息来预测多个对象中的至少一个对象的移动方向或移动距离中的至少一个,并且在控制电子装置的行进状态(S2015)中,可以基于预测的移动方向或预测的移动距离中的至少一个来控制电子装置的行进状态。

此外,在识别上下文(S2010)中,在识别动态对象靠近静态对象或与静态对象接触的情况下,可以识别静态对象可以被动态对象移动的上下文。

此外,在控制电子装置的行进状态中,可以基于所识别的上下文识别电子装置的模式,并且电子装置的模式可以包括保护模式、低噪声模式、监视模式或私密模式中是至少一种。

此外,在识别上下文(S2010)中,在从多个对象之一获得私密空间信息并且多个对象中的另一个是动态对象的情况下,可以基于多个对象之间的关系和私密空间信息来识别动态对象的上下文,并且在控制电子装置的行进状态(S2015)中,可以基于所识别的上下文执行控制以使电子装置处于私密模式或低噪声模式中的至少一种。

此外,在控制电子装置的行进状态(S2015)中,在基于多个对象之间的关系识别多个对象中的一个对于多个对象中的另一个是危险的上下文的情况下,可以执行控制以使电子装置处于监视模式或保护模式中的至少一种。

如图20所示的电子装置的控制方法可以在具有图1或图2的配置的电子装置上执行,或可以在具有不同配置的电子装置上执行。

可以以可安装在现有电子装置中的应用的形式来实现根据上述各种实施例的方法。

此外,可以通过关于电子装置执行软件升级或硬件升级来实现根据上述各种实施例的方法。

此外,可以通过在电子装置中提供的嵌入式服务器或电子装置的外部服务器来运行上述公开的各种实施例。

此外,根据上述各种实施例的电子设备的控制方法可以通过程序来实现,从而被提供给电子装置。特别地,可以在非暂时性计算机可读介质中存储和提供包括电子装置的控制方法的程序。

在存储计算机命令的非暂时性计算机可读介质中,计算机命令在由存储对象的属性信息和与预定空间相关的环境信息的电子装置的处理器130运行的情况下,使电子装置执行操作,所述操作包括:基于相机120获得的图像识别多个对象;基于多个相应识别的对象的属性信息之间的关系和环境信息,识别多个对象中的至少一个的上下文;基于识别的上下文控制电子装置的行进状态。

可以使用软件、硬件或软件和硬件的组合在计算机或计算机可读记录介质中实现上述各种实施例。作为示例,根据硬件实现,本公开中描述的实施例可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电气单元中的至少一个来实现。在某些情况下,本公开中描述的实施例可以由处理器130本身来实现。根据软件实现,诸如本公开中描述的过程和功能的实施例可以通过单独的软件模块来实现。每个软件模块可以执行本公开中描述的一个或多个功能和操作。

用于执行根据上述各种实施例的电子装置的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令允许特定设备在由特定设备的处理器运行时执行根据上述各种实施例的电子装置的处理操作。

非暂时性计算机可读介质指示半永久性地将数据存储在其中并且可由机器读取的介质。非暂时性计算机可读介质的具体示例可以包括压缩盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等。

尽管上文已经说明和描述了实施例,但是本公开不限于上述具体实施例,而是可以在不脱离所附权利要求中公开的主旨的情况下由本公开所属领域的技术人员进行各种修改。这些修改也应理解为落入本公开的范围和精神内。

45页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:可更换的终端受动器接触垫、终端受动器和维护方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!