电信会议装置

文档序号:24522 发布日期:2021-09-21 浏览:12次 >En<

阅读说明:本技术 电信会议装置 (Telecommunication conference device ) 是由 埃坦·拉维 于 2020-02-03 设计创作,主要内容包括:本发明提供一种电信会议装置,其包括:推进系统;投影单元;至少一个传感器,其能够获得使得能够映射所述电信会议装置周围的环境的信息;和处理单元,其配置成:从所述至少一个传感器获得信息;使用所述所获得的信息来映射所述电信会议装置周围的所述环境;追踪所述电信会议装置的至少一个用户相对于所述电信会议装置的位置和定向;确定所述电信会议装置的表面的给定部分相对于所述至少一个用户的期望位置和定向;激活所述推进系统以使所述电信会议装置飞行到所述所确定的期望位置和定向;接收由远程装置捕获的图像流;和指示所述投影单元将所述接收到的图像流投影在所述表面的所述给定部分上。(The present invention provides a teleconference device, including: a propulsion system; a projection unit; at least one sensor capable of obtaining information that enables mapping of an environment surrounding the teleconferencing apparatus; and a processing unit configured to: obtaining information from the at least one sensor; mapping the environment around the teleconferencing apparatus using the obtained information; tracking a position and orientation of at least one user of the teleconferencing apparatus relative to the teleconferencing apparatus; determining a desired position and orientation of a given portion of a surface of the teleconferencing apparatus relative to the at least one user; activating the propulsion system to fly the teleconferencing apparatus to the determined desired position and orientation; receiving an image stream captured by a remote device; and instructing the projection unit to project the received image stream on the given portion of the surface.)

电信会议装置

技术领域

当前所公开主题的示范性实施例涉及一种视频通话装置,且更确切地说,涉及一种飞行视频通话装置。

背景技术

当两个或更多个人面对面谈话时,他们将根据其它人的位置和定向自然地使自己移动到特定位置和定向。他们也将根据其它人的行为且根据不同的环境因素而移动。举例来说,两个人将选择彼此之间一米到两米的特定舒适距离以进行谈话,且会直接面向彼此。如果第三人加入谈话,那么他们会使彼此之间的直接距离增加额外的半米,且改变他们的定向以创建一个圆圈。如果有背景噪声,那么他们会减小彼此之间的距离并增大音量。如果一个人被强光晃到眼睛了,那么其它人会改变他们的位置以使自己远离光源矢量。如果一个人坐下,那么其余的人自然也会尝试坐下。如果桌子上有一个大花瓶,那么人们会选择让他们彼此之间具有清晰视线的座位。如果两个人在一个人正在洗碗时进行谈话,那么第二个人的自然位置会是在一米半远处且在台面旁边。

当前的视频通话装置根本没有考虑到这些因素,这导致在视频通话期间视频通话装置相对于用户的不良动态定位,从而迫使用户相应地采用不同且限制性的位置和行为。

因此,在本领域中需要一种两个或更多个人能够进行远程视频通话的新的方法和系统,所述方法和系统能够根据通话中的其它人的相对位置、人们的行为以及环境因素来模拟人类行为。

下文列出被认为作为背景与当前所公开主题相关的参考。本文中的参考的承认不应被推断为意味着这些参考以任何方式与当前所公开主题的可专利性相关。

飞行显示装置。2018年2月13日公布的美国专利第9,891,885号(贝奥姆什克(Beomshik))公开一种显示装置,其包含:显示单元;至少一飞行单元,其连接到显示单元;位置信息接收单元,其获得关于显示装置的当前位置的信息;传感器单元,其获得用户的信息;飞行控制单元,其自动地控制显示装置的飞行;姿势信息获得单元,其获得显示装置的姿势信息;主控制单元,其控制显示装置的各别组件的整体操作;姿势校正单元,其改变显示装置或显示单元的角度;振动系统;语音识别单元;通信模块;输入构件,其将输入信息传输到通信模块;电源单元;障碍物检测单元;关节操纵器(joint manipulator),其连接至少一个飞行单元和显示单元;以及连接器,其连接显示单元和显示装置。

气球和气球控制方法。2011年12月1日公布的美国专利第20110292348号(弘明(Hiroaki))公开一种气球,其包括气囊(envelope)和投影图像的投影单元,所述气球在将由投影单元所投影的图像显示在气囊上的第一显示模式与通过气囊将由投影单元所投影的图像显示在外部物体上的第二显示模式之间切换显示模式。

高续航无人飞行器。2018年2月28日公布的WIPO专利第2018122830号(贾扬特(Jayant))公开UAV和无人机的总体效率和/或飞行时间可通过添加含有比空气更轻的气体的元素和/或通过减少且/或消除供应给发动机的任何组合的功率以降低总功率消耗而增加。在一方面,飞艇无人机的配置包括填充有比空气更轻的气体的至少一个空气腔/腔室/容器。3D腔室由扫掠或挤压的封闭2D几何结构制成,且可从无人机上拆卸,且可以是透明的或以彩色伪装。为了维持航空器的控制和高度,可合并升力面。这种升力面可包含主动和/或被动控制表面以维持飞行稳定性。另外,空腔、裂缝、孔口以及阀可添加到飞行器的表面以获得其它效率优势。

用以传达视觉投影的动态系统。美国专利第20150092020号(沃恩(Vaughn))在2015年4月2日公开一种用以传达视觉投影的动态系统。用于动态通信的设备的实施例包含:推进系统,其用以使所述设备能够飞行,包括悬停在适当的位置且跟随用户;立体照相机,其用以记录设备的用户的图像或设备的用户附近的场景;传输器,其用以经由网络将由立体照相机生成的视频数据传输到第二设备以用于与远程用户通信;接收器,其用以经由网络从远程用户接收视频数据;以及视频投影机制,其用以将包含所接收视频的图像投影到用户。

用于在视频会议中动态地选择联网的照相机的系统和方法。美国专利第20160227168号(文德罗(Vendrow))在2016年8月4日公开提供用于动态地选择一或多个联网的照相机以向视频会议提供实时照相机馈送的系统和方法。所述系统和方法可包含识别与会议参与者的区域相关联的一或多个联网的照相机。服务器可分析来自所识别照相机的实时照相机馈送,且选择具有参与者的视图的视频馈送。服务器可经由会议桥向视频会议提供所选择的馈送,且继续监视与参与者的区域相关联的照相机馈送以用于具有参与者的较好视图的另一照相机馈送。联网的照相机可包含由个人拥有并操作的固定和移动照相机,所述个人不与参与者相关联,但他们已经向服务器注册了他们的照相机以用于视频会议。

信息处理装置、信息处理方法和终端装置。美国专利第20180131901号(飞田(Tobita))在2018年5月10日公开一种信息处理设备,其包含:照相机,其捕获真实空间;通信单元,其与远程用户所使用的终端装置通信;流控制单元,如果远程用户从捕获真实空间的多个装置中选择信息处理装置本身,那么所述流控制单元将由照相机捕获的第一视频从通信单元流式传输到终端装置;以及显示器,其在第一视频流式传输到终端装置时显示远程用户的用户图像。

用于协作的无人飞行器。美国专利第20170029098号(克拉克(Clark))在2017年2月2日公开一种移动思科网真(telepresence system)系统,其可包含:框架;推进系统,其可操作地耦合到框架以推动框架通过指定空间;屏幕,其可移动地耦合到框架;以及图像输出装置,其耦合到框架。所述框架可包含限定框架的纵向轴线的中心主体、位于中心主体的第一末端部分处的第一臂以及位于中心主体的与中心主体的第一末端部分相对的第二末端部分处的第二臂。所述推进系统可包含位于第一臂和第二臂的相对末端部分处的转子,所述转子响应于外部命令而推动框架。所述图像输出装置可响应于外部命令而将图像投影到屏幕上。

思科网真。WIPO专利第2018136072号(博尔托林(Bortolini))在2018年7月26日公开包含思科网真系统的一些实例,所述思科网真系统包含移动定位装置和头戴式显示组合件以基于朝向移动定位装置的定向而使表示第二用户的环境背景内的第一用户的图像可视化。所述头戴式显示组合件经由无线通信系统与视频会议装置通信。

因此,在本领域中需要一种新的视频通话装置,其尤其能够出于为本地用户产生一种远程用户存在于本地环境中且他的存在遵循面对面谈话中接受的文化行为的感觉的目的而根据本地用户的位置、定向、行为以及环境因素自动地更新其位置和定向。

发明内容

对于迄今为止使用的常见视频通话系统,照相机和屏幕要么是固定的且连接到不同计算系统(例如膝上型计算机),要么是需要在通话期间手动保持的移动智能手机的一部分。在一些更高级情况下,屏幕和照相机安装在地面移动机器人的顶部,这些机器人试图跟随一个用户或接受来自远程用户的控制请求。这些解决方案不能真正复制两个或更多个人之间的面对面谈话的真实生活体验,这是因为屏幕大小不够大以致于无法显示远程用户的真实生活大小,并且无法在相同自然位置和姿势中动态地移动所述屏幕且无法使远程用户摆出在他在面对面谈话的情况下会自身定位的姿势。

为了评估和更新相对位置,系统将需要能够评估人类在谈话期间评估的技术以及行为方面,并根据他们的身份标识采取行动。

应注意,术语电信会议装置和视频通话空中单元300在本文中可互换使用,术语投影单元和投影仪/显示器710在本文中可互换使用,术语传感器和照相机700在本文中可互换使用,术语机器学习分类器1250和使用场景分类器在本文中可互换使用。

根据本公开,可提供例如一种由提供浮力的任选地充气气球以及例如提供所需硬件和系统的任选地电子带所组合的系统,其中所述气球可视需要容易地由新的气球替换。

根据本公开,可提供计算、网络、照相机、麦克风、扬声器和投影显示器以提供用于与市场上可获得的额外类似端点或其它类型的端点的视频通话的端点。

根据本公开,可提供传感器以获得可用于映射环境、照明条件、检测障碍物、追踪用户身体和行为参数的信息,以便为计算机系统提供所需输入以分析、比较且更新其数据存储库,并因此向推进系统提供更新其位置和定向的指令。

根据本公开,可提供音频传感器以检测直接语音命令,检测计算机系统的用户谈话词以分析、比较和更新其数据存储库,以便识别是否需要对系统位置进行更新或者是否需要扬声器音量改变。

根据本公开,可提供一组空气推进发动机,其具有控制系统、加速器传感器和定位传感器以及使得单元能够根据各种输入命令维持和更新其飞行位置的可再充电电池。

根据本公开,当使用充气气球时,可提供用于空中单元的对接站,以自主地返回到所述站与气球连接的位置,并视需要用气体重新填充气球。

根据本公开,可提供用于空中单元的对接站,以自主地返回到所述站与所述带连接的位置,并视需要对带电池进行充电。

根据本公开中的技术,用户可能够以一种就人们在谈话期间相对于其同伴和环境条件而自身定位的本能行为而言将非常接近于在用户的自然环境中的真实面对面谈话的方式体验视频通话,如本文中进一步详述。本公开为显示器提供就其相对于本地用户的定位而言模仿人类行为的能力。

根据当前所公开主题的一方面,提供一种电信会议装置,其包括:推进系统,其用于使具有表面的电信会议装置飞行,所述推进系统能够使电信会议装置悬停在适当位置且改变其位置;投影单元,其能够将图像投影在相对于投影单元具有固定位置的表面的至少一给定部分上;至少一个传感器,其能够获得使得能够映射电信会议装置周围的环境的信息;以及处理单元,其配置成:从至少一个传感器获得信息;使用所获得的信息来映射电信会议装置周围的环境,所述环境包含电信会议装置的至少一个用户;

在所映射环境内追踪电信会议装置的至少一个用户相对于电信会议装置的位置和定向;至少基于至少一个用户的所追踪位置和定向且基于一或多个会话相关参数而确定所述表面的给定部分相对于至少一个用户的期望位置和定向;在所述表面的给定部分未定位在所确定的期望位置和定向时,激活推进系统以使电信会议装置飞行到所确定的期望位置和定向;接收由远程装置捕获的图像流;且指示投影单元将接收到的图像流投影在表面的给定部分上。

在一些情况下,会话相关参数包含网络连接的所测量信号强度或信号质量,图像流通过所述网络连接被接收。

在一些情况下,处理单元进一步配置成估计由用户观看的图像的观看质量,且其中会话相关参数包含所估计的观看质量。

在一些情况下,电信会议装置进一步包括至少一个扬声器,且处理单元进一步配置成:接收由远程装置捕获的声音流;经由至少一个扬声器将声音输出到至少一个用户;且估计由用户接收的声音的声音质量;且其中会话相关参数包含所估计的声音质量。

在一些情况下,电信会议装置进一步包括至少一个麦克风,且处理单元进一步配置成使用麦克风获得声音且通过分析所获得的声音来确定环境噪声水平,且其中会话相关参数包含所确定的环境噪声水平。

在一些情况下,处理单元进一步配置成确定电信会议装置周围的环境中的各别多个位置中的(a)光量和(b)光方向中的至少一个,且其中会话相关参数包含所确定的光量或光方向。

在一些情况下,电信会议装置进一步包括机械附接件,所述机械附接件能够附接到气球以引起电信会议装置的空气浮力,且其中所述表面是气球的表面。

在一些情况下,推进系统包括空气喷射器。

在一些情况下,悬停通过气球引起的空气浮力来获得。

在一些情况下,期望位置和定向被确定以使得在表面的给定部分与至少一个用户之间维持清晰的视线。

在一些情况下,传感器是至少一个照相机。

在一些情况下,处理单元进一步配置成利用所映射环境且使用一使用场景分类器对电信会议装置的使用场景进行分类;且其中使用所述使用场景来确定期望位置和定向。

在一些情况下,使用场景分类器配置成将所映射环境分类到多个预分类使用场景中的给定使用场景中,如果电信会议装置是物理存在用户,那么预分类使用场景中的每一预分类使用场景模拟物理存在用户的各别不同行为。

在一些情况下,分类器基于以下中的一或多个而执行分类:由用户执行的活动、用户的面部表情、用户的音量、用户的语音表达、用户的身体运动速率的变化、用户的身体位置的变化或用户的身体行为的变化。

在一些情况下,使用场景分类器是机器学习分类器。

根据当前所公开主题的另一方面,提供一种操作电信会议装置的方法,所述方法包括:推进系统,其用于使具有表面的电信会议装置飞行,推进系统能够使电信会议装置悬停在适当位置且改变其位置;投影单元,其能够将图像投影在相对于投影单元具有固定位置的表面的至少一给定部分上;至少一个传感器,其能够获得使得能够映射电信会议装置周围的环境的信息;和处理单元,其配置成:从电信会议装置的至少一个传感器获得信息,传感器能够获得使得能够映射电信会议装置周围的环境的信息;使用所获得的信息来映射电信会议装置周围的环境,所述环境包含电信会议装置的至少一个用户;在所映射环境内追踪电信会议装置的至少一个用户相对于电信会议装置的位置和定向;至少基于至少一个用户的所追踪的位置和定向且基于一或多个会话相关参数而确定电信会议装置的表面的给定部分相对于至少一个用户的期望位置和定向;在所述表面的给定部分未定位在所确定的期望位置和定向时,激活电信会议装置的推进系统以使电信会议装置飞行到所确定的期望位置和定向,其中推进系统能够使电信会议装置悬停在适当位置且改变其位置;接收由远程装置捕获的图像流;且指示能够将图像投影在相对于投影单元具有固定位置的表面的至少一给定部分上的投影单元将接收到的图像流投影在表面的给定部分上。

在一些情况下,会话相关参数包含网络连接的所测量信号强度或信号质量,图像流通过所述网络连接被接收。

在一些情况下,方法进一步包括估计由用户观看的图像的观看质量,且其中会话相关参数包括所估计的观看质量。

在一些情况下,方法进一步包括:接收由远程装置捕获的声音流;经由电信会议装置的至少一个扬声器将声音输出到至少一个用户;估计由用户接收到的声音的声音质量;且其中会话相关参数包含所估计的声音质量。

在一些情况下,方法进一步包括使用电信会议装置的麦克风来获得声音且通过分析所获得的声音来确定环境噪声水平,且其中会话相关参数包含所确定的环境噪声水平。

在一些情况下,方法进一步包括确定电信会议装置周围的环境中的各别多个位置中的(a)光量和(b)光方向中的至少一个,且其中会话相关参数包含所确定的光量或光方向。

在一些情况下,电信会议装置进一步包括机械附接件,所述机械附接件能够将所述电信会议装置附接到气球以引起电信会议装置的空气浮力,且其中所述表面是气球的表面。

在一些情况下,推进系统包括空气喷射器。

在一些情况下,悬停通过气球引起的空气浮力来获得。

在一些情况下,期望位置和定向被确定以使得在表面的给定部分与至少一个用户之间维持清晰的视线。

在一些情况下,传感器是至少一个照相机。

在一些情况下,方法进一步包括利用所映射环境且使用一使用场景分类器对电信会议装置的使用场景进行分类;且其中使用所述使用场景来确定期望位置和定向。

在一些情况下,使用场景分类器配置成将所映射环境分类到多个预分类使用场景中的给定使用场景中,如果电信会议装置是物理存在用户,那么预分类使用场景中的每一预分类使用场景模拟物理存在用户的各别不同行为。

在一些情况下,分类器基于以下中的一或多个而执行分类:由用户执行的活动、用户的面部表情、用户的音量、用户的语音表达、用户的身体运动速率的变化、用户的身体位置的变化或用户的身体行为的变化。

在一些情况下,使用场景分类器是机器学习分类器。

附图说明

图1是示出可连接到气球和其组件的带的说明图。

图2是示出气球和其组件的说明图。

图3是示出用于将气球连接到带/将气球从带断开的连接机制的说明图。

图4是示出根据需要两个孩子之间的位置而呈现的场景而由系统选择的示例性位置的说明图。

图5是示出根据需要在面向两个孩子的一侧上的位置而呈现的场景而由系统选择的示例性位置的说明图。

图6是示出所提出的解决方案所需要的系统模块的实例的框图。

图7是示出系统中的视频通话功能所需要的模块的实例的框图。

图8是示出系统中的自主移动功能所需要的模块的实例的框图。

图9是示出系统中的浮力功能所需要的模块的实例的框图。

图10是示出系统中的物理和行为用户追踪功能所需要的模块的实例的框图。

图11是示出系统中的对接站功能所需要的模块的实例的框图。

图12是示出用于根据各种监视输入来维持和更新位置和定向的系统过程的实例的流程图。

图13是示出用于来自一个端点的视频通话的系统过程的实例的流程图。

具体实施方式

在以下详细描述中,阐述了许多具体细节,以便提供对当前所公开主题的透彻理解。然而,本领域的技术人员应理解,当前所公开主题可在没有这些具体细节的情况下实施。在其它情况下,尚未详细描述熟知的方法、程序和组件,以免模糊当前所公开主题。

在所阐述的图式和描述中,相同的参考标号表示为不同的实施例或配置所共用的那些组件。

除非另有特别说明,否则如从以下讨论中显而易见,应了解,在整个说明书讨论中利用例如“获得”、“映射”、“追踪”、“确定”、“激活”、“接收”、“指示”、“估计”、“输出”、“获得”、“分析”、“分类”或类似术语的术语包括将数据操纵和/或转换成其它数据的计算机的动作和/或过程,所述数据表示为物理量,例如电子数量,和/或所述数据表示物理对象。术语“计算机”、“处理器”和“控制器”应广泛地解释为涵盖具有数据处理能力的任何类型的电子装置,借助于非限制性实例,包含个人台式/膝上型计算机、服务器、计算系统、通信装置、智能手机、平板计算机、智能电视、处理器(例如数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)、共享各种任务的性能的多个物理机器的群组、共同驻存在单个物理机器上的虚拟服务器、任何其它电子计算装置和/或其任何组合。

根据本文中的教示的操作可由出于期望目的专门构造的计算机执行,或由通过存储在非暂时性计算机可读存储媒体中的计算机程序出于期望目的专门配置的通用计算机执行。术语“非暂时性”在本文中用于排除暂时性传播信号,但以其它方式包含适用于应用的任何易失性或非易失性计算机存储器技术。

如本文中所使用,短语“例如”(for example/such as)和其变体描述当前所公开主题的非限制性实施例。说明书中对“一种情况”、“一些情况”、“其它情况”或其变体的引用意味着结合实施例所描述的特定特征、结构或特性包含在当前所公开主题的至少一个实施例中。因此,短语“一种情况”、“一些情况”、“其它情况”或其变体的出现不一定指代相同实施例。

应了解,除非另有特别说明,否则为了清楚起见,在单独实施例的上下文中所描述的当前所公开主题的某些特征也可在单个实施例中组合提供。相反,为了简洁起见,在单个实施例的上下文中所描述的当前所公开主题的各种特征也可单独地或以任何合适的子组合提供。

在当前所公开主题的实施例中,可执行与图12到13中所展示的阶段相比更少、更多和/或不同的阶段。在当前所公开主题的实施例中,图12到13中所示出的一或多个阶段可以不同次序执行和/或可同时执行阶段的一或多个群组。图1到11示出根据当前所公开主题的实施例的系统架构的总体示意图。图1到11中的每一模块可由执行如本文中所定义和解释的功能的软件、硬件和/或固件的任何组合构成。图1到11中的模块可集中在一个位置或分散于超过一个位置。在当前所公开主题的其它实施例中,系统可包括与图1到11中所展示的模块相比更少、更多和/或不同的模块。

说明书中对方法的任何参考应适用于能够执行方法的系统,且应适用于存储在由计算机执行后致使执行所述方法的指令的非暂时性计算机可读媒体。

说明书中对系统的任何参考应适用于可由系统执行的方法,且应适用于存储可由系统执行的指令的非暂时性计算机可读媒体。

说明书中对非暂时性计算机可读媒体的任何参考应适用于能够执行存储在非暂时性计算机可读媒体中的指令的系统,且应适用于可由读取存储在非暂时性计算机可读媒体中的指令的计算机执行的方法。

鉴于此,应留意图1,其展示示出带和其组件的实例的说明图。带100可轻于50克,且可任选地用作物理容器,所述物理容器容纳待附接到任选地浮力气球的系统的所需组件。在一些情况下,组件可安装在具体地说带以外的其它位置中或其它位置上,例如但不限于:在气球本身上、在气球中、在对接站上、在房间的墙壁上、作为其它电子装置的部分、在可穿戴布上、作为虚拟和/或增强现实眼镜等等。带100可含有一或多个照相机110以促进导航、视频通话、障碍物检测、环境映射以及用户物理和行为追踪。带100还可含有用于视频通话且任选地为用户生成声音的一或多个扬声器120。带100还可含有用于视频通话且用于测量环境声级的麦克风130。带100还可含有空气喷射器或其它推进机构140,其任选地以特定方向和速度推进空气以控制系统的悬停和移动能力。带100还可含有任选地用于投影用于视频通话的显示器的投影仪150。显示方法的额外实例可任选地是:安装在气球上或气球中的投影仪、安装在整个系统外部的投影仪、安装在气球边界/表面上的显示器等。带100还可含有任选地将为带上的所有装置和模块供电的可再充电电池160。带100还可含有任选地保持用于计算机处理、控制器和无线网络的所需电子装置的计算和网络模块170。如本文中所指示,应注意,在一些情况下,照相机110、扬声器120、麦克风130、投影仪150和用于操作带100和/或其它组件的任何处理资源可在带100外部,且带100可经由有线/无线连接与其通信。还应注意,可任选地分配处理资源(在本文中也称为处理单元)。

图2是示出浮力气球200和其组件的实例的说明图。气球200可容纳比空气更轻的例如氦气的气体,以例如提供整个系统的升力,使得能量不会浪费在悬停上。气球200可含有位于外部投影仪150正前方的至少部分透明的表面,使得投影可任选地穿过气球200的一侧并出现在相对表面220上,所述表面任选地部分透明,从而允许用户从外面观看气球200的所述外部表面220上的图像。气球200还可含有气体再填充连接器230,任选地比空气更轻的例如氦气可通过所述气体再填充连接器注入。再填充连接器230可直接连接到外部气体源,我们可通过带100上的额外适配器连接到所述外部气体源。

图3是示出带100和气球200在不需要任何额外连接元件(诸如胶水、螺钉、螺栓或其它机构)的情况下机械地附接的方法的实例的说明图。气球200可具有臀部形状320,例如其中带100可装配到其中使得带100不需要任何力来保持在适当位置。将带100与气球200机械地附接在一起可创建视频通话空中单元300,其为当前所公开主题的实施例的实例。

应注意,尽管图2和3参考气球200和带100,但当前所公开主题也可适用于其它飞行/浮力装置(例如无人机)。

图4是根据第一孩子410和第二孩子420在坐着和玩玩具时面向彼此所呈现的任选场景的视频通话空中单元300(其可以是气球200和带100,或任何其它飞行/浮力装置)的期望位置和定向的实例的说明图。在这一实例中,视频通话空中单元300的期望位置就像父母将与两个孩子坐成一个圈,同时面对两个孩子。

图5是根据第一孩子410呆在与图4中相同的位置且第二孩子420围绕第一孩子410转动并与所述第一孩子面向同一方向所呈现的场景的视频通话空中单元300的优选位置和定向的另一实例的说明图。

在示例性场景中,视频通话空中单元300的期望位置和方向需要空中单元300面向两个孩子向右移动。视频通话空中单元300位置的期望变化可如本文中进一步详细描述的那样确定,尤其参考图12。

在这一示例性场景中,第二孩子420的位置的变化可由照相机700捕获,所述照相机可将所获得的信息传递给轨道用户的位置和定向1241,其可检测第二孩子420的位置的变化且还可检测到第一孩子410已经维持与之前相同的位置和定向。照相机700还可将所获得的信息传递给追踪用户的行为模块1242,其可检测第二孩子420面部和/或身体表达或其它行为指示符的变化。检测到的变化可传递给机器学习分类器1250,所述机器学习分类器可将新场景与所记录场景的历史进行比较,以便任选地决定视频通话空中单元300对改变其位置和定向的需要。在做出决定的情况下,机器学习分类器1250可初始化位置更新事件1220,所述位置更新事件可发起计算新位置1230,所述计算新位置可发起执行新位置1240,所述执行新位置可将一组命令发送到推进和浮力命令1200以将视频通话空中单元300物理地移动到其新的期望位置。

图6是示出所提出的解决方案所需的装置模块的实例的框图。视频通话空中单元300可包括气球200和带100。气球和带100可包括图6中所列出的装置模块。装置模块可物理地定位并连接到视频通话空中单元300,或可位于不同物理位置并通过有线或无线网络连接。

视频通话系统600可含有保持两个或更多个用户之间的视频通话的所需软件和硬件模块,或所述视频通话系统可以其它方式有线或无线地连接到可为其提供一些功能的其它装置。额外端点可以是额外的类似端点或各种现有端点,例如私人计算机、移动电话、平板计算机和其它实例。推进和定位系统610可含有悬停在优选的位置和定向和/或根据其它系统的输入改变所述位置和定向所需的所需软件和硬件模块。当使用包括气球100和带200的视频通话空中单元300时,视频通话系统600可包括浮力系统620,所述浮力系统可负责维持比空气更轻的气体,例如氦气,且将视频通话空中单元300保持在重量平衡以减少悬停时所浪费的能量消耗。环境和行为系统650可负责出于自主移动的目的感测和映射环境,以及感测和追踪用户移动和用户行为,以便任选地决定对于更自然感觉的视频通话300所要的视频通话空中单元的位置和定向的额外移动和变化。

对接系统640可负责在视频通话空中单元300不活跃时保持所述视频通话空中单元,且负责补充系统的资源,例如,对电池再充电并重新填充浮力气体。

支持系统630可提供额外的网络和计算模块,其在需要额外的计算、存储器存储和其它资源但由于不同原因(例如重量限制)而不能直接添加到视频通话空中单元300的情况下可能是需要的。支持系统630可位于例如对接系统640上或计算云中。

图7是示出系统中的视频通话功能可能需要的模块的实例的框图。可能需要一或多个照相机700来获得一个端点的一或多个用户的视频。视频可经由通信总线770流式传输到无线网络760,视频流可通过所述无线网络流式传输到另一端点。投影仪/显示器710可用于在可从无线网络760接收到视频流时显示从其它端点接收到的所述视频流。麦克风720可用于从一或多个用户接收音频声音,且任选地以与视频流类似的方式流式传输所述音频声音。扬声器730可用于将音频传输到本地用户,这是因为音频任选地通过无线网络760从其它端点进行流式传输。电池740可任选地通过本地系统中的通信和电力总线770向所有组件和模块提供电力。视频通话控制模块750可包括硬件和软件,且可负责例如协调视频通话、管理端点和联系人、检查端点连接性、可用性和控制视频通话硬件组件。无线网络760可负责将系统连接到本地调制解调器或路由器,通过本地调制解调器或路由器可提供所需的网络服务。无线网络760可通过各种RF或照明媒介操作,所述RF或照明媒介例如但不限于:蓝牙、WIFI、P2P激光、蜂窝数据网络。

图8是示出系统中的自主移动功能可能需要的模块的实例的框图。照相机700可以是用于视频通话的同一照相机700,或任选地额外专用照相机。照相机700可用于获得信息并将图像上传到位置控制模块,图像识别算法可任选地通过所述位置控制模块来识别视频通话空中单元300是否已经移动,且通过任选地将命令发送到推进系统850来导出用于校正位置的所需响应。传感器710可以是例如:LIDAR、超声波传感器和/或雷达传感器或能够监视运动和/或环境的任何其它装置。传感器710可与照相机720一起记录包括墙壁、家具、灯和其它潜在障碍物的环境。可将映射与先前映射的环境进行比较并上传到数据存储库830。推进系统850可基于各种解决方案,例如但不限于:空气喷射器、推进器或空气压缩机。加速度计860还可用于监视视频通话空中单元300移动,且任选地将其测量结果发送到位置控制模块810以进行额外校正。用户追踪模块800可从照相机700接收图像,任选地识别待追踪的用户,任选地从环境和行为系统650接收额外输入,且任选地向位置控制模块810发送期望的位置更新。惯性导航系统820可用于为视频通话空中单元300的当前位置和定向提供参考点,且可将其参数发送到位置和控制模块810。

图9是示出当使用气球200和带100时系统中的浮力功能所需的模块的实例的框图。浮力致动器900可测量气球200与带100之间的力。所测量力的变化可发送到气体控制模块940,使得所述气体控制模块可任选地改变气体体积或气体浓度以达到浮力平衡。体积控制器910可通过任选地改变气球200的表面积来实现气体体积的物理增大或减小。气体分析器920可测量浮力气体的浓度,且可向气体控制模块940发送所需改变,使得其可任选地从例如对接系统640上的外部源请求较高浓度气体的再填充。压力致动器930可测量气球200内部的气体的压力水平,且可向气体控制模块940发送压力水平,使得气体控制模块940可通过任选地添加或去除气体来决定其是否改变压力水平。

图10是示出系统中的环境和行为功能650所需的模块的实例的框图。任选输入和输出装置包含但不限于:照相机700、投影仪/显示器710、麦克风720、扬声器730和其它潜在传感器,其可出于其它图式中所提出的额外目的而使用,和或可以是单独的且专用于图10中所提出的功能的目的。环境和行为系统650可负责追踪、检测、分析命令并将命令发送到其它子系统,例如图8中的位置控制模块810。用于可评估以便任选地更新视频通话空中单元300的位置的会话相关参数的实例可包含照明评估模块1000,其中例如系统可检测具有较少光量的潜在位置,且将视频通话空中单元300移动到所述位置以便能够降低投影仪/显示器710的亮度并节省电池电力。照明评估模块1000的另一实例可以是检测到强光源在本地用户的与视频通话空中单元300的同一视线处,且任选地将视频通话空中单元300移动到与例如来自窗户的阳光的来自特定方向的强光的矢量不同的矢量。网络评估模块1010可例如监视无线网络的信号强度,且在检测到其中网络连接强度弱到足以影响视频通话流式传输或其它方面的区域时,网络评估模块1010可将请求位置改变的命令发送到其中网络强度先前测量为更强的任选地保存位置。声音评估模块1020可例如获得并监视本地用户附近的背景环境噪声水平,且任选地发送命令以将视频通话空中单元300移动为更靠近本地用户,使得用户可更好地听到视频通话空中单元的扬声器730且能够通过麦克风720更好地接收本地用户的音频。另一实例可以是声音评估模块1020指示视频通话空中单元300改变其定向,以便将其麦克风720和扬声器730任选地聚焦转向特定的本地用户或使麦克风720远离例如主动式空调器的强声源。质量评估模块1021可例如监视视频通话的图像和声音质量且相应地发送位置改变请求。举例来说,如果本地用户的图像质量由于例如距照相机700的距离或光量或其它原因而较低,那么视频通话空中单元300可能需要更接近于本地用户或改变其与本地用户的相对位置以提高图像质量。额外实例为,如果由本地用户接收到的所估计声音质量低于可接受阈值,那么视频通话空中单元300可改变其位置和定向以改善扬声器的方向,以更接近于本地用户和/或任选地调高音频声级。面部/身体评估模块1030可例如监视本地或远程用户的面部表情,以便任选地检测可指示对视频通话空中单元300的位置或定向改变的需要的表情。举例来说,如果用户正眯着他的眼睛以试图看到投影仪/显示器710上的内容,那么面部/身体评估模块1030可发送使视频通话空中单元300移近所述用户的请求,或如果是远程用户眯眼的情况,那么请求本地视频通话空中单元300移近本地用户以任选地增大本地用户的大小。在额外实例中,对于当试图收听来自视频通话空中单元300的音频时稍微转过头且可能将他的手举到他耳朵旁边的用户,面部/身体评估模块1030可将表情识别为试图更好地收听,且可发送改变视频通话空中单元300的位置或增大扬声器音量的命令。额外实例可以是从面部和手势识别视频通话空中单元300是否可定位为靠近用户。在自然谈话中,人们可能习惯于大约半米的最小私人空间,但距离可能因人而异,因文化而异,且根据其它环境因素而异,所述环因素例如但不限于房间大小、房间中的可用开放空间、背景噪音、障碍物等等。如果本地用户的头向后倾斜,他的手交叉或其它不舒服的面部姿态,那么面部/身体评估模块1030可检测到本地用户不舒服。可能需要改变视频通话空中单元300的位置和定向的这些和其它任选场景的检测也可能是通过任选地文本评估模块1040分析用户所说的话的结果。举例来说,如果用户正在反复询问“什么”,那么文本评估模块1040可将输入转换为使视频通话空中单元300移近和/或增大其音量的请求。文本评估模块1040还可直接检测来自请求采取动作的不同用户的口头命令,例如“靠近”、“后移”、“结束通话”、“转身”、“找到约翰”等。相对性评估模块1050可例如检测到在谈话中存在超过一个本地用户,且请求视频通话空中单元300移动到新的位置和定向以便模仿真实的人将选择的位置和定向。从图4到图5的移动变化可以是这种位置和定向的许多实例中的一个。环境评估模块1060可例如检测到房间布局,墙壁、地板、天花板、门、楼梯、窗户、家具、照明的位置,以及可能对视频通话空中单元300的移动、潜在移动、位置、定向或任何其它因素有影响的任选地任何其它物体。环境评估模块1060还可验证期望的位置和定向维持清晰的站点线(line of site),以使照相机清晰地捕捉本地用户且使本地用户清晰地观看视频通话空中单元300上的完整显示表面。来自图10中的不同模块的不同请求可发送到位置控制模块810,所述位置控制模块可为其它模块添加额外输入以便将各种输入任选地合成为关于视频通话空中单元300的位置和定向改变的最终决定。图10中的不同模块可任选地使用特定算法或基于机器学习的算法以便例如进行检测、分析、计算或任何其它类型的所需分析。数据存储库830可用于存储、编辑和更新以及检索不同模块、模块的算法、机器学习算法或系统的任何其它任选组件所需的各种参考数据。

图11是示出系统中的对接系统功能所需的模块的实例的框图。信标模块1100可例如传输待由视频通话空中单元300上的传感器中的一个所检测的RF信号,以任选地帮助视频通话空中单元300定位并返回到对接系统640。气体再填充连接器1110可例如通过气球再填充连接器230连接到气球200,且如气体再填充控制模块1140任选地所指示用浮力气体任选地再填充气球200。电力充电连接器1120可例如连接到电池160以如电力充电控制模块1150任选地所指示对电池任选地再充电。电源适配器1130可例如连接到外壁插座且向对接系统和其模块任选地提供电力。辅助计算模块1160可含有额外的计算、存储、存储器和其它组件,以例如在需要额外计算能力的实例情况下任选地支持或替换视频通话空中单元300上的计算模块170。云计算模块1170可扩展辅助计算模块1160以利用额外计算、存储、存储器和其它组件的任选地现有云计算系统,以任选地支持视频通话空中单元300上的计算模块170。当视频通话空中单元300没有物理地连接到对接系统时,无线和物理网络1180可例如通过任选地连接到无线网络760来向视频通话空中单元300提供网络连接。无线和物理网络1180还可任选地通过物理电缆或任选地额外无线连接器连接到本地调制解调器或路由器或远程蜂窝数据网络,以用于不同的功能,例如但不限于云服务、与其它视频通话端点的连接、与第三方软件的连接等等。无线和物理网络1180可用作对接系统640的本地网络适配器或用作视频通话空中单元300的网桥或两者。辅助数据存储库1190可在需要额外资源的情况下用作视频通话空中单元300上的数据存储库830的扩展,或其可任选地替换所述数据存储库,使得视频通话空中单元300在其上并不具有所述数据存储库。

图12是示出用于根据各种监视输入且根据各种保存和学习的场景来悬停、维持并改变位置和定向的系统过程的实例的流程图。处理单元1270可保持在通过访问存储库1260与存储库830交互并通过推进和浮力命令1200发送控制命令时所需的不同处理操作。当达到实现视频通话空中单元300的期望的位置和定向时,实例详细流程发生,悬停位置和定向1210可向推进系统850发送命令以便例如在任选地系统所推动的阵风的情况下继续并保持相同位置。实例追踪器和监视器1241、1242、1243、1245可使用不同的传感器来获得当前会话相关参数和参数的任选地改变,且可将参数发送到可决定是否发起期望的位置更新事件1220的机器学习分类器1250。

追踪用户的位置和定向1241可追踪一或多个用户相对于视频通话空中单元300、相对于彼此或任何其它参考点/物体的位置、定向和运动,例如但不限于:用户位于房间中的何处,用户正坐着还是站着,用户正朝向哪个方向,用户是否正在某个方向行走,本地用户是否还在与另一本地用户交谈等等。追踪用户的位置和定向1241可使用用户追踪模块800和/或相对性评估模块1050。

追踪用户的行为1242可追踪一或多个用户的面部和身体姿态,所述姿态例如但不限于:眯起眼睛、把头转向一边、站着时交叉双臂、微笑、皱眉、退缩、摇头等等。追踪用户的行为1242可使用面部/身体评估模块1030。

监视语音命令1243可监视声音输入,识别一或多个用户的话语,将音频任选地转换为可分析的数字文本并识别潜在的口头命令,所述口头命令例如但不限于:靠近点,后退,停止通话,打电话给奶奶,调高音量,接听电话,我能听到你的声音,重复什么陈述等等。监视器语音命令1243可使用文本评估模块1040。

监视语音命令1243还可监视用户的语音表达,且可请求机器学习过程1250分类语音表达的类型是否可以是视频通话空中单元300的期望位置和定向的改变的指示符。举例来说,识别用户可能会生气且因此增大所述用户的距离。

监视器和映射环境1244可监视一或多个用户可能所在的周围区域,且可检查与系统中已经映射的区域的变化和差异。例如但不限于:椅子已经移动,门关闭,已引进新壁橱,第一次在新房间,窗户打开等等。监视器和映射环境1244可能正使用环境评估模块1060、照明评估模块1000、网络评估模块1010、声音评估模块1020和/或质量评估模块1021。机器学习过程1250还可向实例追踪器和监视器1241、1242、1243、1244、1245提供机器学习或其它算法服务以帮助识别每一分类焦点中的变化。用于算法的实例方法将是构建和维护从不同传感器创建的3D映射,且将当前映射与现有3D映射进行比较以识别潜在的变化。每一监视器可专注于3D映射的特定方面。还可将潜在变化与分类并存储在数据存储库830中的各种3D映射进行比较,以便比较和确定当前映射最类似于哪个存储的映射且因此定义新的场景。机器学习过程1250可将3D映射的集合处理成一个完整的场景,例如:两个人围坐在彼此前方的桌子周围交谈,或两个孩子坐在地板上玩着彼此面前的玩具,或一个人一边洗碗一边讲话等等。对于这些预分类场景中的每一个,机器学习过程1250可具有视频通话空中单元300的期望位置和定向。

机器学习分类器1250过程可访问存储库1260以用于任选地收集更多的分类信息或用于更新存储库1260。存储库1260的更新可能由于识别新的场景或识别对现有场景的改变或其它原因而发生。一旦机器学习分类器1250已识别出需要新的期望位置和定向,它就可以发起位置更新事件,系统可任选地根据来自追踪器、监视器和访问存储库1260的各种输入且任选地使用机器学习分类器1250过程来计算新的位置1230。结果计算可接着传递到执行新位置1240,所述执行新位置可将所请求的新位置、定向和路径转换为推进系统850的任选命令,所述推进系统可相应地执行这些命令。

监视远程命令1245可监视由一或多个远程用户发送的各种命令,所述远程用户可能在进行视频通话或可能正在向视频通话提供支持和服务。这些命令可能来自例如但不限于:远程语音命令、远程移动应用程序、远程桌面应用程序、人工智能命令等等。监视器远程命令1245可使用无线网络760接收各种外部命令。

可将视频通话空中单元300引导到新的期望位置和定向的远程命令也可用于更新和创建待通过访问存储库1260分类和保存到数据存储库830的新场景。

图13是示出用于来自一个端点的视频通话的系统过程的实例的流程图。本地用户可通过显示视频1340在远程用户的投影仪/显示器710上观看视频。本地用户还可通过由扬声器730生成的声音音频1330听到来自远程用户的音频。

这些实例输出可能已经通过使用麦克风720的接收音频1300和通过照相机700记录的接收视频1310收集,所述接收音频和接收视频可通过无线或有线网络流式传输1320。系统可双向操作,从而使得能够在包含世界上的不同位置的较长距离内的本地和远程两个用户之间进行面对面视频通话。

29页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:作业机械用周边监视装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类