信息处理装置、信息处理方法和程序

文档序号:277191 发布日期:2021-11-19 浏览:22次 >En<

阅读说明:本技术 信息处理装置、信息处理方法和程序 (Information processing apparatus, information processing method, and program ) 是由 宫川洋 于 2020-04-01 设计创作,主要内容包括:提供一种信息处理装置,所述信息处理装置具有:参数产生单元,基于从用作可移动体的运动的基准的基准体到第一位置的第一距离与从可移动体到第二位置的第二距离的比率,并且基于基准体的运动,产生用于控制可移动体的运动的运动参数。(Provided is an information processing apparatus having: a parameter generation unit that generates a motion parameter for controlling the motion of the movable body based on a ratio of a first distance from a reference body serving as a reference of the motion of the movable body to the first position and a second distance from the movable body to the second position, and based on the motion of the reference body.)

信息处理装置、信息处理方法和程序

技术领域

本公开涉及一种信息处理装置、信息处理方法和程序。

背景技术

传统上,用于根据用户的移动控制机器人的移动的技术已被提出。例如,专利文献1描述一种用于将安装有视频照相机的移动机器人的移动链接到用户的移动的技术。

另外,专利文献1公开这样的技术:用户的移动量和移动机器人的移动量的比率被预先设置为特定比率,并且移动机器人的移动基于所述特定比率被链接到用户的移动。

引用列表

专利文献

专利文献1:JP 2002-135641 A

发明内容

技术问题

当控制移动体(诸如,移动机器人)的移动时,估计用户可能想要将移动体移动较大量。在这种情况下,在专利文献1中描述的技术中,在用户想要将移动体移动较大量的情况下,用户自己也需要移动较大量,并且因此,用户的负担增加。

另外,即使在如上所述用户的移动量和移动体的移动量的比率被设置为所述特定比率的情况下,也考虑这样的情况:根据移动体的操作环境,所述比率在一些情况下未被合适地选择。

因此,本公开提出一种能够更容易地控制移动体的移动的新的改进的信息处理装置、信息处理方法和程序。

问题的解决方案

根据本公开,提供一种信息处理装置,所述信息处理装置包括:参数产生单元,基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动,产生用于控制移动体的移动的移动参数。

此外,根据本公开,提供一种信息处理方法,所述信息处理方法包括:由处理器基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动产生用于控制移动体的移动的移动参数。

此外,根据本公开,提供一种程序,所述程序使计算机执行:基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动产生用于控制移动体的移动的移动参数的功能。

附图说明

图1是表示根据本公开的实施例的信息处理系统的结构的方框图。

图2是表示根据本公开的实施例的引领装置(piloting device)的外观的示图。

图3是表示根据本公开的实施例的引领装置的结构的功能框图。

图4是示意性地表示根据本公开的实施例的移动体的外观的示图。

图5是表示根据本公开的实施例的移动体的结构的功能框图。

图6是表示根据本公开的实施例的信息处理装置的结构的功能框图。

图7是表示引领装置坐标系的示图。

图8是表示移动体坐标系的示图。

图9是引领装置的示意性俯视图。

图10是移动体的示意性俯视图。

图11是表示用于移动体的飞行模式到直接引领模式的转变的处理的流程图。

图12是表示在直接引领模式下的引领装置和移动体中的处理的流程图。

图13是用于描述根据本公开的实施例的信息处理装置的效果的示图。

图14是用于描述移动体的第二注视点的示图。

图15是用于描述引领装置的第一注视点的示图。

图16是表示移动体的飞行模式转变为注视点设置模式的过程中的处理的流程图。

图17是表示用于第一和第二注视点的设置的处理的流程图。

图18是表示针孔照相机模型中的坐标系的示图。

图19是表示根据修改示例的信息处理系统的结构的示图。

图20是表示根据修改示例的移动体的结构的功能框图。

图21是表示根据修改示例的信息处理装置的结构的功能框图。

图22是表示根据本公开的实施例的信息处理装置等的硬件结构示例的功能框图。

具体实施方式

以下,将参照附图详细描述本公开的优选实施例。需要注意的是,在本说明书和附图中,具有基本上相同的功能结构的部件具有相同的标号,从而这些部件的重复描述被省略。

需要注意的是,将按照下面的次序提供描述。

1.信息处理系统的结构

1.1.引领装置的结构

1.2.移动体的结构

1.3.信息处理装置的结构

1.4.坐标系

2.处理示例

2.1.第一处理示例

2.2.第二处理示例

2.3.计算方法的补充描述

3.修改示例

4.硬件结构示例

5.补充描述

<1.信息处理系统的结构>

首先,将参照图1描述根据本公开的实施例的信息处理系统1的结构。图1是表示根据本公开的实施例的信息处理系统1的结构的方框图。如图1中所示,信息处理系统1包括引领装置10和移动体20。在本实施例中,引领装置10和移动体20位于彼此分开的地方。具体地讲,在本实施例中,假设:引领装置10位于地面的引领者的手上,并且移动体20飞行并且在天空中。另外,引领装置10和移动体20以可通信方式彼此连接。需要注意的是,在本实施例中,引领装置10的引领者是根据本公开的实施例的信息处理装置的用户。

引领装置10是具有引领移动体20的功能的装置。引领者能够通过使用引领装置10来引领移动体20。另外,引领装置10用作基准体,所述基准体用作用于移动体20的移动的基准。也就是说,如稍后所述,当引领装置10在预定条件下移动时,移动体20根据引领装置10的移动而移动。需要注意的是,在本实施例中,引领装置10通过被引领者携带而移动。

移动体20不受具体限制,而是可以是具有各种移动功能的装置。例如,移动体20可以是无人驾驶飞机(包括无人机)、车辆、船或各种机器人。在本实施例中,移动体20是能够在天空中飞行的飞行物体。更具体地讲,在本实施例中,移动体20将会被描述为无人机。另外,在本实施例中,如稍后所述的图像捕获装置被安装在移动体20上,并且能够捕获风景的图像。

<<1.1.引领装置的结构>>

接下来,将参照图2和3描述根据本公开的实施例的引领装置10的结构。图2是表示根据本公开的实施例的引领装置10的外观的示图。

如图2中所示,根据本实施例的引领装置10包括壳体12、立体照相机14、显示单元16和输入/输出单元18。以下,将描述引领装置10中所包括的每个装置。

壳体12构成引领装置10的主体部分。引领者能够携带壳体12,并且移动引领装置10。将要参照图3描述的处理装置13被布置在壳体12内部。

接下来,将参照图3详细地描述根据本公开的实施例的布置在壳体12内部的处理装置13的结构。图3是表示根据本公开的实施例的引领装置10的结构的功能框图。

立体照相机14具有捕获图像的功能。在本实施例中,捕获图像被用于测量引领装置10的自己位置和移动量或沿引领者的向前方向的距离。在本实施例中,引领装置10通过使用立体照相机14来测量各种距离。需要注意的是,引领装置10可具有各种已知的用于测量距离的装置,诸如RBG-D照相机、飞行时间(TOF)传感器或光检测和测距(LiDAR)。在这种情况下,各种距离可被这些装置而非立体照相机14测量。需要注意的是,在本说明书中,立体照相机14也被称为第一图像捕获装置。立体照相机14向如稍后所述的高度估计单元131、位置估计单元132或距离测量单元133发送关于测量的距离或捕获图像的信息。

显示单元16具有显示图像的功能。例如,显示单元16可显示由安装在如稍后所述的移动体20上的图像捕获装置捕获的图像。

输入/输出单元18具有这样的功能:接收各种类型的信息的输入或输出各种类型的信息。例如,输入/输出单元18可显示用于从引领者接收对引领装置10的操作的用户界面(UI)。通过参照UI的显示触摸显示的屏幕等,引领者能够对引领装置10执行各种操作。另外,输入/输出单元18可显示由安装在移动体20上的图像捕获装置捕获的图像。输入/输出单元18向如稍后所述的用户界面(UI)控制单元138发送输入信息。

处理装置13具有这样的功能:执行用于引领移动体20的各种类型的处理。通过处理装置13中所包括的高度估计单元131、位置估计单元132、距离测量单元133、通信控制单元134、命令处理单元135和UI控制单元138来实现根据本实施例的处理装置13的功能。

高度估计单元131估计从引领装置10到地面的距离。也就是说,高度估计单元131估计引领装置10相对于地面的高度(以下,也被称为“地上高度”)。更具体地讲,高度估计单元131从立体照相机14获取图像,并且基于获取的图像产生距离图像。另外,在通过平面检测等从距离图像检测到地面之后,通过计算从地面(平面)到立体照相机14的距离,高度估计单元131估计地上高度。

另外,高度估计单元131可通过使用TOF传感器而非立体照相机14来估计地上高度。另外,高度估计单元131可通过使用安装在地面的增强现实(AR)标记和引领装置10之间的位置关系来估计地上高度。

这里,高度估计单元131可用作第一距离获取单元。这里,第一距离获取单元是具有这样的功能的功能单元:基于由布置在引领装置10中的各种装置检测的信息,获取从引领装置10到第一位置的第一距离。在本实施例中,引领装置10具有第一距离获取单元。因此,第一距离被更准确地获取。作为结果,引领者能够更准确地控制移动体20的移动。

另外,在本实施例中,基于从引领装置10到第一位置的第一距离与从移动体20到第二位置的第二距离的比率以及引领装置10的移动,控制移动体20的移动。第一位置不受具体限制,而是能够是例如位于引领装置10正下方的地面。在这种情况下,第一距离是引领装置10的地上高度。另外,第一位置可以是引领装置10中所包括的立体照相机14在捕获图像时被注视的第一注视点。需要注意的是,第一位置可以是从引领装置10沿注视点方向存在的物体的位置。这里,注视点方向是基于移动体20朝着如稍后所述的第二注视点的方向。

另外,第二位置不受具体限制,而是能够是位于移动体20正下方的地面。在这种情况下,第二距离是移动体20的地上高度。另外,第二位置可以是移动体20中所包括的图像捕获装置25在捕获图像时被注视的第二注视点。以下,当第一注视点和第二注视点不彼此区分时,第一注视点和第二注视点也被简单地称为“注视点”。

位置估计单元132估计引领装置10的自己位置。需要注意的是,在本说明书中,所述自己位置不仅包括位置,还包括姿势。位置估计单元132可从立体照相机14获取图像,并且通过使用获取的图像执行同时定位和地图构建(SLAM)来估计自己位置。需要注意的是,位置估计单元132可通过使用TOF传感器而非立体照相机14来估计自己位置。另外,位置估计单元132可通过使用安装的AR标记和引领装置10之间的位置关系来估计自己位置。

距离测量单元133具有这样的功能:测量与引领装置10的各种距离。例如,距离测量单元133可测量从引领装置10到如稍后所述沿注视点方向存在的物体的距离。

在本实施例中,由安装在移动体20上的图像捕获装置捕获的图像被显示在显示单元16或输入/输出单元18上。此时,例如,安装在移动体20上的图像捕获装置或者移动体20的位置或姿势可被调整,从而第二注视点位于所述显示的中心。

通过引领者指定显示在输入/输出单元18上的预览图像上的位置,注视点可被设置。距离测量单元133可基于由立体照相机14捕获的图像测量与当从引领装置10观察注视点方向时存在的物体、墙壁等的距离。另外,距离测量单元133可通过使用TOF传感器等而非立体照相机14来测量各种距离。

这里,距离测量单元133可用作第一距离获取单元。距离测量单元133可利用由引领装置10中所包括的立体照相机14捕获的注视点作为第一位置来获取第一距离。

通信控制单元134具有这样的功能:控制引领装置10和移动体20之间的无线通信。各种命令通过例如无线通信而被从引领装置10发送给移动体20。另外,例如,各种类型的信息(诸如,关于移动体20的状态的信息或由安装在移动体20上的图像捕获装置捕获的图像)通过无线通信而被接收。

UI控制单元138具有这样的功能:控制显示单元16或输入/输出单元18以使显示单元16或输入/输出单元18显示引领装置10的UI。另外,还可获取由通信控制单元134接收的安装在移动体20上的图像捕获装置的图像,并且在显示单元16或输入/输出单元18上显示该图像。另外,UI控制单元138获取对输入/输出单元18执行的操作的内容,并且向命令处理单元135发送所述操作的内容。

命令处理单元135具有这样的功能:执行与用于控制移动体20的状态的引领命令相关的处理。通过命令产生单元136和存储单元137的协作来实现命令处理单元135的功能。

命令产生单元136具有这样的功能:基于由通信控制单元134接收的信息、来自UI控制单元138的操作输入或从引领装置10中所包括的高度估计单元131、位置估计单元132和距离测量单元133接收的信息,产生用于移动体20的引领命令。命令产生单元136经通信控制单元134向移动体20发送产生的命令。

存储单元137存储各种类型的信息,诸如用于命令产生单元136产生引领命令的信息或由命令产生单元136产生的命令信息。存储在存储单元137中的信息被根据需要发送给命令产生单元136。

<<1.2.移动体的结构>>

接下来,将参照图4和5描述根据本公开的实施例的移动体20的结构。图4是示意性地表示根据本公开的实施例的移动体20的外观的示图。图5是表示根据本公开的实施例的移动体20的结构的功能框图。

移动体20通过引领装置10的操作而在空中移动(飞行),并且在移动体20中,安装在移动体20上的图像捕获装置25捕获风景等的图像。图像捕获装置25经平台24而被连接到机体21。需要注意的是,在本说明书中,图像捕获装置25也被称为第二或第三图像捕获装置。平台24包括三个可移动轴,所述三个可移动轴包括平移轴、倾斜轴和滚动轴,并且平台24能够沿任何方向引导图像捕获装置25而不管移动体20的姿势如何。如稍后参照图5所述的控制装置27被安装在机体21内部。

距离测量传感器26连接到图像捕获装置25。距离测量传感器26能够测量沿图像捕获装置25被引导的方向的距离。距离测量传感器26可包括能够测量各种已知距离的装置,诸如立体照相机、深度照相机或1D LiDAR。另外,替代于距离测量传感器26,图像捕获装置25可具有测量各种距离(例如,沿深度方向的距离)的功能。例如,图像捕获装置25可包括立体照相机、RGB-D照相机等。假设:通过各种方式(诸如,校准),距离测量传感器26和图像捕获装置25之间的相对位置关系是已知的。因此,图像捕获装置25能够测量与图像捕获装置25的任意像素对应的距离。

需要注意的是,距离测量传感器26可用作第二距离获取单元。这里,第二距离获取单元是具有这样的功能的功能单元:基于由布置在移动体20中的各种装置检测的信息,获取从移动体20到第二位置的第二距离。在本实施例中,移动体20具有第二距离获取单元。因此,第二距离被更准确地获取。作为结果,引领者能够更准确地控制移动体20的移动。

另外,立体照相机23连接到移动体20。立体照相机23可测量移动体20的自己位置或移动量。替代于立体照相机23,移动体20的自己位置或移动量可被深度照相机、LiDAR等测量。

接下来,将参照图5更详细地描述控制装置27的结构。如图5中所示,控制装置27包括高度估计单元211、位置估计单元212、通信控制单元213、机体控制单元214、平台控制单元215和信息处理装置220。

高度估计单元211具有这样的功能:估计移动体20的地上高度(相对于地面的高度)。通过从立体照相机23获取图像、基于获取的图像产生距离图像、通过平面检测等检测地面并且随后计算从地面(平面)到立体照相机23的距离,高度估计单元211可估计地上高度。高度估计单元211可通过使用TOF传感器而非立体照相机23来估计地上高度。另外,高度估计单元211可通过使用安装在地面的AR标记和例如立体照相机23之间的位置关系来估计地上高度。此外,通过使用移动体20起飞时的高度和测量时的高度之差,高度估计单元211可使用高度计或自己位置来估计地上高度。需要注意的是,高度估计单元211可用作第二距离获取单元。

位置估计单元212具有这样的功能:估计移动体20的自己位置。需要注意的是,所述自己位置不仅包括位置,还包括姿势。位置估计单元212可获取由立体照相机23获取的图像,并且通过使用该图像执行SLAM来估计自己位置。另外,位置估计单元212可通过使用TOF传感器而非立体照相机23来估计自己位置。另外,位置估计单元212可通过使用安装的AR标记和立体照相机23之间的位置关系来估计自己位置。

通信控制单元213具有这样的功能:控制引领装置10和移动体20之间的通信。例如,通信控制单元213可控制从引领装置10接收引领命令或图像捕获装置25向引领装置10发送图像。

信息处理装置220具有这样的功能:产生用于控制移动体20的机体21或平台24的运动的各种参数。另外,信息处理装置220具有这样的功能:基于产生的参数,控制机体21或平台24的运动。具体地讲,信息处理装置220具有这样的功能:基于由通信控制单元213接收的引领命令,通过使用由高度估计单元211或位置估计单元212估计的地上高度或自己位置,经机体控制单元214(移动体控制单元)或平台控制单元215控制推进器22或平台24。将在稍后参照图6描述信息处理装置220的结构。

机体控制单元214经推进器驱动单元28控制推进器22,从而所述自己位置基于由信息处理装置220产生的目标位置和由位置估计单元212估计的自己位置而到达目标位置。作为结果,机体控制单元214能够控制移动体20(机体21)的移动和姿势。例如,通过使用比例积分微分(PID)控制器对自己位置和目标位置之差执行反馈控制来实现所述控制。需要注意的是,如稍后所述的机体控制单元214和平台控制单元215可被布置在信息处理装置220中。

平台控制单元215经平台驱动单元29控制平台24,从而沿从信息处理装置220指示的方向引导图像捕获装置25。

<<1.3.信息处理装置的结构>>

接下来,将参照图6描述根据本公开的实施例的信息处理装置220的结构。图6是表示根据本公开的实施例的信息处理装置220的结构的功能框图。

通过信息处理装置220中所包括的参数产生单元221、报告信息产生单元222和存储单元225的协作来实现信息处理装置220的功能。

参数产生单元221具有这样的功能:产生用于控制移动体20或移动体20中所包括的平台24的运动的各种参数。例如,参数产生单元221具有这样的功能:基于从作为移动体20的移动的基准的引领装置10到第一位置的第一距离与从移动体20到第二位置的第二距离的比率以及引领装置10的移动,产生用于控制移动体20的移动的移动参数。

参数产生单元221还可通过将第一距离和第二距离的比率乘以引领装置10的移动量来产生移动量作为移动参数。另外,参数产生单元221可产生用于使移动体20采用根据引领装置10的姿势的姿势的第一姿势参数。另外,参数产生单元221可产生用于使平台24采用根据引领装置10的姿势的姿势的第二姿势参数。

由参数产生单元221产生的各种参数被发送给通信控制单元213、机体控制单元214或平台控制单元215。另外,产生的各种参数被根据需要存储在存储单元225中。

报告信息产生单元222具有这样的功能:产生引领装置10中的各种类型的报告信息。例如,报告信息产生单元222产生指示移动体20中至各种飞行模式的转变已被完成的报告信息。产生的报告信息被发送给通信控制单元213。需要注意的是,将在稍后描述飞行模式的细节。

存储单元225存储关于由参数产生单元221产生的各种参数的信息。存储单元225存储关于引领装置10的运动的信息,诸如引领装置10的移动量或姿势。另外,存储单元225可存储由参数产生单元221产生的各种参数。

<<1.4.坐标系>>

接下来,将参照图7和8定义在下面的描述中使用的坐标系。需要注意的是,虽然图7和8被以二维方式表示,但在下面的描述中使用的所有坐标系被假设是三维的。

引领装置10和移动体20具有不同坐标系。这些坐标系被分别称为引领装置坐标系和移动体坐标系。图7是表示引领装置坐标系的示图。图8是表示移动体坐标系的示图。

如图7中所示,引领装置坐标系包括下面的四个坐标系。

(1)世界坐标系(CW),其中原点407是真实世界中的任意位置

(2)引领坐标系(CC),其中原点410(引领原点)是世界坐标系上的任意位置

(3)引领装置坐标系(CS),该坐标系是固定到引领装置10的坐标系

(4)水平引领装置坐标系(CH),该坐标系是结合引领装置10的位置移动的坐标系

世界坐标系(CW)的坐标轴400包括彼此正交的cwX轴、cwY轴和cwZ轴。另外,引领坐标系(CC)的坐标轴402包括彼此正交的ccX轴、ccY轴和ccZ轴。另外,引领装置坐标系(CS)的坐标轴404包括彼此正交的csX轴、csY轴和csZ轴。另外,水平引领装置坐标系(CH)的坐标轴406包括彼此正交的chX轴、chY轴和chZ轴。

在本公开的实施例中,引领装置坐标系(CS)的原点和水平引领装置坐标系(CH)的原点被固定到引领装置10的立体照相机14,并且与引领坐标系(CC)的原点410(也被称为“引领原点”)分开引领装置10的相对移动量412。这里,所述相对移动量表示相对于引领原点的移动的量。在本说明书中,所述相对移动量也被简单地称为“移动量”。

另一方面,移动体坐标系包括下面的五个坐标系,如图8中所示。

(1)世界坐标系(DW),其中原点501是真实世界中的任意位置

(2)引领坐标系(DC),其中原点(引领原点512)是世界坐标系上的任意位置

(3)机体坐标系(DB),该坐标系是固定到移动体20的机体21的坐标系

(4)水平机体坐标系(DH),该坐标系是结合移动体20的机体21的位置移动的坐标系

(5)图像捕获装置坐标系(DS),被固定到安装在平台24上的图像捕获装置25

世界坐标系(DW)的坐标轴500包括彼此正交的dwX轴、dwY轴和dwZ轴。另外,引领坐标系(DC)的坐标轴502包括彼此正交的dcX轴、dcY轴和dcZ轴。另外,机体坐标系(DB)的坐标轴504包括彼此正交的dbX轴、dbY轴和dbZ轴。另外,水平机体坐标系(DH)的坐标轴506包括彼此正交的dhX轴、dhY轴和dhZ轴。另外,图像捕获装置坐标系(DS)的坐标轴508包括彼此正交的dsX轴、dsY轴和dsZ轴。需要注意的是,在图8中,表示机体21的一部分的示意图516由四边形指示。

机体坐标系(DB)和水平机体坐标系(DH)的原点517与引领坐标系(DC)的引领原点512分开移动体20的相对移动量513。

另外,在图像捕获装置坐标系(DS)中,dsX轴的正方向是图像捕获装置25的光轴方向。滚动轴518与dsX轴对准,并且滚动角520是围绕滚动轴518的旋转的角度。倾斜轴524是相对于滚动轴518旋转倾斜角522的轴。另外,平移轴528是相对于倾斜轴524旋转平移角526的轴。

由位置估计单元132估计的引领装置10的自己位置的坐标系是引领装置坐标系的世界坐标系(CW)。另一方面,由位置估计单元212估计的移动体20的自己位置的坐标系是移动体坐标系的世界坐标系(DW)。

在引领装置坐标系的世界坐标系(CW)和引领坐标系(CC)以及移动体坐标系的世界坐标系(DW)和引领坐标系(DC)中,Z轴的负方向是重力方向。

引领装置坐标系中的水平引领装置坐标系(CH)的原点与引领装置坐标系(CS)的原点相同,并且Z轴的负方向被固定到重力方向。另外,水平引领装置坐标系(CH)是这样的坐标系:仅反映引领装置坐标系(CS)的世界坐标系(CW)中的旋转分量之中围绕引领坐标系(CC)中的Z轴的旋转分量。

另外,移动体坐标系中的水平机体坐标系(DH)的原点与机体坐标系(DB)的原点相同,并且Z轴的负方向被固定到重力方向。水平机体坐标系(DH)是这样的坐标系:仅反映机体坐标系(DB)的世界坐标系(DW)中的旋转分量之中围绕引领坐标系(DC)中的Z轴的旋转分量。

另外,平台24的轴结构(平移轴、倾斜轴和滚动轴)被配置,从而机体21、平移轴、倾斜轴、滚动轴和图像捕获装置25被按照这个次序从移动体20的机体21连接。因此,连接到机体21的平移轴的一部分被固定在机体坐标系(DB)中。

<2.处理示例>

将描述使用上述引领装置10和移动体20的根据本公开的实施例的处理示例。

根据本公开的实施例的移动体20的飞行模式包括手动引领模式、路点(waypoint)飞行模式和直接引领模式。移动体20根据这些飞行模式执行处理。

手动引领模式是这样的模式:引领者通过使用引领装置10的输入/输出单元18指示移动体20的行进方向、姿势等来引领移动体20。另外,引领棒(未示出)可被布置在引领装置10中,并且引领者可使用引领棒引领移动体20。

在路点飞行模式下,作为路点设置屏幕,地图可被显示在引领装置10的输入/输出单元18上,并且引领者可操作屏幕以设置路点。这里,路点表示移动体20飞行的轨道上的特定位置。另外,路点可被以这样的方式设置:地图被显示在可与引领装置10或移动体20通信的智能电话等的屏幕上,并且引领者操作智能电话等。另外,路点可被在移动体20中以这样的方式设置:引领者使移动体20在手动引领模式下飞行,并且在移动体20存在于任意点时操作引领装置10的输入/输出单元18。作为结果,移动体20自动地飞行以在路点周围飞行。

直接引领模式是在本实施例中使用的飞行模式。在直接引领模式下,当引领者携带并且移动引领装置10时,移动体20根据引领装置10的移动量移动。

将参照图9和10描述在直接引领模式下的引领装置10和移动体20的操作的图像。图9是引领装置10的示意性俯视图。图10是移动体20的示意性俯视图。

图9表示引领装置坐标系中的世界坐标系(CW)的坐标轴400和引领坐标系(CC)的坐标轴402。在图9中,引领装置由等腰三角形示意性地指示,并且位于引领原点422的引领装置420和在某个时刻位于其自己位置的引领装置430被示出。需要注意的是,在图9中,从等腰三角形的重心(引领装置420中的引领原点422)朝着顶点424的方向被定义为沿引领方向的前方。这里,假设:所述重心是引领坐标系(CC)中的原点。在图9中,位于引领原点422的引领装置移动由直箭头指示的移动量426,并且按照弧形箭头428旋转,以使得引领装置430的当前位置和姿势被实现。

图10表示移动体坐标系中的世界坐标系(DW)的坐标轴500和引领坐标系(DC)的坐标轴502。在图10中,移动体由等腰三角形示意性地指示,并且位于引领原点512的移动体530、在当前自己位置的移动体540和其反映来自引领装置的引领命令的位置和姿势被实现的移动体538被示出。

在本实施例中,引领命令被从引领装置发送给移动体。引领命令包括用于控制移动体的位置和姿势的命令。在本实施例中,控制命令被发送给移动体,从而移动体从引领原点512移动通过将引领装置的移动量426乘以第一距离和第二距离的比率而获得的相对移动量534。另外,控制命令被发送给移动体,从而移动体的姿势改变与相对于在位于引领原点的状态下的引领装置的姿势的引领装置的姿势的变化对应的量。移动体根据控制命令执行反馈控制,从而移动体的位置从引领原点512移动相对移动量534,并且移动体的姿势收敛为基于控制命令的姿势。

作为结果,基于引领装置10的移动,在围绕引领原点增加移动量的同时,在保持相似形状的同时,在相对方向在移动体20和引领者之间同步的状态下,移动体20移动。利用这种机制,引领者能够控制机体21或平台24,从而仅通过移动引领装置10,图像捕获装置25按照引领者的意图成帧,就好像引领者的前方的缩微模型被照相机捕获。与机体21和平台24被使用比例发送器(也被称为“无线电控制器”)分别手动地控制的情况相比,引领者能够容易地并且直观地使安装在移动体20上的图像捕获装置25成帧。

用于获得当引领装置10的移动量被反映在移动体20的移动量中时使用的比率(移动比:也被称为Sm)的方法不受具体限制。以下,将描述两种方法,所述两种方法包括使用地上高度的方法(第一处理示例)和使用与注视点的距离的方法(第二处理示例)。

<<2.1.第一处理示例>>

在第一处理示例中,使用地上高度设置移动比。

在第一处理示例中,首先,移动体20从起飞开始在手动引领模式或路点飞行模式下飞行,直至移动体20到达执行图像捕获的区域上方的点。当移动体20到达执行图像捕获的区域上方的点时,引领者操作引领装置10的输入/输出单元18以使移动体20暂时处于悬停状态(速度是0的状态),然后将飞行模式改变为直接引领模式。

以下,将参照图11描述下面的引领装置10和移动体20中的处理。具体地讲,将会详细地描述飞行模式到直接引领模式的转变。图11是表示用于移动体20的飞行模式到直接引领模式的转变的处理的流程图。以下,将参照图11中示出的流程图描述处理示例。

首先,将描述引领装置10中的处理的流程。

首先,引领装置10转变为直接操作模式(步骤S101)。具体地讲,当引领者通过使用输入/输出单元18的UI来执行用于飞行模式到直接引领模式的转变的操作时,用于转变为直接引领模式的操作命令经UI控制单元138被输入到命令产生单元136。

当命令产生单元136接收到用于转变为直接引领模式的操作命令时,命令产生单元136从高度估计单元131获取地上高度(Hc)(步骤S103)。

接下来,命令产生单元136从位置估计单元132获取引领装置10的当前自己位置(步骤S105)。命令产生单元136基于获取的自己位置将引领装置10的姿势分解成平移角(cwθp)、倾斜角(cwθt)和滚动角(cwθr)(步骤S107)。需要注意的是,在本说明书中,每个角度θ的左上侧的标记指示代表角度θ的坐标系的类型。另外,将在稍后描述将自己位置的姿势分解成平移角、倾斜角和滚动角的方法。

接下来,命令产生单元136产生引领原点,并且将产生的引领原点存储在存储单元137中(步骤S109)。引领装置10的引领原点代表引领装置坐标系的世界坐标系(CW)和引领坐标系(CC)之间的关系,并且包括世界坐标系(CW)中的位置(cwXcocwYcocwZco)和沿Z轴旋转方向的姿势(cwθzco)。使用下面的两个值产生引领原点。

(1)位置(cwXcocwYcocwZco):引领装置10的自己位置的平动分量(translationcomponent)

(2)沿Z轴旋转方向的姿势(cwθzco):引领装置10的自己位置的姿势的平移角(cwθp)

接下来,命令产生单元136经通信控制单元134向移动体20发送用于转变为直接引领模式的命令以及下面的两个数据(步骤S111)。

(1)引领装置10的地上高度(Hc)

(2)引领装置10的当前姿势(倾斜角(cwθt)和滚动角(cwθr))

一旦用于转变为直接引领模式的命令被发送,引领装置10等待移动体20的至直接引领模式的转变的完成的报告。通过以上处理,引领装置10的至直接引领模式的转变完成。

接下来,将描述移动体20中的处理的流程。一旦经通信控制单元213获取由引领装置10发送的用于转变为直接引领模式的命令,信息处理装置220执行下面的处理。

首先,信息处理装置220获取由高度估计单元211估计的地上高度(步骤S113)。

接下来,信息处理装置220计算移动比(Sm)(步骤S115)。移动比(Sm)是用于在机体21的移动量中反映引领装置10的移动量的比率。具体地讲,参数产生单元221通过使用从引领装置10获取的引领装置10的地上高度(Hc)和由移动体20中所包括的高度估计单元211估计的机体21的地上高度(Hd)基于下面的方程(1)计算移动比。

移动比(Sm)=飞机的地上高度(Hd)/引领装置的地上高度(Hc)(1)

计算的移动比(Sm)被存储在信息处理装置220的存储单元225中。

接下来,信息处理装置220从位置估计单元212获取机体21的当前自己位置(步骤S117)。获取的自己位置被存储在存储单元225中作为引领原点。引领原点代表移动体坐标系的世界坐标系(DW)和引领坐标系(DC)之间的关系,并且包括世界坐标系(DW)中的位置(dwXcodwYcodwZco)和沿Z轴旋转方向的姿势(dwθzco)。参数产生单元221通过使用下面的值来产生引领原点。

(1)位置(dwXcodwYcodwZco):机体21的自己位置的平动分量

(2)沿Z轴旋转方向的姿势(dwθzco):机体21的自己位置的姿势的平移角(dwθp)

将在稍后描述将自己位置分解成平移角、倾斜角和滚动角的方法。

接下来,移动体20计算平台24的目标姿势(步骤S119)。具体地讲,参数产生单元221产生用于使图像捕获装置25的姿势与引领装置10的姿势相同的第二参数。更具体地讲,参数产生单元221通过使用由位置估计单元212获取的自己位置的姿势分量与从引领装置10接收的引领装置10的姿势(cwθtcwθr)来计算平台目标位置作为第二姿势参数。将在稍后描述计算第二姿势参数的方法。接下来,移动体20经平台控制单元215控制平台24,从而图像捕获装置25的姿势变为与引领装置10的姿势相同(步骤S121)。

接下来,移动体20经通信控制单元213向引领装置10发送至直接引领模式的转变的完成的报告(步骤S123)。

通过以上处理,移动体20的至直接引领模式的转变完成。当引领装置10和移动体20都完成至直接引领模式的转变时,引领装置10的姿势和安装在移动体20上的图像捕获装置25的姿势被同步。这使引领装置10能够在直接引领模式下引领移动体20。

需要注意的是,以上处理基于这样的前提:世界坐标系(CW)等中的Z轴的负方向与引领装置坐标系中的重力方向对准。然而,在引领装置10中未提供能够估计重力方向的传感器(诸如,惯性测量单元(IMU))的情况下,引领装置10和安装在移动体20上的图像捕获装置25的姿势不能通过以上方法而变为彼此相同。在这种情况下,引领装置10的姿势和安装在移动体20上的图像捕获装置25的姿势可被手动地调整为彼此相同。这里,将描述手动地将所述姿势调整为彼此相同的方法的示例。

引领者容易面对的姿势(诸如,水平方向)被预先确定为当将引领装置10的姿势和移动体20的图像捕获装置25的姿势调整为彼此相同时的姿势。

在引领装置10中,当用于转变为直接引领模式的操作被执行时(例如,当步骤S101的处理被执行时),在执行一系列处理(例如,步骤S103至S109的处理)之前,使引领装置10采用上述预定姿势的指令被显示在输入/输出单元18等的UI上。在改变引领装置10的方位以采用指示的姿势之后,引领者操作例如显示在输入/输出单元18上的按钮。其后,在转变为直接引领模式时的处理(例如,步骤S103至S109的处理)被类似地执行。

在计算平台目标位置时(步骤S119),移动体20通过使用所述预定姿势而非引领装置10的姿势(假设:引领装置10处于所述预定姿势)来执行与以上描述相似的处理(例如,步骤S113至S123的处理)。

此外,在以上方法中,可同步引领装置10的姿势和安装在移动体20上的图像捕获装置25的姿势。

接下来,将参照图12详细地描述在直接引领模式下的引领装置10和移动体20中的处理。图12是表示在直接引领模式下的引领装置10和移动体20中的处理的流程图。

首先,将描述引领装置10中的处理。

首先,引领装置10输出其自己位置(步骤S201)。更具体地讲,位置估计单元132按照用于估计自己位置的传感器的输出速率按照一定间隔(例如,在立体照相机14的情况下,按照每秒60帧(fps)的间隔)估计自己位置,并且将自己位置输出给命令处理单元135。

接下来,一旦自己位置被从位置估计单元132获取,命令处理单元135产生引领命令(步骤S203)。更具体地讲,命令产生单元136基于引领装置10相对于在转变为直接引领模式时(具体地讲,步骤S109)存储在存储单元137中的引领原点的相对移动量计算引领命令。

引领命令包括下面的三条信息。

(1)相对于引领原点的相对移动量(ccXhoccYhoccZho)

(2)相对于引领原点的围绕Z轴的相对移动量(ccθzho)

(3)当前自己位置的倾斜角和滚动角(cwθtcwθr)

需要注意的是,所述相对移动量指示引领坐标系(CC)和水平机体坐标系(CH)之间的关系。另外,倾斜角和滚动角(cwθtcwθr)代表水平引领装置坐标系(CH)和引领装置坐标系(CS)之间的关系。

命令产生单元136基于下面的方程(2)至(11)基于存储在存储单元137中的引领原点和由引领装置10的位置估计单元132获取的自己位置产生引领命令。需要注意的是,通过将在引领装置10的自己位置的旋转分量分解为平移角、倾斜角和滚动角(将在稍后描述计算方法)而获得的值是cwθpcwθtcwθr。以下,Rx代表旋转分量(以下,也被称为“旋转矩阵”),Px代表平动分量,并且Tx代表齐次变换矩阵。

在引领装置10的当前自己位置,平动分量和围绕Z轴的姿势由下面的方程(2)至(5)表示。

cwθzcwθp (2)

类似于方程(3)至(5),引领原点由下面的方程(6)至(8)表示。

引领装置10的相对移动量由下面的方程(9)和(10)表示。需要注意的是,ccR代表引领装置10的相对移动量中的旋转分量。

命令产生单元136通过使用引领原点和当前自己位置基于下面的方程(11)计算引领装置10的相对移动量。

命令产生单元136从由方程(11)表示的ccT提取必要分量以获取ccP和ccR。另外,命令产生单元136从ccP获取ccXhoccYhoccZho。另外,命令产生单元136将ccR分解为平移角、倾斜角和滚动角以计算平移角ccθzho。需要注意的是,将在稍后描述命令产生单元136分解ccR以计算平移轴的角度ccθzho的方法。

接下来,引领装置10向移动体20发送引领命令(步骤S205)。更具体地讲,命令产生单元136经通信控制单元134向移动体20发送引领命令。需要注意的是,每次引领装置10的位置估计单元132输出自己位置时,执行步骤S201至S205的处理。

接下来,将描述移动体20中的处理。

移动体20通过通信控制单元213来接收由引领装置10计算的引领命令(步骤S207)。接收的引领命令被发送给信息处理装置220。

接下来,信息处理装置220基于发送的引领命令产生机体目标位置和平台目标位置(步骤S209)。更具体地讲,参数产生单元221产生与机体目标位置和平台目标位置相关的各种参数,并且向机体控制单元214和平台控制单元215发送产生的各种参数。

在移动体20是具有四电机(quad rotor)的飞行物体的情况下,通过机体21的姿势来控制机体21的向前、向后、向左和向右移动。因此,不能仅通过机体21的移动来实现由引领装置10表示的图像捕获装置25的位置和姿势。因此,除围绕沿平动方向和重力方向的轴的旋转之外的自由度由平台24实现。另外,由于移动体20的运动状态或干扰(诸如,风)而导致的移动体20的姿势的变化也由平台24吸收。

将描述计算机体目标位置的特定方法。机体目标位置(dwXrefdwYrefdwZrefdwθzref)是代表世界坐标系(DW)和水平机体坐标系(DH)之差的值。在机体目标位置的情况下,由于重力方向与dwZ轴和dhZ轴对准,所以所述自由度由四个值表示,所述四个值包括平动的三个自由度(dwXrefdwYrefdwZref)和围绕Z轴的旋转(dwθzref)。

参数产生单元221通过使用下面的方程来计算机体目标位置。需要注意的是,在转变为直接引领模式(步骤S117)时存储在信息处理装置220中的值被用于计算移动比和引领原点。这里,引领原点的齐次变换矩阵由下面的方程(12)至(14)表示。

另外,机体目标位置的齐次变换矩阵由下面的方程(15)和(16)表示。需要注意的是,dwRref是代表机体21的旋转分量的旋转矩阵。

首先,参数产生单元221通过使用下面的方程(17)基于从引领装置10接收的引领装置10的相对移动量和在转变为直接引领模式时存储在信息处理装置220中的移动比来计算机体21的相对移动量的目标值。也就是说,参数产生单元221将从引领装置10接收的引领装置10的相对移动量乘以移动比以计算平动分量(也就是说,移动体20的相对移动量)作为移动参数。需要注意的是,相对移动量的目标值是代表引领坐标系(DC)和水平机体坐标系(DH)之差的值。

参数产生单元221将从引领装置10接收的引领装置10的旋转分量按原样用于机体21的旋转分量。

dcθ2refccθzho (18)

如上所述,机体21的相对移动量的目标值的齐次变换矩阵由下面的方程(20)表示。

参数产生单元221通过使用下面的方程(21)基于机体21的相对移动量的目标值和引领原点来计算机体目标位置。

dwTrefdwTco dcTref (21)

参数产生单元221能够从dwTref提取必要分量以获得dwPrefdwRref。另外,参数产生单元221从dwPref获得dwXrefdwYrefdwZref作为移动参数。另外,参数产生单元221能够将dwRref分解为平移角、倾斜角和滚动角,并且获得平移角dwθzref作为第一姿势参数。将在稍后描述参数产生单元221获得平移轴的角度dwθzref的计算方法。

围绕X轴和Y轴的旋转由平台24实现。参数产生单元221通过使用将在稍后描述的用于计算平台目标姿势的方法基于由移动体20的位置估计单元212获取的自己位置的姿势分量与从引领装置10发送的引领装置10的姿势(cwθtcwθr)计算平台目标位置作为第二姿势参数。

需要注意的是,平台24的平移轴和机体21的位置可被链接到彼此,以便提高图像捕获装置25的姿势对引领装置10的姿势的变化的响应。具体地讲,由于平台24被电机直接驱动,所以能够预期平台24的姿势具有比机体21的姿势好的响应性。因此,在围绕Z轴的旋转的情况下,在机体21的自己位置到达机体目标位置之前,由下面的方程(22)表示的机体目标位置和机体21的自己位置之差的量可由平台24的平移轴补偿。

平台目标位置(θp)=机体目标位置(dwθzref)-机体自己位置(dwθz)(22)

参数产生单元221在机体控制单元214中设置获得的机体目标位置,并且在平台控制单元215中设置平台目标位置(步骤S211)。

接下来,移动体20控制机体21和平台24(步骤S213)。更具体地讲,设置了机体目标位置的机体控制单元214控制机体21,从而设置的机体目标位置和机体21的自己位置变为彼此相同。设置了平台目标位置的平台控制单元215控制平台24,从而平台24的位置变为设置的平台控制位置。以这种方式,引领装置10中的引领者的操作被反映在机体21和平台24的位置和姿势中。

另外,信息处理装置220可计算机体目标位置和机体21的当前位置之差或平台目标位置和平台24的当前位置之差,并且经通信控制单元213向引领装置10发送所述差值。所述差值可由例如信息处理装置220中所包括的参数产生单元221计算。引领装置10可通过使用接收的差值在引领装置10的显示单元16或输入/输出单元18上显示引领装置10的姿势在移动体20中的反映的情况。例如,如下面的网页的Section 3.5中所述,当图像捕获装置25的图像被显示在显示单元16或输入/输出单元18上时,例如,UI控制单元138可执行透视变换,并且可按照视觉方式表示:图像捕获装置25的姿势未跟上引领装置10的姿势。

(参考URL)

·http://www.interaction-ipsj.org/archives/paper2013/data/Interaction2013/oral/data/pdf/13INT012.pdf

以上,已描述第一处理示例。将描述根据本公开的实施例的信息处理装置220的效果。根据本公开的实施例的信息处理装置220基于从引领装置10到第一位置的第一距离与从移动体20到第二位置的第二距离的比率以及引领装置10的移动产生用于控制移动体20的移动的移动参数。移动体20的移动基于产生的移动参数而被控制。因此,引领者能够通过移动引领装置10来控制移动体20的移动。另外,由于移动体20的移动基于上述比率而被控制,所以引领者能够更容易地想象移动体20的移动。因此,引领者能够更容易地控制移动体20的移动。

另外,在根据本公开的实施例的信息处理装置220中,参数产生单元221将第一距离和第二距离的比率乘以引领装置10的移动量以产生移动体20的移动量作为移动参数。移动体20的移动量基于产生的移动量而被控制。因此,由于移动体20移动与引领装置10的移动量成比例的移动量,所以引领者能够更容易地预测移动体20的移动。因此,引领者能够更容易地控制移动体20的移动。

将参照图13更详细地描述根据本公开的实施例的信息处理装置220的效果。图13是用于描述根据本公开的实施例的信息处理装置220的效果的示图。图13表示移动体20、移动体20的图像捕获目标600、引领装置的引领者U1和模仿图像捕获目标600的缩微模型602。在引领装置10的引领者U1的上侧示出的箭头604是示意性地指示引领装置10的移动量的箭头。另外,在移动体20的上侧示出的具有点的箭头606是示意性地指示移动体20的移动量的箭头。由箭头606指示的移动量是通过将引领装置的地上高度(Hc)和移动体20的地上高度(Hd)的比率乘以由箭头604指示的移动量来计算的量。这里,假设:所述比率是n倍。

如上所述,在第一处理示例中,第一距离是引领装置10的地上高度(Hc),并且第二距离是移动体20的地上高度(Hd)。因此,引领者U1能够基于引领装置10的地上高度和移动体20的地上高度的比率控制移动体20的移动。因此,引领者U1能够更容易地想象移动体20的移动,并且能够更容易地控制移动体20的移动。

另外,在根据本公开的实施例的信息处理装置220中,参数产生单元221产生用于使移动体20采用根据引领装置10的姿势的姿势的第一姿势参数。根据引领装置10的姿势的姿势由移动体20基于第一姿势参数实现。因此,由于引领装置10的姿势和移动体20的姿势被链接到彼此,所以引领者U1能够更容易地控制移动体20的移动。

另外,在本实施例中,移动体20包括用于捕获风景的图像的图像捕获装置25。在本实施例中,引领者U1能够仅通过移动引领装置10来控制移动体20的移动。因此,引领者U1不仅能够容易地控制移动体20的移动,还能够使安装在移动体20上的图像捕获装置25更合适地执行图像捕获。

另外,在本实施例中,移动体20包括平台24,图像捕获装置25被安装在平台24上。另外,信息处理装置220中所包括的参数产生单元221能够产生用于使平台24采用根据引领装置10的姿势的姿势的第二姿势参数。平台24的姿势基于第二姿势参数而被控制,并且根据引领装置10的姿势的姿势被实现。因此,由于引领者U1能够通过调整引领装置10的姿势来控制图像捕获装置25捕获图像的方向,所以可使安装在移动体20上的图像捕获装置25更容易地并且合适地捕获图像。

在本实施例中,引领装置10和移动体20被布置为彼此分开,并且以可通信方式彼此连接。在本实施例中,引领装置10通过由引领者U1在地面附近携带而移动。另一方面,移动体20在天空中飞行。如上所述,即使在引领装置10和移动体20被布置为彼此分开的情况下,引领者U1也能够仅通过移动引领装置10来控制移动体20的移动。也就是说,引领者U1能够更容易地控制布置为与它分开的移动体20的移动。

另外,在本公开的实施例中,移动体20是飞行物体。具体地讲,移动体20被假设为是无人机。在移动体20是这种飞行物体的情况下,引领者U1能够通过在空中移动引领装置10来控制移动体20的移动。因此,引领者U1能够以三维方式控制移动体20。如上所述,即使在移动体20在较高高度操作的情况下,引领者U1也能够通过仅在狭窄的范围中移动来容易地引领移动体20,例如在图像捕获目标600周围飞行的操作,就好像引领者U1用手握着视频照相机并且捕获图像。

另外,上述专利文献1描述这样一种技术:测量引领者的移动量,并且将移动体移动相同的移动量。然而,在移动体20在较高高度捕获地面的图像的情况下,改变图像捕获位置所需的移动量较大,并且使引领者执行这种移动是不实际的。特别地,在用户需要移动用于改变图像捕获位置的量的情况下,例如,当用户试图将移动体20从在20m的高度在45°执行图像捕获的地方逆时针移动90°时,引领者也需要在具有20m的半径的圆上旋转90°。由于这个原因,引领者的移动的负担较大,并且也难以在引领者周围确保这种空间。

通常,使用移动体(诸如,无人机)的空中的图像捕获被执行。为了在空中的图像捕获中执行预期成帧(framing),必须在检查安装在移动体上的图像捕获装置的捕获图像的预览的同时控制无人机的机体或安装有图像捕获装置的万向平台。然而,引领者需要独自在观看显示所述预览的监视器的同时执行机体、万向平台等全部部件的控制。另外,在无人机的机体的引领和图像捕获装置的控制由两个引领者共享的情况下,所述两个引领者难以向彼此通知他们想要移动机体或万向平台的方向。无人机被使用比例发送器引领,但移动什么以及移动到哪里以便调整图像捕获装置的成帧并不直观。因此,难以根据感觉调整图像捕获装置的成帧。

在本实施例中,引领装置10通过由引领者U1携带而移动。由于这个原因,引领者U1仅需移动引领装置10,就好像引领者U1通过使用照相机来捕获引领者U1的前面的缩微模型602的图像。因此,移动体20或安装在移动体20上的平台24被控制,从而引领者U1预期的图像捕获装置25的成帧被实现。作为结果,与机体21和平台24被使用比例发送器分别手动地控制的情况相比,引领者U1能够更容易地并且直观地执行安装在移动体20上的图像捕获装置25的成帧。

<<2.2.第二处理示例>>

在第一处理示例中,引领装置10和移动体20的地上高度被用于移动比(Sm)的计算。在第二处理示例中,替代于地上高度,与注视点的距离的比率被用于计算移动比(Sm)。

将参照图14和15描述注视点。图14是用于描述移动体20的第二注视点708的示图。图14表示移动体20和位于移动体20的前面的图像捕获目标700。安装在移动体20上的图像捕获装置25捕获图像捕获目标700的图像。需要注意的是,由折线指示的区域702指示图像捕获装置25的视场并且包括第二注视点708。

例如,第二注视点可被包括在由图像捕获装置25捕获的图像捕获目标700中。在图14中示出的示例中,由交叉标记指示的第二注视点708是注视点。图像捕获装置25的朝着第二注视点708的方向704由箭头指示。在第二处理示例中,布置在移动体20中的距离测量传感器26测量从移动体20到第二注视点708的距离Dd作为第二距离。需要注意的是,在第二处理示例中,第二注视点708是第二位置。

接下来,将参照图15描述引领装置10的第一注视点720。图15是用于描述引领装置10的第一注视点720的示图。图15表示引领装置10、引领引领装置10的引领者U2和位于引领装置10的前面的替代目标710。另外,由点线指示的区域712是立体照相机14的视场。另外,由折线指示的区域714是基于移动体20中所包括的图像捕获装置25的视角的虚拟视场,并且包括第一注视点720。第一注视点720由替代目标710的上部的交叉标记指示。另外,立体照相机14的朝着第一注视点720的方向718由箭头指示。需要注意的是,在第二处理示例中,引领装置10的立体照相机14观看第一注视点720的方向718和移动体20的图像捕获装置25观看第二注视点708的方向704彼此相同。需要注意的是,所述两个方向彼此相同的状态在这里不仅包括所述两个方向完全彼此一致的状态,还包括所述两个方向在用户感觉所述两个方向彼此一致的这种程度上彼此相同的状态。

在第二处理示例中,图像捕获装置25的第一注视点720被包括在替代目标710中。替代目标710是作为安装在移动体20上的图像捕获装置25的图像捕获目标700的替换物的替代目标。例如,在图14中示出的图像捕获目标700是岩石等的情况下,引领者U2可选择具有与岩石等类似的形状的物体作为图像捕获目标700的替代目标710。在第二处理示例中,在安装在引领装置10上的立体照相机14朝向使用引领装置10的引领者U2周围的物体的状态下,设置注视点。在第二处理示例中,从引领装置10到第一注视点720的距离Dc被测量作为第一距离。需要注意的是,在第二处理示例中,第一位置是第一注视点720。

在第二处理示例中,距离Dd和距离Dc的比率被用作移动比(Sm)。因此,引领者U2能够通过引领机体21和平台24来捕获图像捕获目标700的图像,就好像引领者U2捕获引领者U2周围的物体的图像。

以下,将描述第二处理示例中由引领装置10和移动体20执行的处理,关注与第一处理示例的差别。这里,第一处理示例和第二处理示例中的基本上相同的处理的描述被省略。

注视点需要在飞行模式转变为直接引领模式之前被设置。在第二处理示例中,除了第一处理示例中的处理之外,还执行用于设置注视点的注视点设置模式的处理。在注视点设置模式下,仅引领装置10的姿势被链接到移动体20的图像捕获装置25的姿势。因此,引领者U2能够通过移动引领装置10来调整图像捕获装置25的姿势,从而将要被设置为第二注视点的地方落在图像捕获装置25的视场内。

在第二处理示例中,在从另一模式转变为直接引领模式时,总是执行注视点设置模式。然而,一旦注视点被设置,注视点的设置可被省略。

以下,将描述当使用注视点时的移动体20的飞行模式到直接引领模式的转变的流程。

这里,假设:由移动体20的图像捕获装置25捕获的图像被不断地从移动体20发送给引领装置10,并且该图像被不断地显示在引领装置10的输入/输出单元18上。另外,显示的图像可包括当安装在移动体20上的图像捕获装置25捕获图像时的图像捕获时间。另外,显示的图像可包括每次图像捕获装置25捕获图像时增加的图像编号。诸如图像捕获时间或图像编号的信息还可被发送给引领装置10。

首先,在观看输入/输出单元18的同时,通过预先使用手动引领模式等,在预期被设置为第二注视点的地方被包括在图像捕获装置25的视场中的状态下,引领者U2使移动体20盘旋。另外,引领者U2站在替代目标(诸如,引领者U2周围的模仿图像捕获目标的物体或墙壁)的前面,并且使引领装置10朝向替代目标。在这种状态下,当引领者U2使用输入/输出单元18的UI执行用于飞行模式转变为注视点设置模式的操作时,用于转变为注视点设置模式的处理(也就是说,如稍后所述的图16中示出的处理)开始。

以下,将参照图16和17描述第二处理示例中由引领装置10和移动体20执行的处理。首先,将描述为了转变为注视点设置模式而由引领装置10执行的处理。图16是表示移动体20的飞行模式转变为注视点设置模式的过程中的处理的流程图。

当引领者U2通过使用输入/输出单元18的UI来执行用于飞行模式转变为注视点设置模式的操作时,用于转变为注视点设置模式的操作的命令被输入到引领装置10(步骤S301)。更具体地讲,输入到输入/输出单元18的用于转变为注视点设置模式的操作的命令经UI控制单元138被发送给命令处理单元135。

接下来,当命令处理单元135接收到用于转变为注视点设置模式的操作的命令时,命令产生单元136从引领装置10的位置估计单元132获取引领装置10的当前自己位置(步骤S303)。

接下来,命令产生单元136基于获取的自己位置将引领装置10的姿势分解为包括平移角(cwθp)、倾斜角(cwθt)和滚动角(cwθr)的角度(步骤S305)。需要注意的是,将在稍后描述命令产生单元136将姿势分解成所述角度的方法。

存储单元137存储计算的引领装置10的姿势的平移角(cwθp)作为注视点设置模式原点(cwθpvp)。

接下来,命令产生单元136经通信控制单元134向移动体20发送用于转变为注视点设置模式的命令以及下面的两个数据(步骤S307)。

(1)引领装置10的当前姿势(倾斜角(cwθt)和滚动角(cwθr))

(2)引领装置10的当前姿势和注视点设置模式原点之间的平移轴差分角度(cvθp)

需要注意的是,通过使用下面的方程(23)来计算平移轴差分角度(cvθp)。

平移轴差分角度(cvθp)=引领装置的姿势(cwθp)-注视点设置模式原点(cwθpvp)(23)

移动体20通过从引领装置10接收到用于转变为注视点设置模式的命令来开始用于转变为注视点设置模式的处理。以下,将描述在那时的信息处理装置220的操作。

一旦移动体20从引领装置10接收到用于转变为注视点设置模式的命令,信息处理装置220从位置估计单元212获取机体21的自己位置(步骤S309)。

接下来,信息处理装置220分解当前姿势,并且计算平移角(步骤S311)。信息处理装置220存储计算的平移角作为注视点设置模式原点(dvθpvp)。

接下来,信息处理装置220产生平台24的目标姿势(步骤S313)。更具体地讲,参数产生单元221基于从引领装置10接收的引领装置10的当前姿势和机体21的自己位置的姿势分量产生用于使平台24采用根据引领装置10的姿势的姿势的第二姿势参数作为平台24的目标姿势。需要注意的是,将在稍后描述参数产生单元221产生第二姿势参数的方法。

接下来,移动体20控制平台24(步骤S315)。更具体地讲,信息处理装置220向平台控制单元215发送计算的平台24的目标姿势。平台控制单元215基于发送的平台24的目标姿势控制平台24。

一旦平台24的控制完成,移动体20向引领装置10发送至注视点设置模式的转变的完成的报告(步骤S317)。此时,信息处理装置220转变为注视点设置模式。

通过上述步骤S301至S317的处理,引领装置10的姿势和安装在移动体20上的图像捕获装置25的姿势在倾斜角和滚动角方面彼此同步。另外,对于平移角,从用于转变为注视点设置模式的操作被执行的定时开始,用于引领装置10的姿势和安装在移动体20上的图像捕获装置25的姿势的操作也相对地彼此同步。

一旦引领装置10从移动体20接收到至注视点设置模式的转变的完成的报告,引领装置10的模式变为注视点设置模式。

在注视点设置模式下,引领装置10经UI控制单元138通过输入/输出单元18的UI显示用于指定注视点的指令(步骤S319)。

在注视点设置模式下,命令处理单元135经通信控制单元134向移动体20发送下面的两个数据作为用于图像捕获装置25的姿势控制命令(步骤S321)。需要注意的是,该发送被周期性地执行(按照引领装置10的位置估计单元132输出自己位置的速度)。

(1)引领装置10的当前姿势(倾斜角(cwθt)和滚动角(cwθr))

(2)引领装置10的当前姿势和注视点设置模式原点之间的平移轴差分角度(cvθp)

需要注意的是,通过使用下面的方程(24)来计算平移轴差分角度(cvθp)。

平移轴差分角度(cvθp)=引领装置的姿势(cwθp)-注视点设置模式原点(cwθpvp)(24)

移动体20产生平台24的目标姿势(步骤S323)。更具体地讲,一旦从引领装置10接收到用于图像捕获装置25的姿势控制命令,参数产生单元221基于接收的引领装置10的当前姿势和机体21的自己位置的姿势分量产生关于平台24的目标姿势的第二参数。需要注意的是,将在稍后描述参数产生单元221产生第二参数的方法。产生的第二参数被发送给平台控制单元215。

接下来,移动体20控制平台24(步骤S325)。更具体地讲,平台控制单元215基于在步骤S323中获取的第二参数控制平台24。

上述步骤S321至S325的处理被周期性地执行,并且在下面的注视点设置模式下,图像捕获装置25的姿势与引领装置10的姿势同步地变化。在这种状态下,注视点被设置。

以下,将参照图17描述用于注视点的设置的处理。图17是表示用于第一和第二注视点的设置的处理的流程图。以下,将利用图17中示出的流程图提供描述。

首先,将描述引领装置10中的处理的流程。

首先,引领装置10设置注视点(步骤S401)。例如,通过引领者U2操作引领装置10来设置注视点。这里,将描述引领者U2在引领装置10中设置注视点的两种方法。

在第一方法中,引领者U2改变引领装置10的姿势以在显示在引领装置10的输入/输出单元18上的图像捕获装置25的图像的中心设置第二注视点。接下来,引领者U2在显示在输入/输出单元18上的UI中按下用于设置第二注视点的按钮。作为结果,第二注视点的图像坐标被固定到显示在输入/输出单元18上的图像的中心。

在第二方法中,引领者U2改变引领装置10的姿势以在显示在引领装置10的输入/输出单元18上的图像捕获装置25的图像上的任意地方设置第二注视点。接下来,引领者U2在显示在输入/输出单元18上的UI中触摸图像上的用于第二注视点的地方。

虽然以上已描述引领者U2设置注视点的两种方法,但用于设置第二注视点的方法不限于以上方法。

一旦注视点被设置,引领装置10测量从引领装置10到第一注视点的距离Dc(步骤S403)。更具体地讲,距离测量单元133基于由立体照相机14捕获的图像测量从引领装置10到第一注视点的距离(Dc)。

需要注意的是,当由引领装置10的立体照相机14沿与从移动体20的图像捕获装置25朝着第二注视点的方向相同的方向观看时,从引领装置10到第一注视点的距离(Dc)是深度。以下,将描述测量与由输入/输出单元18指定的第二注视点的图像捕获装置25的图像坐标对应的深度(Dc)的方法。

这里,假设:引领装置10的立体照相机14和移动体20的图像捕获装置25都是针孔照相机模型。针孔照相机模型被例如公开在下面的网页中。

(参考URL)

·https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html

·https://jp.mathworks.com/help/vision/ug/camera-calibration.html

针孔照相机模型中的坐标系的定义被示出在图18中。图18是表示针孔照相机模型中的坐标系的示图。三维空间的正交坐标系中的坐标轴800、定义图像坐标的坐标轴802和包括图像坐标的图像平面804被示出。三维空间的正交坐标系中的坐标轴800包括彼此正交的三个轴(Xp轴、Yp轴和Zp轴)。假设:Zp轴对应于立体照相机14和图像捕获装置25的光轴方向。另外,定义图像坐标的坐标轴802包括彼此正交的两个轴(U和V)。以下,将使用这个坐标系描述测量从引领装置10到第一注视点的距离的方法。

在针孔照相机模型中,在三维空间上的点(x,y,z)810与连接原点806和点(x,y,z)810的线和图像平面804之间的交叉点(u,v)之间,存在由下面的方程(25)至(28)表示的关系。

这里,fx和fy是以像素单位表示的焦距,并且cx和cy是主点的图像坐标。包括fx、fy、cx和cy的矩阵K被称为内部参数。对于每个类型的立体照相机14或图像捕获装置25,内部参数是不同的。假设:Kd是移动体20的图像捕获装置25的内部参数,并且Kc是引领装置10的立体照相机14的内部参数。另外,由输入/输出单元18指定的注视点的图像捕获装置25的图像坐标由ud和vd表示,并且立体照相机14中的沿对应方向的图像坐标由uc和vc表示。

当由图像捕获装置25观看的图像上的点(ud,vd)的方向与由引领装置10的立体照相机14观看的图像上的点(uc,vc)的方向相同时,由图像捕获装置25观看的x'和y'等于由立体照相机14观看的x'和y'。此时,满足下面的方程(29)和(30)。

因此,在立体照相机14中,通过下面的方程(31)来获得沿与由图像捕获装置25观看的方向对应的方向的图像坐标uc和vc

距离测量单元133测量沿与图像坐标uc和vc对应的方向的深度Dc(也就是说,从引领装置10到第一注视点的距离)。

移动体20的图像捕获装置25的内部参数Kd可被预先存储在引领装置10中,或者可由引领装置10在执行步骤S403的处理之前经通信控制单元134从移动体20获取。另外,在图像捕获装置25包括变焦机构的情况下,内部参数Kd根据变焦放大率而变化。由于这个原因,引领装置10可具有与变焦放大率对应的Kd的值的表,或者可在每次执行变焦操作时从移动体20获取所述值。

另外,在设置注视点时,图像捕获装置25的图像被显示在输入/输出单元18上。除了该图像之外,输入/输出单元18可叠加并且显示引领装置10的立体照相机14的图像和该图像中的注视点位置。需要注意的是,立体照相机14的图像可以是立体照相机14的左照相机和右照相机二者的图像,或者可以是左照相机和右照相机中的任何一个照相机的图像。另外,为了便容易地瞄准注视点,在引领装置10中,例如,允许前方区域的视觉识别的孔或瞄准器被布置在显示单元16的上部等。

接下来,引领装置10获取其自己位置(步骤S405)。更具体地讲,位置估计单元132获取引领装置10的当前位置。获取的自己位置被作为引领原点存储在命令处理单元135的存储单元137中。

随后,命令产生单元136基于在步骤S405中获取的自己位置分解引领装置10的姿势,并且产生平移角(cwθp)、倾斜角(cwθt)和滚动角(cwθr)(步骤S407)。将在稍后描述命令产生单元136分解引领装置10的姿势并且计算这些角度的方法。

接下来,引领装置10经通信控制单元134向移动体20发送用于转变为直接引领模式的命令以及下面的四个数据(步骤S409)。

(1)从引领装置10到第一注视点的距离(Dc)

(2)注视点的图像坐标

(3)引领装置10的当前姿势(倾斜角(cwθt)和滚动角(cwθr))

(4)在设置注视点时使用的图像捕获装置25的图像的图像捕获时间或图像编号

需要注意的是,(4)的数据并不必然被发送给移动体20,但能够被用在如稍后所述的步骤S411中。

一旦用于转变为直接引领模式的命令被发送给移动体20,引领装置10等待来自移动体20的至直接引领模式的转变的完成的报告。

接下来,将描述在设置注视点时的移动体20中的处理的流程。

一旦从引领装置10接收到用于转变为直接引领模式的命令,移动体20测量从移动体20到第二注视点的距离Dd(步骤S411)。更具体地讲,距离测量传感器26设置与图像捕获装置25的图像的中心或从引领装置10发送的注视点的图像坐标对应的点作为第二注视点,并且测量沿与第二注视点对应的方向的深度(Dd)。测量的距离(Dd)被发送给信息处理装置220。

需要注意的是,当引领者U2在引领装置10中设置注视点时显示在输入/输出单元18等上的图像在比测量距离(Dd)的定时早的定时被捕获。因此,移动体20可缓冲测量距离(Dd)所需的信息(例如,深度数据等)。距离测量传感器26可通过使用在设置注视点时使用的图像捕获装置25的图像的图像捕获时间或图像编号使用过去的对应信息来测量距离(Dd),图像捕获时间或图像编号被与用于转变为直接引领模式的命令一起接收。

接下来,信息处理装置220计算移动比(步骤S413)。更具体地讲,参数产生单元221通过使用从引领装置10接收的从引领装置10到第一注视点的距离(Dc)和由距离测量传感器26测量的从机体21到第二注视点的距离(Dd)基于下面的方程(32)来计算移动比。

移动比(Sm)=从机体到第二注视点的距离(Dd)/从引领装置到第一注视点的距离(Dc)(32)

接下来,信息处理装置220从位置估计单元212获取机体21的当前自己位置(步骤S415)。信息处理装置220将获取的自己位置存储在存储单元225中作为引领原点。

移动体20向引领装置10发送至直接引领模式的转变的完成的报告(步骤S417)。更具体地讲,报告信息产生单元222经通信控制单元213向引领装置10发送至直接引领模式的转变的完成的报告。

如上所述,通过图17中示出的处理,引领装置10和移动体20都转变为直接引领模式。在引领装置10和移动体20转变为直接引领模式之后,像在第一处理示例中一样执行图12中示出的处理,以使得引领装置10的移动量能够基于与注视点的距离的比率而被反映在移动体20的移动量中。

需要注意的是,在注视点设置模式下,引领装置10可包括用于阻止沿平移轴方向的引领装置10和安装在移动体20上的图像捕获装置25的姿势暂时地链接到彼此的按钮(以下,也被称为“暂时链接解除按钮”)。这里,将描述暂时链接解除按钮的操作。

在这种情况下,引领装置10执行下面的处理。在引领者U2按下暂时链接解除按钮的同时,引领装置10不向移动体20发送平移轴差分角度(cvθp)。当引领者U2松开暂时链接解除按钮时,引领装置10通过使用与上述计算方法(例如,在步骤S303中使用的计算方法)类似的方法基于引领装置10的当前自己位置计算注视点设置模式原点(cwθpvp)。引领装置10更新计算的注视点设置模式原点(cwθpvp),并且向移动体20发送用于重置注视点设置模式的原点的命令(以下,也被称为“注视点设置模式原点重置命令”)。

接下来,移动体20执行下面的操作。一旦注视点设置模式原点重置命令被接收到,存储在移动体20中的注视点设置模式原点(dvθpvp)通过使用与上述计算方法(例如,在步骤S311中使用的计算方法)类似的方法基于机体21的当前自己位置而被计算和更新。

利用上述操作,在引领者U2按下暂时链接解除按钮的同时,沿平移轴方向的引领装置10的移动不被反映在移动体20中。因此,当引领者U2使引领装置10的注视点与引领者U2周围的物体对准时,可调整相对于移动体20的注视点的偏差。

以上,已描述第二处理示例。

在第二处理示例中,第一位置是由引领装置10中所包括的立体照相机14捕获的第一注视点,并且第二位置是由移动体20中所包括的图像捕获装置25捕获的第二注视点。因此,引领者U2能够容易地了解第一距离和第二距离的比率,并且能够更容易地控制移动体20的移动。

另外,在第二处理示例中,第二注视点被包括在由图像捕获装置25捕获的图像捕获目标700中,并且第一注视点被包括在作为图像捕获目标700的替换物的替代目标710中。因此,引领者U2能够使移动体20中所包括的图像捕获装置25捕获图像捕获目标700的图像,就好像捕获替代目标710的图像。

此外,在第二处理示例中,引领装置10的立体照相机14观看第一注视点的方向和移动体20的图像捕获装置25观看第二注视点的方向彼此相同。因此,引领者U2能够使图像捕获装置25更容易地合适地捕获图像。

<<2.3.计算方法的补充描述>>

[(A)将姿势分解成包括平移轴、倾斜轴和滚动轴的角度分量的方法]

这里,将描述通过三维旋转矩阵R分解成包括平移轴、倾斜轴和滚动轴的各三个轴的角度的方法。具体地讲,将描述命令产生单元136将引领装置10的姿势分解成各角度的方法和参数产生单元221产生第一姿势参数的方法。例如,将描述在上述实施例中在步骤S107、S117、S203、S209、S305、S407等中使用的计算方法。

平移轴、倾斜轴和滚动轴中的各角度分别被定义为平移角θp、倾斜角θt和滚动角θr,并且与各轴对应的旋转矩阵分别被定义为Rp、Rt和Rr。此时,旋转矩阵Rp、Rt和Rr分别由下面的方程(33)至(35)表示。

由于围绕所有三个轴的旋转是围绕各轴的旋转的组合,所以旋转矩阵R能够由下面的方程(36)表示。

从方程(36),使用下面的方程(37)至(39)使用旋转矩阵R的分量获得平移角、倾斜角和滚动角。

θp=tan-1(R21/R11) (37)

θt=sin-1(-R31) (38)

θr=tan-1(R32/R33) (39)

[(B)平台目标姿势的计算方法]

接下来,将描述参数产生单元221产生第二姿势参数(用于控制平台24的姿势的参数)的方法。例如,将描述在上述实施例中在步骤S119、S313、S323等中使用的计算方法。考虑到移动体20的姿势,基于下面的方程(40)至(43)计算用于实现图像捕获装置25的指定姿势的平台24的姿势。

代表水平机体坐标系(DH)和机体坐标系(DB)之间的关系的旋转矩阵dhRb能够被如下表示,并且是仅包括倾斜轴分量和滚动轴分量(不包括平移轴分量)的旋转矩阵,其中通过将代表移动体20的自己位置的姿势的旋转矩阵dwR分解成平移轴、倾斜轴和滚动轴的旋转矩阵来获得dhRbpdhRbtdhRbr

dhRbdhRbt dhTbr (40)

代表水平机体坐标系(DH)和图像捕获装置坐标系(DS)之间的关系的旋转矩阵dhRs能够由下面的方程(41)使用各轴的旋转矩阵(倾斜轴的旋转矩阵(dhRstdhRs(dwθts))和滚动轴的旋转矩阵(dhRsr=Rr(dwθrs)))表示。

dhRsdhRst dhTsr (41)

假设:由平台24改变的姿势的旋转矩阵是dbRsdhRsdhRb之间的关系由下面的方程(31)表示。

dhRsdhRb dbRs (42)

根据以上描述,当移动体20的姿势是dhRb时,通过使用下面的方程(43)来获得使图像捕获装置25在水平机体坐标系(DH)中采用姿势dhRs所需的平台24的姿势dbRs

在通过使用上述计算方法(A)分解获得的dbRs而获得的平移角、倾斜角和滚动角之中,倾斜角和滚动角变为平台24的目标姿势。

<3.修改示例>

接下来,将参照图19至21描述上述实施例的修改示例。在上述实施例中,移动体20包括信息处理装置220。根据本公开的信息处理装置不限于此,并且可被布置在移动体外部。在修改示例中,将描述这样的情况:信息处理装置被布置在移动体外部。根据修改示例的信息处理装置34可以是例如由用户拥有的移动终端等。

图19是表示根据修改示例的信息处理系统2的结构的示图。如图2中所示,信息处理系统2包括引领装置10、移动体30和信息处理装置34。在修改示例中,引领装置10、移动体30和信息处理装置34经网络38彼此连接。另外,引领装置10和移动体30在没有网络38的情况下以可通信方式彼此连接。

需要注意的是,网络38可包括公共线网(诸如,电话线网、互联网或卫星通信网络)、局域网(LAN)、广域网(WAN)等。另外,网络38可包括专用线网,诸如互联网协议-虚拟私有网络(IP-VPN)。

接下来,将参照图20描述根据修改示例的移动体30的结构。图20是表示根据修改示例的移动体20的结构的功能框图。如图20中所示,根据修改示例的移动体30不包括信息处理装置。由高度估计单元211、位置估计单元212、图像捕获装置25和距离测量传感器26获取的信息被发送给通信控制单元213。通信控制单元213经网络38向信息处理装置34发送用于控制移动体30的移动的信息以便使信息处理装置34根据需要产生信息。

另外,移动体30经网络38通过通信控制单元213从信息处理装置34接收用于控制机体21或平台24的信息,并且向机体控制单元214或平台控制单元215发送所述信息。作为结果,机体21和平台24的位置或姿势被控制。

接下来,将参照图21描述根据修改示例的信息处理装置34的结构。图21是表示根据修改示例的信息处理装置34的结构的功能框图。类似于图6中示出的信息处理装置220,信息处理装置34包括参数产生单元221、报告信息产生单元222和存储单元225。除了这些功能单元之外,根据修改示例的信息处理装置34还包括通信控制单元340。信息处理装置34根据需要通过通信控制单元340接收与移动体30的运动相关的信息,并且基于接收的信息产生用于控制移动体30的运动的信息。例如,参数产生单元221产生用于控制机体21或平台24的位置或姿势的各种参数。在信息处理装置34中,通信控制单元340经网络38向引领装置10或移动体30发送产生的信息。

<4.硬件结构示例>

接下来,将参照图22详细地描述根据本公开的实施例的信息处理系统1或2中所包括的处理装置13、控制装置27和32或信息处理装置34和220(以下,也被统称为“信息处理装置等”)的硬件结构的示例。图22是表示根据本公开的实施例的信息处理装置等的硬件结构示例的功能框图。

根据本实施例的信息处理装置等主要包括CPU 901、ROM 902和RAM 903。另外,信息处理装置等还包括主机总线904、桥905、外部总线906、接口907、输入装置908、输出装置909、存储装置910、驱动器912、连接端口914和通信装置916。

CPU 901用作算术处理装置和控制装置,并且根据记录在ROM902、RAM 903、存储装置910或可移除记录介质913中的各种程序控制信息处理装置等中的总体操作或其一部分。ROM 902存储由CPU901使用的程序、计算参数等。RAM 903主要存储由CPU 901使用的程序、在程序的执行期间根据需要变化的参数等。通过通过使用内部总线(诸如,CPU总线)而配置的主机总线904,这些彼此连接。例如,图3中示出的高度估计单元131、位置估计单元132、距离测量单元133、通信控制单元134、命令产生单元136或UI控制单元138能够由CPU 901实现。另外,图5或20中示出的高度估计单元211、位置估计单元212、通信控制单元213、机体控制单元214或平台控制单元215能够由CPU 901实现。另外,图6或21中示出的参数产生单元221或报告信息产生单元222能够由CPU 901实现。

主机总线904经桥905被连接到外部总线906,诸如外围部件互连/接口(PCI)总线。另外,输入装置908、输出装置909、存储装置910、驱动器912、连接端口914和通信装置916经接口907被连接到外部总线906。

输入装置908是由用户操作的操作设备,诸如鼠标、键盘、触摸面板、按钮、开关、操纵杆或踏板。另外,输入装置908可以是例如使用红外线或其它无线电波的遥控设备(所谓的遥控器),或者可以是外部连接装置915(诸如,支持信息处理装置等的操作的移动电话或PDA)。另外,通过使用例如输入控制电路来配置输入装置908,所述输入控制电路基于由用户使用以上操作设备输入的信息产生输入信号并且将输入信号输出给CPU 901。通过操作输入装置908,信息处理装置等的用户能够将各种数据输入到信息处理装置等并且指示处理操作。

通过使用能够以视觉方式或以听觉方式向用户通知获取的信息的装置来配置输出装置909。这种装置的示例包括显示装置(诸如,CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置或灯)、音频输出装置(诸如,扬声器或头戴式耳机)、打印机装置等。输出装置909输出例如通过由信息处理装置等执行的各种处理而获得的结果。具体地讲,显示装置将通过由信息处理装置执行的各种处理而获得的结果显示为文本或图像。另一方面,音频输出装置将包括再现的音频数据、声数据等的音频信号转换成模拟信号,并且输出该模拟信号。

存储装置910是被配置为信息处理装置等的存储单元的示例的数据存储装置。通过使用例如磁存储装置(诸如,硬盘驱动器(HDD))、半导体存储装置、光存储装置或磁光存储装置来配置存储装置910。存储装置910存储由CPU 901执行的程序、各种数据等。例如,图3中示出的存储单元137、图6中示出的存储单元225、图21中示出的存储单元225等能够由存储装置910实现。

驱动器912是用于记录介质的读/写器,并且被布置在信息处理装置等中或在外部连接到信息处理装置等。驱动器912读取记录在可移除记录介质913(诸如,安装的磁盘、光盘、磁光盘或半导体存储器)中的信息,并且将该信息输出给RAM 903。另外,驱动器912还能够将记录写在可移除记录介质913(诸如,安装的磁盘、光盘、磁光盘或半导体存储器)中。可移除记录介质913的示例包括DVD介质、HD-DVD介质和Blu-ray(注册商标)介质。另外,可移除记录介质913可以是压缩闪存(CF)(注册商标)、闪存、安全数字(SD)存储卡等。另外,可移除记录介质913可以是例如装备有非接触类型IC芯片的集成电路(IC)卡或电子装置。

连接端口914是用于直接连接到信息处理装置等的端口。连接端口914的示例包括通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口914的其它示例包括RS-232C端口、光学音频端子和高清晰度多媒体接口(HDMI)(注册商标)端口。通过将外部连接装置915连接到连接端口914,信息处理装置等直接从外部连接装置915获取各种数据,并且向外部连接装置915提供各种数据。

通信装置916是例如通过使用用于连接到通信网络(网络)917的通信装置等而配置的通信接口。通信装置916是例如用于有线或无线局域网(LAN)、Bluetooth(注册商标)、无线USB(WUSB)的通信卡等。另外,通信装置916可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。通信装置916能够根据预定协议(诸如,TCP/IP)向例如互联网和另一通信装置发送信号等以及从例如互联网和另一通信装置接收信号等。另外,通过使用以有线或无线方式连接的网络等来配置连接到通信装置916的通信网络917,并且通信网络917可以是例如互联网、家庭LAN、红外通信、无线电波通信或卫星通信。

以上,已描述能够实现根据本公开的实施例的信息处理系统1中所包括的信息处理装置等的功能的硬件结构的示例。上述每个部件可通过使用通用构件而被配置,或者可由专用于每个部件的功能的硬件配置。因此,可根据在实现本实施例时的技术水平合适地将改变将要使用的硬件结构。需要注意的是,虽然在图22中未示出,但自然地包括与信息处理系统1或2中所包括的信息处理装置等对应的各种部件。

需要注意的是,可创建一种用于实现根据如上所述的本实施例的信息处理系统1或2中所包括的信息处理装置等的每个功能的计算机程序,并且将该计算机程序安装在个人计算机等中。另外,可提供一种存储这种计算机程序的算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存。另外,可在不使用记录介质的情况下经例如网络分发上述计算机程序。另外,执行该计算机程序的计算机的数量不受具体限制。例如,多个计算机(例如,多个服务器等)可彼此协作地执行该计算机程序。

<5.补充描述>

如上所述,已参照附图详细描述本公开的优选实施例,但本公开的技术范围不限于这种示例。对于本公开所属于的领域的技术人员而言将会清楚的是,能够在权利要求中描述的技术构思的范围内想到各种修改示例或改变,并且当然应该理解,这些修改示例或改变落在本公开的技术范围内。

在移动体20的位置与引领装置10的移动量同步之前,引领装置10的显示单元16可显示移动比和用于计算移动比的值。这可使引领者确定是否开始同步。

另外,平台24的轴结构不限于上述实施例的结构,并且例如,平移轴可被省略。

另外,引领装置10的显示单元16的中心或输入/输出单元18的中心可与测量自己位置和与注视点的距离的立体照相机14等的传感器的光轴对准。这允许引领者观看相对于引领装置10的移动的显示在图像捕获装置25上的更自然的移动,并且本公开的技术的效果被进一步增强。

在上述实施例的第一处理示例中,第一距离和第二距离是地上高度(相对于地面的高度),但本公开不限于此。第一距离和第二距离可以是相对于除地面之外的任何地方的高度。

引领装置10的结构不限于上述实施例的示例,并且可以是平板PC或头戴式显示器(HMD)。

另外,设置第一和第二注视点的目标不限于在上述实施例中描述的示例。例如,图像捕获目标可以是盆地,并且替代目标可以是水抗。

在上述实施例的第一处理示例中,第一距离是测量的引领装置10的地上高度,但本公开不限于此,并且第一距离可被预先设置。例如,第一距离可被设置为引领者的高度等。

另外,上述实施例的流程图中示出的步骤不仅包括根据描述的次序按照时间顺序执行的处理,还包括并行地或分别地执行而未必按照时间顺序执行的处理。另外,理所当然地,按照时间顺序处理的步骤的次序能够在一些情况下被合适地改变。

另外,在本说明书中描述的效果仅是说明性的或示例性的而非限制性的。也就是说,除了上述效果之外或替代于上述效果,根据本公开的技术能够表现出通过本说明书的描述对于本领域技术人员而言显而易见的其它效果。

需要注意的是,下面的结构也落在本公开的技术范围内。

(1)一种信息处理装置,包括:

参数产生单元,基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动,产生用于控制移动体的移动的移动参数。

(2)如(1)所述的信息处理装置,其中

所述参数产生单元通过将所述比率乘以基准体的移动量来产生移动体的移动量作为移动参数。

(3)如(1)或(2)所述的信息处理装置,其中

所述第一距离是基准体的高度,并且

第二距离是移动体的高度。

(4)如(1)至(3)中任何一项所述的信息处理装置,其中

所述第一位置是基准体中所包括的第一图像捕获装置的视场中所包括的第一注视点,并且

第二位置是移动体中所包括的第二图像捕获装置的视场中所包括的第二注视点。

(5)如(4)所述的信息处理装置,其中

所述第二注视点被包括在由第二图像捕获装置捕获的图像捕获目标中,并且

第一注视点被包括在作为图像捕获目标的替换物的替代目标中。

(6)如(5)所述的信息处理装置,其中

所述第一图像捕获装置观看第一注视点的方向和第二图像捕获装置观看第二注视点的方向彼此相同。

(7)如(1)至(6)中任何一项所述的信息处理装置,其中

所述参数产生单元产生用于使移动体采用根据基准体的姿势的姿势的第一姿势参数。

(8)如(1)至(7)中任何一项所述的信息处理装置,其中

所述移动体包括用于捕获风景的图像的第三图像捕获装置。

(9)如(8)所述的信息处理装置,其中

所述移动体包括平台,第三图像捕获装置被安装在该平台上,并且

参数产生单元产生用于使平台采用根据基准体的姿势的姿势的第二姿势参数。

(10)如(1)至(9)中任何一项所述的信息处理装置,其中

所述移动体是飞行物体。

(11)如(1)至(10)中任何一项所述的信息处理装置,还包括:

移动体控制单元,基于移动参数控制移动体的移动。

(12)如(1)至(11)中任何一项所述的信息处理装置,其中

所述基准体包括第一距离获取单元,并且

第一距离是由第一距离获取单元获取的距离。

(13)如(1)至(12)中任何一项所述的信息处理装置,其中

所述移动体包括第二距离获取单元,并且

第二距离是由第二距离获取单元测量的距离。

(14)如(1)至(13)中任何一项所述的信息处理装置,其中

所述基准体和移动体被布置为彼此分开,并且以可通信方式彼此连接。

(15)如(1)至(14)中任何一项所述的信息处理装置,其中

所述基准体通过被用户携带而移动。

(16)一种信息处理方法,包括:

由处理器基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动产生用于控制移动体的移动的移动参数。

(17)一种程序,使计算机执行:

基于从作为移动体的移动的基准的基准体到第一位置的第一距离与从移动体到第二位置的第二距离的比率以及基准体的移动产生用于控制移动体的移动的移动参数的功能。

10 引领装置

12 壳体

13 处理装置

131 高度估计单元

132 位置估计单元

133 距离测量单元

134 通信控制单元

135 命令处理单元

136 命令产生单元

137 存储单元

138 UI控制单元

14 立体照相机

16 显示单元

18 输入/输出单元

20 移动体

21 机体

22a、22b 推进器

23 立体照相机

24 平台

25 图像捕获装置

26 距离测量传感器

27 控制装置

211 高度估计单元

212 位置估计单元

213 通信控制单元

214 机体控制单元

215 平台控制单元

220 信息处理装置

221 参数产生单元

222 报告信息产生单元

225 存储单元

28 推进器驱动单元

29 平台驱动单元

30 移动体

412 相对移动量

513 相对移动量

600 图像捕获目标

708 第二注视点

710 替代目标

720 第一注视点。

55页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:有机溶剂回收系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!