具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能配置的部件由相同的附图标记表示，并且省略冗余描述。

注意，将按以下顺序给出描述。

1.背景

2.实施例

2.1.系统配置示例

2.2.控制单元的控制示例

2.3.控制单元的配置示例

2.4.每个配置的处理流程示例

2.5.控制单元的硬件配置示例

3.结论

<1.背景>

在描述本公开的实施例之前，首先将描述创建了本公开的实施例的背景。

如上所述，近年来，主从系统已经被用于内窥镜手术等领域。然后，对于主从系统，已经研究了如上述专利文献1中描述的技术中的向用户(观察者)呈现图像以使从属单元能够直观地操作的方法。

然而，根据于诸如专利文献1的各种技术，存在观察者无法直观地观察主从系统中的对象的情况。例如，根据用于根据主侧用户的面部的方向平移从侧相机的技术等，用户不能像从对象的上下左右各个方向环顾一样观察对象，因此不能说直观性是足够的。

鉴于上述情况，本公开者创造了根据本公开的技术。根据本公开的实施例的控制设备计算观察显示在显示单元(例如，显示器)上的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，并且控制对对象成像的成像单元(例如相机)，使得成像单元与从侧三维坐标系中的第一点相对应的第二点之间的第二位置关系对应于第一位置关系。例如，根据本实施例的控制设备获取关于用户的眼睛相对于主侧三维坐标系中的第一点的第一观察方向的信息，并且控制第二观察方向，使得成像单元50相对于从侧三维坐标系中的第二点的第二观察方向对应于第一观察方向。

结果，用户可以通过改变眼睛的位置来观察对象从对象的上、下、左、右各个方向环顾，使得用户可以更直观地观察对象。

此外，已经进行了关于如何获取图像并将图像提供给用户以在主从系统中实现更直观操作的研究。例如，当感知到主单元和从属单元平行移动时，用户可以直观地执行操作。相反，当感知到主单元和从属单元在不同方向上移动时，用户需要在考虑主单元与从属单元的运动方向之间的关系的同时执行操作，这使得很难执行直观操作。这一事件被称为“心理旋转”。根据本实施例的控制设备通过执行控制以不产生心理旋转来实现直观操作。

以下，详细说明本实施方式的控制设备的控制。

<2.实施例>

(2.1.系统配置示例)

上面已经描述了导致创建本实施例的背景。接下来，将描述根据本实施例的主从系统1的配置示例。注意，将假设根据本实施例的主从系统1是用于内窥镜手术等的手术系统来给出描述，但是主从系统1的类型没有特别限制。例如，主从系统1可以是远程控制机器人的机器人控制系统。

图1是示出根据本实施例的主从系统1的配置示例的框图。如图1所示，主从系统1包括主单元10、从属单元20、检测单元30、臂40、成像单元50、显示单元60和控制单元70。注意，根据本实施例的控制设备仅要求至少包括上述配置中的控制单元70。

主单元10是主从系统1中的主侧设备。主单元10可以是机械手(具有包括被动关节的连杆机构的机器人)，该机械手具有包括被动关节和连接到关节的连杆的一个或两个或更多个关节，并且用于操作从属单元20。

图2是示出根据本实施例的主单元10的示例的视图。在图2所示的示例中，主单元10包括设置在连接到被动关节的连杆上的操作体110和测量施加到操作体110的力的力传感器120。这里，根据本实施例的力传感器120的示例包括能够测量施加到操作体110的力的任何传感器，例如，“任何类型的力传感器，例如使用应变计的类型”和“任何类型的触觉传感器，例如通过利用压电元件、麦克风等测量振动而获得触觉的类型”。此外，主单元10包括例如运动传感器，用于在与每个关节对应的位置处测量关节的运动。

在本实施例中，操作体110是主单元10的输入接口，并且用户可以通过移动操作体110的位置的操作来移动(远程操作)从属单元20的位置。

注意，图2示出了设置在主单元10中的操作体110是触针型操作设备的示例，但是根据本实施例的操作体110不限于图2所示的示例。本实施例的操作体110的示例包括具有任何形状的操作设备，例如手套型操作设备。此外，根据本实施例的操作体110可以是适用于触觉设备的任何操作设备。此外，主单元10可以具有可以更换操作体110的结构。注意，根据本实施例的主单元10的配置不限于图2所示的示例，并且可以是任何配置。

从属单元20是主从系统1中的从侧设备。从属单元20可以是机械手(具有包括主动关节的连杆机构的机器人)，该机械手具有一个或两个或更多个主动关节和连接到主动关节的连杆，以用于响应于对主单元10的输入操作而移动。此外，从属单元20包括例如驱动机构，以用于在与每个主动关节相对应的位置处驱动主动关节。驱动机构的示例包括马达和驱动器。这样的驱动机构可以由稍后描述的控制单元70控制。

图3是示出根据本实施例的从属单元20的示例的视图。在图3所示的示例中，作为从属单元20的臂的远端部的远端部210包括接触部211，其中，手术工具与患者接触，并且用户通过操作主单元10来远程控制接触部211的位置。注意，图3示出了示例，并且根据本实施例的从属单元20的配置不限于图3的示例。此外，在本实施例中，假设从属单元20是现实对象(即从侧的空间是现实空间)，但是本发明不限于此，从属单元20可以是虚拟对象(即从侧的空间是虚拟空间)。例如，本公开可应用于手术模拟器等，并且作为虚拟对象的从属单元20可通过主单元10的操作来控制。

检测单元30被配置为检测用户(观察者)的眼睛。例如，检测单元30具有成像功能，并且可以通过对成像获取的图像进行分析来检测图像中出现的用户的眼睛。此时，可以将跟踪器(用于跟踪用户的眼睛的设备)、标记器(用于检测用户的眼睛的标记)等附接在用户的眼睛附近，从而可以准确地检测用户的眼睛(例如，用户佩戴眼镜式设备，其上附有跟踪器或标记器)。注意，由检测单元30检测用户的眼睛的方法不必限于此。此外，由检测单元30检测的目标可以是相当于眼睛的目标(例如，眼睛附近的点等)。在检测到用户的眼睛的情况下，检测单元30向控制单元70提供能够指定眼睛在主侧三维坐标系中的位置的信息(以下，被称为检测信息)。例如，检测信息可以是眼睛在主侧三维坐标系中的位置坐标。

臂40支撑成像单元50，并且具有能够控制成像单元50的位置和姿势的配置。例如，臂40可以是机械手(具有包括主动关节的连杆机构的机器人)，该机械手具有包括主动关节和连接到主动关节的连杆的一个或两个或更多个关节，并且可以由稍后描述的控制单元70控制。

成像单元50被配置为通过成像获取患部的图像。假设成像单元50是能够获取立体图像的立体相机，但不必限于此，并且例如可以是内窥镜等。根据本实施例的成像单元50可以包括变焦机构，并且能够改变成像倍率(变焦倍率)。此外，如上所述，成像单元50由臂40支撑，并且通过控制臂40的关节的角度等来改变成像单元50的位置和姿势。成像单元50的成像处理可以由稍后描述的控制单元70控制。

显示单元60被配置为基于稍后描述的控制单元70的控制来显示立体图像。例如，显示单元60可以是能够显示立体图像的立体显示器。此外，假设显示单元60安装在固定设备上(即，用户的眼睛与显示在显示单元60上的图像之间的位置关系根据用户的位置和姿势而改变)。当显示单元60安装在固定设备上时，例如，如在显示单元60安装在头戴式显示器上的情况下，解决了立体图像不能被多人共享的问题和视野被显示器遮挡的问题。

控制单元70被配置为控制包括在主从系统1中的每个其他部件。控制单元70通过任何通信方法连接到包括在主从系统1中的每个其他部件。例如，控制单元70从主单元10接收由包括在主单元10中的传感器测量的信息，并且基于接收的信息获取主单元10的指定位置。然后，控制单元70基于主单元10的指定位置、偏移(细节将在稍后描述)等来控制从属单元20的指定位置(例如，接触部211的位置)。这里，“主单元10的指定位置”是由主单元10确定的位置，并且例如可以是由用户指定的输入到主单元10的(主单元10的)位置。此外，“从属单元20的指定位置”是由主单元10的指定位置确定的位置，并且可以是例如由用户输入到主单元10指定的(从属单元20的)位置。即，通过用户操作主单元10，可以确定从属单元20在主从系统1上的位置。注意，“指定位置”不必限于由用户的意图指定的位置。例如，“主单元10的指定位置”可以是简单地由主单元10的位置确定的位置(同样适用于“从属单元20的指定位置”)。

此外，根据本实施例的控制单元70执行控制以实现用户的直观观察和直观操作。以下，将详细描述控制单元70的控制。

注意，图1所示的配置仅仅是示例，并且根据本实施例的主从系统1的配置示例不必限于图1的示例。例如，可以在从侧提供语音获取单元(例如，立体声麦克风)，并且可以在主侧提供输出由语音获取单元获取的从侧语音的语音输出单元(例如，扬声器、耳机等)。此外，利用这些配置，可以在主侧再现从侧的声场。

(2.2.控制单元的控制示例)

上面已经描述了根据本实施例的主从系统1的配置示例。接下来，将描述根据本实施例的控制单元70的控制示例。

(对象显示控制)

首先，将描述对象显示控制。

在如本实施例中向用户提供立体显示的情况下，为了增强用户感觉到的立体感和仿佛对象存在于同一空间中的感觉(下文中，也被称为共存的感觉)，例如，期望增加由右眼视觉识别的图像和由左眼视觉识别的图像在水平方向上的位移引起的视差量。

图4至图7是示出根据本实施例的显示单元60的立体显示的示例的说明图。控制单元70可以使对象以图4至图7所示的各种模式显示在显示单元60上。

例如，在图4所示的示例中，在显示单元60的显示表面610附近显示立体对象OB。在图4所示的示例中，当用户从视点E11观察时，对象OB包括在视场F11中，并且当用户从视点E12观察时，对象OB包括在视场F12中。在图5所示的示例中，对象OB布置在显示单元60的显示表面610的前侧。在图5所示的示例中，当用户从视点E21观察时，对象OB包括在视场F21中，并且当用户从视点E22观察时，对象OB的上部分包括在视场F22中。在图6所示的示例中，对象OB布置在显示单元60的显示表面610的背侧。在图6所示的示例中，当用户从视点E31观察对象OB时，对象OB包括在视场F31中。另一方面，当用户从视点E32观察对象OB时，即使用户的视场是视场F32和视场F33组合的范围，但在显示表面610的背侧显示对象OB，并且因此，用户观察对象OB的视场被限制在视场F32。

在图4至图6所示的示例中，显示单元60被安装成使得显示单元60的显示表面610垂直于现实空间中的水平面。另一方面，在图7所示的示例中，显示单元60被安装成使得显示单元60的显示表面610相对于现实空间中的水平面倾斜(非垂直)。此外，在图7所示的示例中，对象OB被布置成在相对于水平面竖立的同时与显示表面610相交。

通过这样的配置，可以进一步给出对象OB存在于与用户相同的空间中的共存的感觉，而不使用户感觉到显示表面610。此外，与图4至图6所示的示例相比，通过在抑制视差量的同时布置地板表面和墙表面，可以给出充分的立体感，并且能够抑制用户的负担。此外，如图7所示，在用户从视点E1观察对象OB的情况下，对象OB包括在视场F1中，并且在用户从视点E2观察对象OB的情况下，对象OB包括在视场F2中。因此，用户可以从更宽的视点位置观察对象OB。

如上所述，控制单元70可以根据图4至图7的模式中的任何一种在显示单元60上显示对象OB。以下，作为示例，将描述对象OB被布置成在如图7所示相对于水平面竖立的同时与显示表面610相交的情况作为示例。

(用于直观观察的控制)

接下来，将描述主从系统1中用于直观观察的控制。

根据本实施例的控制单元70计算观察显示单元60上显示的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，并且控制成像单元50，使得从侧三维坐标系中对对象成像的成像单元50与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。

例如，控制单元70获取关于主侧三维坐标系中用户(观察者)的眼睛相对于第一点的第一观察方向的信息，并且控制第二观察方向，使得从侧三维坐标系中成像单元50相对于第二点的第二观察方向与第一观察方向相对应。

这里，“第二点”是在从侧三维坐标系中用作成像单元50的控制的基准的点，并且也被称为“枢轴点”。例如，第二点可以是从属单元20中的一个作用点(例如，图3所示的接触部211的远端部等)、从属单元20中的两个作用点之间的中心点(例如，在使用图3所示的两个从属单元20的情况下，每个从属单元20的接触部211的中心点等)、包括在对象中的点(例如，对象的中心点等)、成像单元50的聚焦点、以及包括在从属单元20的操作区域中的点(例如，从属单元20的操作区域的中心点等)中的任何一个。注意，第二点不必限于此。

“第一点”是主侧三维坐标系中与第二点(枢轴点)相对应的点。如图4至图7所示，可以将第一点设置为主侧三维坐标系中的任何点，只要该点在用户可以观察对象的视场内即可。例如，当第二点是对象的中心点时，第一点与由显示单元60立体显示的对象的中心点重合。这同样适用于第二点不是对象的中心点的情况。

将参考图8至图11详细描述通过控制单元70对成像单元50的控制示例。注意，在图8至图11中，对象OB被简化并由直线表示。图8至图11示出了对象OB和第一点P被设置在显示表面610上的示例，但是如上所述，这些可以被设置在用户视场中的任何位置。

图8是从横向(与X轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图。如图8所示，在主侧三维坐标系(XYZ坐标系)的YZ平面中，在特定时间T11处连接用户的眼睛E和第一点P的线G11与对象OB形成的角度为90度。在随后的时间T12，假设用户的眼睛E的位置在主侧三维坐标系中的YZ平面上发生变化。具体地，假设在时间T12处由连接用户的眼睛E和第一点P的线G12与对象OB形成的角度在YZ平面中改变为θ。

随着从时间T11到时间T12的变化，控制单元70控制第二观察方向，使得从侧三维坐标系(X'Y'Z'坐标系)中成像单元50相对于第二点的第二观察方向与第一观察方向(用户的眼睛E相对于第一点P的观察方向)基本相同。

将参照图9给出具体描述。图9是从横向(与X'轴方向相反的方向)观察成像单元50正在对对象OB成像的状态时的图。如图9所示，在从侧三维坐标系(X'Y'Z'坐标系)的Y'Z'平面中，在特定时间T11处连接成像单元50和第二点P'的线S11与对象OB形成的角度为90度，该角度与在图8中的时间T11处连接用户眼睛E和第一点P的线G11与对象OB形成的角度相同。此外，在时间T11处连接成像单元50和第二点P'的线S11的长度可以与图8中在时间T11处连接用户的眼睛E和第一点P的线G11的长度基本相同。

在随后的时间T12处，由Y'Z'平面上连接成像单元50和第二点P'的线S12与对象OB形成的角度为θ，该角度与在图8中的时间T12处连接用户的眼睛E和第一点P的线G12与对象OB形成的角度相同。此外，在时间T12处连接成像单元50和第二点P'的线S12的长度可以与图8中在时间T12处连接用户的眼睛E和第一点P的线G12的长度基本相同。

这同样适用于从不同于图8和图9的情况的角度观看的情况。将参照图10和图11给出具体描述。图10是从上方(在与Y轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图。如图10所示，在主侧三维坐标系(XYZ坐标系)的XZ平面中，在特定时间T13处连接用户的眼睛E和第一点P的线G13与对象OB形成的角度为90度。在随后的时间T14，假设用户的眼睛E的位置在主侧三维坐标系中的XZ平面上发生变化。具体地，假设由在时间T14处连接用户的眼睛E和第一点P的线G14与对象OB形成的角度在XZ平面中改变为Φ。

图11是从上方(沿与Y'轴方向相反的方向)观看成像单元50正在对对象OB成像的状态时的图。如图11所示，在从侧三维坐标系(X'Y'Z'坐标系)的X'Z'平面中，在特定时间T13处连接成像单元50和第二点P'的线S13与对象OB形成的角度为90度，该角度与在图10中的时间T13处连接用户眼睛E和第一点P的线G13与对象OB形成的角度相同。此外，在时间T13处连接成像单元50和第二点P'的线S13的长度可以与图10中在时间T13处连接用户的眼睛E和第一点P的线G13的长度基本相同。

在随后的时间T14处，由X'Z'平面上的连接成像单元50和第二点P'的线S14与对象OB形成的角度为Φ，该角度与在图10中的时间T14处连接用户的眼睛E和第一点P的线G14与对象OB形成的角度相同。此外，在时间T14处连接成像单元50和第二点P'的线S14的长度可以与图10中在时间T14处连接用户的眼睛E和第一点P的线G14的长度基本相同。

例如，控制单元70分析由成像单元50获取的图像以检测在图像中出现的第二点P'，并且识别第二点P'在从侧三维坐标系中的位置坐标和从成像单元50到第二点P'的方向，从而能够进行如参考图8至图11所描述的控制。结果，用户可以通过改变眼睛E的位置来观察对象OB以从对象OB的上、下、左、右的各个方向环顾(例如，即使在双手都在操作主单元10时的情况下)，使得用户可以更直观地观察对象OB。

(用于直观操作的控制)

接下来，将描述主从系统1中用于直观操作的控制。

如上所述，为了实现直观操作，需要不产生心理旋转的控制。因此，下面将描述不发生心理旋转的条件。

将主侧三维坐标系中的参考坐标定义为O，将主单元10的指定位置坐标定义为M，将从侧三维坐标系中的参考坐标定义为O'，将从属单元20的指定位置坐标定义为S，并且使用这些坐标来表示旋转矩阵R。例如，_O ^MR表示从O到M的旋转矩阵，_O' ^SR表示从O'到S的旋转矩阵，_M ^SR表示从M到S的旋转矩阵。也可以说，这些旋转矩阵R是用于三维坐标系转换的偏移。具体地，_M ^SR也可以说是用于从主单元10的三维坐标系转换到从属单元20的三维坐标系的偏移。在用户使用主单元10执行输入V_M的情况下，基于以下公式1的旋转矩阵，将输入V_M转换为从属单元20的输出V_S。V_M和V_S分别是基于O和O'的向量。

[数学式1]

不发生心理旋转的条件是，在用户操作主单元10时的从属单元20的操作方向与成像单元50(例如，相机)和显示单元60(例如，显示器)的坐标转换操作的主单元10的操作方向基本相同。也就是说，心理旋转不发生的条件是下面的公式2成立。

[数学式2]

注意，在公式2中，针对成像单元50(例如，相机)的三维坐标系中的指定位置坐标由C表示，针对显示单元60(例如，显示器)的三维坐标系中的指定位置坐标由D表示。然而，设置C和D使得成像单元50的右和左、上和下以及法线方向与显示单元60的右和左、上和下以及法线方向重合。此外，_S ^CR表示从S到C的旋转矩阵(用于从从属单元20的三维坐标系转换到成像单元50的三维坐标系的偏移)，_C ^DR表示从C到D的旋转矩阵(用于从成像单元50获取的图像的三维坐标系转换到显示单元60的三维坐标系的偏移)，_D ^MR表示从D到M的旋转矩阵(用于从显示单元60的三维坐标系转换到主单元10的三维坐标系的偏移)。具体地，_C ^DR表示在由成像单元50获取的图像被转换并显示在显示单元60上的情况下的转换，并且在转换时图像不旋转的情况下(换句话说，在仅执行图像倍率的改变、图像的剪切等的情况下)，_C ^DR成为单位矩阵。

当将上述公式1代入公式2时，作为不发生心理旋转的条件，得到以下公式3。这里，I表示单位矩阵。

[数学式3]

控制单元70在执行参照图8至图11描述的用于直观观察的控制的同时控制参数，以满足上述公式3。具体地，在执行参考图8至图11描述的用于直观观察的控制的情况下，成像单元50的位置根据眼睛的位置的变化而变化，因此，_S ^CR变化。例如，控制单元70根据_S ^CR的变化来改变_C ^DR或_M ^SR，以满足公式3(换句话说，控制单元70通过控制参数来动态地改变_M ^SR、_S ^CR或_C ^DR)。注意，由控制单元70控制的参数仅要求是作用于每个偏移的任何信息。

例如，在仅改变_C ^DR的情况下(换句话说，在通过软件处理旋转图像的情况下)，如果用户的眼睛没有位于旋转图像的前面，则立体显示的对象失真，从而抑制直观观察和直观操作。具体地，当显示单元60安装在固定设备上时，用户的眼睛与显示单元60之间的位置关系不是恒定的，这引起问题。因此，控制单元70通过参照图8至图11描述的用于直观观察的控制，根据眼睛的位置的变化(即，通过改变_S ^CR)来改变成像单元50的位置，从而使得旋转图像与用户眼睛之间的位置关系适当。结果，控制单元70可以使用户在视觉上不失真地识别立体显示的对象，从而可以实现直观观察和直观操作。此外，物理地旋转显示单元60(例如，显示器)(即，改变_D ^MR)是大规模操作，因此具有较高的难度级别。然而，如上所述，通过动态地改变_M ^SR、_S ^CR或_C ^DR，控制单元70可以更容易地实现直观观察和直观操作。注意，在控制单元70可以物理地旋转显示单元60(例如，显示器)的情况下，控制单元70可以通过控制参数来动态地改变_D ^MR。此外，在对主单元10执行力反馈的情况下，用户可以感知到与经由主单元10施加到从属单元20的力相同方向的力。

(用于匹配重力方向的控制)

即使通过上述处理防止了心理旋转的发生，在相对于重力方向的第一观察方向(用户的眼睛相对于第一点的观察方向)与相对于重力方向的第二观察方向(成像单元50相对于第二点的观察方向)不同的情况下，当用户观看显示在显示单元60上的对象OB时的表观重力方向与实际重力方向不同。

因此，控制单元70可以控制第二观察方向，使得第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度基本相同。例如，假设图8中与Y轴方向相反的方向和图9中与Y'轴方向相反的方向是重力方向。此时，如图8和图9所示，可以控制第二观察方向，使得相对于重力方向的第一观察方向与相对于重力方向的第二观察方向在时间T11时彼此为90度，在时间T12时彼此为θ度。结果，当用户观看显示在显示单元60上的对象OB时，控制单元70可以使表观重力方向与实际重力方向基本相同。此外，在对主单元10执行力反馈的情况下，在用户使用从属单元20握住对象的情况下，用户可以经由主单元10感知施加到对象上的重力(重力的方向和大小)。注意，可以适当地改变水平方向的偏移(即，可以适当地改变图10中的XZ轴与图11中的X'Z'轴之间的对应关系)。

此外，在第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度不同的情况下，控制单元70可以基于这些角度之间的差异，通过软件处理、通过在_C ^DR中反映重力方向上的旋转分量来旋转图像。

这将参考图12和图13进行描述。图12的A是从横向(与X'轴方向相反的方向)观看时成像单元50对对象OB成像的状态的图。此外，假设与Y'轴方向相反的方向是重力方向。此外，假设对象OB是玩偶，并且在对象OB的头部设置第二点P'。此时，假设第二观察方向(成像单元50相对于第二点的观察方向)相对于重力方向的角度为θ。图12的B是示出在图12的A的状态下由成像单元50获取的图像V的图。

图13的B是从横向(与X轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图(为了方便省略显示表面610)。此外，假设与Y轴方向相反的方向是重力方向。此外，类似于图12，假设对象OB是玩偶，并且在对象OB的头部设置对应于第二点P'的第一点P。此时，假设第一观察方向(用户眼睛E相对于第一点P的观察方向)相对于重力方向的角度为θ'，与θ不同。

在这种情况下，控制单元70通过软件处理使成像单元50获取的图像V绕X轴旋转。图13的B是示出通过控制单元70的控制在显示表面610上显示的图像的图，并且通过处理，显示在显示表面610上的对象OB的立体图像在重力方向上比处理前的对象OB的立体图像更明显地压缩。如上所述，尽管在立体图像中发生失真，但是控制单元70可以通过处理使表观重力方向和实际重力方向基本相同。

(2.3.控制单元的配置示例)

上面已经描述了根据本实施例的控制单元70的控制示例。接下来，将参照图14描述根据本实施例的控制单元70的配置示例。

图14是示出根据本实施例的控制单元70的配置示例的框图。如图14所示，控制单元70包括角度计算单元710、成像控制单元720、显示控制单元730、偏移控制单元740和主从控制单元750。

角度计算单元710被配置为计算由连接用户的眼睛和第一点的线与对象形成的角度。具体地，在检测单元30检测到用户的眼睛的情况下，角度计算单元710基于从检测单元30提供的检测信息，识别用户的眼睛在主侧三维坐标系中的位置坐标。然后，角度计算单元710计算由连接用户的眼睛和第一点的线与对象形成的角度。例如，角度计算单元710计算如图8所示的在主侧三维坐标系(XYZ坐标系)的YZ平面上连接用户眼睛E和第一点P的线G11、G12与对象OB形成的角度，以及如图10所示的在XZ平面上连接用户眼睛E和第一点P的线G13、G14与对象OB形成的角度。然后，角度计算单元710向成像控制单元720和显示控制单元730提供关于角度的信息(以下，被称为角度信息)。应当注意，角度信息可以用作关于第一观察方向的信息。

成像控制单元720被配置为控制成像单元50(例如，相机)的成像。例如，成像控制单元720基于从角度计算单元710提供的角度信息来控制支撑成像单元50的臂40，以控制第二观察方向。具体地，如参照图8至图11所描述，成像控制单元720控制臂40，使得主侧三维坐标系中用户的眼睛与第一点之间的第一位置关系对应于从侧三维坐标系中成像单元50与第二点之间的第二位置关系。在臂40具有一个或两个或更多个关节以及连接到该关节的连杆的情况下，成像控制单元720通过执行逆运动学计算等来计算每个关节角度。成像控制单元720通过向臂40提供关于计算出的关节角度等的信息来控制臂40。随着控制臂40并且第二观察方向改变，作为上述偏移类型的_S ^CR改变。

此外，在从稍后描述的偏移控制单元740提供关于偏移的信息(以下，被称为偏移信息)的情况下，成像控制单元720可以基于偏移信息来控制_S ^CR。注意，成像控制单元720的控制内容不限于此。例如，在景深中存在余量的情况下，成像控制单元720可以改变成像单元50在前后方向上相对于对象的位置，以再现运动视差，其中，随着成像单元50接近对象，对象看起来更大。

显示控制单元730被配置为控制显示单元60的显示内容。具体地，显示控制单元730基于从角度计算单元710提供的角度信息来转换图像(例如，旋转转换等)，使得通过成像单元50的成像获取的图像是从用户眼睛的位置观看时的图像。因此，作为上述偏移类型的_C ^DR改变。然后，显示控制单元730将转换后的图像输出到显示单元60。

此外，在从稍后描述的偏移控制单元740提供偏移信息的情况下，显示控制单元730可以基于偏移信息来控制_C ^DR。注意，显示控制单元730的控制内容不限于此。例如，在成像单元50可以获取对象的深度信息的情况下，显示控制单元730可以使用深度信息重建(模拟)对象，并且将包括重建对象的图像输出到显示单元60。结果，消除了图像的失真，并且可以实现更直观的观察。此外，显示控制单元730可以通过改变显示倍率来适当地放大或缩小通过成像单元50的成像获取的图像。当改变显示倍率时，在立体图像中发生失真，但是上述成像控制单元720可以通过根据显示倍率控制成像单元50与对象之间的距离来消除或减小失真。

偏移控制单元740被配置为控制每个偏移。具体地，当用户的面部(或眼睛)处于预定位置(例如，显示单元60的前表面等)时，偏移控制单元740对于满足上述公式3的每个偏移(_M ^SR、_S ^CR、_C ^DR和_D ^MR)保持两个或更多个组合。然后，偏移控制单元740根据用户的输入等(例如，使用踏板等的输入)来改变针对每个偏移的组合。结果，在面部处于预定位置(例如，显示单元60的前表面等)的状态下，用户可以在满足公式3的情况下(即，在防止心理旋转的发生的情况下)改变成像单元50的角度，而不移动面部。偏移控制单元740将偏移信息提供给成像控制单元720、显示控制单元730和主从控制单元750。

主从控制单元750被配置为基于用户对主单元10的输入来控制从属单元20。具体地，主从控制单元750基于主单元10的指定位置来控制从属单元20的指定位置，主单元10的指定位置基于由主单元10传输的信息和从偏移控制单元740提供的偏移(_M ^SR)指定。

这里，主从控制单元750可以基于第二点(枢轴点)来控制从属单元20。例如，主从控制单元750可以控制从属单元20，使得基于第二点限制从属单元20的指定位置。具体地，主从控制单元750可以控制从属单元20，使得从属单元20的指定位置朝着第二点(例如，从属单元20的操作区域的中心点等)移动。注意，在主从控制单元750以这种方式限制从属单元20的指定位置的情况下(尽管不必限于这种情况)，也可以类似地限制主单元10的指定位置。主从控制单元750可以通过组合第二点和主从控制信息的双边控制来控制主单元10和从属单元20。结果，主单元10与从属单元20的指定位置之间的对应关系得以维持，使得用户可以容易地执行操作。其他内容可以类似于现有主从系统中的从属单元的控制，因此将省略其详细描述。

上面已经描述了控制单元70的配置示例。注意，参照图14描述的上述配置仅仅是示例，并且控制单元70的配置不限于这样的示例。例如，控制单元70可以不必包括图14中所示的所有配置，或者可以包括图14中未示出的配置。此外，控制单元70的配置可以根据规格和操作灵活地修改。

(2.4.每个配置的处理流程示例)

上面已经描述了根据本实施例的控制单元70的配置示例。接下来，将参照图15描述根据本实施例的主从系统1的每个配置的处理流程示例。图15是示出根据本实施例的主从系统1的每个配置的处理流程示例的流程图。

在步骤S1000中，偏移控制单元740设置每个偏移(_M ^SR、_S ^CR、_C ^DR和_D ^MR)。例如，偏移控制单元740根据用户的输入等(例如，使用脚踏板的输入等)，为每个偏移从两个或更多个组合中选择并设置一个组合。

在步骤S1004中，检测单元30检测用户的眼睛。例如，检测单元30具有成像功能，并且通过对成像获取的图像进行分析来检测图像中出现的用户的眼睛。

在步骤S1008中，角度计算单元710计算由连接用户的眼睛和第一点的线与对象形成的角度。例如，角度计算单元710计算如图8所示的在主侧三维坐标系(XYZ坐标系)的YZ平面上连接用户眼睛E和第一点P的线G11、G12与对象OB形成的角度，以及如图10所示的在XZ平面上连接用户眼睛E和第一点P的线G13、G14与对象OB形成的角度。然后，角度计算单元710基于计算结果生成角度信息，并将该角度信息提供给成像控制单元720。

在步骤S1012中，成像控制单元720基于从角度计算单元710提供的角度信息执行成像控制。具体地，如参照图8至图11所描述，成像控制单元720控制臂40，使得主侧三维坐标系中用户的眼睛与第一点之间的第一位置关系对应于从侧三维坐标系中成像单元50与第二点之间的第二位置关系，从而控制成像单元50的位置和姿势。

在步骤S1016中，显示控制单元730执行显示控制。具体地，显示控制单元730转换通过成像单元50成像获取的图像，使得该图像是从用户眼睛的位置观看时的图像，并且将转换后的图像输出到显示单元60。结果，当从用户眼睛的位置观看时，适当的立体图像显示在显示单元60上。

如果已经进行了用于更新偏移的输入(例如，用户使用踏板等的输入)(步骤S1020/是)，则偏移控制单元740根据步骤S1024中的输入更新偏移。当不执行用于更新偏移的输入时(步骤S1020/否)，不执行步骤S1024的处理(偏移更新处理)。

然后，当用户的操作正在继续时(步骤S1028/是)，重复地继续步骤S1004至S1024的处理。当用户的操作没有继续时(步骤S1028/否)，一系列处理结束。

注意，上面描述的流程图中的每个步骤不必按照所描述的顺序按时间序列进行处理。即，流程图中的每个步骤可以以不同于所描述顺序的顺序进行处理，或者可以并行地进行处理。

(2.5.控制单元硬件配置示例)

上面已经描述了根据本实施例的主从系统1的每个部件的处理流程示例。接下来，将参照图16描述根据本实施例的硬件配置示例。图16是示出根据本实施例的控制单元70的硬件配置示例的框图。根据本实施例的控制单元70的信息处理通过以下描述的软件和硬件的协作来实现。

如图16所示，控制单元70包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，控制单元70包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。控制单元70可以包括诸如DSP或ASIC的处理电路来代替COU901或与其相结合。

CPU 901用作算术处理设备和控制设备，并且根据各种程序控制控制单元70中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接到外部总线904b，例如外围组件互连/接口(PCI)总线。注意，主机总线904a、桥接器904和外部总线904b不一定需要分开配置，并且这些功能可以在一条总线上实现。

例如，输入设备906由用户向其输入信息的设备实现，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆。此外，输入设备906可以是例如使用红外线或其他无线电波的遥控设备，或者可以是控制单元70的操作的外部连接设备，例如移动电话或PDA。此外，输入设备906可以包括例如输入控制电路等，该输入控制电路基于用户使用上述输入设备输入的信息生成输入信号，并将输入信号输出到CPU 901。通过操作输入设备906，用户可以向控制单元70输入各种类型的数据并给出处理操作的指令。

输出设备907包括能够视觉或听觉地向用户通知所获取的信息的设备。这种设备的示例包括显示装置，例如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯，以及音频输出设备，例如扬声器和耳机和打印机设备。输出设备907输出例如由控制单元70执行的各种处理获得的结果。具体地，显示设备以文本、图像、表格和图形等各种格式可视地显示由控制单元70执行的各种处理获得的结果。另一方面，音频输出设备将包括再现的音频数据、声音数据等的音频信号转换为模拟信号，并以音频地方式输出模拟信号。

存储设备908是作为可以包括在控制单元70中的存储单元的示例而形成的用于数据存储的设备。存储设备908例如由诸如HDD、半导体存储设备、光存储设备、磁光存储设备等磁存储设备来实现。存储设备908可以包括存储介质、将数据记录在存储介质中的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中数据的删除设备等。存储设备908存储由CPU 901执行的程序、各种数据、从外部获取的各种数据等。

驱动器909是用于存储介质的读取器/写入器，并且内置或外部附接到控制单元70。驱动器909读取记录在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动存储介质中的信息，并将该信息输出到RAM 903。此外，驱动器909还可以将信息写入可移动存储介质。

连接端口911是连接到外部设备的接口，并且是连接到能够通过例如通用串行总线(USB)等传输数据的外部设备的连接端口。

通信设备913例如是由用于连接到网络920的通信设备等形成的通信接口。通信设备913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信设备913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信设备913可以根据诸如TCP/IP的预定协议向因特网和其它通信设备发送和从因特网和其它通信设备接收信号等。

注意，网络920是从连接到网络920的设备传输的信息的有线或无线传输路径。例如，网络920可以包括公共网络，例如互联网、电话网络或卫星通信网络，或者包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专线网络，例如互联网协议虚拟专用网络(IP-VPN)。

上面已经描述了能够实施根据本实施例的控制单元70的功能的硬件配置示例。上述部件中的每一个可以使用通用构件来实现，或者可以通过专用于每个部件的功能的硬件来实现。因此，可以根据执行本实施例时的技术水平适当地改变要使用的硬件配置。

注意，用于实现如上所述的根据本实施例的控制单元70的每个功能的计算机程序可以创建并安装在PC等上。此外，还可以提供存储这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，例如，可以经由网络来分发上述计算机程序，而不使用记录介质。

<3.结论>

如上所述，根据本实施例的控制设备计算观察显示单元60上显示的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，以及控制成像单元50，使得成像对象的成像单元50与对应于从侧三维坐标系中的第一点的第二点之间的第二位置关系对应于第一位置关系。结果，用户可以通过改变眼睛的位置来观察对象从对象的上、下、左、右各个方向环顾，使得用户可以更直观地观察对象。

此外，根据本实施例的控制设备通过控制参数以满足上述公式3，以防止心理旋转的发生。结果，用户可以执行直观操作。

尽管已经参照附图详细描述了本公开的优选实施例，但本公开的技术范围不限于这样的示例。显然，在本公开的技术领域具有普通知识的人可以在权利要求书中描述的技术思想的范围内构思各种改变示例或修改示例，并且自然理解这些也属于本公开的技术范围。

此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本说明书的描述，根据本公开的技术可以表现出对于本领域技术人员来说显而易见的其他效果。

请注意，以下配置也属于本公开的技术范围。

(1)

一种控制设备，包括控制单元，该控制单元：

计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系；以及

控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。

(2)

根据(1)的控制设备，其中，控制单元：

获取关于主侧三维坐标系中观察者的眼睛相对于第一点的第一观察方向的信息；并且

相对于第二点控制成像单元的第二观察方向，使得第二观察方向与从侧三维坐标系中的第一观察方向相对应。

(3)

根据(2)的控制设备，其中

控制单元控制第二观察方向，使得第二观察方向与第一观察方向基本相同。

(4)

根据(3)的控制设备，其中

控制单元控制第二观察方向，使得第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度基本相同。

(5)

根据(2)至(4)的任一个的控制设备，其中

控制单元通过控制支撑成像单元的臂来控制第二观察方向。

(6)

根据(2)至(5)的任一个的控制设备，其中

当_M ^SR是用于从接收来自观察者的输入的主单元的三维坐标系转换到基于输入控制的从属单元的三维坐标系的旋转矩阵，_S ^CR是用于从用于从属单元的三维坐标系转换到用于成像单元的三维坐标系的旋转矩阵，_C ^DR是用于从用于成像单元的三维坐标系转换到用于显示单元的三维坐标系的旋转矩阵，_D ^MR是用于从用于显示单元的三维坐标系转换到用于主单元的三维坐标系的旋转矩阵，I是单位矩阵时，控制单元控制参数以满足公式4：

[数学式4]

(7)

根据(6)的控制设备，其中

控制单元通过控制参数动态地改变_M ^SR、_S ^CR或_C ^DR。

(8)

根据(6)或(7)的控制设备，其中

控制单元基于第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度之间的差，在_C ^DR中反映重力方向上的旋转分量。

(9)

根据(1)至(8)的任一个的控制设备，其中

第二点是从属单元中的一个作用点、从属单元中的两个作用点之间的中心点、包括在对象中的点、成像单元的聚焦点和包括在从属单元的操作区域中的点中的任何一个。

(10)

根据(1)至(9)的任一个的控制设备，其中

控制单元基于第二点来控制从属单元。

(11)

根据(1)至(10)的任一个的控制设备，其中

显示单元安装在固定设备上。

(12)

根据(1)至(11)的任一个的控制设备，其中

从侧的空间是现实空间或虚拟空间。

(13)

一种主从系统，包括：

从属单元；

主单元，用于操作从属单元；以及

控制单元，其

计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系，以及

控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系XIANGDUIYING。

参考符号列表

1 主从系统

10 主单元

20 从属单元

30 检测单元

40 臂

50 成像单元

60 显示单元

610 显示表面

70 控制单元

710 角度计算单元

720 成像控制单元

730 显示控制单元

740 偏移控制单元

750 主从控制单元。