阅读说明：本技术 虚拟对象显示系统 (Virtual object display system ) 是由 大西庸士 于 2019-06-03 设计创作，主要内容包括：本发明提供一种虚拟对象显示系统,以简易的方法来显示虚拟对象。图表生成部生成将包括相机的结构要素设为节点的图表,作为控制对象的机械结构,节点选择部选择想要显示虚拟对象的节点,选择节点通知部将想要显示虚拟对象的节点通知给机械结构管理装置,转换信息计算部对包括图表中的从相机节点向显示对象的节点的路径上的控制轴节点的坐标值作为变量的转换信息进行计算,该转换信息用于根据图表计算相机节点的坐标系中的显示对象的节点的位置以及/或者姿态,转换信息通知部将转换信息通知给增强信息控制装置,坐标信息转换部将所通知的各控制轴的坐标值转换为相机节点的坐标系中的显示对象的各节点的位置以及/或者姿态。(The invention provides a virtual object display system which displays a virtual object by a simple method. The graph generating unit generates a graph in which a component including a camera is defined as a node, the graph being a machine structure to be controlled, the node selecting unit selects a node on which a virtual object is to be displayed, the selected node notifying unit notifies the machine structure management device of the node on which the virtual object is to be displayed, the conversion information calculating unit calculates conversion information including, as a variable, a coordinate value of a control axis node on a path from the camera node to the node to be displayed in the graph, the conversion information is used for calculating the position and/or posture of the display object node in the coordinate system of the camera node according to the graph, the conversion information notification unit notifies the enhanced information control device of the conversion information, and the coordinate information conversion unit converts the coordinate values of the control axes notified by the conversion information notification unit into the position and/or posture of the display object node in the coordinate system of the camera node.)

虚拟对象显示系统

技术领域

本发明涉及用于使用增强现实(AR(Augmented Reality))、复合现实(MR(MixedReality))的技术来进行仿真的虚拟对象显示系统。

背景技术

以往，在由数值控制装置控制的机床领域中，利用CAD(computer-aided design)等来设计工件、夹具。另外，制作用于使用设计好的夹具来对工件进行加工的加工程序。

而且，数值控制装置基于加工程序来控制机床，由此实现工件的加工。

在此，在将设计好的夹具、工件以及加工程序实际装入生产线之前，为了确认这些夹具、工件以及加工程序是否适当，通常进行加工仿真。

在通过基于实际的机械的动作确认来进行该加工仿真的情况下，理所当然地，在实物的夹具完成之前无法进行加工仿真。因此，产生工序在夹具完成之前停滞这样的问题。

另外，在夹具完成后的动作确认时发现干扰等问题，在需要变更夹具的设计的情况下，工序进一步延长。另外，还产生用于变更夹具的设计的费用。假设在不变更夹具的设计的情况下，需要变更加工程序，但在该情况下，加工所需要的周期时间可能比最初延长。

考虑到这些问题，存在如下技术：不通过实际的机械来进行动作确认，而通过个人计算机等的运算处理来虚拟地进行加工仿真。

例如，在专利文献1所公开的技术中，将机床中的构造全部虚拟对象化来进行加工仿真。

然而，在专利文献1所公开的技术中，不仅需要制作工件、夹具的虚拟对象，还需要针对多种机床分别制作机械整体的虚拟对象。另外，为了再现实际的机床的动作，还需要在机床的可动部分的虚拟对象安装动作处理。换句话说，存在难以制作虚拟对象的问题。

此外，即便这样制作虚拟对象，在虚拟对象的再现度低的情况下，也存在与现实之间产生差异的问题。

专利文献2公开了鉴于与上述那样的虚拟对象相关的问题而完成的技术。在专利文献2所公开的技术中，通过相机来获取机床内部的图像，并将预先登记的工具保持部或者工件保持部提取为特征点。然后，基于特征点的位置，使预先登记的工具或者工件的虚拟对象覆盖显示于实际拍摄到的机床的图像。这样一来，无需制作机床的虚拟对象。以下，将这样与实际存在于现实空间的对象重叠的信息称作“增强信息”。

然而，需要将相机的拍摄方向固定为预先设定好的方向，还需要提取特征点。

专利文献1：日本专利4083554号说明书

专利文献2：日本专利5384178号说明书

发明内容

因此，本发明的目的在于，提供能够以简易的方法来显示虚拟对象的虚拟对象显示系统。

(1)本发明所涉及的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)具备机械结构管理装置(例如，后述的机械结构管理装置100)和增强信息控制装置(例如，后述的增强信息控制装置200)，所述机械结构管理装置具备图表生成部(例如，后述的图表生成部111)、控制点坐标系***部(例如，后述的控制点坐标系***部113)、节点信息通知部(例如，后述的节点信息通知部114)、转换信息计算部(例如，后述的转换信息计算部115)以及转换信息通知部(例如，后述的转换信息通知部116)，所述增强信息控制装置具备节点选择部(例如，后述的节点选择部211)、选择节点通知部(例如，后述的选择节点通知部212)以及坐标信息转换部(例如，后述的坐标信息转换部213)，其中，所述图表生成部生成将包括相机在内的结构要素设为节点的图表，作为控制对象的机械结构，所述控制点坐标系***部向所述图表***控制点以及坐标系，所述节点信息通知部将能够显示的节点信息通知给所述增强信息控制装置，所述节点选择部选择想要显示虚拟对象的节点，所述选择节点通知部将想要显示虚拟对象的节点通知给所述机械结构管理装置，所述转换信息计算部计算用于以所述图表为基础来计算相机节点的坐标系中的显示对象的节点的位置以及/或者姿态的转换信息，该转换信息包括所述图表中的从相机节点向显示对象的节点的路径上的控制轴节点的坐标值来作为变量，所述转换信息通知部将所述转换信息通知给所述增强信息控制装置，所述坐标信息转换部使用所述转换信息，将所通知的各控制轴的坐标值转换为相机节点的坐标系中的显示对象的各节点的位置以及/或者姿态。

(2)(1)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)还具备显示装置(例如，后述的显示装置300)，所述增强信息控制装置(例如，后述的增强信息控制装置200)也可以具备：增强信息显示用数据计算部(例如，后述的增强信息显示用数据计算部214)，其基于由所述坐标信息转换部(例如，后述的坐标信息转换部213)转换而得的相机节点的坐标系中的显示对象的各节点的位置以及/或者姿态，计算用于通过所述显示装置计算虚拟对象作为增强信息的增强信息显示用数据；以及增强信息显示用数据通知部(例如，后述的增强信息显示用数据通知部215)，其将所述增强信息显示用数据通知给所述显示装置。

(3)在(1)或者(2)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，也可以是，所述坐标信息转换部(例如，后述的坐标信息转换部213)将从数值控制装置(例如，后述的数值控制装置150)取得的坐标值设为所述各控制轴的坐标值，并转换为相机节点的坐标系中的显示对象的各节点的位置以及/或者姿态。

(4)在(1)～(3)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，也可以是，所述增强信息控制装置(例如，后述的增强信息控制装置200)还具备具有所述图表的数据的存储部(例如，后述的存储部220)。

(5)(1)～(4)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)也可以还具备存储所述图表的数据的服务器。

(6)在(1)～(5)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述机械结构管理装置(例如，后述的机械结构管理装置100)也可以与机床(例如，后述的机床400)的数值控制装置(例如，后述的数值控制装置150)形成为一体。

(7)在(1)～(5)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述机械结构管理装置(例如，后述的机械结构管理装置100)也可以存在于云上。

根据本发明，能够以简易的方法来显示虚拟对象。

附图说明

图1是示出本发明的实施方式整体的基本结构的框图。

图2是本发明的实施方式所涉及的机械结构管理装置100的功能块图。

图3是本发明的实施方式所涉及的数值控制装置150的功能块图。

图4是本发明的实施方式所涉及的增强信息控制装置200的功能块图。

图5是本发明的实施方式中的机械结构树的生成方法的说明图，示出了机械结构。

图6是本发明的实施方式中的机械结构树的生成方法的说明图。

图7是本发明的实施方式中的机械结构树的生成方法的说明图，示出了机械结构树。

图8是示出本发明的实施方式中的机械结构树的生成方法的流程图。

图9A是本发明的实施方式中的机械的结构要素的父子关系的说明图，其中，当504的坐标值变化时，对505的位置、姿态产生影响，即使505的坐标值变化，也不对504的位置、姿态产生影响。

图9B是本发明的实施方式中的机械的结构要素的父子关系的说明图，其中，当502的坐标值变化时，对双方的位置、姿态产生影响。

图10A是将单元***到机械结构树中的方法的说明图。

图10B是将单元***到机械结构树中的方法的说明图。

图10C是将单元***到机械结构树中的方法的说明图。

图11是示出本发明的实施方式所涉及的机械结构的例子的图，其中，512是表示连接点520的位置姿态的齐次矩阵M_A，513是表示连接点510的位置姿态的齐次矩阵M_B。

图12A是示出成为机械结构树的生成对象的机械的例子的图。

图12B是示出与成为机械结构树的生成对象的机械对应的机械结构树的例子的图。

图13是示出在本发明的实施方式中，在机械的各节点***有坐标系以及控制点的例子的图。

图14是示出本发明的实施方式中的***有坐标系以及控制点的机械结构树的例子的图。

图15A是示出在本发明的实施方式中，向各节点***偏移以及姿态矩阵的机械的例子的图。

图15B是示出在本发明的实施方式中，在机械的各节点***有偏移以及姿态矩阵的例子的图。

图16是示出在本发明的实施方式中，向机械结构树***控制点的动作流程的图。

图17是示出本发明的实施方式中的***有坐标系以及控制点的机械结构树的例子的图。

图18是示出在本发明的实施方式中，生成转换信息时使用的信息的例子的图，示出了机械结构和机械结构树。

图19是示出在本发明的实施方式中，生成转换信息时使用的信息的例子的图。

图20是示出本发明的实施方式所涉及的虚拟对象显示方法的动作流程的图。

图21A是示出本发明的实施方式的实施例的图。

图21B是示出本发明的实施方式的实施例的图，示出了机械结构树。

图22A是示出本发明的实施方式的实施例的图。

图22B是示出本发明的实施方式的实施例的图，示出了机械结构树。

附图标记说明：

10 虚拟对象显示系统；

100 机械结构管理装置；

110 控制部；

111 图表生成部；

112 节点追加部；

113 控制点坐标系***部；

114 节点信息通知部；

115 转换信息计算部；

116 转换信息通知部；

120 存储部；

150 数值控制装置；

160 控制部；

161 坐标信息通知部；

162 伺服电动机控制部；

200 增强信息控制装置；

211 节点选择部；

212 选择节点通知部；

213 坐标信息转换部；

214 增强信息显示用数据计算部；

215 增强信息显示用数据通知部；

220 存储部；

300 显示装置；

400 机床。

具体实施方式

＜1.虚拟对象显示系统的结构＞

接下来，参照附图对本发明的实施方式详细进行说明。首先，参照图1对本实施方式整体的结构进行说明。

本实施方式所涉及的虚拟对象显示系统10具备机械结构管理装置100、数值控制装置150、增强信息控制装置200、显示装置300以及机床400。

机械结构管理装置100是本实施方式特有的装置，制作以机床400的各结构要素为节点的图表(以下，也记作机械结构树)，通过该图表来管理机械结构，由此，后述的增强信息控制装置200能够利用基于该机械结构树的机械结构的数据来进行控制。

更具体地说，机械结构管理装置100通过后述的＜5.机械结构树的生成＞所记载的方法，生成表现出机床400的结构的机械结构树，进而追加登记相机作为机械结构树的节点。机械结构树具有各节点相互的位置关系信息，因此在机械结构树上包括相机作为节点，由此，在后述的增强信息控制装置200中，关于机械结构树上的所有节点，知晓与相机之间的位置/姿态的关系。

参照图2，后面对机械结构管理装置100的详细结构进行说明。

数值控制装置150是具备作为一般的数值控制装置的功能和进行与机械结构管理装置100之间的通信的功能的装置。数值控制装置150与机床400连接而能够通信。而且，数值控制装置150根据基于组装于数值控制装置150自身的加工程序而输出的各控制轴的移动量来控制机床400，从而对工件进行加工。

另外，数值控制装置150向增强信息控制装置200也输出基于加工程序而输出的各控制轴的坐标值。

这样，数值控制装置150向机械结构管理装置100与机床400这两者输出移动量。关于该点，移动量从数值控制装置150向机械结构管理装置100的输出可以与移动量从数值控制装置150向机床400的输出同步进行，也可以非同步地输送。

参照图3，后面对数值控制装置150的详细结构进行说明。

增强信息控制装置200通过增强现实技术来计算虚拟对象的显示位置以及显示姿态，由此进行用于适当地显示虚拟对象的控制。

参照图4，后面对增强信息控制装置200的详细结构进行说明。

显示装置300获取增强信息控制装置200输出的虚拟对象及其显示位置以及姿态。而且，基于该获取到的信息，在显示装置300中显示虚拟对象。该获取到的信息与相机坐标系对应。

机床400是一般的机床，根据从数值控制装置150输出的各控制轴的移动量而使各控制轴移动、旋转。另外，机床400上所固定的相机将通过拍摄而获取到的信息输出给增强信息控制装置200。

在本实施方式中，通过上述那样的结构，用户利用显示装置300参照与相机坐标系对应地显示的虚拟对象，并且隔着显示器参照与各控制轴的移动量对应而可动的机床400的实际的构造。由此，用户能够观察加工仿真的样子。

需要说明的是，图1所示的结构只不过是一例。例如，也可以通过平板电脑型的终端来实现显示装置300。另外，也可以将机械结构管理装置100的功能的一部分或者全部搭载于数值控制装置150。另外，也可以将增强信息控制装置200的功能的一部分或者全部搭载于显示装置300、数值控制装置150。另外，增强信息控制装置200可以通过单独的装置来实现，也可以通过多个装置的组合来实现。另外，增强信息控制装置200可以通过在数值控制装置150、机床400的附近设置的装置来实现，但也可以通过经由网络而与数值控制装置150、机床400远程地设置的服务器装置等来实现。此外，各通信连接可以为有线连接，也可以为无线连接。例如，在附图中，虽然记载了机械结构管理装置100、数值控制装置150以及增强信息控制装置200的通信连接按照以太网(注册商标)(Ethernet)通过有线连接来进行的例子，但该连接也可以是无线连接。

＜2.机械结构管理装置的结构＞

图2是机械结构管理装置100的功能块图。

机械结构管理装置100具备控制部110和存储部120，控制部110具备图表生成部111、控制点坐标系***部113、节点信息通知部114、转换信息计算部115以及转换信息通知部116，图表生成部111具备节点追加部112。

控制部110是整体控制机械结构管理装置100的处理器。该控制部110经由总线读出ROM(未图示)所储存的系统程序以及应用程序，并根据该系统程序以及应用程序来实现控制部110具备的图表生成部111、节点追加部112、控制点坐标系***部113、节点信息通知部114、转换信息计算部115、转换信息通知部116的功能。

图表生成部111以图表形式生成包括相机在内的机床400的机械结构。此外，图表生成部111具有的节点追加部112向所生成的图表追加节点。关于这些详细动作，在以下的“5.机械结构树的生成”中详细说明。

控制点坐标系***部113向机械结构的图表***控制点以及坐标系。关于其详细的动作，在以下的“6.控制点和坐标值的自动***”中详细说明。

节点信息通知部114向后述的增强信息控制装置200通知能够显示的节点的信息。

转换信息计算部115如后述那样，在从增强信息控制装置200的选择节点通知部212通知了想要显示虚拟对象的节点之后，对包括从相机节点向显示对象的节点的路径上的控制轴节点的坐标值作为变量的转换信息进行计算，该转换信息以上述的图表为基础来计算相机节点的坐标系中的各显示对象的节点的位置以及/或者姿态。

需要说明的是，上述的转换信息可以为矩阵形式，可以为向量形式，也可以为横摆·倾斜·俯仰形式。关于其详细的动作，在以下的“7.转换信息的计算”中详细说明。

转换信息通知部116将转换信息计算部115所计算出的转换信息通知给增强信息控制装置200的坐标信息转换部213。

存储部120存储由图表生成部111生成的机械结构树所涉及的信息。

需要说明的是，关于图表生成部111、节点信息通知部114、转换信息计算部115、转换信息通知部116、存储部120的详细动作，在以下的“8.虚拟对象的显示方法”中详细说明。

＜3.数值控制装置的结构＞

图3是数值控制装置150的功能块图。

数值控制装置150具备控制部160，控制部160具备坐标信息通知部161和伺服电动机控制部162。

控制部160是整体控制数值控制装置150的处理器。该控制部160经由总线读出ROM(未图示)所储存的系统程序以及应用程序，并根据该系统程序以及应用程序来实现控制部160具备的坐标信息通知部161以及伺服电动机控制部162的功能。

坐标信息通知部161将运转中的机床400的坐标信息通知给增强信息控制装置200的坐标信息转换部213。

伺服电动机控制部162接受来自控制部160的各轴的移动指令量，并将各轴的指令输出给伺服电动机(未图示)。

需要说明的是，数值控制装置150为了对机床400进行数值控制还具备通常的数值控制装置所具备的其他结构要素，但省略其说明。

＜4.增强信息控制装置的结构＞

图4是增强信息控制装置200的功能块图。

增强信息控制装置200具备控制部210和存储部220，控制部210具备节点选择部211、选择节点通知部212、坐标信息转换部213、增强信息显示用数据计算部214以及增强信息显示用数据通知部215。

控制部210是整体控制增强信息控制装置200的处理器。该控制部210经由总线读出ROM(未图示)所储存的系统程序以及应用程序，并根据该系统程序以及应用程序来实现控制部210所具备的节点选择部211、选择节点通知部212、坐标信息转换部213、增强信息显示用数据计算部214以及增强信息显示用数据通知部215的功能。

节点选择部211选择想要显示虚拟对象的节点。

选择节点通知部212将节点选择部211所选择的节点通知给机械结构管理装置100的转换信息计算部115。

坐标信息转换部213以从机械结构管理装置100取得的转换信息为基础，根据从数值控制装置150定期取得的各控制轴的坐标值来计算虚拟对象在相机坐标系中的位置以及/或者姿态。

增强信息显示用数据计算部214基于AR、MR等技术来计算用于显示虚拟对象等的增强信息的增强信息显示用数据。更具体地说，增强信息显示用数据计算部214将虚拟对象在相机坐标系中的位置以及/或者姿态转换为在屏幕坐标系中的位置以及/或者姿态。

增强信息显示用数据通知部215将增强信息显示用数据计算部214所计算出的增强信息显示用数据发送给显示装置300。该增强信息显示用数据包括虚拟对象的形状等和该虚拟对象的转换为屏幕坐标系的坐标值后的显示位置以及显示姿态等。另外，增强信息显示用数据可以通过无线来进行发送，也可以通过有线来进行发送。

存储部220存储由机械结构管理装置100的图表生成部111生成的图表所涉及的信息。

需要说明的是，关于节点选择部211、选择节点通知部212、坐标信息转换部213、增强信息显示用数据计算部214及增强信息显示用数据通知部215、以及存储部220的详细动作，在以下的“8.虚拟对象的显示方法”中详细说明。

＜5.机械结构树的生成＞

本发明的实施方式所涉及的机械结构管理装置100最初生成表示机械结构的图表。一边参照图5～图11，一边对作为图表的一例而生成机械结构树的生成方法进行详细说明。

作为例子，对表现图5所示的机械的结构的机械结构树的生成方法进行说明。在图5的机械中，X轴被设定为与Z轴垂直，在X轴上设置有工具1，在Z轴上设置有工具2。另一方面，在Y轴上设定有B轴，在B轴上设定有C轴，在C轴上设置有工件1和工件2。将该机械结构表现为机械结构树的方法如以下那样。

首先，如图6所示，仅配置原点201和节点202A～202I。在该阶段，原点201与节点202、以及节点202之间不连接，原点以及节点各自的名称也未设定。

接下来，对各轴的轴名称(轴型)、各工具的名称、各工件的名称、各原点的名称、各轴的物理轴编号(轴型)进行设定。接下来，对各轴的父节点(轴型)、各工具的父节点、各工件的父节点进行设定。最后，对各轴的交叉偏移(轴型)、各工具的交叉偏移、各工件的交叉偏移进行设定。其结果是，生成图7所示的机械结构树。

需要说明的是，机械结构树的各节点并不限于上述的各信息，例如，也可以具有或者不具有标识符(名称)、自身的父节点的标识符、将自身设为父节点的所有子节点的标识符、相对于父节点的相对偏移(交叉偏移)、相对于父节点的相对坐标值、相对于父节点的相对移动方向(单位向量)、节点种类(直线轴/旋转轴/单元(后述)/控制点/坐标系/原点等)、物理轴编号、以及正交坐标系和物理坐标系的转换式所涉及的信息。

通过这样对各节点设定值，在机械结构管理装置100内生成具有机械结构树状的数据构造的数据。此外，在追加其它的机械(或者机器人)的情况下，能够追加原点，进而追加节点。

图8示出将上述的机械结构树生成方法，特别是向各节点设定各值的方法一般化的流程图。

在步骤S11中，图表生成部111取得对节点设定的参数的值。

在步骤S12中，在所设定的参数的项目为“自身的父节点”的情况(S12：是)下，处理移至步骤S13。在所设定的参数的项目不为“自身的父节点”的情况(S12：否)下，处理移至步骤S17。

在步骤S13中，在设定参数的节点已经设定有父节点的情况(S13：是)下，处理移至步骤S14。在设定参数的节点未设定父节点的情况(S13：否)下，处理移至步骤S15。

在步骤S14中，图表生成部111从设定参数的节点的当前的父节点具有的“子节点”的项目删除自身的标识符，并更新机械结构树。

在步骤S15中，图表生成部111对设定参数的节点的相应项目设定值。

在步骤S16中，图表生成部111对于父节点，在“子节点”的项目中追加自身的标识符，并更新机械结构树，然后结束流程。

在步骤S17中，图表生成部111对设定参数的节点的相应项目设定了值，然后结束流程。

通过使用具有上述的机械结构树状的数据构造的数据的生成方法，能够设定机械的结构要素彼此的父子关系。

在此，父子关系是指，例如如图9A那样，当具有两个旋转轴节点504、505时，一方的节点504的坐标值的变化对另一方的节点505的几何状态(典型地为位置、姿态)单方面地造成影响这样的关系。在该情况下，节点504、505被称作处于父子关系，将节点504称作父，将节点505称作子。

但是，例如如图9B所示，在由两个直线轴节点502、503和四个万向接头501构成的机械结构中，存在通过使节点502、503的一方的坐标值(长度)变化，不仅使另一方的几何状态变化，还使自身的几何的状态也变化那样的相互影响的机构。在那样的情况下，可以看作是互为父子，即父子关系是双向的。

这样，针对某一节点的变化对于其它节点相互影响这样的机构，从便利性的观点出发，理解为一个单元，通过将该单元***机械结构树而生成整体的机械结构树。单元如图10A那样具有两个连接点510以及连接点520，在单元如图10B那样***到机械结构树的情况下，如图10C那样，父节点与连接点520连接，并且，子节点与连接点510连接。另外，单元具有从连接点520向连接点510的转换矩阵。该转换矩阵由单元所包含的各节点的坐标值表示。在例如图11那样的机械结构的情况下，当将表示连接点520的位置、姿态的齐次矩阵设为M_A，将表示连接点510的位置、姿态的齐次矩阵设为M_B时，这些矩阵间的转换式使用单元所包含的各直线轴节点的坐标值x₁、x₂如以下那样表示。

[数1]

当将θ、L设为如下式时，

M_B＝TM_A

其中，T如下表示。

表示该机械结构的单元具有上述的[数1]的数式中的T那样的齐次转换矩阵。齐次矩阵是指如以下的[数2]的数式那样能够集中表现位置、姿态的4×4矩阵。

[数2]

姿态 位置

另外，即便在不是互为父子关系的情况下，为了简化计算处理、设定，也可以定义预先将某些个节点汇总为一个的单元，并将其构成于机械结构树中。

如上述所述，在本实施方式中，机械结构的图表能够包括将多个轴汇总为一个的单元作为结构要素。

＜6.控制点和坐标值的自动***＞

为了将机械结构上的各种位置指定为控制点，并且设定机械结构上的各种位置的坐标系，使用在上述的“5.机械结构树的生成”中生成的机械结构树来实施以下的方法。

例如，在图12A所示的多工位转台式机床350中，X1轴被设定为与Z1轴垂直，在X1轴上设置有工具1。另外，X2轴被设定为与Z2轴垂直，在X2轴上设置有工具2。此外，在工作台中，在C轴上并列地设定有C1轴和C2轴，在C1轴和C2轴上分别设置有工件1和工件2。当将该机械结构由机械结构树表示时，成为图12B所示的机械结构树。

当举出从各工件与机械原点相连的一系列的节点为例时，如图13所示，向机械原点、C轴、C1轴、C2轴、工件1、工件2分别自动***坐标系和控制点。这不仅对工作台进行实施，也对从各工具与机械原点相连的一系列的节点即X1轴、X2轴、Z1轴、Z2轴、工具1、工具2的全部进行实施。其结果是，如图14所示，对构成机械结构树的所有节点自动***各自对应的控制点和坐标系。通常，在进行加工的情况下对工件指定坐标系、工具作为控制点。由此，例如，能够应对为了使工件自身向预定的位置移动而想要对工件指定控制点的情况、为了利用某一工具对其它工具进行研磨而想要对工具自身设定坐标系的情况等各种情况。

另外，如图15A所示，各控制点以及坐标系具有偏移。因此，还能够将离开节点中心的点设为控制点、坐标系原点。此外，各控制点以及坐标系具有姿态矩阵。该姿态矩阵在为控制点的姿态矩阵的情况下表示控制点的姿态(朝向、倾斜)，在为坐标系的姿态矩阵的情况下表示坐标系的姿态。在图15B所示的机械结构树中，偏移以及姿态矩阵由关联于各自对应的节点的形式表现。此外，各控制点以及坐标系具有分别加上/不加上存在于机械结构树的到根为止的路径上的节点的“移动”以及“交叉偏移”的信息，并能够对它们进行设定。

图16示出使上述的控制点的自动***方法一般化的流程图。该流程图详细而言包括流程图A和流程图B，如后述那样，成为在流程图A的中途执行流程图B这样的结构。

首先，对流程图A进行说明。

在步骤S21中，图表生成部111设定机械结构树。

在步骤S22中，执行流程图B，并结束流程图A的流程。

接下来，对流程图B进行说明。

在流程图B的步骤S31中，在节点已***控制点、坐标系的情况(S31：是)下，结束流程。在节点没有***控制点、坐标系的情况(S31：否)下，处理移至步骤S32。

在步骤S32中，控制点坐标系***部113向节点***控制点、坐标系，将变量n堆栈一个。另外，设为n＝1。

在步骤S33中，在节点存在第n个子节点的情况(S33：是)下，处理移至步骤S34。在节点不存在第n个子节点的情况(S33：否)下，处理移至步骤S36。

在步骤S34中，针对第n个子节点，递归地执行流程图B自身。

在步骤S35中，对n增加1。即，设为n＝n+1，处理返回至步骤S33。

在步骤S36中，弹出一个变量n，结束流程图B的流程。

根据上述的方法，控制点坐标系***部113对机械结构的图表的各节点***控制点以及坐标系作为节点。需要说明的是，在上述说明中，虽然示出了追加控制点以及坐标系作为节点的情况下的实施例，但如图17所示，控制点坐标系***部113对于机械结构的图表的各节点具有控制点以及坐标系作为信息的实施方式也同样可以实施。

＜7.转换信息的计算＞

如上述那样，转换信息计算部115对将控制轴的坐标值转换为虚拟对象在相机坐标系中的位置以及/或者姿态的转换信息进行计算。参照图18～图19对该转换信息的计算方法进行详细说明。

例如，如图18所示，在轴x₁之上设定轴x₂，轴x₂之上设定轴x₃，以下同样地连结N个节点，其末端为轴x_N。此外，在轴x_N上的控制点显示虚拟对象。同样，在轴y₁之上设定轴y₂，在轴y₂之上设定轴y₃，以下同样地连结L个节点，其末端为轴y_L。此外，在轴y_L上设置有相机。在此，x_i，y_j为节点名称，但同时也表示各节点的坐标值。

此外，对各节点赋予图18所示的偏移、节点种类(直线/旋转/单元/控制点/坐标系)、轴方向、姿态矩阵、坐标值。

此时，如图19所示，表示相对于根(机械原点)的控制点上的虚拟对象的当前位置、姿态的齐次矩阵M_obj由下式求出。

[数3]

其中，

其中，符号的含义如下所述。

S_xi：各节点的齐次转换矩阵；

N：机械结构树的从根到控制点为止相连的一系列的节点个数；

M_ctrl：控制点相对于父节点的相对偏移、姿态的齐次矩阵，根据对控制点定义的偏移向量、姿态矩阵，由上述的[数2]定义。

齐次转换矩阵S_xi根据节点的种类而变化，例如，直线轴的情况如以下那样表示。

[数4]

其中，符号的含义如下所述。

x_i：节点x_i的坐标值；

ofs_xi：节点x_i相对于父节点的相对偏移向量；

v_xi：节点x_i的移动方向向量。

另外，旋转轴的情况如以下那样表示。

[数5]

其中，符号的含义如下所述。

v₁：节点x_i的旋转轴方向向量的第一分量；

v₂：节点x_i的旋转轴方向向量的第二分量；

v₃：节点x_i的旋转轴方向向量的第三分量。

此时，表示相机坐标系上的控制点上的虚拟对象的当前位置、姿态的齐次矩阵X_c使用M_obj由下式求出。

[数6]

其中，

其中，符号的含义如下所述。

L：机械结构树的从根到相机节点为止相连的一系列的节点个数；

M_coord：相机相对于父节点的相对偏移、姿态的齐次矩阵，根据对坐标系所定义的偏移向量、姿态矩阵而由上述的[数2]的数式定义。

＜8.虚拟对象的显示方法＞

图20示出显示虚拟对象时的动作流程。首先叙述各步骤的概要。

在步骤S41中，机械结构管理装置100对机械结构树追加相机节点作为新节点。由此，例如，在机床400的结构为图21A所示那样的结构的情况下，如图21B所示那样，对表示机床400的结构的机械结构树追加相机节点。

在步骤S42中，增强信息控制装置200从机械结构管理装置100获取能够显示的节点。

在步骤S43中，增强信息控制装置200选择显示虚拟对象等的增强信息的节点，并通知给机械结构管理装置100。

在步骤S44中，机械结构管理装置100导出求出所要求显示的节点在相机坐标系中的位置、姿态的式子，并通知给增强信息控制装置200。

在步骤S45中，增强信息控制装置200从数值控制装置150获取各控制轴的坐标值。

在步骤S46中，增强信息控制装置200使用所获取的坐标值和求出在相机坐标系中的位置、姿态的式子，求出显示虚拟对象等的增强信息的节点在相机坐标系中的位置、姿态。

在步骤S47中，增强信息控制装置200根据相机坐标系中的位置、姿态，通过坐标系的转换来求出在屏幕坐标系中的位置、姿态。

在步骤S48中，增强信息控制装置200生成虚拟对象等的增强信息的显示用数据即增强信息显示用数据，并将其输出给显示装置300。

在步骤S49中，显示装置300显示虚拟对象等的增强信息。然后，处理返回至步骤S45。

需要说明的是，也可以是由机械结构管理装置100求出显示虚拟对象等的增强信息的节点在相机坐标系中的位置、姿态，并将表示位置、姿态其本身的值通知给增强信息控制装置200。

在上述的步骤S47中，增强信息控制装置200使用公知的方法，根据相机坐标系中的位置、姿态，求出在屏幕坐标系中的位置、姿态。更具体地说，进行求出从相机坐标系向屏幕坐标系转换的转换信息的处理，根据该转换信息，将虚拟对象的位置、姿态从相机坐标系向屏幕坐标系的值转换。增强信息显示用数据除了包括在此求出的相机坐标系以及屏幕坐标系的位置、姿态，还包括虚拟对象的形状等数据。增强信息显示用数据被输出至显示装置300，通过使用所输出的数据，显示装置300能够在屏幕的适当位置描绘虚拟对象。

根据上述的方法，能够在显示器上对于任意的节点显示虚拟对象。如图22A所记载的那样，也可以用于作为虚拟对象而配置例如工件、工具的3D模型并进行加工仿真。或者，也可以显示各主轴的转速那样的节点所关联的数据。此外，配置加速度传感器、温度传感器，如图22B所记载的那样，将传感器用节点追加于机械结构树，由此也能够视觉地确认各场所的加速度、温度。

由此，机床400的操作者能够在仿真作业中确认节点所关联的数据、传感器的数值。

＜9.本实施方式带来的效果＞

根据本实施方式，能够对于图表上所登记的节点全部配置虚拟对象。尤其是通过相机节点的追加，能够在任意位置追加虚拟对象，无需另外登记移动量的转换式、或者另外识别特异点。另外，也无需初始位置的识别。

＜10.变形例＞

虽然有一部分重复，但是图表数据也可以储存于机械结构管理装置100，但并不局限于此。例如，可以储存于增强信息控制装置200，也可以储存于经由网络而与虚拟对象显示系统10连接的服务器上。通过能够在增强信息控制装置200、服务器上储存机械结构树数据，本发明能够应用于旧机床。需要说明的是，在该情况下，不执行上述的步骤S43以前的处理，步骤S44在增强信息控制装置200侧执行。

另外，机械结构管理装置100也可以组装于数值控制装置150而形成为一体。或者，机械结构管理装置100也可以存在于云上。

需要说明的是，上述的机械结构管理装置、数值控制装置、增强信息控制装置以及机床分别能够通过硬件、软件或者它们的组合来实现。另外，通过上述的机械结构管理装置、数值控制装置、增强信息控制装置以及机床的配合来进行的仿真方法也能够通过硬件、软件或者它们的组合来实现。在此，通过软件来实现是指，通过计算机读入并执行程序来实现。

程序能够使用各种类型的非瞬态的计算机可读介质(non-transitory computerreadable medium)而储存，并向计算机提供。非瞬态的计算机可读介质包括各种类型的有形记录介质(tangible storage medium)。非瞬态的计算机可读介质的例子包括：磁记录介质(例如，软盘、磁带、硬盘驱动器)、光磁记录介质(例如，光磁盘)、CD-ROM(Read OnlyMemory)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、闪速ROM、RAM(random access memory))。另外，程序也可以通过各种类型的瞬态的计算机可读介质(transitory computer readable medium)向计算机提供。瞬态的计算机可读介质的例子包括电信号、光信号以及电磁波。瞬态的计算机可读介质能够经由电线以及光纤等有线通信路、或者无线通信路而将程序提供给计算机。