具体实施方式

下面，基于附图对本发明的实施方式所涉及的数控装置及机器学习装置详细地进行说明。此外，本发明不受本实施方式限定。在下面的说明中，有时将数控装置称为NC(Numerical Control)装置。

实施方式1.

图1是表示由本发明的实施方式1所涉及的数控装置进行控制的工作机械的一个例子的示意图。图1所示的工作机械1通过对进给轴即多个轴进行驱动，从而一边使刀具5和工件3相对地移动、一边对工件3进行加工。

工作机械1具有：底座2，其是工作机械1的基座；工作台4，其载置工件3；头部6，其对刀具5进行保持；以及柱7，其配置于底座2上，对头部6进行支撑。工作台4能够在底座2上向水平方向移动。头部6能够在柱7上向铅垂方向移动。工作机械1是在从底座2立起的柱7的前端设置有头部6的所谓立型的加工中心。

工作机械1具有X轴、Y轴及Z轴，它们是彼此垂直的3个进给轴；对X轴进行驱动的电动机；对Y轴进行驱动的电动机；以及对Z轴进行驱动的电动机。工作机械1通过X轴或者Y轴的驱动而使工作台4向水平方向移动。工作机械1通过Z轴的驱动而使头部6移动。

X轴、Y轴及Z轴各自是通过受到由电动机产生的驱动力而旋转的滚珠丝杠。X轴及Y轴设置于底座2。Z轴设置于柱7。另外，在底座2设置有用于将X轴的旋转运动向X轴方向的直线运动变换的机构、和用于将Y轴的旋转运动向Y轴方向的直线运动变换的机构。在柱7设置有用于将Z轴的旋转运动向Z轴方向的直线运动变换的机构。在图1中，省略了X轴、Y轴及Z轴、对各轴进行驱动的电动机和用于将各轴的旋转运动向直线运动变换的机构的图示。

在下面的说明中，X轴方向设为通过X轴的驱动而工作台4移动的方向。Y轴方向设为通过Y轴的驱动而工作台4移动的方向。Z轴方向设为通过Z轴的驱动而头部6移动的方向。在图1中，将X轴方向、Y轴方向及Z轴方向通过箭头表示。X轴方向和Y轴方向为水平方向。Z轴方向为铅垂方向。

工作机械1通过工作台4向X轴方向及Y轴方向的移动和头部6向Z轴方向的移动，在3维空间使刀具5和工件3相对地移动。如上所述，在工作机械1中，能够在X轴方向、Y轴方向及Z轴方向使刀具5和工件3相对地移动。并且，工作机械1可以具有在水平面内使工作台4旋转的电动机。

图2是表示实施方式1所涉及的数控装置和工作机械的框图。在图2中示出了NC装置10的功能结构。NC装置10生成用于对X轴16X、Y轴16Y及Z轴16Z各自进行控制的位置指令。

在NC装置10中，基于工作机械1中的轴间干涉的发生特性，定义了X轴16X、Y轴16Y及Z轴16Z之中的接受振动的轴即第1轴，以及X轴16X、Y轴16Y及Z轴16Z之中的向第1轴赋予振动的轴即第2轴。

在工作机械1中，在底座2设置有工作台4，并且通过在底座2上配置的柱7支撑头部6。在工作机械1的如上所述的构造中，有时由X轴16X的驱动或者Y轴16Y的驱动引起的振动从工作台4经由底座2和柱7向头部6传输。如上所述，工作机械1具有可能发生轴间干涉的特性，所谓轴间干涉，是指由于Z轴16Z受到由X轴16X或Y轴16Y的驱动引起的振动所以Z轴16Z振动。基于该特性，在NC装置10中，分别将Z轴16Z定义为上述的第1轴，将X轴16X和Y轴16Y定义为第2轴。

第1轴驱动部8具有对用于驱动第1轴即Z轴16Z的电动机进行控制的伺服放大器。第2轴驱动部9具有对用于驱动第2轴即X轴16X的电动机进行控制的伺服放大器、和对用于驱动第2轴即Y轴16Y的电动机进行控制的伺服放大器。

NC装置10具有：第1位置指令生成部11，其按照加工程序而生成第1位置指令；以及第2位置指令生成部12，其按照加工程序而生成第2位置指令。第1位置指令是用于对第1轴进行控制的指令、且用于对Z轴方向上的头部6的位置进行指定的指令。第2位置指令是用于对第2轴进行控制的指令、且用于对X轴方向上的工作台4的位置进行指定的指令、和用于对Y轴方向上的工作台4的位置进行指定的指令。

NC装置10具有：急动度计算部13，其对加速度的变化率即急动度进行计算；校正量计算部14，其对第1位置指令的校正量进行计算；以及加法器15，其将第1位置指令的位置指令值加上校正量。第1位置指令生成部11将生成的第1位置指令向加法器15输出。第2位置指令生成部12将生成的第2位置指令向第2轴驱动部9输出。校正量计算部14为了将由于与第2轴的驱动相伴的轴间干涉而发生的第1轴的振动抵消，基于急动度对第1位置指令的校正量进行计算。

在急动度计算部13基于由第2位置指令生成部12生成的第2位置指令，或者第2轴驱动部9所涉及的位置反馈信息，对急动度的值进行计算。位置反馈信息是通过第2轴的驱动而移动后的工作台4的位置信息。在图2中，示出了表示通过第2位置指令生成部12进行的第2位置指令向急动度计算部13输出的箭头、以及表示通过第2轴驱动部9进行的位置反馈信息向急动度计算部13输出的箭头。

急动度计算部13从X轴方向上的第2位置指令或者X轴方向上的位置反馈信息，取得X轴方向上的工作台4的位置信息。急动度计算部13从Y轴方向上的第2位置指令或者Y轴方向上的位置反馈信息，取得Y轴方向上的工作台4的位置信息。急动度计算部13将工作台4的位置表示为任意的时间的位置矢量，通过基于时间进行的位置的3阶微分对急动度进行计算。急动度计算部13基于X轴方向上的工作台4的位置信息，对X轴16X的驱动中的急动度进行计算。急动度计算部13基于Y轴方向上的工作台4的位置信息，对Y轴16Y的驱动中的急动度进行计算。急动度计算部13将表示急动度的计算结果的信号即急动度信号向校正量计算部14输出。

校正量计算部14向急动度的计算结果的值乘以校正增益，由此对第1位置指令的校正量进行计算。在这里，校正增益设为预先设定的常数。校正增益是通过试验或者仿真而求出能够校正相对位移的校正量和急动度之间的关系，由此能够基于该关系进行设定。此外，校正增益也可以在NC装置10中进行计算。关于相对位移及NC装置10中的校正增益的计算方法，在后面记述。

校正量计算部14将校正量的计算结果向加法器15输出。加法器15向第1位置指令的位置指令值加上校正量的计算结果。加法器15将通过加上校正量而校正后的位置指令值向第1轴驱动部8输出。

接下来，对由于第1轴和第2轴之间的轴间干涉而发生的相对位移进行说明。相对位移设为是以工件3的位置为基准的情况下的刀具5的位置的变化量。相对变化可以说是以刀具5的位置为基准的情况下的工件3的位置的变化量，或者，工件3的位置的变化量和刀具5的位置的变化量的差分。

图3是用于对图1所示的工作机械中的相对位移进行说明的图。在下面的说明中，水平轴是指X轴16X或Y轴16Y，铅垂轴是指Z轴16Z。图3所示的曲线L1是表示水平方向上的工作台4的速度和时间之间的关系的图形。图3所示的曲线L2是表示水平方向上的工作台4的加速度和时间之间的关系的图形。图3所示的曲线L3是表示水平方向上的工作台4的急动度和时间之间的关系的图形。图3所示的曲线L4是表示相对位移和时间之间的关系的图形。

曲线L1表示使工作台4从零加速至一定的速度为止，并且使工作台4从该一定的速度减速至零为止的情况下的速度的变化。曲线L2表示如曲线L1所示工作台4的速度变化的情况下的工作台4的加速度的变化。曲线L3表示如曲线L2所示工作台4的加速度变化的情况下的急动度的变化。曲线L4表示如曲线L1所示工作台4的速度变化的情况下的相对位移的变化。

如曲线L4所示，在工作台4的加速开始时、加速结束时、减速开始时及减速结束时，相对位移大幅地变化。另外，如曲线L3、L4所示，与急动度的上升联动而相对位移变小，且与急动度的减少联动而相对位移变大。在急动度的变化和相对位移的变化之间，如上所述的相关关系成立。

在通过X轴16X的驱动，在X轴方向使工作台4急加速的情况下，在工作台4的加速中，通过加速产生的惯性力经由工作台4、底座2及柱7向头部6传输。在X轴16X的加速结束时，惯性力急速地减小，由此仅对抗惯性力的反作用力在头部6瞬间地残留。通过残留的反作用力，Z轴16Z在图1中由两箭头表示的朝向与头部6一起振动。如上所述，Z轴16Z受到由力的平衡的急剧的变化产生的冲击，由此相对位移变化。在通过Y轴16Y的驱动而在Y轴方向使工作台4急加速的情况下，也与X轴16X的情况下同样地，相对位移变化。另外，在使水平轴急减速的情况下，由于铅垂轴受到由力的平衡的急剧的变化产生的冲击，相对位移也变化。

在实施方式1中，NC装置10基于具有与相对位移的相关性的急动度对校正量进行计算，将该校正量向Z轴16Z的位置指令值相加，由此能够将由轴间干涉引起的相对位移的变化抵消。NC装置10使由轴间干涉引起的相对位移的变化抵消，由此关于工件3和刀具5，能够抑制与按照加工程序的相对位置的变化无关的位置变化。由此，NC装置10能够使工作机械1的加工品质提高。

接下来，对NC装置10中的校正增益的计算方法进行说明。NC装置10可以具有用于计算校正增益的要素。图4是表示在图2所示的结构追加有用于计算校正增益的要素的例子的图。

传感器部17对上述的相对位移进行测定。传感器部17具有位移传感器或者加速度传感器。传感器部17通过对工件3的位置的变化量和刀具5的位置的变化量进行检测而测定相对位移。传感器部17也可以通过对头部6的位置的变化量和工作台4的位置的变化量进行检测而测定相对位移。用于测定相对位移的方法并不限定于在实施方式1中说明的方法。

在NC装置10中设置有用于计算校正增益的要素即校正增益计算部20。校正增益计算部20具有校正增益运算部21和峰值提取部22。传感器部17将表示相对位移的测定结果的信号即相对位移信号向峰值提取部22输出。急动度计算部13将急动度信号向峰值提取部22输出。

峰值提取部22基于急动度信号的波形，提取该波形的顶点处的急动度的值。在这里，将波形的顶点处的急动度的值称为急动度信号峰值。上述的曲线L3是表示急动度的时间变化的波形的一个例子。峰值提取部22求出加速开始前后、加速结束前后、减速开始前后及减速结束前后的各期间的急动度信号峰值。峰值提取部22基于通过时间进行的急动度信号的1阶积分而得到的加速度信号，或者通过时间进行的急动度信号的2阶积分而得到的速度信号，对加速开始前后、加速结束前后、减速开始前后及减速结束前后的各期间进行判定。

另外，峰值提取部22基于相对位移信号的波形，提取该波形的顶点处的相对位移的值。在这里，将波形的顶点处的相对位移的值称为相对位移峰值。上述曲线L4是表示相对位移的时间变化的波形的一个例子。峰值提取部22求出加速开始前后、加速结束前后、减速开始前后及减速结束前后的各期间的相对位移峰值。

急动度信号峰值和相对位移峰值的提取可以通过在实施方式1中说明的方法以外的方法进行。峰值提取部22可以通过通常的峰值提取法或者极值检索法等，提取急动度信号峰值和相对位移峰值。峰值提取部22可以对急动度信号和相对位移信号实施用于去除噪声的滤波处理。峰值提取部22为了去除噪声，可以进行顶点的前后的值和峰值的平均化。

峰值提取部22将提取出的急动度信号峰值和相对位移峰值向校正增益运算部21输出。校正增益运算部21对急动度信号峰值和相对位移峰值进行累积。校正增益运算部21将相对位移峰值除以与该相对位移峰值相对应的急动度信号峰值，由此对急动度信号峰值和相对位移峰值的比即峰值比进行计算。校正增益运算部21将与各相对位移峰值有关的峰值比进行平均化，由此求出峰值比的平均值。如上所述由校正增益运算部21计算出的峰值比的平均值设为校正增益。校正增益运算部21将计算出的校正增益向校正量计算部14输出。

校正增益运算部21将急动度信号峰值以适当的范围分开，将与各相对位移峰值有关的峰值比针对每个该范围进行拟合而得到校正增益。用于将急动度信号峰值分开的范围是任意地设定的范围。另外，用于将急动度信号峰值分开的范围可以按照相对位移峰值的变化相对于急动度信号峰值的变化的倾向而设定。如果举例，则对与急动度信号峰值对应的相对位移峰值进行绘制，在急动度信号峰值增加或者减少的情况下，以相对位移峰值的大小的倾向急剧地变化的点为基准，对用于将急动度信号峰值分开的范围进行设定。校正增益运算部21通过针对急动度信号峰值的每个范围的拟合，能够对更适当的校正增益进行计算。此外，在拟合能够使用最小二乘法的拟合或者曲线拟合。

此外，校正增益除了由NC装置10所具有的校正增益计算部20进行计算以外，也可以由NC装置10的外部的运算装置进行计算。在该情况下，在校正量计算部14设定从该运算装置向NC装置10读入的校正增益。该运算装置为个人计算机等装置。该运算装置具有与校正量计算部14相同的功能部。

在校正量计算部14的校正量的计算中使用的急动度并不限定于由急动度计算部13进行计算。在校正量的计算时也可以使用通过实际的测定而得到的急动度。在该情况下，将对急动度进行测定的急动度测定传感器安装于工作机械1。急动度测定传感器将急动度的测定结果即急动度信号向NC装置10输出。在校正量的计算时可以使用通过由时间进行的加速度的1阶微分而得到的急动度。在该情况下，加速度传感器安装于工作机械1。加速度传感器将加速度的测定结果即加速度信号向NC装置10输出。

由NC装置10进行控制的工作机械1并不限定于立型的加工中心，也可以是具有门型构造的加工中心等。

在使多个轴之中的1个急加速的情况下，在该轴的加速中，通过加速产生的惯性力经由机械构造向其他轴传输。如果由于该轴的加速结束而惯性力急速地减少，则仅对抗惯性力的反作用力瞬间地残留。该其他轴受到由力的平衡的急剧的变化引起的冲击，由此该其他轴的位置发生变化。在使多个轴之中的1个急减速的情况下，也与急加速的情况同样地，其他轴受到由力的平衡的急剧的变化引起的冲击，由此该其他轴的位置发生变化。加速度的变化率即急动度成为轴的加速时或者轴的减速时的如上所述的冲击的原因。

根据实施方式1，NC装置10基于急动度对第1位置指令的校正量进行计算。NC装置10基于成为轴的加速时或者轴的减速时的冲击的原因的急动度，对用于将由轴间干涉引起的第1轴的位置变化抵消的校正量进行计算，由此能够进行第1轴的位置的高精度的校正。由此，NC装置10具有能够使工作机械1的加工品质提高的效果。

实施方式2.

图5是表示本发明的实施方式2所涉及的数控装置和工作机械的框图。实施方式2所涉及的NC装置30取代急动度信号，而是基于对急动度信号进行模拟得到的参照波形信号对校正量进行计算。在实施方式2中，对与上述的实施方式1相同的结构要素标注同一标号，主要对与实施方式1不同的结构进行说明。在NC装置30，取代实施方式1的急动度计算部13而设置有速度计算部31、触发计算部32和参照波形输出部33。

速度计算部31基于由第2位置指令生成部12生成的第2位置指令或者第2轴驱动部9所涉及的位置反馈信息对速度进行计算。速度计算部31从X轴方向上的第2位置指令或者X轴方向上的位置反馈信息取代X轴方向上的工作台4的位置信息。速度计算部31从Y轴方向上的第2位置指令或者Y轴方向上的位置反馈信息取得Y轴方向上的工作台4的位置信息。

速度计算部31将工作台4的位置表示为任意的时间的位置矢量，通过由时间进行的位置的1阶微分对速度进行计算。速度计算部31基于X轴方向上的工作台4的位置信息对X轴16X的驱动中的速度进行计算。速度计算部31基于Y轴方向上的工作台4的位置信息对Y轴16Y的驱动中的速度进行计算。速度计算部31将表示速度的计算结果的信号即速度信号向触发计算部32和参照波形输出部33输出。

触发计算部32基于向触发计算部32输入的速度信号，生成在加速开始时和减速开始时的定时设为接通状态的校正触发信号。触发计算部32将生成的校正触发信号向参照波形输出部33输出。触发计算部32输出设为接通状态的校正触发信号，由此向参照波形输出部33指定参照波形信号的输出。

参照波形输出部33由于设为接通状态的校正触发信号向参照波形输出部33输入，由此输出参照波形信号。参照波形设为是该参照波形信号的波形。参照波形输出部33如果输出参照波形信号，则向触发计算部32指示将校正触发信号设为断开状态。触发计算部32按照来自参照波形输出部33的指示将校正触发信号设为断开状态。触发计算部32可以在将设为接通状态的1个脉冲的校正触发信号向参照波形输出部33刚输出后，将校正触发信号设为断开状态。

在参照波形输出部33预先设定有关于参照波形信号的各种参数。在各种参数包含与参照波形的形状、符号、输出时间、输出定时有关的参数。符号是参照波形信号的正负符号。输出时间是参照波形信号输出的时间。输出定时是校正触发信号设为接通状态至参照波形信号的输出开始的定时为止的时间，且表示从校正触发信号设为接通状态起的参照波形信号的延迟时间。在参照波形的形状预先设定有三角波形、矩形波形、梯形波形、圆弧波形、半周期量的正弦波波形等之中的任意者。输出时间和输出定时是基于对加速开始时、加速结束时、减速开始时及减速结束时各自的急动度的变化进行预先测定得到的结果而设定的。

参照波形信号的符号是基于第2轴的驱动所涉及的工作台4的移动方向及加速和减速中的任意者而预先设定的。参照波形输出部33基于速度信号而判断移动方向及加速和减速中的任意者，决定符号。参照波形输出部33根据第2轴的驱动所涉及的移动方向而以下述方式决定符号，即，在加速开始时为正，在加速结束时为负，在减速开始时为负以及在减速结束时为正。如果举例，则在向X轴方向之中的正向移动的情况下，加速开始时和减速结束时设为正，以及加速结束时和减速开始时设为负，在向X轴方向之中的与正向相反的方向即反向移动的情况下使这些符号全部反转。如上所述，在参照波形输出部33中，生成与在加减速时机械构造所承受的力的方向相对应的参照波形信号。

参照波形输出部33关于加速和减速，生成在预先设定的输出时间输出的参照波形信号。参照波形输出部33关于加速和减速，生成在预先设定的输出定时开始输出的参照波形信号。如上所述，参照波形输出部33将对实施方式1中的急动度信号进行模拟得到的信号即参照波形信号向校正量计算部14输出。校正量计算部14基于在通过第2轴的驱动进行的加速时和通过第2轴的驱动进行的减速时输出的参照波形信号而对校正量进行计算。

校正量计算部14向参照波形信号的值乘以校正增益，由此对第1位置指令的校正量进行计算。校正增益与实施方式1的情况同样地，设为预先设定的常数。

此外，触发计算部32并不限定于生成在加速开始时和减速开始时的定时设为接通状态的校正触发信号。触发计算部32只要生成在加速开始时和减速开始时之中的至少一者的定时设为接通状态的校正触发信号即可。校正量计算部14只要基于在通过第2轴的驱动进行的加速时和通过第2轴的驱动进行的减速时的至少一者输出的参照波形信号对校正量进行计算即可。

根据实施方式2，NC装置30基于参照波形信号对校正量进行计算。NC装置30能够将在对急动度信号进行计算的情况下可能出现的噪声或者波动这样的成分排除而对校正量进行计算。NC装置30能够对校正所不需要的成分被排除的校正量进行计算，由此不进行用于将该不需要的成分去除的进一步的校正，就能够进行第1轴的位置的高精度的校正。由此，NC装置30具有能够使工作机械1的加工品质提高的效果。

实施方式3.

图6是表示本发明的实施方式3所涉及的数控装置和工作机械的框图。实施方式3所涉及的NC装置40具有校正增益变更判断部41。在实施方式3中，对与上述的实施方式1及2相同的结构要素标注同一标号，主要对与实施方式1及2不同的结构进行说明。校正增益变更判断部41在工作机械1的运转时，在相对位移超过预先设定的阈值的情况下使校正增益变更。

传感器部17将表示相对位移的测定结果的信号即相对位移信号向校正增益计算部20和校正增益变更判断部41输出。校正增益计算部20将计算出的校正增益向校正增益变更判断部41输出。

校正增益变更判断部41基于输入的相对位移信号对相对位移的绝对值进行计算。校正增益变更判断部41判断计算出的绝对值是否超过预先设定的阈值。阈值是通过试验或者仿真而求出能够校正相对位移的校正量和急动度之间的关系，由此能够基于该关系进行设定。

校正量计算部14对从校正增益变更判断部41取得的校正增益的值进行保持，基于所保持的校正增益的值对校正量进行计算。在由校正增益变更判断部41计算出的绝对值不超过阈值的情况下，校正增益变更判断部41不进行校正增益向校正量计算部14的输出。校正量计算部14继续基于所保持的校正增益的校正量的计算。

另一方面，在由校正增益变更判断部41计算出的绝对值超过阈值的情况下，校正增益变更判断部41将从校正增益计算部20取得的校正增益向校正量计算部14输出。校正量计算部14将校正增益的值置换为从校正增益变更判断部41取得的值。由此，校正增益变更判断部41使校正增益变更。NC装置40能够在工作机械1的运转时适应性地对校正增益进行变更。另外，NC装置40在由于工作机械1的历时变化而工作机械1的特性变化的情况下，能够通过与工作机械1的特性适合的校正量对第1位置指令进行校正。

校正增益计算部20可以在预先设定的基准值加上基于急动度信号峰值和相对位移峰值而得到的值，由此对校正增益进行计算。基准值是成为校正增益的基准的值。在该情况下，校正增益计算部20也能够对与急动度信号峰值和相对位移峰值相对应的校正增益进行计算。

校正增益计算部20可以在预先设定的基准值加上或者减去预先设定的常数，由此对校正增益进行计算。校正增益计算部20根据基于急动度信号峰值和相对位移峰值而得到的值是正值及负值的哪一者，决定常数的相加和常数的相减之中的一者。在该情况下，校正增益计算部20也能够对与急动度信号峰值和相对位移峰值相对应的校正增益进行计算。

校正增益计算部20可以使预先设定的基准值以预先设定的比率增加或者减少，由此对校正增益进行计算。校正增益计算部20根据基于急动度信号峰值和相对位移峰值而得到的值是正值及负值中的哪一者，决定基于上述比率的基准值的增加和基于上述比率的基准值的减少之中的一者。在该情况下，校正增益计算部20也能够对与急动度信号峰值和相对位移峰值相对应的校正增益进行计算。此外，校正增益的计算除了通过校正增益计算部20进行以外，也可以通过校正量计算部14进行。

根据实施方式3，NC装置40在工作机械1的运转时相对位移超过阈值的情况下，能够将校正增益适应性地变更。由此，NC装置40具有能够使工作机械1的加工品质提高的效果。

实施方式4.

图7是表示本发明的实施方式4所涉及的数控装置和工作机械的框图。在实施方式4所涉及的NC装置50设置有校正增益计算部51，该校正增益计算部51具有机器学习装置52和意图决定部53。在实施方式4中，对与上述的实施方式1至3相同的结构要素标注同一标号，主要对与实施方式1至3不同的结构进行说明。机器学习装置52对校正增益进行学习。意图决定部53基于由机器学习装置52学习的结果而决定校正增益。

图8是表示图7所示的数控装置所具有的机器学习装置的功能结构的框图。机器学习装置52具有状态观测部54和学习部55。急动度计算部13将急动度信号向机器学习装置52输出。传感器部17将相对位移信号向机器学习装置52输出。

状态观测部54将通过急动度信号的输入而取得的急动度及通过相对位移信号的输入而取得的相对位移作为状态变量进行观测。即，状态观测部54将第2轴的驱动中的加速度的变化率即急动度和工件3及刀具5的相对位移作为状态变量进行观测。学习部55按照基于状态变量而创建的训练数据集对校正条件进行学习。校正条件是与急动度相乘的校正增益。校正量计算部14将由学习部55学习到的校正增益乘以急动度，由此对第1位置指令的校正量进行计算。

学习部55所使用的学习算法可以使用任意的学习算法。作为一个例子，对应用强化学习(Reinforcement Learning)的情况进行说明。强化学习是某环境内的智能体即行动主体对当前的状态进行观测，决定应采取的行动。智能体通过选择行动而从环境得到回报，对经过一系列的行动而得到最多回报的对策进行学习。作为强化学习的代表方法，已知Q学习(Q－learning)及TD学习(TD－learning)等。例如在Q学习的情况下，行动价值函数Q(s，a)的通常的更新式即行动价值表通过下面的式(1)表示。行动价值函数Q(s，a)表示基于环境“s”而对行动“a”进行选择的行动的价值即行动价值Q。

【式1】

Q(s_t，a_t)←Q(s_t，a_t)+α(r_t+1+γmax_aQ(s_t+1，a_t)-Q(s_t，a_t))…(1)

在上述的式(1)中，“s_t+1”表示时刻“t”的环境。“a_t”表示时刻“t”的行动。根据行动“a_t”，环境变为“s_t+1”。“r_t+1”表示通过其环境的变化而带来的回报。“γ”表示折扣率。“α”表示学习系数。在应用Q学习的情况下，校正增益成为行动“a_t”。

通过上述的式(1)表示的更新式是如果时刻“t+1”的最好的行动“a”的行动价值大于在时刻“t”执行的行动“a”的行动价值Q，则增大行动价值Q，在相反的情况下，减小行动价值Q。换言之，对行动价值函数Q(s，a)进行更新，以使得时刻“t”的行动“a”的行动价值Q接近时刻“t+1”的最好的行动价值。由此，某环境的最好的行动价值不断依次传播为其以前的环境的行动价值。

学习部55具有回报计算部56和函数更新部57。回报计算部56基于状态变量对回报进行计算。回报计算部56基于相对位移误差对回报“r”进行计算。相对位移误差是加速时或者减速时的相对位移的绝对值。例如，对校正增益进行了变更，其结果，在相对位移误差变小的情况下，回报计算部56使回报“r”增大。回报计算部56通过赋予回报的值即“1”，从而使回报“r”增大。此外，回报的值并不限定于“1”。

另外，对校正增益进行了变更，其结果，在相对位移误差变大的情况下，回报计算部56减小回报“r”。回报计算部56通过赋予回报的值即“－1”而减小回报“r”。此外，回报的值并不限定于“－1”。

函数更新部57按照由回报计算部56计算的回报，对用于决定校正增益的函数进行更新。函数的更新能够按照训练数据集，例如对行动价值表进行更新而进行。行动价值表是将任意的行动和其行动价值相关联而以表的形式存储的数据集。例如在Q学习的情况下，将通过上述的式(1)表示的行动价值函数Q(s_t，a_t)作为用于计算校正增益的函数使用。

图9是表示使用了实施方式4所涉及的强化学习的机器学习装置的动作流程的流程图。参照图9的流程图，说明对行动价值函数Q(s，a)进行更新的强化学习方法。

首先，在步骤S1中，状态观测部54根据从急动度计算部13取得的急动度信号，对加速开始时或者减速开始时进行确定。在步骤S2中，状态观测部54从加速结束时或者减速结束时取得任意的时间的状态变量。状态观测部54在加速开始时开始状态变量的取得，取得从加速结束时至任意的时间为止的状态变量。或者，状态观测部54在减速开始时开始状态变量的取得，取得从减速结束时至任意的时间为止的状态变量。在状态变量包含从急动度计算部13取得的急动度信号和从传感器部17取得的相对位移信号。

在步骤S3中，回报计算部56对相对位移误差进行计算。在步骤S4中，回报计算部56基于相对位移误差而对回报“r”进行计算。在步骤S5中，函数更新部57基于在步骤S4计算出的回报“r”对行动价值函数Q(s，a)进行更新。函数更新部57按照上述的式(1)对行动价值函数Q(s，a)进行更新。

在步骤S6中，函数更新部57判定行动价值函数Q(s，a)是否收敛。函数更新部57根据步骤S5中的行动价值函数Q(s，a)的更新没有进行而判定为行动价值函数Q(s，a)收敛。

在判定为行动价值函数Q(s，a)没有收敛的情况下(步骤S6，No)，机器学习装置52将动作顺序向步骤S1返回。在判定为行动价值函数Q(s，a)收敛的情况下(步骤S6，Yes)，通过学习部55进行的学习结束。由此，机器学习装置52结束图9所示的顺序的动作。此外，机器学习装置52也可以不进行步骤S6的判定，通过将动作顺序从步骤S5向步骤S1返回，从而使学习继续。

意图决定部53基于学习部55学习的结果，即更新后的行动价值函数Q(s，a)，对回报得到最多的校正增益进行选择。校正量计算部14从意图决定部53取得校正增益，基于取得的校正增益对校正量进行计算。由此，NC装置50能够对由第2轴的加减速的冲击而产生的不需要的相对位移进行校正。

在实施方式4中，对学习部55利用强化学习而执行机器学习的情况进行了说明。学习部55可以按照其他公知的方法，例如神经网络、遗传编程、功能逻辑编程、支持向量机等执行机器学习。

根据实施方式4，NC装置50具有对校正增益进行学习的机器学习装置52，由此能够使用通过基于急动度的测定结果和相对位移的测定结果的机器学习而决定的校正增益对校正量进行计算。NC装置50基于该校正量对第1位置指令进行校正，由此能够进行第1轴的位置的高精度的校正。由此，NC装置50具有能够使工作机械1所涉及的加工品质提高的效果。

接下来，对实施方式1至4所涉及的NC装置10、30、40、50的硬件结构进行说明。NC装置10、30、40、50所具有的各功能部是通过使用如个人计算机或者通用计算机这样的计算机系统实现的。图10是表示将实施方式1至4所涉及的数控装置的功能使用计算机系统而实现的情况下的硬件结构的例子的图。

NC装置10、30、40、50具有：CPU(Central Processing Unit)61，其执行各种处理；存储器62，其是内置存储器；存储装置63，其对各种信息进行存储；显示装置64，其对各种信息进行显示；以及输入装置65，其输入各种信息。NC装置10、30、40、50所执行的功能是通过软件、固件或者软件和固件的组合而实现的。软件或者固件作为程序记述而储存于存储装置63。

CPU 61通过将在存储装置63中存储的软件或者固件读出至存储器62而执行，从而实现NC装置10、30、40、50的功能。在存储装置63中存储的程序由CPU 61执行，由此执行NC装置10、30、40、50的动作。在存储装置63中存储的程序是使计算机执行通过NC装置10、30、40、50的功能实现的处理。

存储器62是非易失性或者易失性的半导体存储器，是RAM(Random AccessMemory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read OnlyMemory)或者EEPROM(注册商标)(Electrically Erasable Programmable Read OnlyMemory)。存储装置63是HDD(Hard Disk Drive)或者SSD(Solid State Drive)。显示装置64是监视器或者显示器。输入装置65是键盘、鼠标或者触摸面板这样的输入设备。

以上的实施方式所示的结构，表示本发明的内容的一个例子，也能够与其他公知技术进行组合，在不脱离本发明的主旨的范围，也能够对结构的一部分进行省略、变更。

标号的说明

1工作机械，2底座，3工件，4工作台，5刀具，6头部，7柱，8第1轴驱动部，9第2轴驱动部，10、30、40、50 NC装置，11第1位置指令生成部，12第2位置指令生成部，13急动度计算部，14校正量计算部，15加法器，16X X轴，16Y Y轴，16Z Z轴，17传感器部，20、51校正增益计算部，21校正增益运算部，22峰值提取部，31速度计算部，32触发计算部，33参照波形输出部，41校正增益变更判断部，52机器学习装置，53意图决定部，54状态观测部，55学习部，56回报计算部，57函数更新部，61 CPU，62存储器，63存储装置，64显示装置，65输入装置。