包含作业机械的系统、由计算机执行的方法、学习完成的姿态推断模型的制造方法、以及学习用数据

文档序号:246266 发布日期:2021-11-12 浏览:14次 >En<

阅读说明:本技术 包含作业机械的系统、由计算机执行的方法、学习完成的姿态推断模型的制造方法、以及学习用数据 (System including work machine, method executed by computer, method for manufacturing learned posture estimation model, and data for learning ) 是由 清水实 于 2020-03-26 设计创作,主要内容包括:提供一种包含作业机械的系统,其具备作业机械主体、安装于作业机械主体的工作装置、以及计算机(102A)。计算机(102A)具有用于求出作业中的工作装置的目标姿态的学习完成的目标姿态推断模型(180)。计算机(102A)取得从由工作装置进行的作业开始的经过时间、以及与作业机械主体及工作装置的动作相关的机械数据,使用学习完成的目标姿态推断模型(180)输出根据经过时间以及机械数据而推断出目标姿态的推断目标姿态。(A system including a work machine is provided with a work machine main body, a work device mounted on the work machine main body, and a computer (102A). The computer (102A) has a target posture estimation model (180) for determining the completion of learning of the target posture of the working device during work. A computer (102A) acquires elapsed time from the start of a work performed by a work implement and machine data relating to the operation of a work machine main body and the work implement, and outputs an estimated target attitude by which the target attitude is estimated from the elapsed time and the machine data, using a learned target attitude estimation model (180).)

包含作业机械的系统、由计算机执行的方法、学习完成的姿态 推断模型的制造方法、以及学习用数据

技术领域

本公开涉及包含作业机械的系统、由计算机执行的方法、学习完成的姿态推断模型的制造方法、以及学习用数据。

背景技术

在轮式装载机的挖掘作业中,使车辆前进来将工作装置压入砂土堆,并且使工作装置上升。由此,砂土被挖取到工作装置上。

以往,为了执行高效的挖掘作业,提出有自动控制工作装置的动作的技术(例如,参照专利文献1)。

在先技术文献

专利文献

专利文献1:日本特开2018-135649号公报

发明内容

发明要解决的课题

在上述文献中公开了如下技术,即,在挖掘作业时,根据操作员的油门操作以及铲斗操作来自动地驱动控制动臂。需要由操作员的脚部进行的油门操作以及由右手进行的杆操作,因此为了进行顺畅的操作,操作员的熟练度受到要求。

通过求出作业中的工作装置的目标姿态,并与该目标姿态相符地自动控制工作装置,从而能够实现由作业机械进行的作业的进一步自动化。

为此,在本公开中,提供用于求出作业中的工作装置的目标姿态的、包含作业机械的系统、由计算机执行的方法、学习完成的姿态推断模型的制造方法、以及学习用数据。

用于解决课题的手段

根据本公开的某方面,提供一种包含作业机械的系统,其具备作业机械主体、安装于作业机械主体的工作装置、以及计算机。计算机具有用于求出作业中的工作装置的目标姿态的学习完成姿态推断模型。计算机取得从由工作装置进行的作业开始的经过时间、以及与作业机械主体及工作装置的动作相关的机械数据,使用学习完成姿态推断模型输出根据经过时间以及机械数据而推断出目标姿态的推断目标姿态。

根据本公开的某方面,提供一种由计算机执行的方法。该方法包括以下的处理。在第一处理中,取得从由安装于作业机械主体的工作装置进行的作业开始的经过时间、以及与作业机械主体及工作装置的动作相关的机械数据。第二处理使用用于求出作业中的工作装置的目标姿态的学习完成姿态推断模型,求出根据经过时间以及机械数据而推断出目标姿态的推断目标姿态。

根据本公开的某方面,提供一种学习完成的姿态推断模型的制造方法。制造方法包括以下的处理。在第一处理中,取得包含从由安装于作业机械主体的工作装置进行的作业开始的经过时间、与作业机械主体及工作装置的动作相关的机械数据、以及作业中的工作装置的姿态数据的学习用数据。在第二处理中,通过学习用数据使姿态推断模型进行学习。

根据本公开的某方面,提供一种学习用数据,其用于使求出安装于作业机械主体的工作装置的作业中的目标姿态的姿态推断模型进行学习。学习用数据包含从由工作装置进行的作业开始的经过时间、与计测到经过时间的时间点下的作业机械主体及工作装置的动作相关的机械数据、以及示出计测到经过时间的时间点下的工作装置的姿态的姿态数据。

根据本公开的某方面,提供一种学习完成的姿态推断模型的制造方法。制造方法包括以下的处理。在第一处理中,取得从由安装于作业机械主体的工作装置进行的作业开始的经过时间、以及与作业机械主体及工作装置的动作相关的机械数据。在第二处理中,使用学习完成的第一姿态推断模型,求出根据经过时间以及机械数据而推断出作业中的工作装置的目标姿态的推断目标姿态。在第三处理中,通过包含经过时间及机械数据、以及推断目标姿态的学习用数据,使第二姿态推断模型进行学习。

发明效果

根据本公开,能够高精度地取得作业中的工作装置的目标姿态。

附图说明

图1是作为基于实施方式的作业机械的一例的轮式装载机的侧视图。

图2是示出基于实施方式的轮式装载机的结构的概略框图。

图3是说明由基于实施方式的轮式装载机进行的挖掘作业的图。

图4是示出包含作业机械的系统所包含的计算机的结构的示意图。

图5是示出出厂前的轮式装载机的系统结构的框图。

图6是示出学习完成的目标姿态推断模型的制造方法的流程图。

图7是示出用于使目标姿态推断模型进行学习的处理的概略图。

图8是示出出厂的轮式装载机的系统结构的框图。

图9是示出在出厂后为了推断工作装置的目标姿态而由计算机执行的处理的流程图。

图10是示出使用了学习完成的目标姿态推断模型的得出推断目标姿态的处理的示意图。

图11是示出与目标姿态推断模型的学习相关的变形例的概略图。

图12是示出用于生成蒸馏模型的处理的流程图。

具体实施方式

以下,基于附图对实施方式进行说明。在以下的说明中,对相同部件标注有相同的附图标记。它们的名称以及功能也相同。因此,不重复关于它们的详细说明。

<整体结构>

在实施方式中,作为作业机械的一例对轮式装载机1进行说明。图1是作为基于实施方式的作业机械的一例的轮式装载机1的侧视图。

如图1所示,轮式装载机1具备车身框架2、工作装置3、行驶装置4、以及驾驶室5。由车身框架2、驾驶室5等构成轮式装载机1的车身。在轮式装载机1的车身安装有工作装置3以及行驶装置4。

行驶装置4是使轮式装载机1的车身行驶的装置,包括行驶轮4a、4b。轮式装载机1通过驱动行驶轮4a、4b旋转而能够自动行驶,并能够使用工作装置3来进行期望的作业。

车身框架2包括前框架2a和后框架2b。前框架2a和后框架2b安装为能够相互向左右方向摆动。横跨前框架2a和后框架2b而安装有一对转向缸11。转向缸11是液压缸。转向缸11在来自转向泵12(参照图2)的工作油的作用下伸缩,由此轮式装载机1的行进方向左右变更。

在本说明书中,将轮式装载机1直行行驶的方向称作轮式装载机1的前后方向。在轮式装载机1的前后方向上,将相对于车身框架2而配置有工作装置3的一侧称作前方向,将与前方向相反的一侧称作后方向。轮式装载机1的左右方向是指俯视下与前后方向正交的方向。向前方向观察时的左右方向的右侧、左侧分别为右方向、左方向。轮式装载机1的上下方向是指与由前后方向以及左右方向确定的平面正交的方向。在上下方向上,地面所在的一侧为下侧,天空所在的一侧为上侧。

在前框架2a安装有工作装置3以及一对行驶轮(前轮)4a。工作装置3配设于车身的前方。工作装置3由来自工作装置泵13(参照图2)的工作油驱动。工作装置泵13是由发动机21驱动、并通过排出的工作油来使工作装置3工作的液压泵。工作装置3包括动臂14、以及作为作业工具的铲斗6。铲斗6配置于工作装置3的前端。铲斗6是以能够装卸的方式装配于动臂14的前端的附属装置的一例。根据作业的种类,附属装置能够替换为抓钩、吊钩、或者犁爪等。

动臂14的基端部通过动臂销9而旋转自如地安装于前框架2a。铲斗6通过位于动臂14的前端的铲斗销17而旋转自如地安装于动臂14。

前框架2a和动臂14通过一对动臂缸16连结。动臂缸16是液压缸。动臂缸16的基端安装于前框架2a。动臂缸16的前端安装于动臂14。动臂缸16在来自工作装置泵13(参照图2)的工作油的作用下伸缩,由此动臂14升降。动臂缸16驱动动臂14以动臂销9为中心上下旋转。

工作装置3还包括双臂曲柄18、铲斗缸19、以及连杆15。双臂曲柄18通过位于动臂14的大致中央的支承销18a而旋转自如地支承于动臂14。铲斗缸19将双臂曲柄18与前框架2a连结。连杆15与设置于双臂曲柄18的前端部的连结销18c连结。连杆15将双臂曲柄18与铲斗6连结。

铲斗缸19是液压缸且是作业工具缸。铲斗缸19的基端安装于前框架2a。铲斗缸19的前端安装于在双臂曲柄18的基端部设置的连结销18b。铲斗缸19在来自工作装置泵13(参照图2)的工作油的作用下伸缩,由此铲斗6上下转动。铲斗缸19将铲斗6驱动为以铲斗销17中心旋转。

在后框架2b安装有驾驶室5以及一对行驶轮(后轮)4b。驾驶室5配置于动臂14的后方。驾驶室5载置于车身框架2上。在驶室5内配置有供操作员就座的座椅、以及后述的作装置8等。

<系统结构>

图2是示出基于实施方式的轮式装载机1的结构的概略框图。如图2所示,轮式装载机1具备作为驱动源的发动机21、行驶装置4、工作装置泵13、转向泵12、操作装置8、控制装置10、显示器50等。

发动机21例如是柴油发动机。作为驱动源,可以取代发动机21而使用利用蓄电体进行驱动的马达,另外也可以使用发动机和马达这双方。发动机21具有燃料喷射泵24。在燃料喷射泵24设置有电子调节器25。通过调整向缸内喷射的燃料量来控制发动机21的输出。通过控制装置10对电子调节器25进行控制,从而进行该调整。

发动机转速由发动机转速传感器91检测。发动机转速传感器91的检测信号向控制装置10输入。

行驶装置4是通过来自发动机21的驱动力而使轮式装载机1行驶的装置。行驶装置4具有变矩器装置23、变速器26、以及上述的前轮4a及后轮4b等。

变矩器装置23具有闭锁离合器27和变矩器28。闭锁离合器27是液压工作式的离合器。工作油向闭锁离合器27的供给经由离合器控制阀31由控制装置10控制。由此,闭锁离合器27能够在连结状态和非连结状态之间切换。在闭锁离合器27为非连结状态的情况下,变矩器28以油为介质传递来自发动机21的驱动力。在闭锁离合器27为连结状态的情况下,变矩器28的输入侧与输出侧直接连结。

变速器26具有对应于前进行驶挡的前进离合器CF、以及对应于后退行驶挡的后退离合器CR。通过切换各离合器CF、CR的连结状态·非连结状态来切换车辆的前进与后退。在离合器CF、CR均为非连结状态时,车辆成为中立状态。

变速器26具有对应于多个速度挡的多个速度挡离合器C1-C4,能够多挡地切换减速比。各速度挡离合器C1-C4是液压工作式的液压离合器。从未图示的液压泵经由离合器控制阀31向离合器C1-C4供给工作油。离合器控制阀31由控制装置10控制,通过对工作油箱离合器C1-C4的供给进行控制来切换各离合器C1-C4的连结状态以及非连结状态。

在变速器26的输出轴设置有T/M输出转速传感器92。T/M输出转速传感器92检测变速器26的输出轴的转速。来自T/M输出转速传感器92的检测信号输入控制装置10。控制装置10基于T/M输出转速传感器92的检测信号来计算车速。

从变速器26输出的驱动力经由轴32等传递至车轮4a、4b。由此,轮式装载机1行驶。来自发动机21的驱动力的一部分传递至行驶装置4,从而轮式装载机1行驶。

发动机21的驱动力的一部分经由PTO(Power Take Off)轴33向工作装置泵13以及转向泵12传递。工作装置泵13以及转向泵12是由来自发动机21的驱动力驱动的液压泵。从工作装置泵13排出的工作油经由工作装置控制阀34向动臂缸16以及铲斗缸19供给。从转向泵12排出的工作油经由转向控制阀35向转向缸11供给。工作装置3由来自发动机21的驱动力的一部分驱动。

第一液压检测器95安装于动臂缸16。第一液压检测器95检测动臂缸16的油室内的工作油的压力。第一液压检测器95的检测信号输入控制装置10。

第二液压检测器96安装于铲斗缸19。第二液压检测器96检测铲斗缸19的油室内的工作油的压力。第二液压检测器96的检测信号输入控制装置10。

第一角度检测器29例如是安装于动臂销9的电位计。第一角度检测器29检测表示动臂14相对于车身的抬升角度(倾斜角度)的动臂角度。第一角度检测器29将示出动臂角度的检测信号向控制装置10输出。

具体而言,如图1所示,动臂基准线A是通过动臂销9的中心和铲斗销17的中心的直线。动臂角度θ1是从动臂销9的中心向前方延伸的水平线H与动臂基准线A所成的角度。将动臂基准线A为水平的情况定义为动臂角度θ1=0°。在动臂基准线A位于比水平线H靠上方处的情况下,将动臂角度θ1设为正。在动臂基准线A位于比水平线H靠下方处的情况下,将动臂角度θ1设为负。

需要说明的是,第一角度检测器29也可以是配置于动臂缸16的行程传感器。

第二角度检测器48例如是安装于支承销18a的电位计。第二角度检测器48检测表示铲斗6相对于动臂14的倾斜角度的铲斗角度。第二角度检测器48将示出铲斗角度的检测信号向控制装置10输出。

具体而言,如图1所示,铲斗基准线B是通过铲斗销17的中心和铲斗6的铲尖6a的直线。铲斗角度θ2是动臂基准线A与铲斗基准线B所成的角度。将在使铲斗6接地的状态下铲斗6的铲尖6a在地上成为水平的情况定义为铲斗角度θ2=0°。在将铲斗6向挖掘方向(朝上)移动了的情况下,将铲斗角度θ2设为正。在将铲斗6向卸料方向(朝下)移动了的情况下,将铲斗角度θ2设为负。

第二角度检测器48也可以通过检测双臂曲柄18相对于动臂14的角度(双臂曲柄角度)来检测铲斗角度θ2。双臂曲柄角度是通过支承销18a的中心和连结销18b的中心的直线与动臂基准线A所成的角度。第二角度检测器48也可以是安装于铲斗销17的电位计或者接近开关。或者,第二角度检测器48也可以是配置于铲斗缸19的行程传感器。

操作装置8由操作员操作。操作装置8具有油门操作构件81a、油门操作检测部81b、转向操作构件82a、转向操作检测部82b、动臂操作构件83a、动臂操作检测部83b、铲斗操作构件84a、铲斗操作检测部84b、变速操作构件85a、变速操作检测部85b、FR操作构件86a、以及FR操作检测部86b等。

油门操作构件81a为了设定发动机21的目标转速而被操作。油门操作构件81a例如是油门踏板。当增大油门操作构件81a的操作量(在油门踏板的情况下,踩入量)时,车身加速。当减小油门操作构件81a的操作量时,车身减速。油门操作检测部81b检测油门操作构件81a的操作量。将油门操作构件81a的操作量称作油门操作量。油门操作检测部81b检测油门操作量。油门操作检测部81b将检测信号向控制装置10输出。

转向操作构件82a为了操作车辆的移动方向而被操作。转向操作构件82a例如是转向手柄。转向操作检测部82b检测转向操作构件82a的位置,并将检测信号向控制装置10输出。控制装置10基于来自转向操作检测部82b的检测信号来控制转向控制阀35。转向缸11伸缩来变更车辆的行进方向。

动臂操作构件83a为了使动臂14进行动作而被操作。动臂操作构件83a例如是操作杆。动臂操作检测部83b检测动臂操作构件83a的位置。动臂操作检测部83b将检测信号向控制装置10输出。控制装置10基于来自动臂操作检测部83b的检测信号来控制工作装置控制阀34。动臂缸16伸缩而动臂14进行动作。

铲斗操作构件84a为了使铲斗6进行动作而被操作。铲斗操作构件84a例如是操作杆。铲斗操作检测部84b检测铲斗操作构件84a的位置。铲斗操作检测部84b将检测信号向控制装置10输出。控制装置10基于来自铲斗操作检测部84b的检测信号来控制工作装置控制阀34。铲斗缸19伸缩而铲斗6进行动作。

变速操作构件85a为了设定变速器26的速度挡而被操作。变速操作构件85a例如是换挡杆。变速操作检测部85b检测变速操作构件85a的位置。变速操作检测部85b将检测信号向控制装置10输出。控制装置10基于来自变速操作检测部85b的检测信号来控制变速器26的变速。

FR操作构件86a为了切换车辆的前进和后退而被操作。FR操作构件86a切换为前进、中立以及后退这样的各位置。FR操作检测部86b检测FR操作构件86a的位置。FR操作检测部86b将检测信号向控制装置10输出。控制装置10基于来自FR操作检测部86b的检测信号来控制离合器控制阀31。对前进离合器CF以及后退离合器CR进行控制,从而切换车辆的前进、后退以及中立状态。

显示器50从控制装置10接受指令信号的输入,并显示各种信息。显示器50所显示的各种信息例如可以是与由轮式装载机1执行的作业相关的信息、燃料余量、冷却水温度及工作油温度等车身信息、对轮式装载机1的周边拍摄而得的周边图像等。显示器50可以是触摸面板,在该情况下,操作员触摸显示器50的一部分而生成的信号从显示器50向控制装置10输出。

控制装置10通常由CPU(Central Processing Unit)读取各种程序而实现。控制装置10与存储器60连接。存储器60作为工作存储器而发挥功能,并且储存用于实现轮式装载机的功能的各种程序。

控制装置10向电子调节器25发送发动机指令信号,以得到对应于油门操作构件81a的操作量的目标转速。控制装置10能够基于根据电子调节器25的控制而变动的向发动机21供给的燃料供给量,计算发动机21的每单位运转时间的燃料消耗量、轮式装载机1的每单位行驶距离的燃料消耗量、以及铲斗6内的每单位装载重量的燃料消耗量。

控制装置10基于T/M输出转速传感器92的检测信号来计算轮式装载机1的车速。控制装置10从存储器60读取规定轮式装载机1的车速与牵引力的关系的映射,并基于该映射来计算牵引力。

控制装置10从发动机转速传感器91接受发动机转速的检测信号的输入。控制装置10从存储器60读取规定发动机转速与发动机转矩的关系的映射,并基于该映射来计算发动机转矩。

牵引力以及发动机转矩也可以通过与映射的参照不同的方式来计算。例如,也可以通过表格的参照或者基于数学式的运算等来计算牵引力以及发动机转矩。

控制装置10自动控制动臂14以及铲斗6的动作。关于该自动控制的详情,将在后文叙述。

<挖掘作业>

本实施方式轮式装载机1执行挖取砂土等挖掘对象物的挖掘作业。图3是对由基于实施方式的轮式装载机1执行的挖掘作业进行说明的图。

如图3所示,轮式装载机1在使铲斗6的铲尖6a铲入挖掘对象物100之后,如图3中的曲线箭头那样,使铲斗6沿着铲斗轨迹L上升。由此,执行挖取挖掘对象物100的挖掘作业。

本实施方式的轮式装载机1执行将挖掘对象物100挖取于铲斗6的挖掘动作、以及将铲斗6内的货物(挖掘对象物100)装入自卸车等搬运机械的装入动作。

更具体而言,轮式装载机1重复地依次进行如下那样的多个作业工序,从而挖掘挖掘对象物100,并将挖掘对象物100装入自卸车等搬运机械。

第一工序是朝向挖掘对象物100前进的空载前进工序。第二工序是使轮式装载机1前进直至铲斗6的铲尖6a铲入挖掘对象物100的挖掘(伸入)工序。第三工序是操作动臂缸16而使铲斗6并且操作铲斗缸19而使铲斗6向后倾斜(tilt back)的挖掘(挖取)工序。第四工序是在挖掘对象物100被挖取于铲斗6之后使轮式装载机1后退的载货后退工序。

第五工序是在维持使铲斗6上升了的状态、或者使铲斗6上升的同时,使轮式装载机1前进以接近自卸车的载货前进工序。第六工序是在规定位置将铲斗6卸料以将挖掘对象物100装入自卸车载货台上的排土工序。第七工序是在使轮式装载机1后退的同时、降下动臂14并使铲斗6恢复挖掘姿态的后退·动臂降下工序。以上是构成挖掘装入作业的一个循环的典型的作业工序。

<计算机102A的详细结构>

图4是示出包含作业机械的系统所包括的计算机102A的结构的示意图。实施方式的系统是用于求出作业机械的作业中典型地由轮式装载机1执行的挖掘作业中的、动臂14相对于作业机械主体(参照图1所说明过的车身)的角度(动臂角度θ1,图1)、以及铲斗6相对于动臂14的角度(铲斗角度θ2,图1)的目标值的系统。图4所示的计算机102A构成图2所示的控制装置10的一部分结构。计算机102A可以是专用于实施方式的系统用而设计的计算机,或者也可以是通用的PC(PersonalComputer)。

计算机102A具有处理器103、存储装置104、通信接口105、以及I/O接口106。处理器103例如是CPU。

存储装置104包括以处理器103能够读取所存储的程序以及数据等信息的方式进行存储的介质。存储装置104包括RAM(Random Access Memory)、或者ROM(Read OnlyMemory)等系统存储器、以及辅助存储装置。辅助存储装置例如可以是硬盘等磁记录介质、CD(Compact Disc)、DVD(Digital Versatile Disc)等光学记录介质、或者闪速存储器等半导体存储器。存储装置104可以内置于计算机102A。存储装置104也可以包括以能够装卸的方式与计算机102A连接的外部记录介质109。外部记录介质109可以是CD-ROM。

通信接口105例如是有线LAN(Local Area Network)模块、或者无线LAN模块等,是用于进行经由通信网络的通信的接口。I/O接口106例如是USB(Universal Serial Bus)端口等,是用于与外部装置连接的接口。

计算机102A经由I/O接口106与输入装置107以及输出装置108连接。输入装置107是用于由用户进行向计算机102A的输入的装置。输入装置107例如包括鼠标、或者轨迹球等指示设备。输入装置107可以包括键盘等用于文字输入的装置。输出装置108例如包括显示器(显示器50,图2)。

图5是示出出厂前的轮式装载机1的系统结构的框图。图5所示的处理器103以及存储装置104构成图4所示的计算机102A的一部分结构。处理器103具有运算部161。

运算部161从第一液压检测器95接受检测到动臂缸16的油室内的工作油的压力时的检测信号的输入。运算部161从油门操作检测部81b接受检测到油门操作量时的检测信号的输入。运算部161从T/M输出转速传感器92接受检测到变速器26的输出轴的转速时的检测信号的输入。运算部161基于T/M输出转速传感器92的检测信号来运算轮式装载机1的车速。

运算部161从发动机转速传感器91接受检测到发动机转速时的检测信号的输入。运算部161基于油门操作量来运算向发动机21供给的燃料供给量,基于动臂缸16的油室内的液压来运算砂土等向挖掘对象物100的铲斗6内装入的装入量,并运算每燃料供给量的挖掘对象物的装入量(即,燃料消耗率)。

运算部161参照规定轮式装载机1的车速与牵引力的关系的映射,基于轮式装载机1的车速来运算牵引力。运算部161参照规定发动机转速与发动机转矩的关系的映射,基于发动机转速来运算发动机转矩。

动臂缸16的液压、油门操作量、车速、发动机转速、燃料消耗率、牵引力、以及发动机转矩包含于与作业机械主体(车身)以及工作装置3的动作相关的机械数据。机械数据包含油门操作量、车速、发动机转速、牵引力以及发动机转矩等与作业车辆主体的行驶相关的数据。

处理器103具有计时器162。运算部161从计时器162读取当前时刻,运算轮式装载机1正执行挖掘作业时的、从挖掘作业开始的经过时间。

挖掘作业的开始、即轮式装载机1的作业工序从空载前进工序向挖掘(伸入)工序的转移如下那样被判断:检测铲斗6的铲尖6a伸入挖掘对象物100且对铲斗6开始作用挖掘对象物100的负载时动臂缸16的油室内的液压增加的情况、以及根据动臂角度θ1和铲斗角度θ2来确认工作装置3是否处于开始挖掘作业的姿态。也可以基于作业中动臂缸16所承受的负载来判断作业开始时间点。作业开始也可以基于由摄像装置对轮式装载机1的周边进行拍摄而得的摄像数据来判断。

挖掘作业的结束、即轮式装载机1的作业工序从挖掘(挖取)工序向载货后退工序的转移如下那样被判断:检测轮式装载机1行驶的方向从前进方向向后退方向变化、且铲斗6的动作从用于挖取挖掘对象物100的向后倾斜变成中立的情况。

处理器103具有角度检测部163。角度检测部163从第一角度检测器29接受检测到动臂角度θ1时的检测信号的输入。角度检测部163从第二角度检测器48接受检测到铲斗角度θ2时的检测信号的输入。

在挖掘作业中的某时刻所检测到的动臂角度θ1以及铲斗角度θ2被分配给该时刻下的从挖掘作业开始的经过时间、以及在该时刻所取得的机械数据,并作为学习用数据储存于存储装置104。在存储装置104中保存有用于使目标姿态推断模型180学习的学习用数据集188。学习用数据集188包含多个对挖掘作业中的某时刻下的从挖掘作业开始的经过时间以及机械数据标注该时刻下的工作装置3的姿态(动臂角度θ1以及铲斗角度θ2)而得的学习用数据。

处理器103具有目标姿态推断部165。在存储装置104中保存有目标姿态推断模型180。

目标姿态推断模型180是用于求出挖掘作业中的工作装置3的目标姿态的人工智能模型。目标姿态推断模型180构成为,根据从挖掘作业开始的经过时间以及机械数据,求出挖掘作业中的工作装置3的目标姿态。计算机102A通过使用人工智能的目标姿态推断模型180来推断挖掘作业中的工作装置3的目标姿态。目标姿态推断部165使用目标姿态推断模型180,求出根据经过时间以及机械数据而推断出工作装置3的目标姿态的推断目标姿态。

更具体而言,目标姿态推断部165从存储装置104读取目标姿态推断模型180,将由运算部161运算出的从作业开始的经过时间以及机械数据输入目标姿态推断模型180,从而得到应作为目标的动臂角度θ1以及铲斗角度θ2的推断结果的输出。

目标姿态推断模型180包含神经网络。目标姿态推断模型180例如包含卷积神经网络(CNN)等深度神经网络。

实施方式中的模型可以安装于硬件、能够在硬件上执行的软件、固件、或者它们的组合。模型可以包含由处理器103执行的程序、算法、以及数据。模型的功能可以由单一的模块执行,或者也可以分散于多个模块而被执行。模型也可以分散配置于多个计算机。

处理器103具有误差计算部166、以及目标姿态推断模型更新部167。

误差计算部166选择与由运算部161运算出的经过时间以及机械数据对应的学习用数据。误差计算部166对由目标姿态推断部165推断出的动臂角度θ1以及铲斗角度θ2的推断结果、与包含于所选择的学习用数据的动臂角度θ1以及铲斗角度θ2进行比较。误差计算部166计算由目标姿态推断部165推断出的动臂角度θ1以及铲斗角度θ2的推断结果相对于学习用数据所包含的动臂角度θ1以及铲斗角度θ2的值的误差。

目标姿态推断模型更新部167基于误差计算部166所计算出的动臂角度θ1以及铲斗角度θ2的误差,对目标姿态推断模型180进行更新。像这样来进行目标姿态推断模型180的学习。目标姿态推断模型180的学习在轮式装载机1的出厂前由工厂进行。

<学习完成的目标姿态推断模型180的制造方法>

图6是示出学习完成的目标姿态推断模型180的制造方法的流程图。图7是示出用于使目标姿态推断模型180进行的处理的概略图。虽也与关于图5所说明过的内容局部重复,但以下参照图6以及图7,对用于使推断挖掘作业中的工作装置3的目标姿态的目标姿态推断模型180进行学习的处理进行说明。

如图6所示,首先,在步骤S101中,取得经过时间以及机械数据。在步骤S102中,取得工作装置姿态数据。

计算机102A更详细而言运算部161运算挖掘作业中的某时刻下的从挖掘作业开始的经过时间。另外,运算部161基于包括第一液压检测器95、油门操作检测部81b、T/M输出转速传感器92以及发动机转速传感器91在内的各种传感器的检测结果,运算该时刻下的机械数据。角度检测部163基于第一角度检测器29以及第二角度检测器48的检测结果,运算该时刻下的动臂角度θ1以及铲斗角度θ2。

如图7所示,从由多个操作员进行的实际的挖掘作业、期望地数万次以上的挖掘作业之中,提取进行了生产性较高的挖掘时的、经过时间及机械数据(图7所示说明变量)、以及工作装置姿态数据(图7所示的推断变量)。制作包含进行了实际的挖掘作业中的挖掘时间较短且挖掘土量较多的挖掘时的、经过时间及机械数据以及工作装置姿态数据的学习用数据188A、188B、188C、…。

学习用数据还可以包含操作员手动输入的数据、挖掘对象物100的土质及倾斜的角度、以及利用摄像装置对轮式装载机1的周边拍摄而得的摄像数据等。

接下来,在步骤S103中,输出工作装置3的目标姿态。计算机102A更详细而言目标姿态推断部165从存储装置104读取目标姿态推断模型180。目标姿态推断模型180包含图7所示的神经网络。神经网络包含输入层181、中间层(隐藏层)182、以及输出层183。中间层182被多层化。输入层181、中间层182以及输出层183具有一个或者多个单元(神经元)。输入层181、中间层182以及输出层183的单元的数量能够适当设定。

相邻的层的单元彼此结合,且对各结合设定有权重。对各单元设定有偏置。对各单元设定有阈值。根据将向各单元的输入值与权重的积的总和加上偏置而得的值是否超过阈值来决定各单元的输出值。

目标姿态推断模型180以根据从作业开始的经过时间以及机械数据而求出作业中的工作装置3的目标姿态的方式进行学习。通过学习所得到的目标姿态推断模型180的参数存储于存储装置104。目标姿态推断模型180的参数例如包含神经网络的层数、各层中的单元的个数、单元彼此的结合关系、各单元间的结合的权重、与各单元关联的偏置、以及各单元的阈值。

目标姿态推断部165将运算部161运算得出的经过时间以及机械数据输入输入层181。从输出层183输出表示工作装置3的目标姿态具体而言动臂角度θ1以及铲斗角度θ2的输出值。例如,计算机102A将经过时间以及机械数据用作输入层181的输入,并进行目标姿态推断模型180的神经网络的顺方向传播的运算处理。由此,计算机102A将推断出工作装置3的目标姿态的推断目标姿态作为从神经网络的输出层183输出的输出值而得到。

关于步骤S102的处理和步骤S103的处理,也可以不在步骤S102的处理之后进行步骤S103的处理。步骤S102的处理和步骤S103的处理可以同时进行,也可以在步骤S103的处理之后进行步骤S102的处理。

接下来,在步骤S104中,计算在步骤S103中输出的工作装置3的目标姿态与在步骤S102中取得的工作装置姿态数据的差。计算机102A更详细而言误差计算部166将从目标姿态推断模型180的输出层183输出的推断出工作装置3的目标姿态的推断目标姿态、与相应的学习用数据中所包含的工作装置3的姿态进行比较,从而计算推断目标姿态相对于工作装置姿态数据的误差。

计算机102A将挖掘作业中的某时刻下的从作业开始的经过时间、以及该时刻下的机械数据作为输入数据,并将示出该时刻下的工作装置3的姿态的姿态数据(动臂角度θ1以及铲斗角度θ2)作为教师数据,来进行目标姿态推断模型180的学习。计算机102A根据所计算出的输出值的误差,通过反向传播来计算各单元间的结合的权重、各单元的偏置、以及各单元的阈值各自的误差。

接下来,在步骤S105中,对目标姿态推断模型180进行更新。计算机102A更详细而言目标姿态推断模型更新部167基于由误差计算部166计算出的、推断目标姿态相对于由角度检测部163得到的工作装置3的姿态的误差,对各单元间的结合的权重、各单元的偏置、以及各单元的阈值等目标姿态推断模型180的参数进行更新。并且,使得向输入层181输入相同的经过时间以及机械数据的话则能够输出更接近于示出工作装置3的姿态的姿态数据的输出值。更新后的目标姿态推断模型180的参数存储于存储装置104。

在下次推断工作装置3的目标姿态时,向更新后的目标姿态推断模型180输入经过时间以及机械数据,从而得到工作装置3的推断目标姿态的输出。计算机102A重复进行从步骤S101到步骤S105为止的处理,直至目标姿态推断模型180输出的工作装置3的推断目标姿态与取得了经过时间以及机械数据的时间点下的示出工作装置3的姿态的姿态数据一致。这样,目标姿态推断模型180的参数最佳化来进行目标姿态推断模型180的学习。

在目标姿态推断模型180经过十分的学习而得到精度足够高的推断目标姿态时,计算机102A结束目标姿态推断模型180的学习。这样,制作学习完成的目标姿态推断模型180。接着,结束处理(结束)。

需要说明的是,目标姿态推断模型180的各种的参数的初期值也可以由模板赋予。或者,参数的初期值也可以通过人员的输入而手动地赋予。在进行目标姿态推断模型180的再学习时,计算机102A可以基于作为成为进行再学习的对象的目标姿态推断模型180的参数而存储于存储装置104的值,来准备参数的初期值。

<使用了学习完成的目标姿态推断模型180的工作装置3的目标姿态的推断>

图8是示出出厂的轮式装载机1的系统结构的框图。出厂的轮式装载机1可以取代图5所示的计算机102A而具备计算机102B。计算机102B具有处理器103和存储装置104。

处理器103具有与图5同样的、运算部161、计时器162以及目标姿态推断部165。处理器103还具有动臂控制部168、以及铲斗控制部169。处理器103不具有图5所示的角度检测部163、误差计算部166以及目标姿态推断模型更新部167。存储装置104具有学习完成的目标姿态推断模型180。存储装置104不具有图5所示的学习用数据集188。

图9是示出在出厂后为了推断工作装置3的目标姿态而由计算机102B执行的处理的流程图。图10是示出使用了以根据从作业开始的经过时间以及机械数据而求出工作装置3的目标姿态的方式学习完成的目标姿态推断模型180的、得到推断目标姿态的处理的示意图。以下,参照图8~10,对在出厂后推断挖掘作业中的工作装置3的目标姿态的处理进行说明。

首先,在步骤S201中,取得经过时间以及机械数据。计算机102B更详细而言运算部161运算挖掘作业中的某时刻下的从挖掘作业开始的经过时间。另外,运算部161基于包括第一液压检测器95、油门操作检测部81b、T/M输出转速传感器92以及发动机转速传感器91在内的各种传感器的检测结果,运算该时刻下的机械数据。图10所示的输入数据191包含经过时间以及机械数据。

接下来,在步骤S202中,推断工作装置3的目标姿态。计算机102B更详细而言目标姿态推断部165通过从存储装置104读取目标姿态推断模型180以及学习完成的参数的最佳值,从而取得学习完成的目标姿态推断模型180。目标姿态推断部165将由运算部161运算出的经过时间以及机械数据用作向目标姿态推断模型180输入的输入数据191。目标姿态推断部165将经过时间以及机械数据输入学习完成的目标姿态推断模型180的输入层181所包含的各单元。从学习完成的目标姿态推断模型180的输出层183输出推断出挖掘作业中的工作装置3的目标姿态的推断目标姿态、具体而言包含动臂角度θ1以及铲斗角度θ2在内的角度输出值197(图10)。

接下来,在步骤S203中,计算机102B基于推断目标姿态使工作装置3进行动作。

从目标姿态推断部165向动臂控制部168输出目标的动臂角度θ1。动臂控制部168基于目标的动臂角度θ1向动臂缸16输出控制信号。接受到控制信号的动臂缸16伸长或收缩,由此以动臂角度θ1的实际的值接近目标值的方式进行使动臂14动作的自动控制。

从目标姿态推断部165向铲斗控制部169输出目标的铲斗角度θ2。铲斗控制部169基于目标的铲斗角度θ2向铲斗缸19输出控制信号。接受到控制信号的铲斗缸19伸长或收缩,由此以铲斗角度θ2的实际的值接近目标值的方式进行使铲斗6动作的自动控制。

最后,在步骤S204中,计算机102B生成包含工作装置3的姿态在内的管理数据。计算机102B将管理数据记录于存储装置104。接着,结束处理(结束)。

如以上所说明的,在实施方式的系统中,计算机102B具有用于求出挖掘作业中的工作装置3的目标姿态的、学习完成的目标姿态推断模型180。如图8~10所示,计算机102B如下那样被编程:取得挖掘作业中的某时刻下的从作业开始的经过时间以及机械数据,并使用学习完成的目标姿态推断模型180,求出根据经过时间以及机械数据而推断出工作装置3的目标姿态的推断目标姿态。

因此,能够利用适用于工作装置3的目标姿态的推断的人工智能的目标姿态推断模型180来推断挖掘作业中的工作装置3的目标姿态。由此,通过使用人工智能,能够通过计算机102B容易且高精度地求出工作装置3的目标姿态。

如图5所示,计算机102A如下那样被编程:基于使用目标姿态推断模型180并根据从作业开始的经过时间以及机械数据而推断出工作装置3的目标姿态的推断目标姿态、与学习用数据中所包含的作业中的工作装置3的目标姿态的误差,对目标姿态推断模型180进行更新。这样,通过在出厂前使目标姿态推断模型180充分学习,从而能够制作精度高的目标姿态推断模型180。

出厂后的轮式装载机1也可以具备第一角度检测器29、第二角度检测器48以及角度检测部163。在该情况下,也可以在出厂后使目标姿态推断模型180进行追加学习。

如图1所示,轮式装载机1也可以具有与前框架2a连结的动臂14、以及与动臂14连结的铲斗6。能够使用学习完成的目标姿态推断模型180并根据从作业开始的经过时间以及机械数据,来推断动臂角度θ1以及铲斗角度θ2的目标值。

<与目标姿态推断模型180的学习相关的变形例>

图11是示出与目标姿态推断模型180的学习相关的变形例的概略图。在图5~7的说明中,对在轮式装载机1的出厂前使目标姿态推断模型180进行学习的例子进行了说明。用于使目标姿态推断模型180进行学习的学习用数据也可以从多个轮式装载机1来收集。

图11所示的第一轮式装载机1(轮式装载机1A)、第二轮式装载机1(轮式装载机1B)、第三轮式装载机1(轮式装载机1C)、以及第四轮式装载机1(轮式装载机1D)是相同的机种。轮式装载机1A、1B、1C为出厂后且处于作业现场。

计算机102A从各轮式装载机1A、1B、1C取得挖掘作业中的某时刻下的从作业开始的经过时间、以及该时刻下的机械数据。计算机102A还从各轮式装载机1A、1B、1C与经过时间以及机械数据相关联地取得该时刻下的工作装置姿态数据(动臂角度θ1以及铲斗角度θ2)。计算机102A提取由各轮式装载机1A、1B、1C进行的多个挖掘作业之中进行了生产性较高的挖掘时的经过时间、机械数据以及工作装置姿态数据,并将其作为学习用数据而收集。使用这些学习用数据,计算机102A使目标姿态推断模型180以能够求出根据经过时间以及机械数据而推断出工作装置3的目标姿态的推断目标姿态的方式进行学习。

计算机102A可以经由通信接口105(图4)从各轮式装载机1A、1B、1C取得经过时间、机械数据以及工作装置姿态数据。或者,计算机102A也可以经由外部记录介质109从各轮式装载机1A、1B、1C取得经过时间、机械数据以及工作装置姿态数据。

计算机102A可以配置于与轮式装载机1A、1B、1C相同的作业现场。或者,计算机102A也可以配置于远离作业现场的远程位置、例如管理中心。轮式装载机1A、1B、1C可以位于相同的作业现场、也可以位于不同的作业现场。

学习完成的目标姿态推断模型180经由通信接口105或者外部记录介质109等被向各轮式装载机1A、1B、1C提供。这样,使得各轮式装载机1A、1B、1C具备学习完成的目标姿态推断模型180。

在各轮式装载机1A、1B、1C中已保存有目标姿态推断模型180的情况下,将所保存的目标姿态推断模型180改写。也可以通过定期地执行上述的学习用数据的收集以及目标姿态推断模型180的学习,从而使得定期地进行目标姿态推断模型180的改写。目标姿态推断模型180的参数的最新的更新值每次存储于存储装置104。

学习完成的目标姿态推断模型180也被向轮式装载机1D提供。向提供学习用数据的轮式装载机1A、1B、1C、以及不提供学习用数据的轮式装载机1D这双方提供目标姿态推断模型180。轮式装载机1D可以位于与轮式装载机1A、1B、1C中的任一方相同的作业现场,也可以位于与轮式装载机1A、1B、1C不同的作业现场。轮式装载机1D也可以处于出厂前阶段。

<蒸馏模型的制造方法>

上述的目标姿态推断模型180并不局限于使用学习用数据188A、188B、188C、…通过机械学习学习而得的模型,也可以是利用该学习而得模型所生成的模型。例如,目标姿态推断模型180也可以是基于对学习完成模型重复数据的输入输出而得到的结果进行学习而得的其他学习完成模型(蒸馏模型)。图12是示出用于生成蒸馏模型的处理的流程图。

如图12所示,首先,在步骤S301中,取得经过时间以及机械数据。与图6所示的步骤S101同样地,运算部161运算挖掘作业中的某时刻下的从挖掘作业开始的经过时间,并且运算该时刻下的机械数据。

接下来,在步骤S302中,计算机102A使用学习完成的第一目标姿态推断模型,求出推断出挖掘作业中的工作装置3的目标姿态的推断目标姿态。在步骤S303中,计算机102A输出所推断出的工作装置3的目标姿态。

计算机102A更详细而言目标姿态推断部165从存储装置104读取学习完成的第一目标姿态推断模型。目标姿态推断部165将运算部161所运算出的经过时间以及机械数据输入学习完成的第一目标姿态推断模型的输入层181。从学习完成的第一目标姿态推断模型的输出层183输出示出挖掘作业中的工作装置3的目标姿态、具体而言动臂角度θ1以及铲斗角度θ2的推断目标姿态。

接下来,在步骤S304中,计算机102A将在步骤S301中所取得的经过时间及机械数据、以及在步骤S303中输出的工作装置3的目标姿态作为学习数据保存于存储装置104。

接下来,在步骤S305中,计算机102A通过学习模型来进行第二目标姿态推断模型的学习。计算机102A将经过时间以及机械数据输入第二目标姿态推断模型的输入层。计算机102A从第二目标姿态推断模型的输出层输出示出挖掘作业中的工作装置3的目标姿态、具体而言动臂角度θ1以及铲斗角度θ2的推断结果的输出值。计算从第二目标姿态推断模型输出的工作装置3的推断目标姿态、与在步骤S303中输出的从第一目标姿态推断模型输出的工作装置3的推断目标姿态之差。基于该差,计算机102A对第二目标姿态推断模型的参数进行更新。这样,进行第二目标姿态推断模型的学习。

最后,在步骤S306中,将更新后的第二目标姿态推断模型的参数作为学习完成参数保存于存储装置104。接着,结束处理(结束)。

如上所述,将经过时间及机械数据、以及使用第一目标姿态推断模型推断出工作装置3的目标姿态的推断目标姿态作为学习用数据而使第二目标姿态推断模型(蒸馏模型)进行学习,由此,计算机102A能够使用与第一目标姿态推断模型相比更简单的第二目标姿态推断模型来推断挖掘作业中的工作装置3的目标姿态。由此,能够减轻用于推断工作装置3的目标姿态的计算机102A的负载。需要说明的是,计算机102A也可以通过由其他计算机生成的学习数据来进行第二目标姿态推断模型的学习。

在上述实施方式中,目标姿态推断模型180包含神经网络。并不局限于此,目标姿态推断模型180例如也可以是支持向量机、决策树等、能够通过使用机械学习而根据从作业开始的经过时间以及机械数据高精度地推断作业中的工作装置3的目标姿态的模型。

能够应用本公开的思想的作业机械并不局限于轮式装载机,也可以是液压挖掘机或者推土机等具有工作装置的作业机械。在液压挖掘机的情况下,输入目标姿态推断模型的机械数据可以包含动臂缸的液压、斗杆缸的液压、发动机转矩、发动机转速、液压泵容量等。在液压挖掘机的情况下,目标姿态推断模型输出的工作装置的推断目标姿态可以包含动臂相对于车身的角度、斗杆相对于动臂的角度、以及铲斗相对于斗杆的角度。

本次公开的实施方式应当被认为在所有方面均为例示而不是限制性的。本发明的范围不由上述说明而是由技术方案来表示,且包含与技术方案均等的含义及范围内的所有变更。

附图标记说明:

1、1A、1B、1C、1D...轮式装载机;2...车身框架;2a...前框架;3...工作装置;4...行驶装置;5...驾驶室;6...铲斗;6a...铲尖;8...操作装置;9...动臂销;10...控制装置;11...转向缸;14...动臂;16...动臂缸;17...铲斗销;18...双臂曲柄;18a...支承销;18b、18c...连结销;19...铲斗缸;21...发动机;29...第一角度检测器;48...第二角度检测器;81a...油门操作构件;81b...油门操作检测部;82a...转向操作构件;82b...转向操作检测部;83a...动臂操作构件;83b...动臂操作检测部;84a...铲斗操作构件;84b...铲斗操作检测部;85a...变速操作构件;85b...变速操作检测部;86a...FR操作构件;86b...FR操作检测部;91...发动机转速传感器;92...输出转速传感器;95...第一液压检测器;96...第二液压检测器;100...挖掘对象物;102A、102B...计算机;103...处理器;104...存储装置;105...通信接口;106...I/O接口;107...输入装置;108...输出装置;109...外部记录介质;161...运算部;162...计时器;163...角度检测部;165...目标姿态推断部;166...误差计算部;167...目标姿态推断模型更新部;168...动臂控制部;169...铲斗控制部;180...目标姿态推断模型;181...输入层;182...中间层;183...输出层;188...学习用数据集;188A、188B、188C...学习用数据;191...输入数据;197...角度输出值;A...动臂基准线;B...铲斗基准线;H...水平线;L...铲斗轨迹。

27页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:后悬架安装总成

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!