收割机
阅读说明：本技术 收割机 (Harvester ) 是由 高原一浩 宫下隼辅 石见宪一 于 2018-05-21 设计创作，主要内容包括：联合收割机具备：脱粒深度调整构件；脱粒深度控制部(620),使用脱粒深度调整构件来进行基于割取谷秆的长度的脱粒深度调整控制；机体位置计算部(66),计算机体位置；图像识别模块(5),估计由拍摄部(70)取得的拍摄图像中的杂草生长区域,并且输出表示所估计的杂草生长区域的识别输出数据；杂草位置信息生成部(51),根据取得了拍摄图像的时间点的机体位置和识别输出数据,生成表示杂草生长区域在地图上的位置的杂草位置信息；以及作业行驶控制部,计算出杂草通过脱粒深度调整构件的定时,在杂草通过脱粒深度调整构件期间执行杂草进入控制。(A combine harvester is provided with: a threshing depth adjusting member; a threshing depth control unit (620) that uses a threshing depth adjustment means to perform threshing depth adjustment control based on the length of the harvested straw; a body position calculation unit (66) that calculates the body position; an image recognition module (5) that estimates a weed growth area in the captured image acquired by the imaging unit (70), and outputs recognition output data indicating the estimated weed growth area; a weed position information generation unit (51) that generates weed position information indicating the position of a weed growth area on a map, based on the body position at the time point when the captured image was acquired and the identification output data; and a working travel control unit for calculating the timing of the weed passing through the threshing depth adjusting member and controlling the weed entering while the weed passes through the threshing depth adjusting member.)
技术区域
本发明涉及一边行驶于农场一边对植立谷秆进行收割的收割机。
背景技术
在传统的收割机中，为了提高作业的性能或提高作业的效率而具备各式各样的功能。
例如，如专利文献1所示那样，在传统的联合收割机中设置有用于检测从割取部输送到脱谷装置的输送谷秆的穗前端位置的脱粒深度检测传感器，并且被构成为基于该脱粒深度检测传感器的检测信息来控制用于调节脱谷装置中的脱粒深度的脱粒深度调节部件，从而以目标脱粒深度将输送谷秆进行脱谷。
此外，在农场中使用了收割机的农作物的收割作业中，需要注意局部不同的农作物的生长状态或包含人在内的障碍物的存在。因此，例如，在专利文献2涉及的联合收割机中具备了用于对割取部的前方的谷秆进行拍摄的电视照相机和图像处理装置。图像处理装置将来自电视照相机的图像和表示预先存储的各种各样的谷秆的植立状态的图像进行比较，从而检测谷秆的特定的状态。例如，若图像处理装置检测到割取部前方的谷秆的一部分倒伏，则耙拢卷盘以谷秆倒伏为下方而偏斜。由此，提高倒伏谷秆的割取性能。此外，在与专利文献2的联合收割机同样地具备了电视照相机和图像处理装置的专利文献3涉及的联合收割机中，当检测出在割取部的前方不存在谷秆的情况下，联合收割机视为到达了田边未耕地，切断向切割器的动力传递并使切割器上升，从而降低行驶速度。由此，避免在田边未耕地中回行时切割器对田埂等的冲击，并且顺利地进行联合收割机在田边未耕地的回行。
进一步地，在专利文献4涉及的联合收割机中，搭载了对机体的后方进行拍摄的照相机，并且根据该拍摄图像来识别由割取部切断的谷秆的株排(株列)。基于所识别的株排(株列)与机体的偏差来进行机体的方向控制，以使各分草体通过株排(株列)和株排(株列)之间的株间。
现有技术文献
专利文献
专利文献1：特开平08-172867号公报
专利文献2：特开平11-155340号公报
专利文献3：特开平11-137062号公报
专利文献4：特开2006-121952号公报
发明内容
发明要解决的课题
当在割取部割取的割取谷秆被输送到脱谷装置时，通过使用了脱粒深度检测传感器的调节，以适当的脱粒深度来进行脱谷的技术有助于脱谷性能的提高。然而，根据农场，有时在植立谷秆的周围混有比植立谷秆长的杂草，该杂草由割取部进行割取，并且由脱粒深度检测传感器来检测。其结果导致脱粒深度调节部件以杂草的长度来调节脱谷装置中的脱粒深度，并且产生降低本来的割取谷秆的脱谷性能的问题。
鉴于这样的实际情况，期望即使在杂草局部生长的农场中也能够尽可能避免植立谷秆的脱谷性能的降低的联合收割机。
此外，在专利文献2或专利文献3涉及的联合收割机中，使用图像处理技术来检测割取部前方的谷秆的状态，并基于该检测结果来控制作业设备的动作。然而，未考虑所检测到的谷秆在农场中在地图上的实际位置。因此，即使在作业行驶中检测出成为问题的状态的谷秆并进行用于解决该问题的避免控制，在表示成为问题的谷秆状态的区域和联合收割机相距较远的情况下，也会产生避免控制过早或过晚的问题。此外，也难以适当地决定应终止避免控制的定时。
鉴于这样的情况下，也期望高效地进行使用了设置于车体的拍摄部所拍摄的拍摄图像的收割作业支援的收割机。
在专利文献2、3、4涉及的联合收割机中均是根据基于由车载照相机所取得的拍摄图像而得到的检测结果来控制行驶装置或作业装置。然而，在设置于对农场进行作业行驶的联合收割机的照相机所进行的拍摄中，会发生该拍摄图像成为不适当的图像的各种各样的状况。作为这样的状况，例如可以列举出因农场的行驶面不如道路那样平坦而造成突发的振动传递到车载照相机的情况。此外，可以列举出因一边进行方向转换一边进行作业行驶而造成太阳相对于车载照相机的朝向等频繁发生变动的情况。进一步地，可以列举出在割取作业等中当进行作业行驶时扬起灰尘的情况。若基于不适当的拍摄图像来控制作业装置或行驶装置，则该作业行驶变得不适当，并且不能得到令人满意的结果。
为了抑制这样的问题，期望能够在利用了拍摄图像的收割作业支援中尽可能地排除不适当的拍摄图像的技术。
本发明的目的在于以上述的期望为前提从而实现各种作业的性能或作业的效率的进一步提高。
用于解决课题的手段
本发明的一实施方式涉及的收割机的特征在于，是一边行驶于农场一边对植立谷秆进行收割的联合收割机，并且具备：割取部，从所述农场对所述植立谷秆进行割取；谷秆输送装置，将割取谷秆从所述割取部向脱谷装置输送；脱粒深度调整构件，被设置于所述谷秆输送装置；脱粒深度控制部，使用所述脱粒深度调整构件来进行基于所述割取谷秆的长度的脱粒深度调整控制；机***置计算部，基于来自卫星定位模块的定位数据，计算出作为机体的地图坐标的机***置；拍摄部，被设置于所述机体并在收割作业时对所述农场进行拍摄；图像识别模块，被输入由所述拍摄部继时地且逐次取得的拍摄图像的图像数据，估计所述拍摄图像中的杂草生长区域，并且输出表示所估计的所述杂草生长区域的识别输出数据；杂草位置信息生成部，根据取得了所述拍摄图像的时间点的所述机***置和所述识别输出数据，生成表示所述杂草生长区域在地图上的位置的杂草位置信息；以及作业行驶控制部，决定在所述杂草生长区域内被割取的杂草通过所述脱粒深度调整构件的定时，在所述杂草通过所述脱粒深度调整构件期间执行杂草进入控制。
在本发明的一实施方式涉及的收割机中，在拍摄图像中存在杂草的情况下，根据作为该拍摄图像的图像数据，通过图像识别模块来估计杂草生长区域。进一步地，由取得了拍摄图像的时间点的地图坐标来表示的机***置通过机***置计算部而被计算出，因此根据该机***置和表示杂草生长区域的识别输出数据来生成表示杂草生长区域在地图上的位置的杂草位置信息。由于作为机体的地图坐标的机***置是由机***置计算部所计算出的，因此通过考虑机体中的杂草的割取位置以及从该割取位置到脱粒深度调整构件的杂草的输送时间从而决定杂草通过脱粒深度调整构件的定时。基于该决定的定时，在杂草通过脱粒深度调整构件期间，通过执行特殊的杂草进入控制，从而即使在杂草局部生长的农场中也能够抑制对于混有杂草的植立谷秆的脱谷性能的降低。
本发明的一实施方式涉及的收割机的特征在于，是一边行驶于农场一边对植立谷秆进行收割的联合收割机，具备：割取部，从所述农场对所述植立谷秆进行割取；谷秆输送装置，将割取谷秆从所述割取部向脱谷装置输送；脱粒深度调整构件，被设置于所述谷秆输送装置；脱粒深度控制部，使用所述脱粒深度调整构件来进行基于所述割取谷秆的长度的脱粒深度调整控制；机***置计算部，基于来自卫星定位模块的定位数据，计算出作为机体的地图坐标的机***置；拍摄部，被设置于所述机体并在收割作业时对所述农场进行拍摄；图像识别模块，被输入由所述拍摄部继时地且逐次取得的拍摄图像的图像数据，估计所述拍摄图像中的杂草生长区域，并且输出表示所估计的所述杂草生长区域的识别输出数据；杂草位置信息生成部，根据取得了所述拍摄图像的时间点的所述机***置和所述识别输出数据，生成表示所述杂草生长区域在地图上的位置的杂草位置信息；以及作业行驶控制部，在所述割取部通过所述杂草生长区域期间执行杂草进入控制。
在本发明的一实施方式涉及的收割机中，在割取部通过杂草生长区域期间执行杂草进入控制。在该结构中，不需要考虑杂草的输送时间等，因此具有控制变得简单的优点。
另外，根据基于来自卫星定位模块的定位数据而计算出在地图上的机***置、该机***置与割取部之间的距离、以及包含在杂草位置信息中的杂草生长区域在地图上的位置，能够正确地求出割取部通过杂草生长区域的定时。因此，在本发明的优选的实施方式之一中构成为：基于所述杂草位置信息和由所述机***置计算部所计算出的所述机***置来决定所述割取部通过所述杂草生长区域的定时。
若比植立谷秆更高的杂草进入脱粒深度调整构件，则由于脱粒深度调整构件将该杂草视为割取谷秆，因此脱粒深度控制部会匹配杂草的长度来控制脱粒深度。由此，被调整后的脱粒深度不适合于原来的割取谷秆。割取谷秆的长度不会那么急剧变动，因此当发生杂草进入到脱粒深度调整构件这样的事态时，优选暂时中断基于脱粒深度调整机的脱粒深度控制而不改变脱粒深度。因此，在本发明的优选的实施方式之一中构成为：通过执行所述杂草进入控制来中断所述脱粒深度调整控制。
此外，由于杂草与植立谷秆混合生长，因此在对该杂草生长区域进行割取作业的情况下，包含杂草和割取谷秆在内的处理量增大，并且割取部、谷秆输送装置、脱谷装置等作业装置的负荷增大。为了避免这样的超负荷，优选降低车速。因此，在本发明的优选的实施方式之一中构成为：通过执行所述杂草进入控制来降低车速。
本发明的一实施方式涉及的收割机的特征在于，是一边行驶于农场一边对农作物进行收割，并且具备：机***置计算部，基于来自卫星定位模块的定位数据，计算出作为机体的地图坐标的机***置；拍摄部，被设置于所述机体并在收割作业时对农场进行拍摄；图像识别模块，被输入由所述拍摄部继时地且逐次取得的拍摄图像的图像数据，估计所述拍摄图像中的识别对象物所存在的存在区域，并且输出包含所述存在区域以及所述存在区域被估计时的估计概率的识别输出数据；以及识别对象物位置信息生成部，根据取得了所述拍摄图像的时间点的所述机***置和所述识别输出数据，生成表示所述识别对象物在地图上的位置的识别对象物位置信息。
在本发明的一实施方式涉及的收割机中，根据作为拍摄图像的图像数据来估计拍摄图像中的识别对象物存在的存在区域的图像识别模块例如使用神经网络(包含深层学习)或强化学习等技术而被构成。此外，被构成为还能够同时输出估计该存在区域时的估计概率，因此也能够进行使用了该概率值的最佳控制。进一步地，通过机***置计算部计算出由取得了拍摄图像的时间点的地图坐标所表示的机***置，并且根据该机***置和表示识别对象物的存在区域的识别输出数据来生成表示识别对象物在地图上的位置的识别对象物位置信息。根据这样的结构，能够进行考虑了估计识别对象物的存在区域的估计概率、以及该识别对象物在地图上的位置从而在结果上考虑了该识别对象物与收割机的距离的收割作业支援的控制。
在由拍摄部拍摄的农场的拍摄图像中，由于远近法的关系，对于距离拍摄部较远的识别对象物的分辨率低于距离拍摄部较近的识别对象物的分辨率。
因此，在距离拍摄部较远的地方拍摄的识别对象物与在距离拍摄部较近的地方拍摄的识别对象物相比，其识别可靠性较低。与此相对应，在本发明的优选的实施方式之一中构成为：在所述拍摄图像中所述识别对象物距离所述拍摄部越远，该识别对象物的所述估计概率越被降低。
基于拍摄图像的识别对象物位置信息的生成与收割机的车速相比能够高速地进行，因此生成多个与同一识别对象物有关的识别对象物位置信息。因此，能够对与同一识别对象物有关的多个识别对象物位置信息中包含的各自的估计概率进行统计性的运算。通过该统计性的运算，能够生成可靠性更高的识别对象物位置信息。这里的统计性的运算是指算术平均、加权平均、中间值运算等，并且是从多个数据值中导出可靠性更高的数据值的运算。通过对估计概率利用这样的统计性的运算，从而能够从多个识别对象物位置信息中导出更适当的识别对象物位置信息。
因此，在本发明的一个优选的实施方式中构成为：存储多个所述识别对象物位置信息，并且基于包含在对应的所述识别输出数据中的所述估计概率的统计性的运算的结果来校正所存储的多个所述识别对象物位置信息。
由设置于机体的拍摄部取得的拍摄图像尽管成为图像识别模块的输入源，但根据拍摄条件存在其成为不适合于识别对象物的识别的拍摄图像的可能性。其结果，即使识别了识别对象物，其识别输出数据的识别概率降，因此不优选将该识别输出数据直接用于之后的处理。因此，在本发明的优选的实施方式之一中，具备：数据存储部，暂时且经时地存储从所述图像识别模块逐次输出的所述识别输出数据作为识别输出数据串；以及数据判定部，将具有与在所述识别输出数据串中继时地成为前后关系的所述识别输出数据的所述估计概率相比，低规定等级以上的所述估计概率的所述识别输出数据判定为不适当识别输出数据。可以删除被判定为不适当识别输出数据的识别输出数据，也可以将该识别输出数据的估计概率置换为通过前后的识别输出数据进行了插值后的估计概率。
对于一边在农场行驶一边收割农作物的收割机而言重要的识别对象是人、倒伏谷秆、杂草、田埂等。由于会识别成为作业行驶的障碍物的人成为障碍物避免控制或障碍物警报通知的触发，因此对于农场中的安全行驶而言是很重要的。由于识别倒伏谷秆或杂草成为作业控制中的倒伏谷秆对策控制或杂草对策控制，因此对于进行高质量的收割作业是很重要的。由于识别田埂要检测出农场的边界线，因此对于农场的田边未耕地(枕地)行驶控制等而言是很重要的。
本发明的一实施方式涉及的收割机具备：机***置计算部，基于来自卫星定位模块的定位数据，计算出作为机体的地图坐标的机***置；行驶轨迹计算部，根据所述机***置来计算出所述机体的行驶轨迹；拍摄部，被设置于所述机体，并且在收割作业时对农场进行拍摄；图像识别模块，被输入由所述拍摄部继时地且逐次取得的拍摄图像的图像数据，估计所述拍摄图像中的识别对象物所存在的存在区域，并且输出包含所述存在区域以及所述存在区域被估计时的估计概率的识别输出数据；以及数据判定部，基于所述行驶轨迹来预测上一次拍摄图像中的所述存在区域在下一次拍摄图像中所应处的范围，在所述下一次拍摄图像中与所述范围重叠的所述存在区域的所述估计概率与在所述上一次拍摄图像中的所述存在区域的所述估计概率的差异在预先规定的允许量以上的情况下，将基于所述下一次拍摄图像的所述识别输出数据判定为不适当识别输出数据。
在收割机正在进行作业行驶的途中前方出现了识别对象物的情况下，通常取得多个拍摄有该识别对象物的拍摄图像。因此，针对这样的多个拍摄图像的每一个而言，估计该识别对象物的存在区域，并且输出包含其估计概率的识别输出数据。在该多个拍摄图像的各自中被识别的识别对象物其实质上是静止体的情况下，根据拍摄各拍摄图像的机***置，也就是根据行驶轨迹，识别对象物在每个拍摄图像中存在于不同的位置。因此，能够基于行驶轨迹来预测拍摄图像中的识别对象物的存在区域所应处的范围。
在识别对象物的存在区域未处于以这样的方式来预测的范围内的情况下，或者即使位于所预测的范围内但其估计概率与基于其它的拍摄图像的估计概率相比大不相同的情况下，将该拍摄图像视为是不适当的。此外，若拍摄图像不适当，则显然基于其而被输出的识别输出数据也是不适当的。由此，基于行驶轨迹，预测上一次拍摄图像中的存在区域在下一次拍摄图像中所应处的范围，并且在下一次拍摄图像中与该范围重叠的存在区域的所述估计概率与上一次拍摄图像中的存在区域的估计概率的差异在预先规定的允许量以上的情况下，将基于下一次拍摄图像的识别输出数据判定为不适当识别输出数据是有益的。
在本发明的优选的实施方式之一中具备：数据校正部，以基于继时地成为所述不适当识别输出数据的前后的所述识别输出数据的所述估计概率而得到的插值估计概率，置换所述不适当识别输出数据的所述估计概率。在该结构中，通过将被判定为不适当识别输出数据的识别输出数据的估计概率以其前后的识别输出数据的估计概率来进行插值校正，从而能够将不适当识别输出数据置换成适当的识别输出数据来利用。此点在与同一识别对象物有关的识别输出数据数量较少的情况下更为有效。
对于一边在农场行驶一边收割农作物的收割机而言重要的识别对象是人、倒伏谷秆、杂草、田埂等。由于识别成为作业行驶的障碍物的人会成为障碍物避免控制或障碍物警报通知的触发，因此对于农场中的安全行驶是很重要的。由于识别倒伏谷秆或杂草成为作业控制中的倒伏谷秆对策控制或杂草对策控制，因此对于进行高质量的收割作业是很重要的。由于识别田埂要检测出农场的边界线，因此对于农场的田边未耕地行驶控制等是很重要的。
附图说明
图1是实施方式1中的联合收割机的整体侧面图。
图2是实施方式1中的割取部的侧面图。
图3是实施方式1中的脱粒深度控制的说明图。
图4是表示实施方式1中的联合收割机的控制系统的功能功能框图。
图5是示意性表示实施方式1中的图像识别模块进行的识别输出数据的生成的流程的说明图。
图6是表示实施方式1中的根据包含杂草生长区域的拍摄图像和机***置来计算杂草位置并使脱粒深度控制中断的控制的流程的流程图。
图7是表示实施方式1中的通过将杂草位置地图化而得到的杂草地图的示意图。
图8是实施方式2中的联合收割机的整体侧面图。
图9是表示实施方式2中的联合收割机的控制系统的功能框图。
图10是示意性表示实施方式2中的图像识别模块进行的识别输出数据的生成的流程的说明图。
图11是表示实施方式2中的根据拍摄图像来生成识别对象物位置信息时的数据的流程的数据流程图。
图12是表示实施方式2中的通过将作为识别对象物位置信息之一的杂草位置信息地图化而得到的杂草地图的示意图。
图13是实施方式3中的联合收割机整体侧面图。
图14是表示实施方式3中的联合收割机的控制系统的功能框图。
图15是示意性表示实施方式3中的图像识别模块进行的识别输出数据的生成的流程的说明图。
图16是表示实施方式3中的根据拍摄图像来生成识别对象物位置信息时的数据的流程的数据流程图。
图17是示意性说明实施方式3中的判定不适当识别输出数据的数据处理的说明图。
图18是表示将实施方式3中的识别对象物位置信息之一的杂草位置信息地图化而得到的杂草地图的示意图。
具体实施方式
以下，参照附图说明作为本发明涉及的收割机的一例的联合收割机的实施方式。在各实施方式中，当定义机体1的前后方向时，沿作业状态下的机体行进方向来进行定义。图1中用符号(F)表示的方向是机体前侧，图1中用符号(B)表示的方向是机体后侧。当定义机体1的左右方向时，在机体行进方向视角观察的状态下定义左右。
[实施方式1]
如图1所示那样，在第1实施方式涉及的联合收割机中，在具备左右一对履带行驶装置10的机体1的前部，以围绕横轴芯X升降操作自如的方式连接有割取部2。在机体1的后部，在机体横宽方向上排列的状态下具备脱谷装置11和用于存积谷粒的谷粒箱12。在机体1的前部右侧部位具备用于覆盖搭乘驾驶部的驾驶舱14，在该驾驶舱14的下方具有驱动用的发动机15。
如图1所示那样，脱谷装置11将由割取部2进行割取并向后方输送来的割取谷秆装到内部，并且一边通过脱谷馈送链111和夹持导轨112对谷秆的株根进行夹持输送，一边在脱粒筒113对穗前端侧进行脱谷处理。然后，在脱粒筒113的下方具备的选别部对脱谷处理物执行谷粒选别处理，并将在此选别的谷粒输送至谷粒箱12并进行存积。此外，虽然未详细说明，但具备将在谷粒箱12中存积的谷粒排出到外部的谷粒排出装置13。
割取部2具备多个用于扶起倒伏的植立谷秆的扶起装置21、用于切断被扶起的植立谷秆的株根的推子型的切断装置22、谷秆输送装置23等。谷秆输送装置23一边将切断株根的纵姿势的割取谷秆逐渐变为横卧姿势一边向位于机体后方侧的脱谷装置11的脱谷馈送链111的始端部输送。
谷秆输送装置23具备一边将由切断装置22割取的多条割取谷秆聚集到割剪宽度方向中央一边进行输送的汇合输送部231、夹持聚集的割取谷秆的株根并向后方输送的株根夹持输送装置232、对割取谷秆的穗前端侧进行卡止输送的穗前端卡止输送装置233、从株根夹持输送装置232的终端部将割取谷秆的株根向脱谷供给链111引导的供给输送装置234等。
如图2所示那样，株根夹持输送装置232以围绕横轴芯摆动自如的方式支撑在割取部2的支撑框架上。株根夹持输送装置232通过驱动操作构件235被进行上下摆动操作，并且其以伴随该摆动操作，输送终端部相对于供给输送装置234在谷秆的秆长方向上进行位置变更的方式而被设置。驱动操作构件235具有作为驱动源的脱粒深度调节用电动马达236(以下称为脱粒深度马达)。驱动操作构件235具备由脱粒深度马达236进行推拉操作的操作棒237。操作棒237的下端部枢支连接到株根夹持输送装置232的中途部。
若株根夹持输送装置232的输送终端部从供给输送装置234分离，则供给输送装置234对割取谷秆的株根夹持位置相对于株根夹持输送装置232对割取谷秆的株根夹持位置，被变更为穗前端侧，并且被移送至供给输送装置234。其结果，割取谷秆进入脱谷装置11的深度(脱粒深度)被变更为较浅(浅脱粒侧)。
若株根夹持输送装置232的输送终端部接近供给输送装置234，则在供给输送装置234对割取谷秆的株根夹持位置变为距离株根夹持输送装置232对割取谷秆的株根夹持位置近的位置的状态下被移送至供给输送装置234。其结果，割取谷秆相对于脱谷装置11的脱粒深度被变更为较深(深脱粒侧)。
通过像这样变更株根夹持输送装置232的姿势，从而能够变更相对于脱谷装置11的割取谷秆的脱粒深度。也就是，通过株根夹持输送装置232和驱动操作构件235来构成能够变更相对于脱谷装置11的割取谷秆的脱粒深度的脱粒深度调整构件3。
如图3所示那样，第1实施方式涉及的联合收割机具备用于检测由谷秆输送装置23输送的割取谷秆的秆长的接触式的秆长检测装置30、脱粒深度控制部620。脱粒深度控制部620基于秆长检测装置30的检测结果来进行用于调整脱粒深度的脱粒深度调整控制。在该实施方式中，脱粒深度控制部620控制脱粒深度马达236，以使割取谷秆相对于脱谷装置11的脱粒深度被维持在目标设定范围内。
如图3所示那样，秆长检测装置30的结构为：在作为形成为向下开放的大致无底箱状的装置主体部的主体壳体31上具备一对摆动式的传感器臂32、33，并且该一对传感器臂32、33接触并作用于割取谷秆的穗前端侧部位来检测秆长。一对传感器臂32、33在输送的割取谷秆的秆长方向上分离的状态下，以上部侧部位支撑于主体壳体31并且向下方侧垂下的状态而被设置。各传感器臂32、33以围绕设置于主体壳体31的内部的横轴芯在前后方向(相当于割取谷秆的移动方向)上摆动自如的方式、且以复原为向下的基准姿势的趋势的状态下而被支撑。
在一对传感器臂32、33各自的上部的基端侧部位具备检测开关34、35，该检测开关34、35在传感器臂32、33通过与输送的割取谷秆接触而在从基准姿势摆动设定量以上时成为导通状态，在传感器臂32、33从基准姿势开始的摆动量小于设定量时成为断开状态。
一对检测开关34、35的输出被输入到脱粒深度控制部620。脱粒深度控制部620控制脱粒深度马达236的工作，以使位于穗前端侧的检测开关35处于断开状态并且位于株根侧的检测开关34变为导通状态。
即，脱粒深度控制部620使脱粒深度马达236进行工作，以使当一对检测开关34、35均处于导通状态时，株根夹持输送装置232向浅脱粒侧移动。此外，脱粒深度控制部620使脱粒深度马达236进行工作，以使当一对检测开关34、35均处于断开状态时，株根夹持输送装置232向深脱粒侧移动。进一步地，若一对检测开关34、35中位于穗前端侧的检测开关35处于断开状态且位于株根侧的检测开关34处于导通状态，则脱粒深度控制部620停止脱粒深度马达236的工作并维持该状态。
如图1所示那样，在驾驶舱14的顶部的前端设置有具备了彩色照相机的拍摄部70。拍摄部70的拍摄视野的前后方向的扩展从割取部2的前端区域几乎延伸到地平线。拍摄视野的宽度方向的广度从10米左右达到数十米。由拍摄部70取得的拍摄图像被图像数据化并且被发送到联合收割机的控制系统。
拍摄部70在收割作业时拍摄农场。联合收割机的控制系统具有根据从拍摄部70发送来的图像数据将杂草生长区域识别成识别对象物的功能。在图1中，正常的植立谷秆组用符号Z0表示，杂草生长区域用符号Z1表示。
进一步地，驾驶舱14的顶部还设置有卫星定位模块80。卫星定位模块80中包含用于接收GNSS(全球导航卫星系统(global navigation satellite system))信号(包含GPS信号)的卫星用天线。为了补充由卫星定位模块80进行的卫星导航，在卫星定位模块80中安装有嵌入了陀螺仪加速度传感器或磁方位传感器的惯性导航单元。当然，惯性导航单元能够配置在其它地方。在图1中，为了便于绘图，虽然将卫星定位模块80配置在驾驶舱14的顶部的后部，但优选例如将其配置在顶部的前端部的靠近机体中央侧的位置，以便尽可能地靠近切断装置22的左右中央部的正上方位置。
图4示出了在联合收割机的机体1的内部构建的控制系统的功能框图。该实施方式的控制系统由大量被称为ECU的电子控制单元、各种动作设备、传感器组或开关组、用于在它们之间进行数据传输的车载LAN等布线网络而构成。通知设备91是用于向驾驶员等通知作业行驶状态或各种各样的警告的设备，其是蜂鸣器、灯、扬声器、显示器等。通信部92被用于该联合收割机的控制系统在与设置于远程地点的云计算机系统100或便携通信终端200之间进行数据交换。在此，便携通信终端200是作业行驶现场的监视者(也包括驾驶员)所操作的平板计算机。控制单元6是该控制系统的核心元素，并且作为多个ECU的集合体而被示出。由卫星定位模块80取得的定位数据、以及由拍摄部70取得的图像数据通过布线网络被输入到控制单元6。
控制单元6具备输出处理部6B和输入处理部6A作为输入输出接口。输出处理部6B与车辆行驶设备组7A以及作业装置设备组7B连接。车辆行驶设备组7A包括与车辆行驶有关的控制设备，例如发动机控制设备、变速控制设备、制动控制设备、操舵控制设备等。作业装置设备组7B包括割取部2、脱谷装置11、谷粒排出装置13、谷秆输送装置23、脱粒深度调整构件3中的动力控制设备等。
行驶系统检测传感器组8A或作业系统检测传感器组8B等连接到输入处理部6A。行驶系统检测传感器组8A包括用于检测发动机转数调整工具、加速踏板、制动踏板、变速操作工具等的状态的传感器。作业系统检测传感器组8B包括用于检测割取部2、脱谷装置11、谷粒排出装置13、谷秆输送装置23中的装置状态以及谷秆或谷粒的状态的传感器。进一步地，作业系统检测传感器组8B还包括上述的脱粒深度调整构件3中的检测开关34、35。
控制单元6具备图像识别模块5、数据处理模块50、作为作业行驶控制部的作业行驶控制模块60、机***置计算部66、通知部67、杂草位置计算部68。
通知部67基于从控制单元6的各功能部接收到的指令等来生成通知数据，并且提供到通知设备91。机***置计算部66基于从卫星定位模块80逐次发送来的定位数据来计算出作为机体1的地图坐标(或农场坐标)的机***置。该实施方式的杂草位置计算部68基于由机***置计算部66计算出的通常是天线位置的机***置、由数据处理模块50计算出的杂草生长区域在地图上的位置、谷秆输送装置23的输送速度，决定被割取部2割取的杂草通过脱粒深度调整构件3的定时。
该实施方式的联合收割机能够通过自动行驶(自动操舵)和手动行驶(手动操舵)二者来进行行驶。作业行驶控制模块60除了行驶控制部61和作业控制部62之外，还具备自动作业行驶指令部63以及行驶路径设定部64。用于选择通过自动操舵来行驶的自动行驶模式和通过手动操舵来行驶的手动操舵模式中的任意一个的行驶模式开关(未图示)被设置在驾驶室14内。通过操作该行驶模式开关，能够实现从手动操舵行驶到自动操舵行驶的转移、或从自动操舵行驶到手动操舵行驶的转移。
行驶控制部61具有发动机控制功能、操舵控制功能、车速控制功能等，并且将行驶控制信号提供给车辆行驶设备组7A。作业控制部62向作业装置设备组7B提供作业控制信号，以便控制割取部2、脱谷装置11、谷粒排出装置13、谷秆输送装置23等的动作。进一步地，作业控制部62包括利用图3来说明的脱粒深度控制部620。
在选择了手动操舵模式的情况下，行驶控制部61基于驾驶员的操作来生成控制信号，控制车辆行驶设备组7A。在选择了自动操舵模式的情况下，行驶控制部61基于由自动作业行驶指令部63提供的自动行驶指令来控制与操舵有关的车辆行驶设备组7A或与车速有关的车辆行驶设备组7A。
行驶路径设定部64将在控制单元6、便携通信终端200、云计算机系统100等的任意一个中制作的用于自动行驶的行驶路径扩展到存储器中。在存储器中被扩展的行驶路径被依次用作自动行驶中的目标行驶路径。即使是手动行驶，该行驶路径也能够用于引导联合收割机沿着该行驶路径行驶。
更详细地，自动作业行驶指令部63生成自动操舵指令以及车速指令，并将其提供给行驶控制部61。生成自动操舵指令，以便消除由行驶路径设定部64设定的行驶路径和由机***置计算部66计算出的本车位置之间的方位偏移以及位置偏移。车速指令是基于预先设定的车速值而生成的。进一步地，自动作业行驶指令部63根据本车位置或本车的行驶状态，将作业装置动作指令提供给作业控制部62。
由拍摄部70继时地逐次取得的拍摄图像的图像数据被输入到图像识别模块5。图像识别模块5估计该拍摄图像中的识别对象物所存在的存在区域，并且将包含存在区域以及存在区域被估计时的估计概率的识别输出数据作为识别结果而输出。图像识别模块5使用采用了深层学习的神经网络技术而被构建。
图5和图6示出了图像识别模块5进行的识别输出数据的生成的流程。RGB图像数据的像素值作为输入值而被输入到图像识别模块5。在该实施方式中，被估计的识别对象物是杂草。因此，作为识别结果的识别输出数据包含由矩形表示的杂草生长区域和估计该杂草生长区域时的估计概率。
在图5中，估计结果被模式化，并且杂草生长区域由被赋予了符号F1的矩形框来表示。虽然杂草生长区域由分别四个角点规定，但这样的各矩形的四个角点在拍摄图像上的坐标位置也包含在估计结果中。当然，若作为识别对象物的杂草未被估计，则杂草生长区域不被输出，并且其估计概率为零。
另外，在该实施方式中，图像识别模块5设定内部参数，以使在拍摄图像中识别对象物(杂草)距离拍摄部70越远，越降低该识别对象物的估计概率。由此，对因远离拍摄部70而分辨率变低的拍摄区域中的识别对象物严格识别，减少错误识别。
数据处理模块50对从图像识别模块5输出的识别输出数据进行处理。如图4和图6所示那样，该实施方式的数据处理模块50包含杂草位置信息生成部51和统计处理部52。
杂草位置信息生成部51根据取得了拍摄图像的时间点的机***置和识别输出数据来生成表示识别对象物在地图上的位置的杂草位置信息。识别输出数据中包含的杂草在所存在的地图上的位置通过将表示杂草的矩形的四个角点在拍摄图像上的坐标位置(照相机坐标位置)转换成地图上的坐标来得到。
拍摄部70以规定时间间隔例如0.5秒的间隔来取得拍摄图像，并且将该图像数据输入到图像识别模块5，因此图像识别模块5也以相同的时间间隔来输出识别输出数据。因此，在杂草进入了拍摄部70的拍摄视野中的情况下，多个识别输出数据会包含对于同一杂草的存在区域。其结果，可以得到对于同一杂草的多个杂草位置信息。此时，作为各原始数据的识别输出数据中包含的估计概率，也就是杂草位置信息中包含的杂草的存在区域(杂草生长区域)的估计概率因拍摄部70和杂草之间的位置关系不同而导致成为不同的值的情况较多。
因此，在该实施方式中，存储这样的多个杂草位置信息，并且对所存储的多个杂草位置信息各自中包含的估计概率进行统计性的运算。使用对于多个识别对象物位置信息的估计概率的统计性的运算来求出估计概率组的代表值。使用该代表值能够将多个识别对象物位置信息校正为一个最佳识别对象物位置信息。这样的校正的一例是将各估计概率的算术平均值或加权平均值或中间值作为基准值(代表值)来求出，求出具有该基准值以上的估计概率的存在区域(杂草生长区域)的逻辑和，并且生成将其设为最佳存在区域的校正杂草位置信息。当然，也能够使用其它的统计性的运算来生成可靠性高的一个杂草位置信息。
如图6所示那样，表示以这样方式求出的杂草生长区域在地图上的位置的杂草位置信息被提供给杂草位置计算部68。由机***置计算部66计算出的作为机***置的地图坐标的机***置也被提供给杂草位置计算部68。杂草位置计算部68基于杂草位置信息、机***置、谷秆输送装置23的输送速度来决定被割取部2割取的杂草通过脱粒深度调整构件3的通过定时。在杂草通过脱粒深度调整构件3的期间，杂草位置计算部68将杂草进入标志(flag)提供给脱粒深度控制部620。
脱粒深度控制部620具有标准控制模式和杂草进入控制模式，通常选择标准控制模式，在作业行驶期间执行上述的脱粒深度控制。
然而，若从杂草位置计算部68被提供杂草进入标志，则将标准控制模式切换成杂草进入控制模式，并执行杂草进入控制。在该实施方式中，若执行杂草进入控制，则中断脱粒深度控制并且车速也被降低。当然，在杂草进入控制中，也可以采用仅进行脱粒深度控制的中断或车速的降低的任意一方的结构。
另外，由杂草位置信息生成部51生成的杂草位置信息能够如图7所示那样被地图化，以便进行视觉上容易获知的显示。图7例示了将杂草位置信息地图化后的杂草地图。在杂草位置信息中包含估计概率不同的杂草生长区域的情况下，如图7所示那样，也能够以估计概率值的规定范围进行了图案区分的方式来表示杂草生长区域。
[实施方式2]
如图8所示那样，在联合收割机中，在具备了左右一对的履带行驶装置2010的机体2001的前部，以围绕横轴芯X升降操作自如的方式连接有割取部2002。在机体2001的后部，以在机体横宽方向上排列的状态而具备脱谷装置2011、用于存积谷粒的谷粒箱2012。在机体2001的前部右侧部位具备用于覆盖搭乘驾驶部的驾驶舱2014，在该驾驶舱2014的下方具备驱动用的发动机2015。
如图8所示那样，脱谷装置2011将被割取部2002割取而向后方输送来的割取谷秆接收到内部，一边通过脱谷馈送链2111和夹持导轨2112夹持谷秆的株根来输送一边在脱粒筒2113中进行脱谷处理。然后，通过在脱粒筒2113的下方具备的选别部来执行对于脱谷处理物的谷粒选别处理，并将在此选别的谷粒输送到谷粒箱2012来进行存积。此外，虽然未详细说明，但具备用于将存积在谷粒箱2012中的谷粒排出到外部的谷粒排出装置2013。
割取部2002具备多个用于扶起倒伏的植立谷秆的扶起装置2021、用于切断被扶起的植立谷秆的株根的推子型的切断装置2022、谷秆输送装置2023等。谷秆输送装置2023一边将被切断了株根的纵姿势的割取谷秆缓慢地变更为横卧姿势一边向位于机体后方侧的脱谷装置2011的脱谷馈送链2111的始端部输送。
谷秆输送装置2023具备一边将由切断装置2022割取的多条割取谷秆聚集到割取宽度方向中央一边进行输送的汇合输送部2231、夹持聚集的割取谷秆的株根并向后方输送的株根夹持输送装置2232、对割取谷秆的穗前端侧进行卡止输送的穗前端卡止输送装置2233、从株根夹持输送装置2232的终端部将割取谷秆的株根向脱谷馈送链2111引导的供给输送装置2234等。
在驾驶舱2014的顶部的前端设置有具备彩色照相机的拍摄部2070。
在该实施方式中，拍摄部2070的拍摄视野在前后方向的扩展从割取部2002的前端区域几乎延伸到地平线。拍摄视野的宽度方向的广度从10米左右达到数十米。由拍摄部2070取得的拍摄图像被图像数据化，并且被发送到联合收割机的控制系统。
拍摄部2070在收割作业时拍摄农场，但在农场中存在各种各样的物体作为拍摄对象。联合收割机的控制系统具有根据从拍摄部2070发送来的图像数据将特定的物体识别为识别对象物的功能。作为这样的识别对象物，在图8中示意性示出了用符号Z0表示的正常的植立谷秆组、用符号Z1表示的比植立谷秆更高地延伸的杂草组、用符号Z2表示的倒伏谷秆组、用符号Z3表示的人。
在驾驶舱2014的顶部还设置有卫星定位模块2080。卫星定位模块2080包括用于接收GNSS(全球导航卫星系统(global navigation satellite system))信号(包含GPS信号)的卫星用天线。为了补充由卫星定位模块2080进行的卫星导航，在卫星定位模块2080中安装有嵌入了陀螺仪加速度传感器或磁方位传感器的惯性导航单元。当然，惯性导航单元能够配置在其它地方。在图8中，为了便于绘图，虽然将卫星定位模块2080配置在驾驶舱2014的顶部的后部，但优选例如将其配置在顶部的前端部的靠近机体中央侧的位置，以便尽可能地靠近切断装置2022的左右中央部的正上方位置。
图9示出了联合收割机的控制系统的功能框图。该实施方式的控制系统由大量被称为ECU的电子控制单元、各种动作设备、传感器组或开关组、用于在它们之间进行数据传输的车载LAN等布线网络而构成。通知设备2091是用于向驾驶员等通知作业行驶状态或各种各样的警告的设备，其是蜂鸣器、灯、扬声器、显示器等。通信部2092被用于该联合收割机的控制系统在与设置于远程地点的云计算机系统2100或便携通信终端2200之间进行数据交换。在此，便携通信终端2200是作业行驶现场的监视者(也包括驾驶员)所操作的平板计算机。
控制单元2006是该控制系统的核心元素，并且作为多个ECU的集合体而被示出。来自卫星定位模块2080的定位数据、以及来自拍摄部2070的图像数据通过布线网络被输入到控制单元2006。
控制单元2006具备输出处理部2006B和输入处理部2006A作为输入输出接口。输出处理部2006B与车辆行驶设备组2007A以及作业装置设备组2007B连接。车辆行驶设备组2007A包括与车辆行驶有关的控制设备，例如发动机控制设备、变速控制设备、制动控制设备、操舵控制设备等。作业装置设备组2007B包括割取部2002、脱谷装置2011、谷粒排出装置2013、谷秆输送装置2023中的动力控制设备等。
行驶系统检测传感器组2008A或作业系统检测传感器组2008B等与输入处理部2006A连接。行驶系统检测传感器组2008A包括用于检测发动机转数调整工具、加速踏板、制动踏板、变速操作工具等的状态的传感器。作业系统检测传感器组2008B包括用于检测割取部2002、脱谷装置2011、谷粒排出装置2013、谷秆输送装置2023中的装置状态以及谷秆或谷粒的状态的传感器。
控制单元2006具备作业行驶控制模块2060、图像识别模块2005、数据处理模块2050、机***置计算部2066、通知部2067。
通知部2067基于从控制单元2006的各功能部接收到的指令等来生成通知数据，并且将其提供给通知设备2091。机***置计算部2066基于从卫星定位模块2080逐次发送来的定位数据，计算作为机体2001的地图坐标(或农场坐标)的机***置。
该实施方式的联合收割机能够通过自动行驶(自动操舵)和手动行驶(手动操舵)二者来行驶。作业行驶控制模块2060除了行驶控制部2061和作业控制部2062之外，还具备自动作业行驶指令部2063以及行驶路径设定部2064。用于选择通过自动操舵来行驶的自动行驶模式和通过手动操舵来行驶的手动操舵模式中的任意一个的行驶模式开关(未图示)被设置于驾驶舱2014内。通过操作该行驶模式开关，能够实现从手动操舵行驶到自动操舵行驶的转移，或者从自动操舵行驶到手动操舵行驶的转移。
行驶控制部2061具有发动机控制功能、操舵控制功能、车速控制功能等，并且将行驶控制信号提供给车辆行驶设备组2007A。作业控制部2062向作业装置设备组2007B提供作业控制信号，以便控制割取部2002、脱谷装置2011、谷粒排出装置2013、谷秆输送装置2023等的动作。
在选择了手动操舵模式的情况下，行驶控制部2061基于驾驶员的操作生成控制信号，并控制车辆行驶设备组2007A。在选择了自动操舵模式的情况下，行驶控制部2061基于由自动作业行驶指令部2063提供的自动行驶指令来控制与操舵有关的车辆行驶设备组2007A或与车速有关的车辆行驶设备组2007A。
行驶路径设定部2064将在控制单元2006、便携通信终端2200、云计算机系统2100等的任意一个中制作的用于自动行驶的行驶路径扩展到存储器中。在存储器中被扩展的行驶路径被依次用作自动行驶中的目标行驶路径。即使是手动行驶，该行驶路径也能够用于引导联合收割机沿着该行驶路径行驶。
更详细地，自动作业行驶指令部2063生成自动操舵指令以及车速指令，并将其提供给行驶控制部2061。生成自动操舵指令，以便消除由行驶路径设定部2064设定的行驶路径和由机***置计算部2066计算出的本车位置之间的方位偏移以及位置偏移。车速指令是基于预先设定的车速值而生成的。进一步地，自动作业行驶指令部2063根据本车位置或本车的行驶状态，将作业装置动作指令提供给作业控制部2062。
由拍摄部2070继时地逐次取得的拍摄图像的图像数据被输入到图像识别模块2005。图像识别模块2005估计该拍摄图像中的识别对象物所存在的存在区域，并且将包含存在区域以及存在区域被估计时的估计概率的识别输出数据作为识别结果而输出。图像识别模块2005使用采用了深层学习的神经网络技术而被构建。
图10和图11示出了图像识别模块2005进行的识别输出数据的生成的流程。RGB图像数据的像素值作为输入值而被输入到图像识别模块2005。在图10的图例中，被估计的识别对象物是杂草、倒伏谷秆和人。因此，作为识别结果的识别输出数据包含杂草的存在区域(以下称为杂草区域)和其估计概率、倒伏谷秆的存在区域(以下称为倒伏谷秆区域)和其估计概率、人的存在区域(以下称为人区域)和其估计概率。
在图10中，估计结果被模式化，并且杂草区域由被赋予了符号F1的矩形框来表示，倒伏谷秆区域由被赋予了符号F2的矩形框来表示，人区域由被赋予了符号F3的矩形框来表示。各个区域被链接其估计概率。虽然杂草区域、倒伏谷秆区域、人区域由分别四个角点规定，但这样的各矩形的四个角点在拍摄图像上的坐标位置也包含在估计结果中。当然，若识别对象物未被估计，则识别对象物的存在区域未被输出，并且其估计概率为零。
另外，在该实施方式中，图像识别模块2005设定内部参数，以使在拍摄图像中识别对象物距离拍摄部2070越远，越降低该识别对象物的估计概率。由此，使得对因远离拍摄部2070而分辨率变低的拍摄区域中的识别对象物严格识别，减少错误识别。
数据处理模块2050对从图像识别模块2005输出的识别输出数据进行处理。如图9和图11所示那样，该实施方式的数据处理模块2050包含识别对象物位置信息生成部2051、统计处理部2052、数据存储部2053、数据判定部2054、数据校正部2055。
识别对象物位置信息生成部2051根据取得了拍摄图像的时间点的机***置和识别输出数据来生成表示识别对象物在地图上的位置的识别对象物位置信息。识别输出数据中包含的识别对象物(杂草、倒伏谷秆、人)在所存在的地图上的位置通过将表示识别对象物的存在区域(杂草区域、倒伏谷秆区域、人区域)的矩形的四个角点在拍摄图像上的坐标位置(照相机坐标位置)转换成地图上的坐标来得到。
拍摄部2070以规定时间间隔例如0.5秒的间隔来取得拍摄图像，并且将该图像数据输入到图像识别模块2005，因此图像识别模块2005也以相同的时间间隔来输出识别输出数据。因此，在识别对象物进入了拍摄部2070的拍摄视野中的情况下，多个识别输出数据会包含对于同一识别对象物的存在区域。其结果，可以得到对于同一识别对象物的多个识别对象物位置信息。此时，作为各原始数据的识别输出数据中包含的估计概率，也就是识别对象物位置信息中包含的识别对象物的存在区域的估计概率因拍摄部2070和识别对象物之间的位置关系不同而导致成为不同的值的情况较多。
因此，在该实施方式中，存储这样的多个识别对象物位置信息，并且对所存储的多个识别对象物位置信息各自中包含的估计概率进行统计性的运算。
统计处理部2052使用对于多个识别对象物位置信息的估计概率的统计性的运算来求出估计概率组的代表值。使用该代表值能够将多个识别对象物位置信息校正为一个最佳识别对象物位置信息(识别对象物校正位置信息)。这样的校正的一例是将各估计概率的算术平均值或加权平均值或中间值作为基准值(代表值)来求出，求出具有该基准值以上的估计概率的存在区域的逻辑和，并且生成将其设为最佳存在区域的校正识别对象物位置信息。当然，也能够使用其它的统计性的运算来生成可靠性高的一个识别对象物位置信息。也就是，多个识别对象物位置信息是基于与该识别对象物位置信息对应的识别输出数据中包含的估计概率的统计性的运算的结果而被校正的。
通过使用这样求出的表示识别对象物的存在区域(杂草区域、倒伏谷秆区域、人区域)在地图上的位置的识别对象物位置信息(杂草位置信息、倒伏谷秆位置信息、人位置信息)，从而在杂草、倒伏谷秆、人的识别时进行各自预先设定的行驶作业控制或警告通知。
如上所述，在本发明中，从图像识别模块2005输出的估计概率对于最终的识别对象物位置信息的生成是重要的。因此，在该实施方式中，数据处理模块2050具备识别输出数据评价功能，该识别输出数据评价功能调查从图像识别模块2005输出的识别输出数据的估计概率的可靠性，并将具有不能信赖的估计概率的识别输出数据判定为不适当识别输出数据。
如图9和图11所示那样，识别输出数据评价功能通过数据存储部2053、数据判定部2054、数据校正部2055来实现。数据存储部2053将从图像识别模块2005逐次输出的识别输出数据作为识别输出数据串而暂时且经时地进行存储。数据判定部2054在识别输出数据串中，比较成为判定对象的识别输出数据的估计概率和相对于该识别输出数据继时地成为前后关系的识别输出数据的估计概率，将具有规定水平以上较低的估计概率的识别输出数据判定为不适当识别输出数据。
用于识别输出数据的生成的拍摄图像是在联合收割机的作业行驶中所拍摄的，因此存在因联合收割机的突发的动作等造成拍摄图像不清晰的情况。进一步地，由于联合收割机在田埂附近进行方向转换，因此存在拍摄方向被急剧变更的情况。伴随于此，也存在对于同一识别对象物在顺光下的拍摄和在逆光下的拍摄混在一起的情况。虽然因这样的拍摄条件等的变动会意外产生具有较低的估计概率的识别输出数据，但通过上述的识别输出数据评价功能，能够提取这样的识别输出数据即不适当识别输出数据。
在识别输出数据的数量少的情况下，只要将被判定为不适当识别输出数据的识别输出数据的估计概率通过其前后的识别输出数据的估计概率进行插值校正即可。由此，该不适当识别输出数据被适当地校正，从而变为可利用的，并且得到确保了数据量的优点。数据校正部2055进行这样的插值校正。当然，在舍弃被判定为不适当识别输出数据的识别输出数据的情况下，由于不需要插值校正，因此省略数据校正部2055。
另外，由识别对象物位置信息生成部2051生成的各识别对象物位置信息能够如图12所示那样被地图化，以便进行视觉上容易获知的显示。图12例示了将杂草位置信息地图化后的杂草地图。在杂草位置信息中包含估计概率不同的杂草存在区域的情况下，如图12所示那样，也能够以估计概率值的规定范围来进行了图案区分的方式来表示杂草存在区域。
[实施方式3]
如图13所示那样，在实施方式3涉及的联合收割机中，在具备了左右一对的履带行驶装置3010的机体3001的前部，以围绕横轴芯X升降操作自如的方式连接有割取部3002。在机体3001的后部，以在机体横宽方向上排列的状态而具备脱谷装置3011、用于存积谷粒的谷粒箱3012。在机体3001的前部右侧部位具备用于覆盖搭乘驾驶部的驾驶舱3014，在该驾驶舱3014的下方具备驱动用的发动机3015。
如图13所示那样，脱谷装置3011将被割取部3002割取而向后方输送来的割取谷秆接收到内部，一边通过脱谷馈送链3111和夹持导轨3112夹持谷秆的株根来输送一边对穗前段侧在脱粒筒3113中进行脱谷处理。然后，通过在脱粒筒3113的下方具备的选别部来执行对于脱谷处理物的谷粒选别处理，并将在此选别的谷粒输送到谷粒箱3012来进行存积。此外，虽然未详细说明，但具备用于将存积在谷粒箱3012中的谷粒排出到外部的谷粒排出装置3013。
割取部3002具备多个用于扶起倒伏的植立谷秆的扶起装置3021、用于切断被扶起的植立谷秆的株根的推子型的切断装置3022、谷秆输送装置3023等。谷秆输送装置3023一边将被切断了株根的纵姿势的割取谷秆缓慢地变更为横卧姿势一边向位于机体后方侧的脱谷装置3011的脱谷馈送链3111的始端部输送。
谷秆输送装置3023具备一边将由切断装置3022割取的多条割取谷秆聚集到割取宽度方向中央一边进行输送的汇合输送部3231、夹持聚集的割取谷秆的株根并向后方输送的株根夹持输送装置3232、对割取谷秆的穗前端侧进行卡止输送的穗前端卡止输送装置3233、从株根夹持输送装置3232的终端部将割取谷秆的株根向脱谷馈送链3111引导的供给输送装置3234等。
在驾驶舱3014的顶部的前端设置有具备彩色照相机的拍摄部3070。
在该实施方式中，拍摄部3070的拍摄视野在前后方向的扩展从割取部3002的前端区域几乎延伸到地平线。拍摄视野的宽度方向的广度从10米左右达到数十米。由拍摄部3070继时地逐次取得的拍摄图像被图像数据化，并且被发送到联合收割机的控制系统。
拍摄部3070在收割作业时拍摄农场，但在农场中存在各种各样的物体作为拍摄对象。联合收割机的控制系统具有根据从拍摄部3070发送来的图像数据将特定的物体识别为识别对象物的功能。作为这样的识别对象物，在图13中示意性示出了用符号Z0表示的正常的植立谷秆组、用符号Z1表示的比植立谷秆更高地延伸的杂草组、用符号Z2表示的倒伏谷秆组、用符号Z3表示的人。
在驾驶舱3014的顶部还设置有卫星定位模块3080。卫星定位模块3080包括用于接收GNSS(全球导航卫星系统(global navigation satellite system))信号(包含GPS信号)的卫星用天线。为了补充由卫星定位模块3080进行的卫星导航，在卫星定位模块3080中安装有嵌入了陀螺仪加速度传感器或磁方位传感器的惯性导航单元。当然，惯性导航单元能够配置在其它地方。在图13中，为了便于绘图，虽然将卫星定位模块3080配置在驾驶舱3014的顶部的后部，但优选例如将其配置在顶部的前端部的靠近机体中央侧的位置，以便尽可能地靠近切断装置3022的左右中央部的正上方位置。
图14示出了联合收割机的控制系统的功能框图。该实施方式的控制系统由大量被称为ECU的电子控制单元、各种动作设备、传感器组或开关组、用于在它们之间进行数据传输的车载LAN等布线网络而构成。通知设备3091是用于向驾驶员等通知作业行驶状态或各种各样的警告的设备，其是蜂鸣器、灯、扬声器、显示器等。通信部3092被用于该联合收割机的控制系统在与设置于远程地点的云计算机系统3100或便携通信终端3200之间进行数据交换。在此，便携通信终端3200是作业行驶现场的监视者(也包括驾驶员)所操作的平板计算机。
控制单元3006是该控制系统的核心元素，并且作为多个ECU的集合体而被示出。来自卫星定位模块3080的定位数据、以及来自拍摄部3070的图像数据通过布线网络被输入到控制单元3006。
控制单元3006具备输出处理部3006B和输入处理部3006A作为输入输出接口。输出处理部3006B与车辆行驶设备组3007A以及作业装置设备组3007B连接。车辆行驶设备组3007A包括与车辆行驶有关的控制设备，例如发动机控制设备、变速控制设备、制动控制设备、操舵控制设备等。作业装置设备组3007B包括割取部3002、脱谷装置3011、谷粒排出装置3013、谷秆输送装置3023中的动力控制设备等。
行驶系统检测传感器组3008A或作业系统检测传感器组3008B等与输入处理部3006A连接。行驶系统检测传感器组3008A包括用于检测发动机转数调整工具、加速踏板、制动踏板、变速操作工具等的状态的传感器。作业系统检测传感器组3008B包括用于检测割取部3002、脱谷装置3011、谷粒排出装置3013、谷秆输送装置3023中的装置状态以及谷秆或谷粒的状态的传感器。
控制单元3006具备作业行驶控制模块3060、图像识别模块3005、数据处理模块3050、机***置计算部3066、通知部3067、行驶轨迹计算部3068。
通知部3067基于从控制单元3006的各功能部接收到的指令等来生成通知数据，并且将其提供给通知设备3091。机***置计算部3066基于从卫星定位模块3080逐次发送来的定位数据，计算作为机体3001的地图坐标(或农场坐标)的机***置。行驶轨迹计算部3068根据由机***置计算部3066计算出的继时的机***置来计算机体3001的行驶轨迹。进一步地，行驶轨迹计算部3068能够基于最新的机***置、此时操舵控制设备的操舵角或目标行驶路径，将机体3001紧前方的预想行驶轨迹附加到行驶轨迹中。
该实施方式的联合收割机能够通过自动行驶(自动操舵)和手动行驶(手动操舵)二者来行驶。作业行驶控制模块3060除了行驶控制部3061和作业控制部3062之外，还具备自动作业行驶指令部3063以及行驶路径设定部3064。用于选择通过自动操舵来行驶的自动行驶模式和通过手动操舵来行驶的手动操舵模式中的任意一个的行驶模式开关(未图示)被设置于驾驶舱3014内。通过操作该行驶模式开关，能够实现从手动操舵行驶到自动操舵行驶的转移，或者从自动操舵行驶到手动操舵行驶的转移。
行驶控制部3061具有发动机控制功能、操舵控制功能、车速控制功能等，并且将行驶控制信号提供给车辆行驶设备组3007A。作业控制部3062向作业装置设备组3007B提供作业控制信号，以便控制割取部3002、脱谷装置3011、谷粒排出装置3013、谷秆输送装置3023等的动作。
在选择了手动操舵模式的情况下，行驶控制部3061基于驾驶员的操作生成控制信号，并控制车辆行驶设备组3007A。在选择了自动操舵模式的情况下，行驶控制部3061基于由自动作业行驶指令部3063提供的自动行驶指令来控制与操舵有关的车辆行驶设备组3007A或与车速有关的车辆行驶设备组3007A。
行驶路径设定部3064将在控制单元3006、便携通信终端3200、云计算机系统3100等的任意一个中制作的用于自动行驶的行驶路径扩展到存储器中。在存储器中被扩展的行驶路径被依次用作自动行驶中的目标行驶路径。即使是手动行驶，该行驶路径也能够用于引导联合收割机沿着该行驶路径行驶。
更详细地，自动作业行驶指令部3063生成自动操舵指令以及车速指令，并将其提供给行驶控制部3061。生成自动操舵指令，以便消除由行驶路径设定部3064设定的行驶路径和由机***置计算部3066计算出的本车位置之间的方位偏移以及位置偏移。车速指令是基于预先设定的车速值而生成的。进一步地，自动作业行驶指令部3063根据本车位置或本车的行驶状态，将作业装置动作指令提供给作业控制部3062。
由拍摄部3070继时地逐次取得的拍摄图像的图像数据被输入到图像识别模块3005。图像识别模块3005估计该拍摄图像中的识别对象物所存在的存在区域，并且将包含存在区域以及存在区域被估计时的估计概率的识别输出数据作为识别结果而输出。图像识别模块3005使用采用了深层学习的神经网络技术而被构建。
图15和图16示出了图像识别模块3005进行的识别输出数据的生成的流程。RGB图像数据的像素值作为输入值而被输入到图像识别模块3005。在图15的图例中，被估计的识别对象物是杂草、倒伏谷秆和人。因此，作为识别结果的识别输出数据包含杂草的存在区域(以下称为杂草区域)和其估计概率、倒伏谷秆的存在区域(以下称为倒伏谷秆区域)和其估计概率、人的存在区域(以下称为人区域)和其估计概率。
在图15中，估计结果被模式化，并且杂草区域由被赋予了符号F1的矩形框来表示，倒伏谷秆区域由被赋予了符号F2的矩形框来表示，人区域由被赋予了符号F3的矩形框来表示。各个区域被链接其估计概率。虽然杂草区域、倒伏谷秆区域、人区域由分别四个角点规定，但这样的各矩形的四个角点在拍摄图像上的坐标位置也包含在估计结果中。当然，若识别对象物不被估计，则识别对象物的存在区域不被输出，并且其估计概率为零。
从图像识别模块3005作为识别输出数据被输出的识别对象物的存在区域以及估计概率对于最终的识别对象物位置信息的生成是重要的。然而，在被设置于对农场进行作业行驶的联合收割机的照相机所进行的拍摄中，存在因拍摄部3070的突发的摆动、瞬间的逆光、横切拍摄部3070的拍摄视野内的粉尘等而导致该拍摄图像成为不适当的图像可能性。在这种情况下，会意外输出具有低的估计概率的识别输出数据。或者，导致不能估计识别对象物并且输出估计概率为零这样的识别输出数据。因此，对从图像识别模块3005输出的识别输出数据进行处理的数据处理模块3050具备识别输出数据评价功能作为前处理功能，该识别输出数据评价功能调查从图像识别模块3005输出的识别输出数据的可靠性，将不可靠的识别输出数据判定为不适当识别输出数据。
如图16所示那样，该识别输出数据评价功能由数据处理模块3050的数据存储部3053、数据判定部3054、数据校正部3055来实现。数据存储部3053将从图像识别模块3005逐次输出的识别输出数据作为识别输出数据串暂时且经时地(経時的に)存储。数据判定部3054基于由行驶轨迹计算部3068计算出的行驶轨迹，预测由图像识别模块3005估计的上一次拍摄图像中的存在区域在下一次拍摄图像中所应处的范围(以下也称为预测范围)。进一步地，数据判定部3054将下一次拍摄图像中与该预测范围重叠的所述存在区域的估计概率与上一次拍摄图像中的存在区域的估计概率进行比较。通过该比较，在两个估计概率的不同在预先规定的允许量以上的情况下，基于下一次拍摄图像的识别输出数据被判定为不适当识别输出数据。或者，也可以采用将估计概率为规定值以下(例如0.5以下)的识别输出数据判定为不适当识别输出数据的结构。
以下，使用图17说明判定该不适当识别输出数据的数据处理。另外，在该例子中，被估计的识别对象物为杂草。
(步骤01)从拍摄部3070所取得的拍摄图像中(#01a)，通过图像识别模块3005识别出由符号F1表示的矩形框所包围的杂草区域，其估计概率为0.75(#01b)。若估计概率超过0.7则被认为是高可靠性。接着，基于拍摄图像中的矩形框的位置和由行驶轨迹计算部3068计算出的行驶轨迹，推算在下一次取得的拍摄图像中杂草区域所应处的预想范围PA(#01c)。
(步骤02)接着，从拍摄部3070取得的拍摄图像中(#02a)，通过图像识别模块3005识别出由符号F1表示的矩形框所包围的杂草区域，其估计概率为0.8(#02b)。被识别的杂草区域与预想范围PA重叠。基于此时的矩形框的位置和行驶轨迹，推算在下一次取得的拍摄图像中杂草区域所应处的预想范围PA(#02c)。
(步骤03)进一步地，基于下一个拍摄图像(#03a)，图像识别模块3005进行杂草所存在的存在区域的估计，但其估计概率为0.2(#03b)。如此，当估计概率低于0.5的情况下，表示杂草区域的矩形框的位置的可靠性也低。因此，优选将步骤02中的矩形框的位置和行驶轨迹用于此时的预想范围PA的推算而代替使用该可靠性低的识别输出数据的矩形框的位置(#03c)。
(步骤04)进一步地，基于下一个拍摄图像(#04a)，图像识别模块3005进行杂草所存在的存在区域的估计，并且识别出由符号F1表示的矩形框所包围的杂草区域，其估计概率为0.9(#04b)。被识别的杂草区域与预想范围PA重叠。
在图像识别模块3005输出如上述那样的估计输出数据的情况下，由于步骤03中的估计概率从上一次的估计概率0.8降低至0.2，并且该降低量在预先规定的允许量以上(例如变化率为50％以上)，因此数据判定部3054将步骤03中的估计输出数据判定为不适当识别输出数据。
在数据判定部3054将步骤03中的估计输出数据判定为不适当识别输出数据的情况下，数据校正部3055使用其前后的适当的识别输出数据的估计概率，对用于不适当识别输出数据的插值估计概率进行运算。在此，作为最简单的插值运算，使用算术平均，并且得到0.85的插值估计概率。以所得到的插值估计概率来置换不适当识别输出数据的估计概率，该不适当识别输出数据能够在之后的处理中被用作适当的识别输出数据。
如上所述那样，在该实施方式中，在识别输出数据的数量少的情况下，能够将被判定为不适当识别输出数据的识别输出数据的估计概率通过其前后的识别输出数据的估计概率进行插值校正。由此，该不适当识别输出数据被适当校正，从而成为可利用，并且能够得到确保了数据量的优点。当然，在舍弃被判定为不适当识别输出数据的识别输出数据的情况下，由于不需要插值校正，因此省略数据校正部3055。
该实施方式的数据处理模块3050还具有根据通过上述的识别输出数据评价功能评价的识别输出数据来生成识别对象物位置信息的功能。
该功能由数据处理模块3050的识别对象物位置信息生成部3051和统计处理部3052来实现。
识别对象物位置信息是表示识别对象物在地图上的位置的信息。识别对象物位置信息生成部3051根据取得了拍摄图像的时间点的机***置和识别输出数据来生成识别对象物位置信息。包含在识别输出数据中的识别对象物(杂草、倒伏谷秆、人)在所存在的地图上的位置通过将表示识别对象物的存在区域(杂草区域、倒伏谷秆区域、人区域)的矩形的四个角点在拍摄图像上的坐标位置(照相机坐标位置)变换成地图上的坐标而得到。
拍摄部3070以规定时间间隔例如0.5秒间隔来取得拍摄图像，并将该图像数据输入到图像识别模块3005，因此图像识别模块3005也以相同的时间间隔输出识别输出数据。因此，在识别对象物进入了拍摄部3070的拍摄视野的情况下，多个识别输出数据会包含对于同一识别对象物的存在区域。其结果，可以得到对于同一识别对象物的多个识别对象物位置信息。此时，作为各原始数据的识别输出数据中包含的估计概率，也就是识别对象物位置信息中包含的识别对象物的存在区域的估计概率因拍摄部3070和识别对象物之间的位置关系不同而导致成为不同的值的情况较多。
因此，在该实施方式中，如图16所示那样，存储这样的多个识别对象物位置信息，并且对存储的多个识别对象物位置信息的各自中包含的估计概率进行统计性的运算。统计处理部3052使用对于多个识别对象物位置信息的估计概率的统计性的运算，求出估计概率组的代表值。能够使用该代表值将多个识别对象物位置信息校正为一个最佳识别对象物位置信息(识别对象物校正位置信息)。这样的校正的一个例子是将各估计概率的算术平均值或加权平均值或者中间值作为基准值(代表值)来求出，并求出具有该基准值以上的估计概率的存在领域的逻辑和，从而生成将其设为最佳存在领域的校正识别对象物位置信息。当然，也能够使用除此之外的统计性的演算来生成可靠性高的一个识别对象物位置信息。也就是，多个识别对象物位置信息是基于与该识别对象物位置信息对应的识别输出数据中包含的估计概率的统计性的运算的结果而被校正的。
通过使用这样求出的表示识别对象物的存在区域(杂草区域、倒伏谷秆区域、人区域)在地图上的位置的识别对象物位置信息(杂草位置信息、倒伏谷秆位置信息、人位置信息)，从而在杂草、倒伏谷秆、人的识别时分别进行预先设定的行驶作业控制或警告通知。
另外，由识别对象物位置信息生成部3051生成的各识别对象物位置信息能够如图18所示那样被地图化，以便进行视觉上容易获知的显示。图18例示了将杂草位置信息地图化后的杂草地图。在杂草位置信息中包含估计概率不同的杂草存在区域的情况下，如图18所示那样，也能够以估计概率值的规定范围进行了图案区分后的方式来表示杂草存在区域。
另外，在上述各实施方式(包括其它实施方式，以下相同)中公开的结构只要不产生矛盾就能够与其它的实施方式中公开的结构组合起来应用，此外，本说明书中公开的实施方式为例示，本发明的实施方式不限于此，能够在不脱离本发明的目的的范围内适宜地改变。
[其它的实施方式]
(1)在上述的实施方式中，作为图像识别模块(5，2005，3005)识别的识别对象物而设定了比植立谷秆更高地延伸的杂草组，但也可以设定其它的识别对象物，例如倒伏谷秆组或人等。此时，作业行驶控制模块(60，2060，3060)被构成为响应倒伏谷秆组或人的识别而进行必要的控制。
(2)在上述的实施方式中，图像识别模块(5，2005，3005)是使用深层学习类型的神经网络技术而被构建的。取而代之，也可以采用使用其它的机器学习技术而构建的图像识别模块(5，2005，3005)。
(3)在上述的实施方式中，图像识别模块(5，2005，3005)、数据处理模块(50，2050，3050)、杂草位置计算部68被嵌入到了联合收割机的控制单元(6，2006，3006)中，但其一部分或全部能够构建在独立于联合收割机的控制单元中，例如便携通信终端(200，2200，3200)等中。
(4)图4、图9、图14以及图16所示的各功能部主要是以说明为目的而被区分。实际上，各功能部也可以与其它的功能部合并，或者也可以进一步分为多个功能部。
工业上的可利用性
本发明不仅能够应用于收割水稻或小麦等的联合收割机，也能够应用于收割玉米等其它的农作物的联合收割机、或收割胡萝卜等的收割机。
标号说明
3：脱粒深度调整构件
5：图像识别模块
6：控制部
23：谷秆输送装置
236：调节用电动马达(motor)
237：操作棒
30：秆长检测装置
34：检测开关
35：检测开关
50：数据处理模块
51：杂草位置信息生成部
52：统计处理部
60：作业行驶控制模块(作业行驶控制部)
61：行驶控制部
63：自动作业行驶指令部
620：脱粒深度控制部
66：机***置计算部
68：杂草位置计算部
70：拍摄部
80：卫星定位模块
91：通知设备
92：通信部
2053：数据存储部
2054：数据判定部
2055：数据校正部
2051：识别对象物位置信息生成部