阅读说明：本技术 物体检测装置及方法 (Object detection device and method ) 是由 石崎将崇 于 2020-03-23 设计创作，主要内容包括：本发明涉及一种物体检测装置及方法。物体检测装置构成为从由立体照相机拍摄的图像获取视差图像,根据视差图像导出世界坐标系中的物体的坐标。物体检测装置构成为根据转向角信息及叉车的尺寸信息导出世界坐标系中的行进预定区域。物体检测装置构成为提取世界坐标系中位于行进预定区域上的物体作为优先物体。物体检测装置构成为使优先物体比与优先物体不同的物体优先地进行是否为人的判定。(The invention relates to an object detection device and method. The object detection device is configured to acquire a parallax image from an image captured by the stereo camera and derive coordinates of an object in the world coordinate system from the parallax image. The object detection device is configured to derive a travel-scheduled region in a world coordinate system from steering angle information and forklift dimension information. The object detection device is configured to extract an object located on a travel-scheduled area in the world coordinate system as a priority object. The object detection device is configured to determine whether or not a person is present in priority to a priority object over an object different from the priority object.)

物体检测装置及方法

技术领域

本发明涉及一种物体检测装置及方法。

背景技术

在车辆等移动体搭载着用来检测人或障碍物等物体的物体检测装置。日本专利特开2017-151815号公报中所记载的物体检测装置将由摄像装置拍摄的图像分割为多个区域，以各区域为对象提取识别处理对象图像。物体检测装置对识别处理对象图像进行人检测处理。识别处理对象图像的提取基于亮度梯度或半转换等图像处理来进行。另外，区域的设定根据回转方向、回转速度、行驶方向及行驶速度的至少一个来设定。

在日本专利特开2017-151815号公报的技术中，进行人检测处理的区域大且物体检测装置的处理负荷大。

本发明的目的在于提供一种能够减轻处理负荷的物体检测装置。

发明内容

达成所述目的的一态样提供一种构成为搭载在车辆的物体检测装置。物体检测装置具备：视差图像获取部，构成为从由立体照相机拍摄的图像获取将视差与各像素建立关联所得的视差图像；坐标导出部，构成为根据所述视差图像导出作为实际空间上的坐标系的世界坐标系中的物体的坐标；转向角获取部，构成为获取所述车辆的转向角信息；行进预定区域导出部，构成为根据所述转向角信息及所述车辆的尺寸信息导出所述世界坐标系中的所述车辆的行进预定区域；提取部，构成为提取所述世界坐标系中位于所述行进预定区域上的物体即优先物体；以及人判定部，构成为使所述优先物体比与所述优先物体不同的所述物体优先，对所述图像上的所述物体的坐标进行人检测处理。

达成所述目的的另一态样提供一种利用构成为搭载在车辆的物体检测装置来检测物体的方法。该方法具备以下步骤：从由立体照相机拍摄的图像获取将视差与各像素建立关联所得的视差图像；根据所述视差图像导出作为实际空间上的坐标系的世界坐标系中的物体的坐标；获取所述车辆的转向角信息；根据所述转向角信息及所述车辆的尺寸信息导出所述世界坐标系的所述车辆的行进预定区域；提取所述世界坐标系中位于所述行进预定区域上的物体即优先物体；以及使所述优先物体比与所述优先物体不同的所述物体优先，对所述图像上的所述物体的坐标进行人检测处理。

附图说明

图1是搭载物体检测装置的叉车的立体图。

图2是叉车及监视装置的概略框图。

图3是表示第1图像的图。

图4是表示物体检测装置进行的处理的流程图。

图5是表示世界坐标系中的XY平面的物体的坐标的图。

图6是用来说明行进预定区域的导出方法的图。

图7是表示世界坐标系中的XY平面的物体与行进预定区域的位置关系的图。

具体实施方式

以下，对物体检测装置的一实施方式进行说明。

如图1所示，作为车辆的叉车10具备车体11、配置在车体11的前下部的2个驱动轮12、13、配置在车体11的后下部的2个转向轮14、及货物装卸装置16。驱动轮12、13在车宽方向离开而配置。2个转向轮14在车宽方向相邻地配置。2个转向轮14在车宽方向上配置在驱动轮12、13彼此之间的中央位置。当将相邻地配置的2个转向轮14视为1个转向轮14时，叉车10可视为三轮式的叉车。车体11具备设置在驾驶座位的上部的护面罩(head guard)15。在本实施方式的叉车10中，通过搭乘者的操作来进行行驶动作及货物装卸动作。

如图2所示，叉车10具备主控制器20、行驶用电动机M1、控制行驶用电动机M1的行驶控制装置23、车速传感器24、方位传感器25、及转向角传感器26。主控制器20进行与行驶动作及货物装卸动作相关的控制。主控制器20具备CPU(Central Processing Unit，中央处理器)21、及存储着用来进行各种控制的程序等的存储器22。

方位传感器25检测指示行进方向的方位杆的操作方向。方位传感器25以中立位置为基准，检测向指示前进的方向操作方位杆，还是向指示后退的方向操作方位杆。方位传感器25将检测结果输出到主控制器20。转向角传感器26检测转向轮14的转向角θ1。转向角传感器26将检测结果输出到主控制器20。

主控制器20的CPU21以叉车10的车速为目标速度的方式对行驶控制装置23赋予行驶用电动机M1的旋转速度的指令。本实施方式的行驶控制装置23是电动机驱动器。本实施方式的车速传感器24是检测行驶用电动机M1的每单位时间的转数，即旋转速度的旋转速度传感器。车速传感器24将行驶用电动机M1的旋转速度输出到行驶控制装置23。行驶控制装置23基于来自主控制器20的指令，以行驶用电动机M1的旋转速度与指令一致的方式控制行驶用电动机M1。主控制器20能够从行驶控制装置23获取车速传感器24的检测结果。

在叉车10搭载着监视装置30。监视装置30具备立体照相机31、及根据由立体照相机31拍摄的图像进行物体的检测的物体检测装置41。如图1所示，立体照相机31配置在护面罩15。立体照相机31以能够从叉车10的上方鸟瞰叉车10的行驶的路面的方式配置。本实施方式的立体照相机31拍摄叉车10的后方。因此，由物体检测装置41检测的物体为叉车10的后方的物体。

如图2所示，立体照相机31具备2个照相机32、33。作为照相机32、33，例如使用CCD(Charge Coupled Device，电荷耦合器件)影像传感器或CMOS(complementary metaloxide semiconductor，互补金属氧化物半导体)影像传感器。各照相机32、33以相互的光轴平行的方式配置。在本实施方式中，2个照相机32、33排列配置在水平方向。将2个照相机32、33中的一个参照为第1照相机32，将另一个参照为第2照相机33。当将由第1照相机32拍摄的图像定义为第1图像，将由第2照相机33拍摄的图像定义为第2图像时，在第1图像与第2图像中同一物体在横方向偏移映现。详细来说，在拍摄同一物体的情况下，在映现在第1图像的物体与映现在第2图像的物体中，在横方向的像素[px]产生与照相机32、33间的距离对应的偏移。第1图像及第2图像的像素数相同，例如，使用640×480[px]＝VGA的图像。第1图像及第2图像是由RGB信号表示的图像。

物体检测装置41具备CPU42、以及包含RAM(Random Access Memory，随机存取存储器)及ROM(Read Only Memory，只读存储器)等的存储部43。存储部43中存储着用来根据由立体照相机31拍摄的图像检测物体的各种程序。物体检测装置41也可以具备执行各种处理中的至少一部分处理的专用硬件，例如面向特定用途的集成电路(ASIC)。物体检测装置41可构成为根据计算机程序动作的1个以上的处理器、ASIC等1个以上的专用硬件电路、或者包含它们的组合的处理电路。处理器包含CPU以及RAM及ROM等存储器。存储器保存着构成为使CPU执行处理的程序码或指令。存储器，即计算机可读媒体包含能够由通用或专用的计算机访问的所有存储器。

物体检测装置41通过进行依据CAN(Controller Area Network，控制器局域网)或LIN(Local Interconnect Network，本地互联网络)等车辆用的通信协议的通信，能够与主控制器20进行数据的收发。

以下，对通过物体检测装置41进行的物体检测处理进行说明。物体检测处理在叉车10为启动状态时且叉车10后退时以规定的控制周期重复进行。所谓启动状态，是指能够使叉车10进行行驶动作及货物装卸动作的状态。叉车10是否后退能够根据方位传感器25的检测结果来掌握。主控制器20也可以通过在叉车10后退时对物体检测装置41赋予指令，使物体检测装置41进行物体检测处理。物体检测装置41也可以通过从主控制器20获取方位传感器25的检测结果，自身判定是否进行物体检测处理。

在以下的说明中，作为一例，对由立体照相机31拍摄图3所示的环境的情况下的物体检测处理进行说明。图3是通过拍摄叉车10的后方所得的第1图像I1。像根据第1图像I1能够掌握的一样，在叉车10的后方，存在人或人以外的物体A、B、C、D、E。此外，为了方便说明，由框表示存在物体A、B、C、D、E的第1图像I1上的坐标，但在实际的第1图像I1并不存在框。

如图4所示，在步骤S1中，物体检测装置41获取视差图像。视差图像是将视差[px]相对于像素建立关联所得的图像。视差通过将第1图像I1与第2图像进行比较并针对映现在各图像的同一特征点算出第1图像I1与第2图像的像素数之差而获得。此外，所谓特征点，是指物体的边缘等能够作为交界线识别的部分。特征点可以根据亮度信息等检测。

物体检测装置41根据由立体照相机31拍摄的影像获取同一帧的第1图像I1及第2图像。物体检测装置41使用暂时保存各图像的RAM，进行从RGB向YCrCb的转换。此外，物体检测装置41也可以进行应变修正、边缘强调处理等图像处理。物体检测装置41进行将第1图像I1的各像素与第2图像的各像素的类似度进行比较算出视差的立体处理。此外，作为立体处理，可以使用针对每个像素算出视差的方法，也可以使用将各图像分割为包含多个像素的区块算出每个区块的视差的区块匹配法。物体检测装置41将第1图像I1设为基准图像，将第2图像设为比较图像获取视差图像。物体检测装置41针对第1图像I1的每个像素，提取最类似的第2图像的像素，算出第1图像I1的像素与最类似于该像素的像素的横方向的像素数之差作为视差。由此，可获取将视差与作为基准图像的第1图像I1的各像素建立关联所得的视差图像。所谓视差图像，未必需要显示，且表示将视差与视差图像中的各像素建立关联的数据。此外，物体检测装置41也可以进行从视差图像去除路面的视差的处理。通过进行步骤S1的处理，物体检测装置41与视差图像获取部对应。

接下来，在步骤S2中，物体检测装置41导出世界坐标系中的特征点的坐标。首先，物体检测装置41导出照相机坐标系中的特征点的坐标。照相机坐标系是将光轴定义为Z轴，将与光轴正交的2个轴分别定义为X轴、Y轴的3轴正交坐标系。照相机坐标系中的特征点的坐标可由照相机坐标系中的Z坐标Zc、X坐标Xc及Y坐标Yc表示。Z坐标Zc、X坐标Xc及Y坐标Yc可分别使用以下的(1)式～(3)式导出。

式(1)～式(3)中的B是基线长[mm]，f是焦点距离[mm]，d是视差[px]。xp是视差图像中的任意的X坐标，x’是视差图像的中心坐标的X坐标。yp是视差图像中的任意的Y坐标，y’是视差图像的中心坐标的Y坐标。

通过将xp定义为视差图像中的特征点的X坐标，将yp定义为视差图像中的特征点的Y坐标，将d定义为与特征点的坐标建立关联的视差，来导出照相机坐标系中的特征点的坐标。

此处，将使在叉车10的行进方向延伸的轴设为Y轴、使在铅直方向延伸的轴设为Z轴、使与Y轴及Z轴正交的轴设为X轴的3轴正交坐标系定义为作为实际空间上的三维坐标系的世界坐标系。世界坐标系的特征点的坐标可由世界坐标系中的X坐标Xw、Y坐标Yw及Z坐标Zw表示。

物体检测装置41进行使用以下的式(4)将照相机坐标转换为世界坐标的世界坐标转换。

此处，式(4)中的H是世界坐标系中的立体照相机31的设置高度[mm]，θ是照相机32、33的光轴与水平面所成的角+90°的角度。

由世界坐标转换所得的世界坐标中X坐标Xw表示从在叉车10的左右方向上的叉车10到特征点为止的距离。Y坐标Yw表示从在叉车10的行进方向上的叉车10到特征点为止的距离。Z坐标Zw表示从路面到特征点为止的高度。

接下来，在步骤S3中，物体检测装置41导出表示世界坐标系中的水平面的坐标面即XY平面的物体A、B、C、D、E的X坐标Xw及Y坐标Yw。XY平面中的物体A、B、C、D、E的X坐标Xw及Y坐标Yw可利用各种方法导出。例如，物体检测装置41进行根据步骤S2中导出的特征点的世界坐标，将位于规定范围内的特征点视为1个点群的簇化。物体检测装置41将已经簇化的点群视为1个物体A、B、C、D、E。物体检测装置41根据构成已经簇化的点群的特征点的X坐标Xw、Y坐标Yw及Z坐标Zw掌握物体A、B、C、D、E的X坐标Xw、Y坐标Yw及Z坐标Zw。例如，可以将已经簇化的点群中位于端部的多个特征点的X坐标Xw、Y坐标Yw及Z坐标Zw设为物体A、B、C、D、E的X坐标Xw、Y坐标Yw及Z坐标Zw，也可以将成为点群的中心的特征点的X坐标Xw、Y坐标Yw及Z坐标Zw设为物体A、B、C、D、E的X坐标Xw、Y坐标Yw及Z坐标Zw。如图5所示，物体检测装置41通过将物体A、B、C、D、E的X坐标Xw、Y坐标Yw及Z坐标Zw投影到世界坐标系的XY平面，来导出世界坐标系中的XY平面中的物体A、B、C、D、E的X坐标Xw及Y坐标Yw。也就是说，物体检测装置41通过从物体A、B、C、D、E的X坐标Xw、Y坐标Yw及Z坐标Zw去除Z坐标Zw，来导出水平方向的物体A、B、C、D、E的X坐标Xw及Y坐标Yw。通过进行步骤S3的处理，物体检测装置41与坐标导出部对应。

接下来，如图4、图6及图7所示，在步骤S4中，物体检测装置41导出叉车10的行进预定区域AP。所谓行进预定区域AP，是指表示在叉车10以进行步骤S4的处理的时间点的转向角θ1继续行驶的情况下，预测为叉车10通过的区域。物体检测装置41从主控制器20获取转向角传感器26的检测结果。物体检测装置41从主控制器20获取车速传感器24的检测结果。转向角传感器26的检测结果是转向角信息。车速传感器24的检测结果是速度信息。因此，物体检测装置41与转向角获取部及速度获取部对应。

叉车10的行进预定区域AP根据转向角θ1及叉车10的尺寸信息导出。首先，物体检测装置41根据转向角θ1及叉车10的尺寸信息导出行进预定路径Rrr、Rrl。叉车10的尺寸信息包含从驱动轮12、13的中心轴线到车体11的后端为止的尺寸L1[mm]、轴距L2[mm]、及车宽W[mm]。叉车10的尺寸信息存储在主控制器20的存储器22或者物体检测装置41的存储部43。当在存储器22存储着叉车10的尺寸信息的情况下，物体检测装置41从主控制器20获取叉车10的尺寸信息。

像根据图6能够掌握的一样，行进预定路径Rrr、Rrl作为从回转中心Pr算起的回转半径导出。行进预定路径Rrr、Rrl以车体11的左端的行进预定路径Rrl与车体11的右端的行进预定路径Rrr个别地导出。回转中心Pr是将驱动轮12、13的中心轴线延长所得的假想的线段L3与将转向轮14的中心轴线延长所得的假想的线段L4的交点。物体检测装置41根据以下的式(5)及式(6)导出行进预定路径Rrr、Rrl。

可基于由式(5)及式(6)导出的行进预定路径Rrr、Rrl与来自线段L3的回转角度Φ导出行进预定路径Rrr、Rrl的世界坐标系中的X坐标Xw及Y坐标Yw。此外，XY平面的原点O是驱动轮12、13彼此之间的中心位置。回转角度Φ是维持转向角θ1的状态下叉车10从当前位置移动时的当前位置的线段L3与移动目的地的位置的线段L3所成的角。利用回转角度Φ，决定导出从当前位置到多远的目的地为止的行进预定路径Rrr、Rrl。也就是说，利用回转角度Φ决定在叉车10的行进方向上的行进预定路径Rrr、Rrl的长度。

如图7所示，物体检测装置41将如下区域定义为行进预定区域AP的宽度，该区域是将比行进预定路径Rrr、Rrl靠叉车10的车宽方向的外侧的第2区域A2加到行进预定路径Rrr、Rrl彼此之间的第1区域A1所得。比行进预定路径Rrr、Rrl靠车宽方向的外侧的第2区域A2是边限(margin)。此外，所谓行进预定区域AP中的叉车10的车宽方向的外侧，并非以叉车10的当前位置为基准的车宽方向，而是以叉车10位于行进预定路径Rrr、Rrl时的该位置为基准的车宽方向的外侧。行进预定路径Rrr、Rrl在叉车10的行进方向上的长度与行进预定区域AP在叉车10的行进方向上的长度相同。因此，行进预定区域AP在叉车10的行进方向上的长度由回转角度Φ决定。

在本实施方式中，根据叉车10的速度改变回转角度Φ及行进预定区域AP的宽度。对于物体检测装置41而言，叉车10的速度越快，回转角度Φ越大。在物体检测装置41的存储部43中，存储着将叉车10的速度与回转角度Φ的关系建立关联的映射表或关系式，物体检测装置41根据叉车10的速度导出回转角度Φ。映射表或关系式例如设定为如下，即，导出比叉车10以进行步骤S4的处理的时间点的速度在控制周期内行驶时的回转角度的预测值大的值。当回转角度Φ变大时，行进预定区域AP在叉车10的行进方向上变长。

物体检测装置41是叉车10的速度越慢，则第2区域A2越宽。在物体检测装置41的存储部43中，存储着将叉车10的速度与第2区域A2的关系建立关联的映射表或关系式，物体检测装置41根据叉车10的速度导出第2区域A2的宽度。当第2区域A2变宽时，行进预定区域AP在叉车10的车宽方向上变宽。通过进行步骤S4的处理，物体检测装置41与行进预定区域导出部对应。

接下来，如图4所示，在步骤S5中，物体检测装置41提取作为位于行进预定区域AP上的物体A、B、C的优先物体A、B、C。在步骤S3中导出世界坐标系中的物体A、B、C、D、E的X坐标Xw及Y坐标Yw，在步骤S4中导出世界坐标系中的行进预定区域AP的X坐标Xw及Y坐标Yw。因此，物体检测装置41能够掌握两者的位置关系。

图7表示世界坐标系的XY平面上的物体A、B、C、D、E的坐标与行进预定区域AP的坐标的关系。像根据图7能够掌握的一样，能够掌握优先物体A、B、C位于行进预定区域AP上。此外，所谓“物***于行进预定区域AP上”，是指在世界坐标系中的XY平面上物体的至少一部分位于与行进预定区域AP相同的坐标。通过进行步骤S5的处理，物体检测装置41与提取部对应。

接下来，如图4所示，在步骤S6中，物体检测装置41对物体A、B、C、D、E设定优先度。物体检测装置41导出从叉车10到物体A、B、C、D、E为止的距离。所谓从叉车10到物体A、B、C、D、E为止的距离是指从原点O到物体A、B、C、D、E的坐标为止的欧几里得距离。物体检测装置41按照优先物体A、B、C中距叉车10的距离近的顺序提高优先度。物体检测装置41将优先物体B的优先度设定为最高优先度，将优先物体C设定为第2优先度，将优先物体A设定为第3优先度。另外，关于与优先物体A、B、C不同的物体D、E，可以设定优先度，也可以不设定优先度。在设定优先度的情况下，可以按照距叉车10距离近的顺序提高优先度，也可以按照接近行进预定区域AP的顺序提高优先度。也就是说，关于优先物体A、B、C以外的物体的处理为任意。

接下来，在步骤S7中，物体检测装置41进行实施物体A、B、C、D、E是否为人的判定的人检测处理。物体检测装置41对最接近叉车10的优先物体B最优先进行是否为人的判定。然后，物体检测装置41在控制周期内，对其它的物体A、C、D、E进行人检测处理。物体检测装置41根据优先顺序，按照优先物体B→优先物体C→优先物体A的顺序进行人检测处理。此外，如果在控制周期内，那么也可以对优先物体A、B、C以外的物体D、E进行人检测处理。物体检测装置41在控制周期经过时，结束物体检测处理。物体检测装置41即便在不对最接近叉车10的优先物体B以外的物体A、C、D、E进行人检测处理的情况下，也以控制周期的经过为契机结束物体检测处理。

如上所述，优先物体A、B、C比与优先物体A、B、C不同的物体D、E优先地进行是否为人的判定。所谓“优先”，如上所述，包含比与优先物体A、B、C不同的物体D、E先判定优先物体A、B、C是否为人的态样。

物体A、B、C、D、E是否为人的判定可通过以下的处理来进行。首先，物体检测装置41将物体A、B、C、D、E的世界坐标转换为照相机坐标。从世界坐标向照相机坐标的转换可使用以下的式(7)进行。

通过将式(7)的X坐标Xw、Y坐标Yw及Z坐标Zw设为物体A、B、C、D、E的世界坐标，能够导出物体A、B、C、D、E的照相机坐标。此外，在本实施方式中，由于将物体A、B、C、D、E的世界坐标设为XY平面的坐标，所以Z坐标Zw为0。

接下来，物体检测装置41使用以下的式(8)及式(9)，根据照相机坐标导出第1图像I1上的物体A、B、C、D、E的坐标。

通过将式(8)及式(9)的X坐标Xc、Y坐标Yc及Z坐标Zc设为物体A、B、C、D、E的照相机坐标，可导出物体A、B、C、D、E的第1图像I1上的坐标。

物体检测装置41通过对第1图像I1上的物体A、B、C、D、E的坐标进行人检测处理，来判定物体A、B、C、D、E是否为人。此外，所谓第1图像I1上的物体A、B、C、D、E的坐标，除了由式(8)及式(9)导出的坐标以外，也可以包含该坐标的周边的坐标。人检测处理通过从第1图像I1提取特征量的特征量提取法来进行，例如，使用HOG(Histograms of OrientedGradients，梯度方向直方图)或SIFT(Scale Invariant Feature Transform，尺度不变特征转换)来进行。由此，物体检测装置41可判定物体A、B、C、D、E为人还是人以外的物体。此外，叉车10与物体A、B、C、D、E的位置关系由于在步骤S3中导出，所以物体检测装置41能够掌握叉车10与物体A、B、C、D、E的位置关系。通过进行步骤S7的处理，物体检测装置41与人判定部对应。

如上所述，物体检测装置41作为功能要素，具备视差图像获取部、坐标导出部、转向角获取部、行进预定区域导出部、提取部、人判定部及速度获取部。

对本实施方式的作用进行说明。

物体检测装置41根据转向角信息及叉车10的尺寸信息导出世界坐标系的叉车10的行进预定区域AP。物体A、B、C、D、E中成为叉车10的行进阻碍的物体是位于行进预定区域AP上的优先物体A、B、C。利用世界坐标系，提取位于行进预定区域AP上的优先物体A、B、C，对第1图像I1上的优先物体A、B、C的坐标比物体D、E的坐标优先地进行人检测处理，由此能够迅速地检测成为行进阻碍的人。

在叉车10中，在已经检测的物体A、B、C、D、E为人的情况下，存在进行与物体A、B、C、D、E为人以外的情况不同的处理的情况。例如，当利用监视装置30检测人时，主控制器20对搭乘者进行附近有人的意旨的报告。报告使用通过显示进行报告的显示器或通过声音进行报告的蜂鸣器等任意的方法进行。另外，主控制器20也可以对叉车10的周边的人进行用来识别叉车10位于附近的报告。

此处，物体检测处理针对规定的每个控制周期重复地进行。物体检测处理中判定物体A、B、C、D、E是否为人的人检测处理的处理负荷大。当对第1图像I1的所有区域进行人检测处理时处理负荷变大。叉车10与乘用车相比更频繁地进行急回转，且经常使用比搭载在乘用车的立体照相机宽的视角的立体照相机31。因此，特别容易使搭载在叉车10的物体检测装置41进行人检测处理的区域变多，处理负荷容易变大。

当处理负荷大时，有在控制周期内无法对所有物体A、B、C、D、E进行人检测处理的情况。假设不考虑行进预定区域AP而从接近叉车10的物体开始依次进行人检测处理，则可先于成为行进阻碍的物体，对不成为行进阻碍的物体进行人检测处理。于是，存在如下情况：无法在控制周期内对成为行进阻碍的物体进行人检测处理，无法检测成为行进阻碍的人，或者成为行进阻碍的人的检测变慢。当在维持控制周期的状态下对第1图像I1上的所有物体进行人检测处理时，必须使用处理能力较高的物体检测装置41，导致制造成本增加。另外，当在维持物体检测装置41的处理能力状态下在控制周期内对所有物体进行人检测处理时，必须使控制周期变长，成为行进阻碍的人的检测变慢。

在本实施方式中，优先地判定优先物体A、B、C是否为人。另外，优先物体A、B、C中最接近叉车10的优先物体B最优先地进行是否为人的判定。最接近叉车10的优先物体B是否为人必定在控制周期内判定。最接近叉车10的优先物体B是位于行进预定区域AP上的优先物体A、B、C中有最有可能成为行进阻碍的物体。相对于此，优先物体A、B、C中与最接近叉车10的优先物体B不同的优先物体A、C除了比最接近的优先物体B离叉车10更远以外，还在因叉车10的行驶通过优先物体B之后，可成为最接近叉车10的优先物体。因此，当优先物体A、C成为叉车10的行进阻碍时，在下次及以后的控制周期内进行人检测处理，且进行人检测处理的优先度低于最接近的优先物体B。另外，与优先物体A、C相比，不位于行进预定区域AP上的物体D、E成为行进阻碍的可能性低。假设因叉车10的转向角θ1的改变、叉车10或物体D、E的移动而物体D、E处于成为行进阻碍的位置，那么在下次及以后的控制周期内该物体D、E成为优先物体。因此，不位于行进预定区域AP的物体D、E进行人检测处理的优先度低。这样，在每个控制周期内重复进行的物体检测处理中，如果能够至少判定最接近叉车10的优先物体B是否为人，则认为不会有实际问题。另外，如果在控制周期内通过判定与最接近叉车10的优先物体B不同的优先物体A、C是否为人，则能够更适当地运用叉车10。

在物体检测装置41中，由于只要判定最接近叉车10的优先物体B是否为人即可，所以与对所有物体A、B、C、D、E进行人检测处理的情况相比处理负荷变小。另外，由于控制周期只要设定为能够判定最接近叉车10的优先物体B是否为人即可，所以与对所有物体A、B、C、D、E进行人检测处理的情况相比可抑制控制周期变长。

对本实施方式的效果进行说明。

(1)物体检测装置41将优先物体A、B、C比与优先物体A、B、C不同的物体D、E优先地进行是否为人的判定。因此，可迅速地检测成为行进阻碍的人。另外，使用由立体照相机31拍摄的图像进行人检测处理。假设，在根据由单反相机拍摄的图像进行人检测处理的情况下，在对图像中与行进预定区域AP重叠的所有区域进行人检测处理之后，导出检测到人的区域的实际空间上的坐标。进行人检测处理的区域大，物体检测装置41的处理负荷变大。相对于此，在使用由立体照相机31拍摄的图像的情况下，能够在进行人检测处理之前导出物体A、B、C、D、E的第1图像I1上的坐标。进行人检测处理的区域与使用由单反相机拍摄的图像的情况相比变小。通过使用立体照相机31，与使用单反相机的情况相比，能够减轻物体检测装置41的处理负荷。另外，在使用单反相机的情况下，必须根据单反相机的安装位置或透镜提前掌握人物映现的位置。通过使用立体照相机31，无须提前掌握人物映现的位置。

(2)对优先物体A、B、C中最接近叉车10的优先物体B最优先地进行是否为人的判定。优选为映现在第1图像I1的人中的越接近叉车10的人越迅速地检测出。通过使优先物体A、B、C中的最接近叉车10的优先物体B最优先，而能够迅速地检测出成为行进阻碍的人且最接近叉车10的人。

(3)物体检测装置41中，叉车10的速度越快，行进预定区域AP越长。叉车10的速度越快，叉车10与人的相隔距离在越短的时间内变短，在1次控制周期中叉车10与人接近。通过叉车10的速度越快而行进预定区域AP越长，能够在叉车10与人的相隔距离变得过短之前检测到人。

(4)物体检测装置41中，叉车10的速度越慢，则使行进预定区域AP在车宽方向上越宽。叉车10的速度越慢，叉车10越容易回转，由于行进方向的改变，在下次及以后的控制周期内更容易向远离行进预定路径Rrr、Rrl的位置移动。通过叉车10的速度越慢，行进预定区域AP在车宽方向越大，可根据叉车10的速度进行人的检测。详细来说，在叉车10的行进方向容易因转向角θ1的改变而改变的情况下，通过使行进预定区域AP在车宽方向扩大，能够迅速地检测位于叉车10可能行进的位置的人。

实施方式能够以如下的方式改变实施。实施方式及以下的变化例能够在技术上不矛盾的范围内相互组合实施。

○回转角度Φ也可以不根据叉车10的速度而改变。也就是说，回转角度Φ也可以是固定值。在该情况下，作为回转角度Φ，例如根据叉车10能够达到的最高速度或控制周期来设定，将大于叉车10在控制周期内以最高速度行驶时的回转角度的值设定为回转角度Φ。

○行进预定区域AP的在车宽方向上的宽度也可以不根据叉车10的速度改变。也就是说，行进预定区域AP的在车宽方向上的宽度也可以是固定值。在该情况下，行进预定区域AP的在车宽方向上的宽度例如根据控制周期来设定。也可以是控制周期越长，则使行进预定区域AP的在车宽方向上的宽度越宽，控制周期越短，则使行进预定区域AP的在车宽方向上的宽度越窄。由于控制周期越长，叉车10与物体A、B、C、D、E的相对位置在进行物体检测处理的期间变化得越多，所以也可以遍及广泛的范围检测到成为行进阻碍的物体。

○行进预定区域AP只要是至少包含第1区域A1的范围即可，也可以省略作为边限的第2区域A2。

○物体检测装置41也可以使用把手角传感器的检测结果作为转向角信息。把手角传感器检测把手的角度，将检测结果输出到主控制器20。转向角由于根据把手角传感器的检测结果来控制，所以能够根据把手角传感器的检测结果检测转向角。

○物体检测装置41对优先物体A、B、C的全部进行是否为人的判定，另一方面，也可以不对与优先物体A、B、C不同的物体进行是否为人的判定。也就是说，所谓“优先”，包含仅对优先物体A、B、C判定是否为人的态样。

○物体检测装置41只要进行最接近叉车10的优先物体B是否为人的判定即可，在进行最接近叉车10的优先物体B是否为人的判定之后，即便在控制周期内，也可以不进行其它物体A、C、D、E是否为人的判定。也就是说，也可以仅使多个优先物体A、B、C中最接近叉车10的优先物体B优先。

○物体检测装置41也可以对多个物体A、B、C、D、E同时进行是否为人的判定。在该情况下，在最初进行判定的多个物体A、B、C、D、E中包含最接近叉车10的优先物体B。

○物体检测装置41也可以不使最接近叉车10的优先物体B最优先地进行是否为人的判定。例如，也可以使多个优先物体A、B、C中最接近叉车10的优先物体B第2优先地进行是否为人的判定。

○监视装置30也可以是检测叉车10的前方的人的装置。在该情况下，立体照相机31以拍摄叉车10的前方的方式配置。物体检测装置41在叉车10前进时进行物体检测处理。另外，监视装置30也可以是检测叉车10的前方及后方的两侧的物体的装置。在该情况下，立体照相机31设置着拍摄叉车10的前方的照相机及拍摄叉车10的后方的照相机的两者。物体检测装置41检测与叉车10的行进方向对应的方向的物体。

○物体A、B、C、D、E是否为人的判定也可以使用进行利用监督学习模型的机械学习的人判定部来进行。作为人判定部，例如，可采用支持向量机、神经网络、朴素贝叶斯(naivebayes)、深度学习、决策书等监督学习设备。作为用于机械学习的教学数据，使用从图像提取的人的形状要素或外观要素等图像固有成分。作为形状要素，例如，可列举人的大小或轮廓等。作为外观要素，例如，可列举光源信息、纹理信息、照相机信息等信息。光源信息包含与反射率或阴影等相关的信息。纹理信息包含颜色信息等。照相机信息包含与画质、分辨率、视角等相关的信息。

○在实施方式中，根据世界坐标系的XY平面的物体A、B、C、D、E的坐标判定物体A、B、C、D、E是否为优先物体A、B、C，但是也可以根据3轴正交坐标系的坐标判定物体A、B、C、D、E是否为优先物体A、B、C。3轴正交坐标系的物体A、B、C、D、E的坐标包含Z坐标Zw。行进预定区域AP的坐标作为X坐标Xw与Y坐标Yw导出。在该情况下，物体检测装置41根据行进预定区域AP的X坐标Xw及Y坐标Yw与物体的X坐标Xw及Y坐标Yw判定物体A、B、C、D、E是否位于行进预定区域AP上。也就是说，在根据3轴正交坐标系的物体A、B、C、D、E的坐标判定物体A、B、C、D、E是否为优先物体A、B、C的情况下，不考虑物体A、B、C、D、E的Z坐标Zw，判定物体A、B、C、D、E是否为优先物体A、B、C即可。

○获取视差图像的区域也可以根据叉车10的转向角θ1改变。例如，在能够根据叉车10的转向角θ1掌握为叉车10向左方回转的情况下，也可以针对将第1图像I1及第2图像在横方向3等分的范围中的左方2个范围获取视差。也就是说，对于由立体照相机31拍摄的图像中不存在优先物体的区域，也可以不算出视差。由此，可进一步减轻物体检测装置41的处理负荷。

○作为叉车10，也可以是自动地进行行驶动作及货物装卸动作的叉车。在该情况下，叉车10是前进还是后退的信息能够从主控制器20获取。另外，在自动地进行行驶动作及货物装卸动作的叉车10的情况下，也可以根据物体A、B、C、D、E是否为人来改变行驶路径或车速。例如，主控制器20在避开物体A、B、C、D、E时，与人以外的情况相比，人的情况下可增大避开距离，或者当物体A、B、C、D、E为人时，降低附近行驶时的车速。另外，叉车10也可以是在自动的操作与手动的操作间切换的叉车。

○叉车10是前进还是后退也可以根据车速传感器24的检测结果来判定。

○世界坐标系并不限定于正交坐标系，也可以是极坐标系。

○也可以根据由立体照相机31拍摄的图像中的第2图像检测人。物体检测装置41导出第2图像上的物体A、B、C、D、E的坐标，但由于第2图像是比较图像，所以当根据物体A、B、C、D、E的世界坐标导出图像上的物体A、B、C、D、E的坐标时，产生与基线长对应的偏移。因此，物体检测装置41根据基线长修正第2图像上的物体的坐标，并对已经修正的坐标进行人检测处理。

○也可以从物体A、B、C、D、E提取人候选，仅对人候选进行人检测处理。物体A、B、C、D、E是否为人候选例如可根据物体A、B、C、D、E的XY平面的尺寸来判定。

○视差图像获取部、坐标导出部、行进预定区域导出部、提取部及人判定部也可以分别由单独的控制装置构成。

○从照相机坐标向世界坐标的转换也可以由表格数据进行。表格数据是使Y坐标Yw对应于Y坐标Yc与Z坐标Zc的组合的表格数据、及使Z坐标Zw对应于Y坐标Yc与Z坐标Zc的组合的表格数据。通过将这些表格数据存储在物体检测装置41的ROM等中，能够根据照相机坐标系中的Y坐标Yc与Z坐标Zc求出世界坐标系中的Y坐标Yw及Z坐标Zw。同样地，关于从世界坐标向照相机坐标的转换也可以由表格数据来进行。

○第1照相机32与第2照相机33也可以排列配置在铅直方向。

○第1图像I1的像素数与第2图像的像素数也可以不同。例如，也可以是作为比较图像的第2图像的像素数与视差图像的像素数相同，作为基准图像的第1图像I1的像素数多于第2图像的像素数。

○立体照相机31也可以具备3个以上的照相机。

○叉车10也可以利用引擎的驱动来行驶。在该情况下，行驶控制装置为控制对引擎的燃料喷射量等的装置。

○叉车10也可以是四轮式的叉车。在该情况下，物体检测装置41根据导出四轮式的叉车的行进预定路径Rrr、Rrl的式来导出行进预定路径Rrr、Rrl。也就是说，导出行进预定路径Rrr、Rrl的式根据车辆的种类而改变。

○叉车10也可以是可从横向移动模式或平行移动模式等多个行驶模式中选择任意的行驶模式的叉车。在该情况下，监视装置30具备朝向各行驶模式下的行进方向的立体照相机。物体检测装置41针对每个行驶模式，将导出行进预定路径的式存储在存储部43中，根据与行驶模式对应的式导出行进预定路径。在该情况下，物体检测装置41从主控制器20获取行驶模式的改变信息，并根据行驶模式导出行进预定区域AP。

○物体检测装置41也可以搭载在工程机械、自动搬送车、卡车等叉车10以外的工业车辆或乘用车等车辆。