具体实施方式

车载传感器系统的构成

参照图1A，在本发明的车载传感器系统的优选的实施方式中，在汽车等车辆10中具有：粗测传感器14，用于以第一分辨率对车辆10周围的状况进行观测；精测传感器16，用于以比第一分辨率高的第二分辨率进行观测；以及观测控制装置12，控制粗测传感器14和精测传感器16的动作，并且接收来自粗测传感器14和精测传感器16的信号，从其中检测并识别其他车、道路旁的建筑物、墙壁、围墙、护栏、柱子、停车车辆、行人等(行人、自行车)道路端、道路白线、黄线等路面标示、信号等对象的有无、其位置或存在范围、速度、移动方向或者类别，并输出其结果。典型地，粗测传感器14可以是拍摄周围的状况的摄像机，但也可以是毫米波雷达、激光雷达等利用电磁波或光扫描周围来进行观测的传感器。更具体而言，如从后述的说明也可以理解的那样，粗测传感器14的目的在于，全面且迅速地对车辆周围的应该观测的范围的整体进行观测，并感测在车辆的周围可能会影响车辆的行驶的对象的存在。因此，作为粗测传感器14，选择其分辨率(参照下述注)可以不那么高，但能在尽可能短的时间内进行车辆周围的应该观测的范围整体的观测的传感器。另一方面，典型地，精测传感器16是毫米波雷达(相控阵列雷达等)、激光雷达等利用电磁波或光扫描周围来进行观测的传感器，但也可以是拍摄周围的状况的摄像机。如从后述的说明也可以理解的那样，精测传感器16的目的在于，在由粗测传感器14进行的车辆周围的全面的观测中感测到的对象中，以更高的精度对为了驾驶辅助控制、自动驾驶控制等而想要更详细地进行观测的对象进行观测、识别。因此，作为精测传感器16，选择在对某个确定的区域或对象进行观测的情况下，能以与其观测/识别的目的符合的程度的分辨率来实现该确定的区域或对象的观测的传感器。实际使用的粗测传感器14、精测传感器16可以根据车辆的设计、费用等适当选择。需要说明的是，粗测传感器14、精测传感器16的视野或观测范围可以适当设定为能对车辆的前方、侧方以及后方的每一方进行观测。

(注)粗测传感器14、精测传感器16的分辨率可以是空间分辨率或角度分辨率。空间分辨率表示由各传感器进行观测的空间内的可识别的两点间的距离的界限。角度分辨率表示由各传感器进行观测的视野内的可识别的两点间的角度的界限。分辨率高表示可识别的两点间的距离或角度小。

观测控制装置12可以由计算机实现，可以包括计算机和驱动电路，该计算机和驱动电路具有通过通常的形式的双向公共总线相互连结的CPU(Central Processing Unit：中央处理器)、ROM(Read-Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)以及输入输出端口装置。后文说明的观测控制装置12中的各部的构成和动作可以分别通过按照程序的计算机的动作来实现。

参照图1B，更详细而言，除了来自粗测传感器14和精测传感器16的观测数据之外，还可以向观测控制装置12输入车速(根据车轮速度等计算)、转向角或横摆角速度等表示车辆的运动状态的信息。或者，虽然未图示，但也可以从GPS(Global Positioning System：全球定位系统)信息中获取车辆的移动距离、转弯角(横摆角变化)。(将车速、转向角或横摆角速度、车辆的移动距离、转弯角等表示车辆的运动状态的信息统称为“车辆运动状态信息”。)。当来自粗测传感器14的观测数据(例如，亮度信号)被观测控制装置12接收时，首先被转换为图像等能进行观测范围内的对象的识别的数据形式(图像生成部)。需要说明的是，在此得到的数据的观测范围可以是车辆周围的想要观测的整个范围。之后，对象识别部在上述的图像等形式的数据的观测范围内检测/识别对象，并以粗测传感器14的分辨率来检测(从车辆观察到的)其位置、存在范围、类别、速度、移动方向等。然后，高精度观测对象将来存在区域预测部通过在后文说明的方式从检测到的对象中决定高精度观测对象(想要以更高精度进行观测的对象)，并使用该高精度观测对象的检测位置、其类别、车辆运动状态信息等来执行作为高精度观测对象的将来(精测传感器的观测时)的移动目的地的对象将来存在区域的预测。需要说明的是，高精度观测对象和对象将来存在区域也可以是多个。

如上所述，当高精度观测对象和其对象将来存在区域被决定时，其信息被提供给精测传感器16，在该对象将来存在区域中，由精测传感器16执行更高分辨率的观测。在此得到的观测数据(反射波强度信号等)被送向观测控制装置12的观测结果处理部，在观测结果处理部被转换为能进行对象的识别的数据形式。然后，对象识别部使用上述的能进行对象的识别的数据形式，在对象将来存在区域内检测/识别对象，并以精测传感器16的分辨率来检测(从车辆观察到的)其位置、存在范围、类别、速度、移动方向等。

这样一来，通过粗测传感器14的观测而检测/识别出的车辆周围的全面的信息和通过精测传感器16的观测而得到的对于高精度观测对象的更高精度的识别信息被提供给观测结果整合输出部，因此，为了在驾驶辅助控制、自动驾驶控制中利用车辆周围的状况和对象的信息，可以向对应的控制装置送出车辆周围的状况和对象的信息。

系统的动作

(1)概要

如“发明内容”一栏所述的那样，在驾驶辅助控制或者自动驾驶控制等中利用车辆的周围的状况的观测信息的情况下，优选以更高精度来检测/识别在此进行了观测的范围内的对象的位置或存在范围、类别、速度、移动方向等信息，但观测的精度越高，观测所需的时间越长，因此，在车辆的行驶中等，有时无法确保足够的时间来高精度地对车辆周围的想要观测的整个范围进行观测。另一方面，在驾驶辅助控制或者自动驾驶控制等希望高精度的信息的对象通常存在于车辆周围的想要观测的范围的一部分，因此，有时只要能掌握希望高精度的信息的对象的大致位置，就足以对该希望高精度的信息的对象实施高精度的观测。因此，在本实施方式中的系统中，如前文的日本特愿那样，考虑车辆的运动的速度，以通过一定程度的分辨率来得到观测范围内的对象的有无、位置或存在范围、类别、速度、移动方向等信息的方式迅速地执行车辆周围的想要观测的整个范围的观测，并将高分辨率的观测集中于特别是想要高精度地进行观测的对象来执行，由此，尝试抑制整个观测时间，并且在驾驶辅助控制或者自动驾驶控制等中获得优选的高精度的信息。

然而，如上所述，进行由粗测传感器进行的车辆周围的想要观测的整个范围的观测，其中，从识别观测范围内的对象，确定高精度观测对象起，到通过精测传感器开始观测为止，需要一定程度的时间。并且，在经过该时间的过程中，高精度观测对象或车辆移动或者改变朝向的情况下，如图3A～图3B、图4A～图4B中示意性地描绘的那样，有时高精度观测对象ob会从车辆10观察到的由粗测传感器的观测范围确定出的位置移动，即使在由粗测传感器的观测范围确定出的位置实施精测传感器的观测，也无法观测到高精度观测对象(图3C、图4C)。因此，本实施方式的系统被配置为：在粗测传感器的观测范围内确定了高精度观测对象之后，预测或推定精测传感器的观测的执行时的高精度观测对象的移动目的地(对象将来存在区域)，并在其预测或推定出的对象将来存在区域内执行精测传感器的观测，从而更可靠地实现高精度观测对象的观测。

(2)观测处理动作

参照图2A、图2B，总而言之，在本实施方式的系统的动作中，依次执行以下的处理。

(i)由粗测传感器进行的车辆周围的整个观测范围的观测(步骤1)

(ii)观测范围内的对象的识别(步骤2)

(iii)高精度观测对象的决定(步骤3)

(iv)高精度观测对象的将来存在区域的预测(步骤4～6)

(v)由精测传感器进行的对象将来存在区域的观测(步骤7)

(vi)对象将来存在范围内的对象的识别(步骤8)

(vii)观测结果的输出(步骤9)

以下，依次对上述的处理进行说明。

(i)由粗测传感器进行的车辆周围的整个观测范围的观测(步骤1)

如已提到的那样，典型地，例如可以通过摄像机的拍摄，在车辆周围的想要观测的范围、车辆的前方、左右方向、后方分别尽可能迅速地以通常的方式执行由粗测传感器进行的观测。在此请求的分辨率只要是能识别在观测范围内对象的有无，并能以一定程度的精度来检测位置或存在范围的程度即可。在粗测传感器中得到的数据(通常为亮度数据或强度数据)可以在图像生成部中被生成为二维(或三维)的图像数据。

(ii)观测范围内的对象的识别(步骤2)

在图像生成部中得到的图像数据中，识别出对象的像，即识别出其他车、道路旁的建筑物、墙壁、围墙、护栏、柱子、停车车辆、行人等(行人、自行车)道路端、道路白线、黄线等路面标示、信号等的像(image)，并(以粗测传感器的分辨率)检测出该对象的位置或存在范围。此外，如后文说明的那样，其中，也可以检测出对象的如上所述的类别或者(从车辆观察到的)移动速度和移动方向。可以在观测范围内识别出多个对象。对象的识别、检测可以使用任意的图像识别技术等来实现。

(iii)高精度观测对象的决定(步骤3)

在步骤2中，在粗测传感器的观测范围内识别出的对象中，可以根据观测结果的利用目的，以任意的方法来决定特别是想要高精度地进行观测的对象。例如，在用于避免碰撞的驾驶辅助控制、自动驾驶控制中利用观测结果的情况下，可以参照从车辆到对象的距离、对象的移动方向、对象的类别，选择对车辆的之后的行驶影响大的对象来作为高精度观测对象。在一个方案中，考虑如下的方法：对于在观测范围内识别出的对象的每一个，假定为距车辆的距离越近、移动方向与车辆的行进路线交叉的可能性越高、移动速度越高、或者对车辆的行驶的威胁按对象是静止物、其他车、人的顺序而变大(注意的必要性变高)，则赋予越高的威胁度，合计各对象的威胁度，并按照其威胁度将对象进行排序，从位次高的一方起决定为优先观测的高精度观测对象。需要说明的是，可以在一定观测范围内选择多个对象来作为高精度观测对象。

(iv)高精度观测对象的将来存在区域的预测(步骤4～6)

如上所述，当高精度观测对象被决定时，预测该高精度观测对象的将来的移动目的地，更具体而言，预测精测传感器的观测被执行时的移动目的地，即对象将来存在区域。对象将来存在区域的预测可以通过各种方案来实现，例如，可以按如下所述的方案来实现。

(a)参照高精度观测对象的类别的对象将来存在区域的预测

在一个方案中，可以根据高精度观测对象的类别来预测对象将来存在区域。在该情况下，简而言之，基于根据高精度观测对象的类别而预测的移动速度来计算从该观测位置起的可移动范围，并将其预测为对象将来存在区域。此外，还可以是，使用车辆的运动信息来求出车辆的精测传感器的观测时的预测位置，并将对象将来存在区域校正为从该车辆的预测位置观察到的位置，而且，决定用于观测该对象将来存在区域的从车辆观察到的角度范围。

具体而言，首先，参照图3A，若在粗测传感器14的观测范围cs内识别出的对象ob在步骤3中被决定为高精度观测对象，则根据高精度观测对象ob的从车辆10观察到的(固定于车辆的X－Y坐标空间中的)距离r_o和方向θ_o(从X轴起的角度)，高精度观测对象ob的中心位置X_ob被决定为

X_ob＝(r_ocosθ_o，r_osinθ_o)……(1)。

在此，若使用针对高精度观测对象ob假定的移动速度的最高值v_max而将从粗测传感器的观测时t1到精测传感器的观测时t2为止的时间设为Δt，则如图3A那样，预计时间Δt内的高精度观测对象ob的移动目的地成为以位置X_ob为中心且半径v_maxΔt的圆上或其内侧。需要说明的是，在此，可以想到高精度观测对象ob的最高移动速度v_max根据高精度观测对象ob的类别来决定，即根据高精度观测对象ob是人、自行车、汽车、摩托车等中的哪一个来决定。例如，可以将最高移动速度v_max假定为：

人：0km/h(视为几乎不移动。)

自行车：20km/h

汽车：100km/h

摩托车：80km/h等。

这样一来，高精度观测对象ob的将来的移动范围能预测为

{(Y－r_ocosθ_o)²+(X－r_osinθ_o)²}^1/2＝v_maxΔt……(2)的圆上或其内侧(步骤4)。即，可以预测根据高精度观测对象的类别而大小不同的对象将来存在范围。在不考虑车辆10的运动时，可以将该将来移动范围作为对象将来存在区域。

然后，还获取车辆10的运动信息(步骤5)，若基于车辆10的运动信息来校正上述的高精度观测对象ob的预测到的将来的移动范围，则对象将来存在区域的准确度被提高。具体而言，例如，如图3B所示，若设为车辆10正在以车速V_c、横摆角速度初始值γ_o、横摆角加速度a_c进行运动，则时刻t2的车辆10的横摆角Ψ_f、位置X_vf(x_vf,y_vf)在移动前的坐标中如下述这样表示。

Ψ_f＝γ_oΔt+a_cΔt²/2……(3a)

x_vf＝∫V_c·cosΨ_f(t)dt……(3b)

y_vf＝∫V_c·sinΨ_f(t)dt……(3c)

(积分区间为[0，Δt]。)

在此，时间t2的从车辆10观察到的高精度观测对象ob的中心位置X_obf(x_obf,y_obf)使用算式(3a)～(3c)从X－Y坐标变换为X_f－Y_f坐标，由此如下述这样表示。

这样一来，时间t_o后的从车辆10观察到的高精度观测对象ob的对象将来存在区域能预测为

{(Y_f－y_obf)²+(X_f－x_obf)²}^1/2＝v_maxΔt……(5)的圆上。即，如图3C中描绘的那样，若考虑车辆的运动，则从车辆10观察到的高精度观测对象ob的对象将来存在区域从粗测传感器的观测时的圆W向圆W_f移动，圆W_f上和其内侧被预测为考虑了车辆的运动的情况下的对象将来存在区域(步骤6)。

这样一来，如图3D所示，应该由精测传感器16观测的范围成为估计圆W_f的角度范围ps，角度范围ps成为将圆W_f的X_f－Y_f坐标变换为极坐标时的角度φ_max～φ_min之间。算式(5)的圆上的角度坐标φ和X_f的值域由

x_obf－v_maxΔt≤X_f≤x_obf+v_maxΔt……(6a)

给出，因此，能通过计算值域(6a)的范围内的算式(6)的角度坐标φ的最大值φ_max和最小值φ_min来决定应该由精测传感器16观测的角度范围ps。

需要说明的是，在上述的对象将来存在区域的预测中，在能从GPS信息等实时地获取时间Δt内的车辆的移动距离x_vf、y_vf或转弯角Ψ_f时，也可以利用这些获取到的值来代替算式(3a)～(3c)的运算。此外，如果时间Δt内的转弯角Ψ_f是可忽略的程度，则也可以不执行算式(4)中的坐标的旋转运算。在v_max＝0的情况下，对象将来存在区域被预测为对象的大小d的范围。

(b)使用高精度观测对象的速度的对象将来存在区域的预测

在另一个方案中，在粗测传感器的观测中能检测从车辆观察到的对象的速度和移动方向时(可以是能分别检测对象的x方向和y方向的相对速度时。)(图2B－步骤2)，可以考虑高精度观测对象的运动和车辆的运动来预测对象将来存在区域。在该情况下，简而言之，基于固定于车辆10的坐标空间内的高精度观测对象的速度(x方向和y方向的相对速度)和车辆的转弯角(在图2B步骤5中获取)，将从该观测位置起的移动目的地预测为对象将来存在区域(步骤6)。

具体而言，参照图4A，若(与(a)的情况同样地，)在粗测传感器14的观测范围cs内识别出的对象ob被决定为高精度观测对象，则根据高精度观测对象ob的从车辆10观察到的(固定于车辆的X－Y坐标空间中的)距离r_o和方向θ_o(从X轴起的角度)，与算式(1)同样地决定高精度观测对象ob的位置X_ob。在此，若高精度观测对象ob相对于车辆10以速度v(v_x，v_y)相对地进行运动，则如图4B所示，在从粗测传感器的观测时t1到精测传感器的观测时t2为止的时间Δt内，高精度观测对象ob从算式(1)的位置起移动(v_xΔt，v_yΔt)(在图中为ob_f的位置)。此外，在此期间，若车辆10以横摆角速度初始值γ_o、横摆角加速度a_c进行转弯运动，则时刻t2的车辆10的横摆角Ψ_f由算式(3a)给出。因此，时刻t2的从车辆10观察到的高精度观测对象ob的位置ob_f(x_f，y_f)使用横摆角Ψ_f从X－Y坐标变换为X_f－Y_f坐标，由此如下述这样表示。

这样一来，在精测传感器的观测时t2，从车辆10观察，高精度观测对象ob向图4C的位置ob_f移动，高精度观测对象ob的对象将来存在区域能预测为以位置ob_f(X_obf，y_obf)为中心的高精度观测对象ob的大小d的范围。如图4D所示，应该由精测传感器16实际观测的范围成为估计高精度观测对象ob_f的大小d的角度范围ps，角度范围ps成为将X_f－Y_f坐标变换为极坐标时的角度φ_min～φ_max之间。在此，高精度观测对象ob_f的中心位置的极坐标(r_f，φ_f)成为

r_f＝(x_obf ²+y_obf ²)^1/2……(8a)

φ_f＝tan^-1(y_obf/x_obf)……(8b)，

结果，应该由精测传感器16观测的角度范围ps能决定为

φ_min＝φ_f－tan^-1(d/(2r_f))……(9a)

φ_max＝φ_f+tan^-1(d/(2r_f))……(9b)

之间。

需要说明的是，在上述的对象将来存在区域的预测中，在能从GPS信息等实时地获取时间Δt内的车辆的转弯角Ψ_f时，也可以利用该获取到的值来代替算式(3a)的运算。此外，如果时间Δt内的转弯角Ψ_f是可忽略的程度，则也可以不执行算式(7)中的坐标的旋转运算。

(v)由精测传感器进行的对象将来存在区域的观测(步骤7)

如上所述，当预测对象将来存在区域，并且决定估计该对象将来存在区域的角度范围ps时，通过精测传感器来执行角度范围ps的观测。在此请求的分辨率优选作为在驾驶辅助控制或自动驾驶控制中利用的信息而被允许或满足的程度。

(vi)对象将来存在范围内的对象的识别(步骤8)

可以是，在精测传感器中得到的数据(通常为强度数据或亮度数据)被送向观测结果处理部，并在观测结果处理部中转换处理成能进行对象的识别的数据形式。然后，对象识别部对在观测结果处理部中得到的数据执行高精度观测对象的识别，更具体而言，以比通过粗测传感器得到的精度更高的精度来执行位置或存在范围、类别的确定、移动速度、移动方向的检测。

(vii)观测结果的输出(步骤9)

通过上述的粗测传感器的观测和精测传感器的观测，可以适当整合识别/检测出的对象的信息，并向对应的控制装置输出，以便在驾驶辅助控制、自动驾驶控制中使用。

这样一来，如上述的例子那样，根据本实施方式的系统，在使用粗测传感器和精测传感器来观察车辆的周围的车载传感器系统中，考虑由传感器感测的对象或车辆本身的运动来预测欲由精测传感器观测的对象的位置或存在区域，并在该预测出的位置或存在区域中实施精测传感器的观测，因此期待更可靠地执行想要以高精度进行观测的对象的观测。通过本实施方式的系统获取到的车辆周围的信息可以有利地用于车辆的驾驶辅助控制、自动驾驶控制等。

虽然与本发明的实施方式关联地进行了以上的说明，但对于本领域技术人员而言，可以容易地进行许多修正和变更，本发明并不仅限定于上述举例示出的实施方式，显然可以在不脱离本发明的概念的情况下应用于各种装置。