阅读说明：本技术 车载照相机系统、车辆用灯具 (Vehicle-mounted camera system and vehicle lamp ) 是由 远藤修 真野光治 田中秀忠 于 2019-02-05 设计创作，主要内容包括：车载照相机系统(100)包括：照相机(110),其对车辆前方进行拍摄；以及处理器(120),其对照相机(110)的图像进行处理。处理器(120)将车辆前方的目标检测处理分类为期限较晚的任务与期限较早的任务来执行。(An in-vehicle camera system (100) includes: a camera (110) that takes an image of the front of the vehicle; and a processor (120) that processes an image of the camera (110). The processor (120) classifies the object detection processing in front of the vehicle into a task with a later time limit and a task with an earlier time limit for execution.)

车载照相机系统、车辆用灯具

技术领域

本发明涉及车载照相机系统。

背景技术

近年来，正在进行一种ADB(Adaptive Driving Beam：自适应远光灯)技术的导入，该技术基于车辆周围的状态来动态地、自适应性地控制远光的配光图案。ADB技术通过对车辆前方有无前行车、对向车(以下，称为前方车辆)或行人进行检测，并减少与车辆或行人对应的区域的光等，从而减少给车辆或行人造成的眩光。

为了实现ADB功能，需要：传感器，其测定车辆前方的状况；处理器，其处理传感器的输出以生成配光图案；以及光源，其根据配光图案来照射车辆前方。

作为被利用于汽车的传感器，照相机、LiDAR(Light Detection and Ranging：光探测与测量；Laser Imaging Detection and Ranging：激光成像探测与测量)、毫米波雷达、超声波声呐等可被列为候选。其中，照相机最为廉价，因此从现状看来，被采用得最为广泛，其中采用一种方法，其使照相机拍摄车辆前方所得到的图像中所包含的光点与车辆的头灯或尾灯(以下，统称为光源)进行图案匹配，由此来检测前方车辆。

[现有技术文献]

[专利文献]

专利文献1:日本特开2009-032030号公报

发明内容

[发明要解决的课题]

然而，在夜间拍摄的图像中，不仅包含前方车辆的光源，也包含其它光源(例如街灯、反射板、建筑物的照明)，对它们进行区别并非易事，在处理器中需要复杂的信号处理。当对前方车辆的检测延迟时，会给前方车辆造成眩光，因此需要高速的检测。由此，对于处理器，需要高速运算及专用图像处理引擎，并且会存在系统高成本化这样的问题。

本发明基于上述状况而完成，其一个方案的示例性目的之一在于车载照相机系统的低成本化。

[用于解决技术课题的技术方案]

本发明的一个方案涉及车载照相机系统。车载照相机系统包括：照相机，其对车辆前方进行拍摄；以及处理器，其处理照相机的图像。处理器将车辆前方的目标检测处理分类为期限较晚的任务与期限较早的任务来执行。

所谓目标，除了车辆、行人等交通参与者之外，还包含标识及道路形状等。例如，该检测所需的时间(允许延迟)根据前方车辆的种类(前行车、对向车)、其行驶位置、以及行驶状况等而不同。根据该方案，通过将车辆前方的目标检测处理分类为期限较晚的，即处理时间较长的任务与期限较早的，即处理时间较短的任务来执行，从而即使在使用处理速度较慢的廉价处理器的情况下，也能够在短时间内对应检测的目标高速地进行检测。

也可以是，期限较早的任务被以比期限较晚的任务更高的频率来调度。

也可以是，期限较晚的任务包含远方车辆的检测过程。也可以是，期限较晚的任务包含(i)直线/转弯的判定过程、(ii)远方区域的检测过程、(iii)远方光点的检测过程、以及(iv)远方光点的追踪过程中的至少一个。

也可以是，期限较早的任务包含较近车辆的检测过程。也可以是，期限较早的任务包含(i)高亮度区域的提取过程、(ii)高亮度区域的特征量的生成过程、以及(iii)基于特征量的车辆的检测过程。

本发明的另一方案也涉及车载照相机系统。车载照相机系统包括：照相机，其对车辆前方进行拍摄；以及处理器，其处理照相机的图像。处理器执行高速任务及低速任务，该高速任务针对所有的帧来处理照相机的图像，该低速任务以1次多帧的比例来处理照相机的图像。

也可以是，低速任务包含对相对较远的前方车辆进行检测的处理，高速任务包含对相对较近的前方车辆进行检测的处理。

本发明的另一方案涉及车辆用灯具。也可以是，车辆用灯具包括上述车载照相机系统。

[发明效果]

根据本发明，能够使车载照相机系统低成本化。

附图说明

图1是实施方式的车载照相机系统的框图。

图2的(a)～图2的(d)是对期限较晚的任务和期限较早的任务的一例进行说明的图。

图3的(a)～图3的(c)是对期限较晚的任务和期限较早的任务的另一例进行说明的图。

图4是表示实施方式的车载照相机系统的处理的流程图。

图5是对车载照相机系统的动作进行说明的时序图。

图6是实施方式的车辆用灯具的框图。

具体实施方式

以下，参照附图，基于优选的实施方式来对本发明进行说明。对于各附图所示的相同或等同的构成要素、构件、以及处理，标注相同的附图标记，并适当省略重复的说明。此外，实施方式并不对发明进行限定，仅为例示，实施方式所记述的一切特征或其组合不一定都是本发明的实质性内容。

图1是实施方式的车载照相机系统100的框图。车载照相机系统100包括照相机110及处理器120。车载照相机系统100对“前方车辆”进行检测。作为检测对象的“前方车辆”典型的是前行车及对向车的位置。

照相机110对车辆前方进行拍摄。处理器120接收照相机110的图像IMG，并进行车辆前方的目标检测。

处理器120包含CPU(Central Processing Unit：中央处理器)及GPGPU(GeneralPurpose Graphic Processor Unit：通用图形处理器)等，既可以是可利用程序来进行软件控制的通用的微机，也可以是AI(Artificial Intelligence：人工智能)芯片那样的专用的硬件。

处理器120将车辆前方的目标检测处理分类为期限较晚的任务与期限较早的任务来执行。

处理器120包括前处理部122、任务分配部124、高速任务执行部126、以及低速任务执行部128。另外，这些框表示处理器120的功能，并非作为可区别的硬件而存在。

前处理部122对照相机110的图像IMG实施前处理。在前处理中，包含噪声除去、二值化及基于标记的光点检测等。

任务分配部124将车辆前方的目标检测所包含的多个子过程分类为期限较晚的任务与期限较早的任务，并将其转移到高速任务执行部126及低速任务执行部128。高速任务执行部126执行期限较早的任务，低速任务执行部128执行期限较晚的任务。输出部130基于高速任务执行部126及低速任务执行部128的处理结果来输出前方车辆的信息。

典型的是，对于与检测变化速度较慢的对象、信息相关的子过程，能够设定较晚的期限，相反，对于与检测变化速度较快的对象、信息相关的子过程，需要设定较早的期限。例如，对于按照相机图像的每帧(或以其为准的速度)进行变化的对象或信息，将期限设定得较早。相反，对于跨多个帧地缓慢发生变化的对象或信息，能够将期限设定得较晚。

针对期限较晚的任务，对几个例子进行说明。

1.消失点(远方区域)的检测

图像所包含的光点从消失点(远方区域)产生并放射状地移动，或消失于消失点。因此，消失点的检测处理(子过程)对检测前方车辆较为重要。在此，消失点在直线路的情况下位于本车的正面前方(0°方向、12点方向)，而在弯路的情况下，消失点会从正面前方向右或左移动。可以说：不会有直线路突然变为弯路，或是弯路突然变为直线路的情况，它们会连续且缓慢地发生变化，因此，消失点移动的速度也比照相机的帧率(在30fps的情况下为33ms)更慢。因此，对于与消失点(远方区域)的检测有关的子过程，能够将期限设定得较晚。

2.直行、转弯的检测及判定

如上所述，直行及转弯也会跨多个帧地逐渐变化，因此对于与它们的检测相关的子过程，也能够使期限较晚。

3.远方区域的车辆检测

在将前方车辆的位置信息使用于ADB灯的情况下，目的是不造成眩光。当前方车辆距本车足够远时(例如300m以上的前方)，即使其检测较晚、即遮光较晚，眩光的影响也较小。因此，对于与远方区域所包含的光点相关的子过程，能够使期限较晚。例如，也可以是，将以消失点为中心的预定的角度范围作为远方区域。

接着，针对期限较早的任务进行说明。

4.接近本车的区域(接近区域)的车辆检测

前方车辆越接近本车，因检测延迟而造成眩光的风险就越高。换言之，越是接近的车辆，就越需要高速地进行检测。因此，对于与接近区域的光点相关的子过程，能够使期限较晚。例如，也可以是，将以消失点为中心的预定角度范围的外侧作为远方区域。

图2的(a)～图2的(d)是对期限较晚的任务和期限较早的任务的一例进行说明的图。在该例中，对直线路上的与对向车的会车进行说明。图2的(a)是从上方观察直线路所见的图。本车200在图中从右向左行进。在本车200的前方400m处，前行车202以与本车200相同的速度行驶。

对向车204依次向位置A、B、C靠近。将位置A、B、C处的对向车204记为204A、204B、204C以进行区别。另外，在此，为了简化说明，将本车200和前行车202的位置固定。在图2的(b)～图2的(d)中，示出对向车204存在于位置A、B、C时的照相机图像。

例如，在本车200和对向车204的速度为60km/h的情况下，相对速度为120km/h，从位置A到位置B需要9秒的时间。此外，从位置B到位置C约花费3秒。关于距中心的角度，在位置A处约为0.6°，在位置B处约为2.5°，在位置C处约为20°。

在直行的情况下，远方会成为画面中心。因此，也可以是，从画面中心起在左右预定的角度设定边界210，针对边界210内侧的区域所包含的光点，将期限设定得较晚，针对该边界210外侧的光点，将期限设定得较早。在将预定的角度设定为±2.5°的情况下，对于与图2的(a)中的位置B、C的对向车206B、206C的检测相关联的子过程，设定较早的期限。也可以是，针对与应将期限设定得较早的光点相关的子过程，以所有帧为对象，将期限设为33ms。

相反，对于与图2的(a)中的位置A的对向车204A的检测相关联的子过程，设定较晚的期限。此外，因为前行车202一直被包含在边界210的内侧，所以设定较晚的期限。也可以是，针对与应将期限设定得较晚的光点相关的子过程，将期限设为数百ms。例如也可以是，在期限设为200ms的情况下，每6帧将1张作为处理对象。

图3的(a)～图3的(c)是对期限较晚的任务和期限较早的任务的另一例进行说明的图。在该例中，对转弯处的与对向车的会车进行说明。在右转弯中，远方(消失点)会从画面中央向右侧移位，在左转弯中，远方(消失点)会从画面中央向左侧移位。关于直行、右转弯、左转弯的判定及远方的位置，既可以基于传感器信息来检测，也可以根据过去帧与当前帧的比较来进行检测。如上所述，对于与远方检测相关的子过程，能够设定为较晚的期限。

可以是，在转弯行驶时，以远方的位置为中心，在左右预定的角度设定边界210，对边界210的内侧设定较晚的期限，并对外侧设定较早的期限。

图4是表示实施方式的车载照相机系统100的处理的流程图。在此，关于较晚期限的任务(称为低速任务)，每多帧1次地将其作为对象来执行，关于较早期限的任务(称为高速任务)，以所有的帧为对象来执行。

高速任务S100包含输入处理S102。在输入处理S100中，取入照相机110的图像，并且取入其它传感器的输出或信息。

接着，执行取入的图像的前处理(S104)。前处理包含二值化及标记等，并提取光点。

判定是否为低速任务的周期(S106)，当为低速任务的周期时(S106中的“是”)，执行低速任务S200。例如以每6帧1次的比例执行低速任务。在不为低速任务的周期的情况下(S106中的“否”)，执行余下的高速任务。

在低速任务S200中，处理期限较晚的任务。具体而言，执行直行、转弯的判定(S202)。具体而言，根据传感器信息、以及过去与当前的帧的比较来进行直行、右转弯、左转弯的判定，并在为转弯的情况下计算曲率等。

接着，基于直行、转弯判定(S202)的结果来确定远方区域(上述的边界)(S204)。该边界如上所述被用于分配按期限较晚的任务和较早的任务的哪一者来处理光点。

接着，提取远方区域所包含的远方光点，并算出包含位置、形状、颜色、亮度等的特征数据(S206)。然后，通过以预定的算法来处理远方光点(S208)，从而对远方车辆进行判定(S210)。

例如也可以是，处理S208包含追踪远方光点并取得其轨迹的处理。具体而言，通过跨多个帧地建立特征数据相同的光点的链接来取得轨迹。

然后，也可以是，在处理S210中，在轨迹与远方车辆的轨迹一致的情况下，判定为远方车辆。另外，每6帧对远方光点的轨迹进行追踪。

当低速任务S200完成时，执行高速任务S100的剩余处理(S108～S114)。剩余处理涉及与远方区域外的光点相关的车辆判定。

首先，提取出远方区域外的高亮度区域(S108)。然后，针对提取出的高亮度区域，算出特征量(位置、面积、重心、明度、颜色等)(S110)。然后，基于高亮度区域的有无及其特征量，来判定有无车辆(S112)。最后，输出在处理S210或S112中检测到的车辆的信息。

另外，图4的流程图所包含的各处理的执行顺序能够在不对处理造成障碍的范围内进行替换。例如也可以是，处理S106及S200在处理S100的最后执行。

图5是对车载照相机系统100的动作进行说明的时序图。在该例中，高速任务的执行周期与帧周期相等，为33ms。此外，低速任务的执行周期为200ms，连续的6帧之一为处理对象。在图5中，将开头的帧号记为n，则第n+k×6帧(k＝0，1，…)为低速任务的处理对象。推而广之，低速任务能够以第n+k×m帧为对象。

以第i帧为对象的高速任务被调度到其后的第i+1帧期间内的一部分中。

此外，以第n+k×m帧为对象的低速任务在其后的m个帧期间n+k×m+1～n+(k+1)×m中，被调度到高速任务未被调度地空闲的时隙中。在图5的例子中，m＝6，与第n+k×6帧相关的低速任务在第n+k×6+1～n+k×6+5帧期间内被执行。

上述车载照相机系统100尤其能够良好地使用于车辆用灯具。图6是实施方式的车辆用灯具300的框图。车辆用灯具300除了上述车载照相机系统100之外，还包括配光图案生成部310及配光可变灯320。

配光可变灯320可采用公知技术或将来可利用的技术。例如，关于配光可变灯320，提出了阵列方式及扫描方式等。阵列方式的灯包括被阵列状地配置的多个半导体光源，并控制多个半导体光源各自的接通、关断及亮度。扫描方式的灯包括半导体光源、以及在车辆前方使半导体光源的出射光扫描的扫描光学系统，并与扫描的动作同步地控制半导体光源的接通、关断及亮度。

由车载照相机系统100检测到的前方车辆的信息被供给到配光图案生成部310。配光图案生成部310基于前方车辆的位置信息来生成配光图案PAT，该配光图案PAT由遮光区域(或减光区域)与照射区域的组合构成。

配光图案生成部310既可以安装于车载照相机系统100的与处理器120不同的处理器，也可以安装于相同的处理器。

以上，针对本发明，基于实施方式进行了说明。本领域技术人员应理解的是，该实施方式仅为例示，在它们的各构成要素或各处理过程的组合中，可能存在各种变形例，且那样的变形例也在本发明的范围之内。以下，针对这样的变形例进行说明。

期限较早的任务(高速任务)与期限较晚的任务(低速任务)的分类仅为例示，并不被限定。例如，也可以是，在处理器的处理能力有余裕的情况下，将与直行、转弯判定(图4的S202)、远方区域的检测(S204)相关的子过程分配给低速任务，并将与以远方的光点为对象的处理(S206、S208、S210)相关的子过程分配给高速任务。

虽然基于实施方式，使用具体的语句来说明了本发明，但是实施方式仅表示本发明的原理、应用的一个侧面，对于实施方式，在不脱离权利要求书所规定的本发明的思想的范围内，可接受变形例或配置的许多变更。

[附图标记说明]

100 车载照相机系统

110 照相机

120 处理器

122 前处理部

124 任务分配部

126 高速任务执行部

128 低速任务执行部

130 输出部

300 车辆用灯具

310 配光图案生成部

320 配光可变灯

[工业可利用性]

本发明涉及车载照相机系统。