阅读说明：本技术 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法 (Camera system and the method that vehicle-periphery region is adaptably detected with ambient enviroment ) 是由 K·布罗伊尔 D·克勒克尔 于 2018-06-12 设计创作，主要内容包括：本发明涉及一种摄像机装置(1)以及一种方法,用于车辆周围环境区域的最佳检测。摄像机装置包括：光电子器件和图像采集控制单元(3),其设置用于,拍摄周围环境区域的图像序列(21、22、23；31、32、33),其中,光电子器件包括广角镜头和高分辨率图像拍摄传感器(2),以及光电子器件和图像采集控制单元(3)设置用于,在拍摄图像序列(21、22、23；31、32、33)期间,结合使用至少两个不同的图像拍摄传感器曝光模式与至少两种不同的像素合并模式。(The present invention relates to a kind of camera system (1) and a kind of methods, the optimum detection for vehicle-periphery region.Camera system includes: opto-electronic device and Image Acquisition control unit (3), and setting is used for, and shoots the image sequence (21,22,23 of surrounding area；31,32,33), wherein, opto-electronic device includes that wide-angle lens and high-definition picture shooting sensor (2) and opto-electronic device and Image Acquisition control unit (3) setting are used for, in shooting image sequence (21,22,23；31,32,33) during, at least two different image taking exposure sensor modes pixel combination mode different from least two is used in combination.)

摄像机装置及与周围环境相适应地检测车辆周围环境区域的 方法

技术领域

本发明涉及一种摄像机装置及以一种经优化的方式检测车辆周围环境区域的方法。此外，本发明涉及带有这类摄像机装置的车辆。

背景技术

为了实现例如交通标志识别或车道保持辅助等驾驶员辅助装置，摄像系统需要约50度的水平视角和约30度的垂直视角。然而，诸如停车在最前排时对横向交通或交通信号灯识别等新功能需要明显更大的视角，以便能对位于图像周边区域的目标的接近情况加以检测。与此相对，例如高度自动化驾驶或车道保持辅助要求即使在较远距离也能对目标和车道结构加以识别，为此需要相应的分辨率。

DE 102015208889 A1揭示了一种用于机动车辆周围环境成像的摄像机装置，包括用于拍摄像素图像的图像传感器装置以及处理器装置，该处理器装置设置用于，在经匹配的像素图像中对像素图像相邻像素进行合并。通过以2-x-2图像金字塔形式，以n-x-n图像金字塔形式或以m-x-n图像金字塔形式对相邻像素的像素值的合并能够以不同分辨率生成经匹配的不同像素图像。但相邻像素的像素值合并只能在像素图像预先规定的部分区域实施，其中，部分区域的位置和大小可被改变。

发明内容

如下所述，作为解决方案的一个出发点是用于检测自身车辆周围环境区域的摄像机装置。周围环境区域例如是指位于自身车辆行进方向前方、侧面和/或后面的周围环境区域。

摄像机装置有光电子器件，它设置用于，拍摄周围环境区域的图像序列。

光电子器件包括广角镜头。广角镜头优选带有例如相对于光轴至少+/-50度，尤其是至少+/-70度和/或最高+/-100度的水平和/或垂直视角。借助该广角镜头能对例如交叉路口区域等周边环境区域进行检测，以提前对交叉交通参与者进行目标分析评估。视角确定摄像机装置的视野(视场，简称FoV)。

光电子器件还包括高分辨率图像拍摄传感器。借助高分辨率的图像拍摄传感器尤其能实现目标的分析评估，例如远距离区域中的交通标志或车道的分析评估，由此尤其能对自身车辆至少50米处的远距离区域进行目标分析评估。高分辨率图像拍摄传感器尤其是指像素数量为几兆/百万像素，例如像素数量至少五兆像素，优选至少七兆像素，特殊情况下至少十兆像素的图像拍摄传感器。图像拍摄传感器优选具有以每厘米像素为单位的均匀分辨率。

高分辨率图像拍摄传感器迄今为止被归为不适合汽车技术领域内的使用，尤其是不适合与广角镜头结合使用的一类，因为这类传感器不能针对复杂的图像处理算法有效进行大量像素的处理。

根据本发明所述的用于检测自身车辆周围环境区域的摄像机装置包括光学电子器件和图像采集控制单元，光学电子器件和图像采集控制单元设置用于拍摄周围环境区域的图像序列。

光电子器件包括广角镜头和高分辨率图像拍摄传感器。光电子器件和图像采集控制单元设置用于或配置用于，在拍摄图像序列期间，结合至少两种不同的“像素合并模式”使用图像拍摄传感器至少两个不同的曝光模式。

不同曝光模式可在给定的周围环境亮度下例如通过不同的曝光时间调节设置。对给定的周围环境亮度，经常使用拍摄正常曝光图像的最佳曝光时间。曝光时间短于最佳曝光时间，会导致图像的曝光不足。但对其中有例如有源光源或被照射的猫眼反射体的光线强的周围环境区域，这就足够了或更好，因为在正常曝光时间，这些图像区域过度曝光。此外，通过更短的曝光时间也可将由自身车辆以及其中固定摄像机装置的高速自身移动造成的动态模糊(英语：motion blur)减小到最低程度。

相反，长于最佳曝光时间的曝光时间会生成曝光过度的图像。但这对能在昏暗周围环境中检测诸如车道旁的行人或动物等目标却很有帮助。

WO 2009/135460 A1揭示了一种用于对机动车辆中摄像机系统曝光控制的方法，其中，对不同驾驶辅助功能，可交替拍摄具有较长曝光时间的图像和具有较短曝光时间的图像。

像素合并是指将相邻像素合并成更大单元，例如，分别将两个水平相邻的像素合并成一个宽像素或分别将两个垂直相邻的像素合并成一个高像素，相对于最高分辨率的图像(未经像素合并的图像)这可降低分辨率，由此可更快实施图像的进一步处理。此外，相对于单一像素，经组合像素强度增加。因此，在一些情况下可缩短图像拍摄的曝光时间。

在2x2像素合并时，四个相邻像素合并成一像素正方形，在3x3像素合并中9个相邻像素构成一新像素，等等。

两种不同的像素合并模式例如是通过拍摄或生成未经像素合并的图像与经2x2像素合并的图像。由于未经像素合并的图像有极高的数据量，因此可选择一部分区域(感兴趣区域，ROI)被馈送至进一步处理。

像素合并在图像传感器(成像器)上就可以模拟或数字的方式实施。作为替代选择，像素合并也可在与图像传感器相连接的处理器单元中实施。这可在那里通过硬连线逻辑或借助程序/软件完成。所有情况下，原始的原图像被生成降低分辨率的匹配图像。

图像拍摄传感器两种不同曝光模式与两种不同像素合并模式结合使用的一种简单情况是，通过交替拍摄或生成经像素合并的短曝光时间图像与拍摄未经像素合并的长曝光时间图像来实现。

利用图像拍摄传感器的两种不同曝光模式和两种不同像素合并模式总的可实现四种不同的组合模式：经像素合并的短曝光；未经像素合并的短曝光；经像素合并的长曝光以及未经像素合并的长曝光。

图像采集控制装置至少相当于或是设计为成像控制(图像采集控制)的“控制程序”的处理单元(例如系统芯片，缩写为SoC)的一组成部分。图像采集控制装置的一项任务尤其是，通过光电子器件控制降低分辨率图像的生成或采集具有最大分辨率的一部分区域的图像。

根据一有益的实施方式，光电子器件和图像采集控制单元设置用于，根据曝光模式和像素合并模式组合按照预先规定的固定顺序进行图像序列的拍摄。

光电子器件和图像采集控制单元优选设置用于，采用三种不同的曝光模式拍摄图像序列：第一曝光模式带最佳曝光时间(正常曝光)，第二曝光模式带短于最佳曝光时间的曝光时间(曝光不足)以及第三曝光模式带长于最佳曝光时间的曝光时间(过度曝光)。

光电子器件和图像采集控制单元优选设置用于，预先规定第一像素合并模式，用于以降低的分辨率拍摄或生成经像素合并的“概况图像”，即摄像机装置整个检测区域的图像，以及第二像素合并模式，用于以摄像机装置最高分辨率拍摄未经像素合并的区域，即一图像部分(ROI(感兴趣区域))。

根据一有益的其他结构形式，光电子器件和图像采集控制单元设置用于，从至少一个先前经像素合并的拍摄中为未经像素合并的部分区域的拍摄确定曝光模式。只要经像素合并的概况图像已在多个不同曝光模式中被拍摄，则可为未经像素合并的部分区域的拍摄选择曝光模式，该曝光模式为感兴趣图像区域显示(尤其是鉴于对比度方面)最佳结果。

在另一有益的实施方式中，光电子器件和图像采集控制单元设置用于，以自适应方式进行“切换”(即，为一要拍摄图像预先规定一经更改的曝光和/或像素合并模式)，方式是根据下列方面，为拍摄或生成图像序列的图像预先规定一特定的像素合并模式和曝光模式，

-图像序列至少一个先前图像的图像分析评估结果；

-车辆数据(车辆运动数据，车辆速度......)和/或

-摄像机装置的系统状况(温度，处理器资源，......)。在该实施方式中，没有定义严格周期***替的组合曝光和工作模式。

根据当前交通情形或周围环境情形，一方面可预先规定，例如当前是否应拍摄或生成光电子器件整个检测区域经像素合并的“概况图像”，或拍摄或生成一预先规定部分区域或整个检测区域未经像素合并的图像。部分区域可根据位置、高度和宽度适应当前情形。此外，只要需要，可预先规定适应情形的曝光模式。

当前的交通情形或周围环境情形例如是：

-高速公路行驶

-长途行驶

-直线行驶

-蜿蜒行驶

-城市交通

-交叉路口情形

-交通信号灯控制

-斑马线

-超车操纵和/或

-(与固定障碍物，动态障碍物，行人，骑自行车者，动物等的)碰撞危险。

根据一优选实施方式，光电子器件和图像采集控制单元设置用于，根据如下情形选定图像序列中用所选曝光模式和像素合并模式拍摄/生成的哪幅图像被馈送至图像分析评估装置，

-图像序列至少一先前图像的图像分析评估结果，

-车辆数据和/或

-摄像机装置的系统状况。

如果在预先规定的组合模式中总是循环生成或拍摄三幅图像，但这三幅图像中只有一幅在图像处理范围内例如为目标识别而被分析评估，这样做特别有益。

光电子器件和图像采集控制单元优选设置用于，根据下列情况，在不同曝光模式中进行曝光时间或图像拍摄传感器其他参数的个性化匹配

-图像序列至少一先前图像的图像分析评估结果，

-车辆数据和/或

-摄像机装置的系统状况。

光电子器件和图像采集控制单元优选设置用于，作为图像分析评估的结果，确定车辆的周围环境、交通参与者和/或周围环境的灯光条件。

本发明还涉及一种借助摄像机装置检测自身车辆周围环境区域的方法，该方法包括

-借助光电子器件拍摄车辆周围环境区域的图像序列，其中，光电子器件包括广角镜头和高分辨率图像拍摄传感器，

-其中，在拍摄图像序列期间，与至少两个不同像素合并模式结合使用图像拍摄传感器的至少两个不同曝光模式。

附图说明

下面根据示意图更详细地解释本发明优选实施例。其中

图1以示意图方式展示借助图像采集控制单元检测自身车辆周围环境区域的摄像机装置1；

图2以不同曝光模式和像素合并模式拍摄或生成的、由三幅图像构成的图像序列，以及

图3由三幅图像构成的图像序列：一幅概况图像和两幅细节图像。

具体实施方式

图1以示意图方式显示借助带有广角镜头(未展示)、高分辨率图像传感器2以及图像采集控制单元3的光电子器件检测自身车辆周围环境区域的摄像机装置1的简图。

图像采集控制单元3为要拍摄的图像例如通过曝光参数—尤其是曝光时间t_i预先规定一曝光模式以及必要时以所定义的感兴趣区域(ROI，图像部分)预先规定像素合并模式。

像素合并是指多个相邻像素的合并以生成降低分辨率的图像。像素合并在图像传感器2上就可以模拟或数字的方式完成(箭头A1)。然而，作为替代选择，像素合并也可在与图像传感器2相连接的处理器单元中执行(虚线箭头A2)。这可在处理器单元中通过硬连线逻辑或借助程序/软件完成。从原始的原图(箭头C)生成一降低分辨率的匹配图像。

图像分析评估可输入原始图像，即具有最高分辨率的图像(箭头B1)或经匹配的图像(箭头B2)。

在不同模式组合的固定预定顺序中，图像采集控制单元3接受图像传感器2的信息，该信息包括原始图像被检测以及怎样检测的情况(箭头D)。图像传感器尤其将所拍摄图像的直方图数据输出到图像采集控制单元3。然后，图像采集控制单元3可为随后要拍摄的图像确定曝光模式和像素合并模式。

在此，对下一个要拍摄图像的曝光模式和像素合并模式的组合规定仅取决于时间，不取决于图像分析评估的结果或诸如车辆数据或摄像机装置1的系统状况等外部数据。图像采集控制单元3按预先规定的顺序周期性地进行曝光模式和像素合并模式组合的变换。

摄像机装置1两种最简单周期性变换的操作模式之一是拍摄或生成经像素合并、短时间曝光的图像与拍摄未经像素合并处理的长时间曝光的图像之间的变换。

然后，第二操作模式是拍摄未经像素合并、短时间曝光的图像与拍摄或生成经像素合并、长时间曝光的图像之间的变换。

总的来说，由此可展示各带两种曝光模式和像素合并模式的四种不同组合。

图2以范例性方式展示拍摄三幅图像构成的图像序列的实施例。第一图像21以一短于最佳曝光时间的曝光时间以及用一2x2像素合并(一个单元格相当于4个单一像素)的方式拍摄或由未经像素合并处理拍摄的图像生成。第二图像22以最佳曝光时间和未经像素合并处理的方式拍摄(由a1到a4四个像素表示)。第三图像23用一长于最佳曝光时间的曝光时间以及以2x2像素合并(单元格a)的方式拍摄。

在采集整个图像序列期间，该顺序可保持不变。

预先规定固定顺序的替代选择实施变型是，如图2所示采集所述三幅图像后，各曝光时间相应继续(第4幅图像曝光时间较短，第5幅图像曝光时间最佳，第6幅图像曝光时间较长)，但哪幅图像以未经像素合并的方式进行拍摄是变换进行的，例如，第6幅图像取代第5幅图像以未经像素合并的方式拍摄，随后第7幅图像(又以较短曝光时间拍摄)取代第8或第9幅图像以未经像素合并的方式拍摄。

图3应说明一种作为替代选择的优选实施例：

经像素合并的图像以最佳曝光时间拍摄(或从所拍摄图像中生成)作为第一图像31。该图像可能是在朦胧时分拍摄的。可示意性识别的是在第一图像中检测到的交通信号灯5和行人6。第一图像31可被馈送至图像处理装置，图像处理装置在图像31的图像区域35、36(ROI(感兴趣区域))识别到车辆周围环境潜在相关目标5、6或所述车辆周围的交通参与者。在图像分析评估中确定，带有交通信号灯5的区域35已被检测到过高的光强度。这是因为，交通信号灯5是一有源光源。图像分析评估还进一步表明，带有行人36的区域36检测到光强度较低，例如因为行人穿着深色服装。

这些信息由图像分析评估装置传送到图像采集控制单元3。图像采集控制单元3就确定，第二图像32是使用较短曝光时间拍摄的，并限于带有交通信号灯5的图像区域35，它是以未经像素合并的方式检测的。

图像采集控制单元3还确定，第三图像33是以较长曝光时间拍摄的，并是以未经像素合并的方式对带有行人6的图像区域36进行检测的。

第二和第三图像被馈送至图像处理装置，图像处理装置由于经优化的曝光和分辨率设置(或像素合并设置)确实可从第二和第三图像中识别相关目标，即转成绿色的交通信号灯5和要走到第一图像31的图像中心方向的行人6。在该图像分析评估的基础上，作为驾驶员辅助功能向车辆驾驶员发出一警告，因为有与行人发生碰撞的危险，尽管交通信号灯对车辆显示的是绿灯，但该行人可能会要穿越前方车道或交叉口。与传统摄像机装置相比，此方式可更快、更安全可靠地检测车辆前方周围环境以及周围交通。

图1示意性地说明可由图像采集控制单元3顾及的其他输入源。

从一先前所拍摄图像的图像分析评估可确定当前的光照条件(周围环境亮度)并可针对当前光照条件对曝光模式进行相应调节，以用于未来的图像。

可对摄像机装置的系统状况加以考虑，方法是例如在摄像机装置的温度超越一极限值时，图像采集控制单元3对曝光和工作模式进行调节，由此降低整套系统的能源和处理器需求。

要在拍摄图像中最佳避免动态模糊，图像采集控制单元3可接收车辆数据，尤其是诸如当前车辆速度等当前车辆运动的动态数据。基于该车辆数据又可匹配曝光时间。

在此情况下，可通过图像采集控制单元3预先规定，曝光模式，即用于光电子器件或图像传感器的曝光时间或其他参数仅针对循环图像序列的一幅图像进行匹配。在图2的示例中，例如第一图像21的曝光时间可根据当前车辆速度进行匹配，而第二图像21和第三图像23的曝光时间不随车辆速度变化。