具体实施方式

使用附图在以下说明本发明的实施方式。另外，虽然与所述发明目的有一部分重复，但是本实施方式的目的在于提供一种在标志的检测处理中按照限制解除的设计进行检测、并且能够抑制误判定为树或电线杆等的图案的摄像机装置。

图1是表示本实施方式的车载立体摄像机装置100(摄像机装置)的整体构成的框图。本实施方式的车载立体摄像机装置100是装载在车辆上、基于车辆前方的拍摄对象区域的图像信息来识别车外环境的装置。车载立体摄像机装置100进行例如道路的白线、行人、车辆、其他立体物、交通信号灯、标志以及照明灯等的识别，进行装载了该立体摄像机装置的车辆(自身车辆)的制动以及转向等的调整。

车载立体摄像机装置100具有：获取图像信息的、配置在左右的2个摄像机101、102以及用于控制摄像机101、102的拍摄并收进所拍摄到的图像的图像输入接口103。通过该接口收进的图像通过总线109发送数据，由图像处理部104、运算处理部105来处理。成为处理过程中的结果或最终结果的图像数据等存储在存储部106中。另外，为使附图易于观看，在图1中没有显示摄像机101、摄像机102等的控制线。

图像处理部104将从摄像机101的摄像元件中得到的第1画像和从摄像机102的摄像元件中得到的第2图像比较，对各自的图像进行由摄像元件引起的设备固有的偏差的修正、噪声插值等的图像修正，将这些存储在存储部106中。进一步地，图像处理部104计算在第1图像以及第2图像之间相互对应的部位，计算视差信息，以与之前相同的方式将这些存储在存储部106中。

运算处理部105使用存储在存储部106中的图像以及视差信息(相对于图像上的每个点的距离信息)，进行为了感知车辆周边环境所必需的各种物体的识别。各种物体是指人、车、其他障碍物、交通信号灯、标志、车的尾灯或车头灯等。这些识别结果或中间的计算结果的一部分以与之前相同的方式记录在存储部106中。运算处理部105在对拍摄到的图像进行各种物体识别处理后，使用这些识别结果来计算车辆的控制。

作为计算结果而得到的车辆控制方针、物体识别结果的一部分通过CAN接口107传给车载网络CAN(Controller Area Network控制器局域网)，由此进行车辆的制动。此外，关于这些动作，各个处理部是否未发生异常动作、在数据传输时是否未发生错误等由控制处理部108进行监视，成为防止异常动作的结构(构成)。

所述图像处理部104经由总线109(内部总线)连接到控制处理部108、存储部106、运算处理部105、图像输入接口103(与摄像机101、摄像机102的摄像元件之间的输入输出部)以及CAN接口107(与外部车载网络的输入输出部)。

图像处理部104、运算处理部105、存储部106、图像输入接口103、CAN接口107以及控制处理部108是由单一或多个计算机单元构成的。存储部106由存储器构成，该存储器例如存储由图像处理部104得到的图像信息、或由运算处理部105扫描出的结果所制作的图像信息等。CAN接口107将从车载立体摄像机装置100中输出的信息经由CAN110输出到自身车辆的其他控制系统。

图2表示车载立体摄像机装置100的处理流程。

左右的摄像机101、102拍摄图像。对于左右的摄像机101、102各自拍摄到的图像数据203、204的每一个，图像处理部104进行用于吸收摄像机101、102的摄像元件所具有的固有特性(图像失真等)的修正等图像处理205。该处理结果储存在图像缓冲存储器206中。图像缓冲存储器206设置在图1的存储部106中。

进一步地，图像处理部104使用修正后的2个图像，进行图像之间的对照(匹配)，由此进行得到由左右摄像机得到的图像的视差信息的视差处理207。通过左右图像的视差，明确了对象物体上的某个着眼点对应于左右摄像机的图像上的何处和何处，根据三角测量的原理，能够得到到对象物为止的距离。通过图像处理205以及视差处理207最终得到的图像以及视差信息储存在存储部106中。

运算处理部105进一步使用上述的存储好的图像以及视差信息，来进行各种物体识别处理209。作为识别对象的物体，有人、车、其他的立体物、标志、交通信号灯以及尾灯等，但是在识别时，运算处理部105根据需要来利用识别词典210。

进一步地，运算处理部105将物体识别的结果和自身车辆的状态(速度、舵角等)加以考虑地进行车辆控制处理211。车辆控制处理211为如下的处理：例如向乘员发出警告，进行自身车辆的制动或调整舵角等的制动或者以此来决定进行对象物的回避控制的方针，将该结果通过CAN接口107输出。

另外，如上所述，各种物体识别处理209以及车辆控制处理211在图1的运算处理部105进行，向CAN的输出在CAN接口107进行。这些各个处理各个手段是由例如单一或多个计算机单元构成，并被构成为能够相互交换数据。

图3是表示车载立体摄像机装置100的时序图。

在图3的时序图中，将大致2个系统的流程表示为301、302。301的流程表示图1的图像处理部104中的处理时刻，302的流程表示图1的运算处理部105中的处理时刻。首先，进行右图像输入303。这相当于图2中的摄像机102(右摄像机)进行图像拍摄，之后经过图像处理205，图像处理104将右图像储存在图像缓冲存储器206中为止的处理。

接下来进行左图像输入304。这相当于图2中的摄像机101(左摄像机)进行图像拍摄，经过图像处理205，图像处理部104将左图像储存在图像缓冲存储器206中为止的处理。接下来进行视差处理207。这相当于在图2中图像处理部104从图像缓冲存储器206中读出左右2个图像，通过进行2个图像之间的对照来计算视差，将计算得到的视差信息储存在存储部106为止的处理。此时，图像和视差信息已经在存储部106配齐。接下来运算处理部105进行各种物体识别处理209，进行车辆控制处理211，将其结果输出搬运到CAN。

图4A～图4C是用于说明标志识别功能的处理流程的图。

各种物体识别处理209包含标志识别处理209a。标志识别处理209a由圆检测处理406和识别处理407组成。图4A是经过图像处理205而储存在图像缓冲存储器206中的图像的一部分。图4B是为了在标志识别处理209a中使用而对图4A的图像进行图像处理后的处理结果，并且是在附近的浓淡变化较大的部分上具有亮度的图像。图4C是识别标志的基本处理流程的一个例子。

在标志识别处理209a中，首先使用图4B的图像，进行圆检测处理406。在圆检测处理406中，通过中心运算求出圆的中心。圆检测处理406分为中心推定的步骤408和半径推定的步骤409。

最初，在步骤408中进行中心的推定。从各个边缘向法线方向引线段404，将该线段的交点重叠一定数量以上的点推定为中心400(图4A)。另外，从中心400到规定半径为止可以省略边缘数量的计数。鉴于标志通常在直径30cm以上的情况或即使检测到位于非常远的标志也无法通过识别处理407来处理的情况，通过该运算省略区域能够降低运算负荷。

另外，由于进行标志识别处理209a的处理器等的硬件的处理能力的提高，可以为了识别位于非常远的标志并提高安全性而减小运算省略区域。在该例子中以圆形状的标志检测为例进行了说明，但是在后记的图形检测处理中，也可以检测矩形、八角形以及三角形等的标志。

图5是表示本发明的实施方式中的限制解除标志检测的处理流程。

限制解除标志(限制结束标志)的搜索是在各种物体识别处理209之中的标志识别处理209a的时刻进行的。在标志识别处理209a中，首先通过进行图形检测502，从储存了作为对象的帧的图像的图像缓冲存储器501中，提取速度标志、禁止超车等被称为主标志的标志候选组。

接下来，对于所提取的多个标志候选，将各个图案从图像中剪下并进行识别503。在进行识别时使用识别词典210，将二项判别树之类的弱识别器、最近邻算法或判别函数等强识别器等组合起来，来确认标志的种类。

在此，运算处理部105(处理器)作为识别主标志的主标志识别部而发挥作用。

接下来，在识别出的标志中，检测出容易与限制解除标志以共现关系出现的标志的情况下，如下所述，进行适合于限制解除标志的检测、判定的独自处理。面向限制解除标志的独自处理由斜线搜索504、斜线判定505以及面向限制解除标志的识别处理506构成。

斜线搜索504是基于从作为识别对象的帧图像中提取边缘分量而得到的边缘图像来检测位于限制解除标志的中央部分的斜线部分的处理。在此，运算处理部105(处理器)作为从图像中搜索斜线候选的搜索部而发挥作用。通过搜索作为限制解除标志的特征性设计的斜线能够提高限制解除标志的检测精度。另外，运算处理部105(搜索部)例如以主标志的被识别作为契机，搜索斜线候选。由此，能够适时地检测与主标志共现的限制解除标志的斜线。处理的具体内容如图6记述。

此外，斜线判定505是用于从检测出的斜线候选中辨别被认为是标志的斜线和被认为是电线或柱子等的斜线的处理。在此，运算处理部105(处理器)作为从检测出的斜线候选中选择限制解除标志的斜线候选，该限制解除标志表示与主标志对应的限制的解除的选择部而发挥作用，关于这点将使用图7在后描述。

进一步地，识别处理506是从选择出的限制解除标志的斜线候选的图像中识别限制解除标志的处理。运算处理部105(处理器)作为进行识别处理506的限制解除标志识别部而发挥作用。

图6A是表示图5所示的斜线搜索504(斜线检测)的处理概要的图。

对于作为对象的限制解除标志的图像例子601，决定横方向的扫描线602，以从左到右等确定为一个方向603的方向来进行图像扫描。扫描的图像是边缘图像。在欧洲或日本等地，限制解除标志是斜线的存在为特征的设计。通过观察边缘的方向、强度，辨别该斜线的左边缘604和右边缘605，进一步利用左边缘和右边缘在一定距离内来判定边缘对。

在此，运算处理部105(搜索部)在横方向上扫描图像，搜索左边缘和右边缘的对，将连续配置的2个以上的对检测为斜线候选。通过搜索至少2个像素以上的左边缘和右边缘的对，能够缩小限制解除标志的斜线候选。另外，作为斜线候选的左边缘和右边缘的对在无间隙地邻接的同时被连续地配置。

在边缘对中判定的距离(横方向的长度)是根据作为限制解除标志的搜索的契机的主标志的尺寸来确定一定范围，或如果是立体摄像机，能够使用到作为对象标志的标志为止的距离来换算。

具体地说，存储部106将主标志的尺寸和限制解除标志的斜线的横方向的长度的范围相关联地存储。运算处理部105(搜索部)搜索左边缘和右边缘之间的距离位于与主标志的尺寸相关联的限制解除标志的斜线的横向长度的范围内的左边缘和右边缘的对。由此，能够以与主标志的尺寸对应的限制解除标志的斜线的横向的长度来缩小斜线候选。

关于进一步提取的边缘对，如图6B所示，根据连续的边缘对的长度来锁定斜线的候选。使用图7来说明斜线的候选的锁定(选择)。作为斜线搜索(斜线检测)的输出信息，有边缘对的位置、长度、强度以及与周边部分的对比度、颜色分量以及线的粗细等。

图7的斜线判定(上限、下限判定)是对被认为是标志内的设计的斜线和电线或柱子等与标志无关的斜线分量进行判定的处理。基本的思考方法是利用边缘对的长度、粗细、与周边的对比度、色调等来判断。

在图7中，描述了基于长度的思考方法。长度有上限和下限，对于超过上限长度的边缘对，视为电线杆等长斜线而将其除外，对于低于下限长度的边缘对，视为花纹等短斜线而将其除外。

具体地说，存储部106将主标志的尺寸和限制解除标志的斜线的纵向的长度的范围相关联地存储。运算处理部105(选择部)选择检测出的斜线候选的纵向长度位于与主标志的尺寸相关联的限制解除标志的斜线的纵向长度的范围内的斜线候选。由此，能够防止限制解除标志的斜线的误检测。

问题在于怎样设定上限和下限。这是基于成为限制解除标志的搜索的契机的主标志的尺寸来设定的。一般来说，主标志的尺寸和限制解除标志容许的尺寸范围是根据行驶地区以及国家来规定的，能够使用该信息根据主标志的尺寸来推定作为限制解除标志容许的尺寸的上限、下限。关于行驶地区的信息，如图8所示，在与外部的位置信息系统的合作中也能够获得。

存储部106也可以进一步存储表示限制解除标志相对于主标志的位置的相对位置的信息。在这种情况下，运算处理部105(处理器)从与相对于被识别出的主标志的位置而言的限制解除标志的相对位置(例如：日本是在主标志的上方)相对应的图像的区域中搜索斜线候选。由此，搜索限制解除标志的斜线候选的区域被限定。其结果是，能够高效地搜索限制解除标志的斜线候选。

图8是用于说明在与GPS或地图信息的合作中用于得到限制解除标志的搜索的契机的结构(构成)的图。

将左摄像机801和右摄像机802作为起点进行图像处理805，通过视差处理807观察行驶路周边的区域来检测树林或森林等的侧道的立体物。进一步从GPS得到经度纬度信息，由于在立体摄像机内部具有国境的数据，通过国家判定处理来进行当前的行驶地区域的判定。进一步，从行驶日志809中得到行驶在哪个国家、当前朝向的方位是哪边、行驶时间段是什么时候等的信息。

在位于外部的位置信息传感器进一步具有高精细地图信息、道路的速度限制的区间信息的情况下，可以知道标志的出现位置、速度限制的切换位置，能够更详细地搜索限制解除标志。

通过与外部位置信息系统合作，虽然花费了系统投资成本，但是能够进行例如与在北欧、东欧以及南欧圈等设计有少许不同的限制解除标志的搜索参数(边缘对的粗细、倾斜度、对比度)相匹配的搜索、能够进一步进行控制曝光811。

通过进一步与详细的地图信息合作，在标志的出现位置、道路的速度区间的切换点，变更分配给边缘对的搜索的处理时间的比例等，由此能够利用限制解除标志的共现状况来进行搜索。

具体地说，存储部106按行驶地区域来存储表示限制解除标志相对于主标志的位置的相对位置的信息。运算处理部105(搜索部)从与每个行驶地区域的限制解除标志相对于被识别出的主标志的位置的相对位置相对应的图像的区域中搜索斜线候选。由此，根据行驶地区域来限定搜索限制解除标志的斜线候选的区域。其结果是，能够高效地搜索限制解除标志的斜线候选。

例如在欧洲，主标志和限制解除标志不共现，主标志的设置场所与限制解除标志的设置场所不同。在能够获取主标志和限制解除标志之间的区间的长度的情况下，运算处理部105(搜索部)也可以从和与主标志相距该区间的长度的位置(前方)相对应的图像的区域中搜索斜线候选。

如上所述，根据本实施方式，能够提高限制解除标志的检测精度。

另外，本发明并不限定于所述实施方式，也包含各种各样的变形例。例如，上述的实施方式是为了简单易懂地说明本发明而进行的详细说明，不一定限定于具备说明的全部构成。

在所述实施方式中，使用立体摄像机进行了说明，但是摄像机的数量是任意的。

此外，所述的各个构成、功能等可以例如通过用集成电路来设计等而以硬件来实现它们的一部分或全部。此外，所述的各个构成、功能等也可以通过处理器对实现各自功能的程序进行解释并实行而以软件来实现。实现各个功能的程序、表格以及文件等的信息能够放在存储器或硬盘、SSD(Solid State Drive)等的记录装置，或IC卡、SD卡以及DVD等的记录介质中。

另外，本发明的实施方式也可以有以下形态。

(1).一种摄像机装置，具备：圆形物信息获取部(圆检测部)，其从图像中得到圆形物的信息；识别部，其对由所述圆形物信息获取部得到的所述圆形物进行第一标志的识别；搜索部，从所述图像中搜索所述圆形物周围的倾斜物；以及判定部，其基于由所述搜索部得到的所述倾斜物的信息和由所述识别部得到的所述第一标志的信息，进行关于所述倾斜物的第二标志的判定。

(2).在(1)中，所述搜索部在所述图像的横向上搜索左边缘和右边缘的对，在所述左边缘和右边缘的所述对形成有在上下方向上连续的倾斜的情况下，所述判定部基于根据关于所述圆形物的所述第一标志的上限值和下限值，对所述倾斜物进行所述第二标志的判定。

(3).在(1)或(2)所记载的摄像机装置中，限制解除标志的搜索处理不仅利用摄像机图像来进行，还与外部的GPS信息、地图信息等合作来进行，由此来设定限制解除标志的搜索的契机。

符号说明

100…车载立体摄像机装置

101、102…摄像机

103…图像输入接口

104…图像处理部

105…运算处理部

106…存储部

107…CAN接口

108…控制处理部

109…总线

203、204…图像数据

205…图像处理

206…图像缓冲存储器

207…视差处理

209…各种物体识别处理

209a…标志识别处理

210…识别词典

211…车辆控制处理

303…右图像输入

304…左图像输入

400…中心

404…线段

406…圆检测处理

407…识别处理

408…中心推定的步骤

409…半径推定的步骤

501…图像缓冲存储器

502…图形检测

503…识别

504…斜线搜索

505…斜线判定

506…识别处理

601…限制解除标志的图像例子

602…扫描线

603…一个方向

604…左边缘

605…右边缘

801…左摄像机

802…右摄像机

805…图像处理

807…视差处理

809…行驶日志

811…控制曝光。