弱光传感器清洁

文档序号:1323468 发布日期:2020-07-14 浏览:4次 >En<

阅读说明:本技术 弱光传感器清洁 (Weak light sensor cleaning ) 是由 大卫·迈克尔·赫尔曼 阿什温·阿伦莫治 文卡特什·克里希南 于 2019-12-31 设计创作,主要内容包括:本公开提供了“弱光传感器清洁”。一种系统,包括具有视野的相机、定位成清洁所述相机的清洁设备以及通信地耦合到所述相机和所述清洁设备的计算机。所述计算机被编程为基于在来自所述相机的数据中感测外部光源相对于所述视野的轨迹来检测所述相机上的障碍物,并且在检测到所述障碍物时,激活所述清洁设备。(The present disclosure provides &#34;low light sensor cleaning. A system includes a camera having a field of view, a cleaning device positioned to clean the camera, and a computer communicatively coupled to the camera and the cleaning device. The computer is programmed to detect an obstacle on the camera based on sensing a trajectory of an external light source relative to the field of view in data from the camera, and activate the cleaning device when the obstacle is detected.)

弱光传感器清洁

技术领域

本公开总体上涉及车辆传感器,并且更具体地,涉及车辆传感器清洁。

背景技术

车辆通常包括传感器。传感器可以检测外部世界,例如车辆的周围环境的物体和/或特征,诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如,传感器可以是雷达传感器、扫描激光测距仪、光检测和测距(激光雷达)装置和/或图像处理传感器(诸如相机)。

雷达传感器和激光雷达装置由于会产生其自己的雷达波或光束,因此它们在白天和夜间以大致相同的方式执行,而相机因为依赖于来自环境的光,所以白天与夜间和/或黑暗条件下相比,以不同方式执行。夜间成像的特征可能在于:由于夜间较低的感光度而在图像中出现较高的噪点、由于夜间场景的动态范围较高而导致图像的一些部分曝光不足或过度曝光、以及可以用作地面实况来源的已知光学特征的数量减少。这些问题会使得与白天相比,夜间在相机上检测到灰尘、雨滴、昆虫撞击、鸟类排泄物或其他碎屑变得更加困难。

发明内容

下文所述的系统提供了一种解决方案,其通过帮助保持相机清晰无碎屑来提高夜间相机的性能。所述系统可以在弱光条件下检测相机的障碍物。所述系统有利地提供了碎屑的被动检测;换句话说,系统分析相机和其他传感器已经产生的数据以检测碎屑,而不是激活部件来进行检测。被动检测效率高,并且干扰其他系统的可能性小。所述系统可以在出现障碍物时检测到障碍物,同时产生较低的误报率,从而在有用时激活清洁,并且在无用时更好地节省资源。

一种系统包括具有视野的相机、定位成清洁所述相机的清洁设备以及通信地耦合到所述相机和所述清洁设备的计算机。所述计算机被编程为基于在来自所述相机的数据中感测外部光源相对于所述视野的轨迹来检测所述相机上的障碍物,并且在检测到所述障碍物时,激活所述清洁设备。

所述系统还可以包括定位成照亮相机的灯,并且所述计算机还可以被编程为:在检测到障碍物时并且在激活清洁设备之前,激活灯,并且然后当在灯被激活时相机所拍摄的图像中检测到障碍物时,激活清洁设备。

所述系统还可以包括车辆,所述车辆包括相机、清洁设备和计算机。

计算机包括处理器和存储指令的存储器,所述指令可由所述处理器执行以基于感测外部光源相对于相机的视野的轨迹来检测相机上的障碍物,在检测到障碍物时,激活清洁设备以清洁相机。

可以基于沿外部光源的轨迹的光强度来检测障碍物。所述指令还可以包括用于确定沿轨迹的预期光强度的指令。可以响应于确定在沿轨迹的点处光强度与预期光强度之间的差高于阈值,发生检测障碍物。

可以响应于确定对于沿所述轨迹的点光强度与预期光强度之间的差高于强度阈值至少阈值量的次数,发生检测障碍物。

所述指令还可以包括用于基于跟踪包括所述外部光源的所述轨迹的外部光源的多个轨迹来产生光强度与预期光强度之间的差的映射图的指令。

所述指令还可以包括用于在确定对于至少一些所述轨迹所述外部光源被外部物体阻挡时忽略所述外部光源的指令。用于确定外部光源被外部物体阻挡的指令可以包括用于考虑从至少一个非相机传感器接收的数据的指令。

所述指令还可以包括用于在确定外部光源周期性地闪烁时忽略外部光源的指令。

用于基于感测外部光源的轨迹来检测相机上的障碍物的指令可以包括仅在环境光强度低于强度阈值时才检测障碍物的指令。

所述指令还可以包括以下指令:在检测到障碍物时并且在激活清洁设备之前,激活灯以照亮相机,并且然后,当在灯被激活时相机所拍摄的图像中检测到障碍物时,激活清洁设备。

一种方法包括基于感测外部光源相对于相机的视野的轨迹来检测相机上的障碍物,在检测到障碍物时,激活清洁设备以清洁相机。

可以基于沿外部光源的轨迹的光强度来检测障碍物。所述方法还可以包括确定沿轨迹的预期光强度。可以响应于确定在沿轨迹的点处光强度与预期光强度之间的差高于阈值,发生检测障碍物。

可以响应于确定对于沿所述轨迹的点光强度与预期光强度之间的差高于强度阈值至少阈值量的次数,发生检测障碍物。

仅当环境光强度低于强度阈值时才发生基于感测外部光源的轨迹来检测相机上的障碍物。

附图说明

图1是示例性车辆的透视图。

图2是所述车辆的示例性相机的透视图。

图3是用于相机的示例性清洁设备的图。

图4是用于清洁系统的示例性控制设备的框图。

图5A和图5B是用于激活清洁设备的示例性过程的过程流程图。

图6是通过相机的视野的外部光源的轨迹的图。

图7是第一外部光源的预期的和实际的光强度的曲线图。

图8是第二外部光源的预期的和实际的光强度的曲线图。

具体实施方式

用于车辆30的系统32包括:至少一个相机34,其具有视野600;至少一个液体或空气清洁设备36、38,其被定位成清洁相机34;以及计算机40,其通信地耦合到相机34和液体或空气清洁设备36、38。计算机40被编程为基于在来自相机34的数据中感测外部光源相对于视野600的轨迹604来检测相机34上的障碍物,并且在检测到所述障碍物时,激活液体或空气清洁设备36、38。

参考图1,车辆30可以是任何乘用车或商用车,诸如汽车、卡车、运动型多用途车、跨界车、货车、小型货车、出租车、公共汽车等。

车辆30可以是自主车辆。车辆计算机可以被编程为完全地或者或在较小程度上独立于人类驾驶员的介入而操作车辆30。车辆计算机可以被编程为基于从相机34和/或非相机传感器42接收的数据来操作推进、制动系统、转向和/或其他车辆系统。出于本公开的目的,自主操作意指车辆计算机在没有人类驾驶员输入的情况下控制推进、制动系统和转向;半自主操作意指车辆计算机控制推进、制动系统和转向中的一者或两者,而人类驾驶员控制其余部分;并且非自主操作意指人类驾驶员控制推进、制动系统和转向。

参考图2,相机34检测在某个波长范围内的电磁辐射。例如,相机34可以检测可见光、红外辐射、紫外光或包括可见光、红外光和/或紫外光的某个范围的波长。举另一示例,相机34可以是飞行时间(TOF)相机,其包括用于照亮环境的调制光源并检测来自调制光源的反射光和环境光两者,以感测反射率幅度和到场景的距离。

车辆30包括用于相机34的壳体44。壳体44附接到车辆30的外部。壳体44包括孔46。壳体44包括用于每个相机34的一个孔46。每个相机34具有通过相应的孔46接收的视野600。出于本公开的目的,相机的“视野”被定义为相机从其接收电磁辐射的环境区域。

车辆30包括相机34。设置在壳体44中的相机34可以布置成共同覆盖相对于水平面的360°组合视野。相机34基本上不可移动地直接或间接地附接到壳体44。相机34固定在壳体44内部。每个相机34具有通过相应的孔46取向的视野600,并且相机34中的一个的视野600可以与周向上彼此相邻(即,紧挨着彼此)的相机34的视野600重叠。

车辆30可以包括灯48。灯48被定位成照亮相机34。每个灯48被定位成照亮一个相应的相机34。每个灯48被取向成使得灯48直接照射在相应的相机34处。灯48可以是适合于照射在相机34处的任何照明设备,例如,发光二极管(LED)、钨、卤素、高强度放电(HID)(诸如氙气)、激光等。

参考图3,车辆30包括液体清洁设备36。车辆30的液体清洁设备36包括贮器50、泵52、液体供应管线54和液体喷嘴56。贮器50、泵52和液体喷嘴56彼此流体地连接(即,流体可以从一者流向另一者)。液体清洁设备36将存储在贮器50中的清洗液分配到液体喷嘴56。“清洗液”是指存储在贮器50中用于清洁的任何液体。清洗液可以包括溶剂、清洁剂、稀释剂(诸如水)等。

贮器50可以是可填充液体(例如用于清洁窗户的清洗液)的箱。贮器50可以设置在车辆30的前方,具体地说,设置在乘客舱前方的发动机舱室中。贮器50可以包括加热元件(未示出),诸如电阻加热器,以防止清洗液冻结或将清洗液保持在用于清洁的最佳温度。贮器50可以存储清洗液仅用于为相机34供应或也用于其他目的,诸如供应至挡风玻璃或其他传感器。

泵52可以以足够的压力迫使清洗液通过液体供应管线54到达液体喷嘴56,从而使清洗液从液体喷嘴56喷出。泵52流体地连接到贮器50。泵52可以附接到贮器50或设置在贮器50中。

液体供应管线54从泵52延伸到液体喷嘴56。液体供应管线54可以是例如柔性管。

壳体44包括液体喷嘴56。如图2所示,每个液体喷嘴56对准相应的孔46和相机34(即,取向成在相应的孔46和相机34处排放),并且因此每个液体喷嘴56被定位成清洁相应的相机34。

车辆30包括空气清洁设备38。空气清洁设备38包括压缩机58、过滤器60、空气供应管线62和空气喷嘴64。压缩机58、过滤器60和空气喷嘴64通过空气供应管线62按顺序彼此流体地连接(即,流体可以从一者流到另一者)。

压缩机58通过减小气体的体积或通过迫使附加的气体成为恒定的体积来增加气体的压力。压缩机58可以是任何合适类型的压缩机,例如:正排量压缩机,诸如往复式压缩机、离子液体活塞压缩机、旋转螺杆式压缩机、旋叶式压缩机、滚动活塞式压缩机、涡旋式压缩机或隔膜压缩机;动态压缩机,诸如气泡式压缩机、离心式压缩机、斜流式压缩机、混流式压缩机或轴流式压缩机;或任何其他合适的类型。

过滤器60从流过过滤器60的空气中去除固体颗粒,诸如灰尘、花粉、霉菌、和细菌。过滤器60可以是任何合适类型的过滤器,例如纸、泡沫、棉、不锈钢、油浴等。

空气供应管线62从压缩机58延伸到过滤器60,并且从过滤器60延伸到空气喷嘴64。空气供应管线62可以是例如柔性管。

壳体44包括空气喷嘴64。如图2所示,每个空气喷嘴64对准相应的孔46和相机34(即,取向成在相应的孔46和相机34处排放),并且因此每个空气喷嘴64被定位成清洁相应的相机34。

参考图4,非相机传感器42可以检测车辆30的位置和/或取向。例如,非相机传感器42可以包括全球定位系统(GPS)传感器;加速度计,诸如压电或微机电系统(MEMS);陀螺仪,诸如速率、环形激光或光纤陀螺仪;惯性测量单元(IMU);和磁力计。非相机传感器42可以检测外部世界,例如车辆30的周围环境的物体和/或特征,诸如其他车辆、道路车道标记、交通信号灯和/或标志、行人等。例如,非相机传感器42可以包括雷达传感器、扫描激光测距仪以及光检测和测距(激光雷达)装置。

车辆30包括计算机40。计算机40是基于微处理器的控制器。计算机40包括处理器、存储器等。计算机40的存储器包括用于存储可由处理器执行的指令以及用于电子地存储数据和/或数据库的介质。计算机40可以与车辆计算机相同,或者可以是与车辆计算机通信的单独的计算机。

计算机40可以通过通信网络66(诸如控制器局域网(CAN)总线、以太网、WiFi、局域互连网(LIN)、车载诊断连接器(OBD-II))和/或任何其他有线或无线通信网络发送和接收数据。计算机40可以经由通信网络66通信地耦合到相机34、非相机传感器42、空气清洁设备38、液体清洁设备36、灯48和其他部件。

相机34通过通信网络66将数据传输到计算机40。数据是相应相机34的视野600的一系列图像帧。每个图像帧是像素的二维矩阵。每个像素的亮度或色彩被表示为一个或多个数值,例如,光强度的标量值,或者红色、绿色和蓝色中的每一者的值,例如,每者以8位为标度(0到255)或12位或16位为标度。像素可以是多个表示的混合,例如,三个像素和具有三个色彩数值的第四像素的强度的标量值的重复图案,或某种其他图案。图像帧中的位置,即在记录图像帧时相机34的视野600中的位置,可以以像素尺寸或坐标指定,例如,一对有序的像素距离,诸如来自视野600的顶部边缘的多个像素和来自视野600的左侧边缘的多个像素。

图5A和图5B描绘了过程流程图,所述过程流程图示出了用于为相机34中的一个相应相机激活液体或空气清洁设备36、38的示例性过程500。计算机40的存储器存储用于执行过程500的步骤的可执行指令。作为过程500的总体概述,计算机40在来自相机34的图像数据中识别并跟踪外部光源;如果存在遮挡或如果外部光源是闪光灯,则排除外部光源;确定沿外部光源的轨迹604的强度与预期强度之间的偏差;并且如果每个像素的误差数量高于阈值,则激活液体或空气清洁设备36、38。可以针对每个相机34单独地执行过程500。

过程500在框502中开始,其中计算机40接收传感器数据。计算机40通过通信网络66从相机34接收图像数据。计算机40还通过通信网络66从非相机传感器42接收数据,所述非相机传感器提供外部环境的三维映射图。例如,可以通过来自激光雷达和/或雷达传感器的数据的传感器融合来产生数据。

接下来,在决策框504中,计算机40确定环境光强度是否低于强度阈值。环境光强度是周围环境的光强度,如相机34对周围环境所拍摄的图像数据所确定。计算机40例如通过对每个像素的红色、绿色和蓝色值求平均值来确定所述每个像素的强度值;确定图像数据的像素上的平均强度值;并且将该平均强度与强度阈值进行比较。可以选择强度阈值以表示比黄昏或夜间存在的光稍强的光。如果环境光强度高于强度阈值,则过程500返回到框502以继续监测图像数据。如果环境光强度低于强度阈值,则过程500前进到框506。

在框506中,计算机40检测图像数据中的失真效应。例如,计算机40可以使用已知的算法来检测镜头眩光或镜头光晕。作为一种示例性算法,计算机40可以将图像帧转换为灰度;使用一定范围的阈值对图像帧进行二值化;检测由二值化阈值的范围所产生的图像帧之间的轮廓,以限定斑点,即,图像帧的连续部分;在二值化图像帧上合并对应的斑点;并根据诸如圆度、凸度、惯性和使用一组测试图像调整的区域等标准对合并的斑点进行滤波。

接下来,在决策框508中,计算机40确定图像数据是否包括任何失真效应。例如,在从框506继续示例性算法时,计算机40可以确定来自二值化图像帧的合并斑点是否满足标准。如果不存在失真效应,则过程500前进到框512。如果存在失真效应,则过程500前进到框510。

在框510中,计算机40处理图像数据以去除失真效应,例如,众所周知。例如,对于在框506和508中使用示例性算法检测到的镜头眩光或光晕,计算机40识别填充前部,即,要被填充的镜头眩光区域的轮廓;识别区域的优先级补丁,诸如连续形成强烈对比边缘的区域;在图像数据中搜索具有良好示例性的已知补丁;并从最佳补丁中选择像素以填充该区域。

接下来,或者在决策框508之后,如果不存在失真效应,则执行框512。在框512中,计算机40识别外部光源。出于本公开的目的,“外部光源”被定义为与车辆30分离的产生在图像数据中表示的光的实体。例如,计算机40在图像数据(例如最新的图像帧)中搜索满足尺寸和强度标准的区域。例如,所述区域必须是都在强度阈值以上的连续像素的足够紧凑的区域,并且所述区域中的像素数量必须在下限与上限之间。可以将强度阈值选择为包括多种类型的已知光源(诸如其他车辆的前灯、街灯等),但通常排除漫反射灯。可以基于已知光源在测试图像中出现的尺寸来选择下限和上限。举另一示例,计算机40可以使用来自非相机传感器42的三维映射图数据来选择可能包括外部光源的物体,诸如其他车辆。然后,计算机40可以监测与外部光源的所选物体相对应的视野600的区域,而不是视野600的整个区域。为了排除车辆30的光源(即,非外部光源),计算机40的存储器已经预先存储了视野600中那些光源将出现的位置(例如以像素尺寸表示),并且计算机40排除在那些位置的光源。

接下来,在框514中,计算机40确定外部光源是否是固定的,即,不移动的。计算机40查阅映射图数据以确定诸如街灯的已知外部光源是否与所识别的外部光源的位置一致。例如,计算机40可以识别沿从相机34到外部光源的方向的物理位置线,并且查阅映射图数据以检查街灯等是否位于沿物理位置线的某处。

接下来,在框516中,计算机40感测外部光源相对于相机34的视野600的轨迹604。换句话说,计算机40以像素尺寸绘制外部光源在视野600上所沿着的轨迹604。出于本公开的目的,“轨迹”是某些东西穿过视野600所沿着的路径,即,以像素尺寸测量。所述轨迹由外部光源的运动和车辆30的运动的组合引起。计算机40感测预设数量的图像帧的轨迹604,或者直到外部光源离开图像帧为止。可以选择预设数量的图像帧以提供足够的信息以在框518中准确地确定轨迹604,例如基于用于确定多个帧以准确地确定轨迹的测试。如图6所示,计算机40可能仅能够感测外部光源的轨迹604的一个或多个不连续部分602。

接下来,在框518中,计算机40确定外部光源的轨迹604。计算机40在轨迹604的不连续感测部分602之间进行内插以确定单个轨迹604,如图6所示。计算机40可以搜索模板轨迹库以找到最紧密匹配轨迹604的感测部分602的模板轨迹。为库选择的模板轨迹是经常遇到的轨迹,例如,从视野600中的中心点向视野600的边缘延伸的直线。另外或替代地,计算机40可以在数学上将函数(例如多项式函数或样条)拟合到轨迹604的感测部分602。另外或替代地,如果外部光源是固定的,则计算机40可以使用外部光源的已知物理位置和车辆30的运动来确定外部光源穿过视野600所沿着的轨迹604。另外或替代地,计算机40可以使用另一种已知的方法来进行物体跟踪,例如,基于内核的跟踪、轮廓跟踪、Kanade-Lucas-Tomasi跟踪等。

接下来,在决策框520中,计算机40确定对于轨迹604中的至少一些来说外部光源是否被外部物体阻挡,即,沿轨迹604是否存在遮挡。计算机40使用来自非相机传感器42的数据来检查是否有任何物体处于会阻挡来自外部光源的光在轨迹604的一部分处到达相机34的物理位置,所述一部分内插在轨迹604的感测部分602之间。如果存在遮挡,则计算机40忽略外部光源,并且过程500返回到框502以重新开始并识别新的外部光源。如果没有遮挡,则过程500前进到框522。

在框522中,计算机40记录沿轨迹604的光强度。计算机40确定每个图像帧的强度值。每个强度值由外部光源沿该图像帧中的轨迹604的位置内的像素的平均强度确定。计算机40通过例如对该像素的红色、绿色和蓝色值求平均来确定像素的强度。图7和图8描绘了相对于时间绘制的光强度702的两个示例。

接下来,在决策框524中,计算机40确定外部光源是否周期性地闪烁,例如闪光。计算机40确定光强度702下降到强度阈值以下并上升回到强度阈值之上的开始和停止时间,并测量连续的开始时间和连续的停止时间之间的间隔。计算机40确定间隔是否遵循基本恒定的时段。例如,计算机40确定最大间隔和最小间隔是否在彼此的阈值内。所述阈值可以是最小间隔的百分比,或者可以是时间值。可以选择该阈值以包括已知的周期性闪烁灯,例如转向信号灯和铁路交叉口灯,但是不包括其他类型的开关灯。举另一示例,计算机40确定间隔的标准偏差是否低于阈值。可以选择该阈值以包括已知的周期性闪烁灯,例如转向信号灯和铁路交叉口灯,但是不包括其他类型的开关灯。图7描绘了不是周期性闪烁的外部光源的曲线图,并且图8描绘了周期性闪烁的外部光源的曲线图。如果外部光源周期性地闪烁,则计算机40忽略外部光源,并且过程500返回到框502以重新开始并识别新的外部光源。如果外部光源不闪烁或闪烁但不是周期性地,则过程500前进到框526。

在框526中,计算机40确定沿轨迹604的预期光强度704。计算机40绘制轨迹604的感测部分602的光强度702相对于时间的关系,并且在感测部分602之间进行内插以达到预期的光强度704。例如,计算机40可以在数学上将函数(例如多项式函数)拟合到轨迹604的感测部分602的光强度702。图7和图8各自描绘了沿轨迹604的预期光强度704和实际光强度702的曲线图。

接下来,在框528中,计算机40产生光强度702与预期光强度704之间的差的映射图。计算机40减去预期光强度704和实际光强度702,以获得随时间变化的一系列强度差。然后,计算机40将每个强度差映射到当时沿外部光源的轨迹604的位置(以像素尺寸表示)。该映射图可以累积来自过程500的多次迭代的强度差,即,来自跟踪包括外部光源的轨迹604的外部光源的多个轨迹的强度差。

接下来,在决策框530中,计算机40通过确定至少阈值数量的像素的误差数量是否高于误差阈值来检测相机34上的障碍物。当强度差高于强度差阈值时,像素出现“误差”。可以选择像素的阈值数量和误差阈值以最小化误报的频率。强度差阈值可以通过利用已知光源和相机34上的不同类型的碎屑测量强度下降来选择,以包括由碎屑引起的强度下降并排除其他的强度波动。如果计算机40在相机34上没有检测到障碍物,则过程500结束。如果计算机40在相机34上检测到障碍物,则过程前进到决策框532。

在决策框532中,过程500根据车辆30是否包括灯48而分支。如果车辆30不包括灯48,则过程500前进到框540。如果车辆30包括灯48,则过程500前进到框534。

在框534中,计算机40激活灯48以照亮相机34,即,将光照射在相机34处。

接下来,在框536中,计算机40接收当灯48被点亮时产生的图像数据。

接下来,在决策框538中,计算机40基于当灯48被激活时获取的图像数据来检测是否存在障碍物。计算机40检测碎屑上的光反射。例如,机器学习可以用于基于在灯48被点亮时在相机34上的不同类型的碎屑的一组测试图像来形成标准,并且计算机40可以将那些标准应用于图像数据。如果计算机40没有检测到障碍物,则过程500结束。如果当灯48被点亮时计算机40检测到障碍物,则过程500前进到框540。

在框540中,计算机40激活液体清洁设备36以清洁相机34。替代地或另外,计算机40激活空气清洁设备38以清洁相机34。计算机40可以激活液体清洁设备36持续预设时间,并且然后激活空气清洁设备38持续预设时间。在框540之后,过程500结束。

一般来讲,所描述的计算系统和/或装置可以采用多个计算机操作系统中的任一种,包括但决不限于以下各项的版本和/或变型:Ford应用程序、AppLink/SmartDevice Link中间件、Microsoft操作系统、Microsoft操作系统、Unix操作系统(例如,由加州红木海岸的Oracle公司发布的操作系统)、由纽约阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的Apple公司发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的黑莓有限公司发布的BlackBerry OS以及由谷歌公司和开放手机联盟开发的Android操作系统,或由QNXSoftware Systems供应的CAR信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式计算机、笔记本计算机、膝上型计算机或手持式计算机,或者一些其他计算系统和/或装置。

计算装置通常包括计算机可执行指令,其中所述指令可以由诸如上面列出的那些的一个或多个计算装置执行。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序编译或解译,所述编程语言和/或技术包括但不限于单独或组合的JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Python、Perl、HTML等。这些应用中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。一般而言,处理器(例如,微处理器)例如从存储器、计算机可读介质等接收指令,并执行这些指令,从而执行一个或多个过程,包括本文中描述的过程中的一个或多个。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。

计算机可读存储介质(也被称为处理器可读介质)包括参与提供可以由计算机(例如,由计算机的处理器)读取的数据(例如,指令)的任何非暂时性的(例如,有形的)介质。此类介质可以采取许多形式,包括但不限于,非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质(包括同轴电缆、铜线和光纤(包括具有联接至ECU的处理器的系统总线的导线))传输。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他任何光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储芯片或盒式磁带或计算机可以从中读取的任何其他介质。

数据库、数据仓库或本文所述的其他数据存储装置可以包括用于存储、存取和检索各种数据的各种机构,包括分层数据库、文件系统中的文件集、专用格式的应用程序数据库、关系型数据库管理系统(RDBMS)、非关系数据库(NoSQL)、图形数据库(GDB)等。每个此类数据存储装置通常包括在采用诸如上述那些操作系统中的一种操作系统的计算机操作系统的计算装置内,并且经由网络以各种方式中的任何一种或多种来访问。文件系统可以从计算机操作系统访问,并且可以包括以各种格式存储的文件。RDBMS除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外还通常采用结构化查询语言(SQL)。

在一些示例中,系统元件可以被实施为一个或多个计算装置(例如,服务器、个人计算机等)上的计算机可读指令(例如软件),存储在与其相关联的计算机可读介质(例如,磁盘、存储器等)上。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文描述的功能的此类指令。

在附图中,相同的附图标记指示相同的元件。此外,可以改变这些元件中的一些或全部。关于本文描述的介质、过程、系统、方法、启发等,应理解,虽然此类过程等的步骤已被描述为按照某一有序的顺序发生,但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解,可同时执行某些步骤,可添加其他步骤,或者可省略本文描述的某些步骤。换句话说,本文对过程的描述是为了说明某些实施例而提供的,而绝不应当被解释为限制权利要求。

因此,应理解,上文描述旨在是说明性的而非限制性的。通过阅读以上描述,除了所提供的示例之外的许多实施例和应用对于本领域技术人员来说将是显而易见的。不应参考以上描述来确定本发明的范围,而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。可以预期并期望本文讨论的技术未来将有所发展,并且所公开的系统和方法将并入到此类未来实施例中。总之,应理解,本发明能够进行修改和变化,并且仅受所附权利要求的限制。

除非本文作出相反的明确指示,否则权利要求中使用的所有术语旨在给出如本领域技术人员所理解的普通和通常的含义。具体地,除非权利要求叙述相反的明确限制,否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一者或多者。

已经以说明性方式描述了本公开,并且应理解,已经使用的术语旨在具有描述而非限制性词语的性质。鉴于以上教导,本公开的许多修改和变化是可能的,并且本公开可以与具体所描述不同的方式来实践。

根据本发明,提供了一种系统,其具有:具有视野的相机;定位成清洁相机的清洁设备;以及计算机,其通信地耦合到相机和清洁设备并且被编程为基于在来自相机的数据中感测外部光源相对于视野的轨迹来检测相机上的障碍物,并且在检测到障碍物时,激活清洁设备。

根据一个实施例,本发明的特征还在于定位成照亮相机的灯,其中所述计算机还被编程为:在检测到障碍物时并且在激活清洁设备之前,激活灯,并且然后当在灯被激活时相机所拍摄的图像中检测到障碍物时,激活清洁设备。

根据一个实施例,本发明的特征还在于车辆,所述车辆包括相机、清洁设备和计算机。

根据本发明,提供了一种计算机,其具有处理器和存储指令的存储器,所述指令可由处理器执行以:基于感测外部光源相对于相机的视野的轨迹来检测相机上的障碍物;并且在检测到障碍物时,激活清洁设备以清洁相机。

根据一个实施例,基于沿外部光源的轨迹的光强度来检测障碍物。

根据一个实施例,指令还包括用于确定沿轨迹的预期光强度的指令。

根据一个实施例,响应于确定在沿所述轨迹的点处光强度与预期光强度之间的差高于阈值,发生检测障碍物。

根据一个实施例,响应于确定对于沿所述轨迹的点所述光强度与所述预期光强度之间的差高于强度阈值至少阈值量的次数,发生检测障碍物。

根据一个实施例,所述指令还包括用于基于跟踪包括所述外部光源的所述轨迹的外部光源的多个轨迹来产生光强度与预期光强度之间的差的映射图的指令。

根据一个实施例,所述指令还包括用于在确定对于至少一些所述轨迹所述外部光源被外部物体阻挡时忽略所述外部光源的指令。

根据一个实施例,用于确定外部光源被外部物体阻挡的指令包括用于考虑从至少一个非相机传感器接收的数据的指令。

根据一个实施例,所述指令还包括用于在确定外部光源周期性地闪烁时忽略外部光源的指令。

根据一个实施例,用于基于感测外部光源的轨迹来检测相机上的障碍物的指令包括用于仅在环境光强度低于强度阈值时才检测障碍物的指令。

根据一个实施例,所述指令还包括以下指令:在检测到障碍物时并且在激活清洁设备之前,激活灯以照亮相机,并且然后,当在灯被激活时相机所拍摄的图像中检测到障碍物时,激活清洁设备。

根据本发明,一种方法包括:基于感测外部光源相对于相机的视野的轨迹来检测相机上的障碍物;以及在检测到障碍物时,激活清洁设备以清洁相机。

根据一个实施例,基于沿外部光源的轨迹的光强度来检测障碍物。

根据一个实施例,上述发明的特征还在于确定沿轨迹的预期光强度。

根据一个实施例,响应于确定在沿所述轨迹的点处光强度与预期光强度之间的差高于阈值,发生检测障碍物。

根据一个实施例,响应于确定对于沿所述轨迹的点光强度与预期光强度之间的差高于强度阈值至少阈值量的次数,发生检测障碍物。

根据一个实施例,仅当环境光强度低于强度阈值时才发生基于感测外部光源的轨迹来检测相机上的障碍物。

19页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于rviz实现多激光雷达点云对齐的高效静态标定方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!