具体实施方式

在详细描述根据本发明的实施例之前，应注意观察，实施例主要在于与用于确定车道标记的车辆系统有关的方法步骤和装置部件的组合。因此，装置部件与方法步骤在适当时已通过图中的常规符号表示，仅示出与理解本发明的实施例有关的那些特定细节，以免因对于受益于本文中的描述的所属领域的普通技术人员显而易见的细节而使本公开混淆不清。

在此文件中，例如，第一和第二、顶部和底部等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必需要或意指此类实体或动作之间的任何实际此类关系或次序。术语“包括(comprises)”、“包括的(comprising)”，或其任何其他变式旨在覆盖非排他性包含，使得包括一系列元件的过程、方法、制品或装置不但仅包括那些元件而且可包括未明确列出的或此类过程、方法、制品或装置固有的其他元件。前面有“包括……一”的元件在无更多限制的情况下不排除在包括该元件的过程、方法、制品或装置中存在另外的相同元件。

应该了解的是，此处所述本发明的实施例可以由一个或多个常规处理器及独特的所储存程序指令组成，所储存程序指令控制一个或多个处理器，与某些非处理器电路一起，执行本文所述的车辆系统和用于确定车道标记的方法的某些、大多数或所有功能。非处理器电路可以包括但不限于信号驱动器、时钟电路、电源电路和用户输入装置。因此，这些功能可以被解释为确定车道标记的方法的步骤。

或者，一些或所有功能可以通过不具有所存储程序指令的状态机实施，或在一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中实施，其中每个功能或某些功能的一些组合实施为定制逻辑。应理解，可使用任何数目种方法的组合。因此，本文中已经描述用于这些功能的方法和构件。此外，不管可能付出巨大努力以及由例如可用时间、当前技术和经济考量促动的许多设计选择，预期一般技术人员在由本文中所公开的概念和原理引导时将能够很容易地利用最少实验产生此类软件指令、程序和集成电路。

图1示出了根据所公开的实施例的示例性车辆控制系统100的框图。控制系统100可包括前向图像传感器105A、后向图像传感器105B、图像控制器110、处理器115、车道标记检测器120、车道偏离检测器125、后方车道投影电路130和车辆接口140。车道标记检测器120包括用于存储左车道标记边缘点的左缓冲器135和用于存储右车道标记边缘点的右缓冲器140。

前向图像传感器105A和后向图像传感器105B可以是包含电荷耦合装置或CMOS装置的相机。前向图像传感器105A和后向图像传感器105B还可以包括一个或多个光源，例如，近红外光源，并且通常可以操作以提供一系列图像帧。示例性图像传感器可包括以下专利中描述的那些图像传感器：名称为“Control Circuit for Image Array Sensors(用于图像阵列传感器的控制电路)”的第7,432,967号美国专利；名称为“Wide Dynamic RangeOptical Sensor(宽动态范围光学传感器)”的第6,008,486号美国专利；名称为“VehicleVision System(车辆视觉系统)”的第7,567,291号美国专利；名称为“Vehicle VisionSystem with High Dynamic Range(具有高动态范围的车辆视觉系统)”的第7,683,326号美国专利；名称为“Improved Vision System(改进的视觉系统)”的第7,423,821号美国专利；以及名称均为“Improved Imaging Device(改进的成像装置)”的第8,289,430和8,305,471号美国专利；所有这些专利均以引用的方式整体并入本文。

图像控制器110可以控制并接收来自前向图像传感器105A和后向图像传感器105B的数据，并且还可以用于执行预处理功能，例如图像自动曝光、动态范围压缩、滤波和颜色计算。

处理器115可以是使用例如一个或多个部件，例如FPGA，或离散部件和FPGA的组合等谨慎地配置或实例化的微处理器。处理器115可以从图像控制器106请求图像，并且还可以被启用以直接控制和接收来自前向图像传感器105A和后向图像传感器105B的图像。车道标记检测器120和车道偏离检测器125接收由前向图像传感器105A产生的图像帧，其中车道标记检测器120可操作以识别道路上的车道标记位置，并且车道偏离检测器125可操作以检测从行驶车道的偏离。后方车道投影电路130可以对来自车道标记检测器120和车道偏离检测器125中的一个或多个的数据进行操作，以提供车辆后面的车道的图像，该图像将被叠加在由后向图像传感器105B捕获的图像上。

在一些实施例中，车道标记检测器120、偏离检测器125和后方车道投影电路130可以在由处理器115可读的介质上包含的计算机代码中实施，并且处理器115可以被配置成执行车道标记和车道偏离检测，并提供车道的后方投影。在其它实施例中，车道标记检测器120、车道偏离检测器125和后方车道投影电路130可以体现为离散电路，包括一个或多个处理器、存储器、状态机、ASIC、FPGA或可以操作以执行本文所述功能的其它部件。

用于车道标记检测和车道偏离检测的典型系统可包括以下专利中描述的那些系统：名称为“Image Acquisition and Processing Systems for Vehicle EquipmentControl(用于车辆设备控制的图像采集与处理系统)”的第7,881,839号美国专利；名称为“Vehicular Imaging System and Method for Determining Roadway Width(车辆成像系统和用于确定道路宽度的方法)”的第8,543,254号美国专利；名称为“System and Methodfor Periodic Lane Marker Identification and Tracking(用于周期性车道标记识别和跟踪的系统和方法)”的第9,098,751号美国专利；以及名称为“Automatic VehicleEquipment Monitoring,Warning,and Control System(自动车辆设备监测、报警和控制系统)”的第9,230,183号美国专利；所有这些专利均以引用的方式整体并入本文。来自车道标记检测器120的信息可以投影以用于例如使用抬头显示器查看。

图6示出识别的左车道标记605和右车道标记610的示例性显示，该显示可以通过挡风玻璃观察或显示在车辆的挡风玻璃上。

车辆接口140可操作以从其它车辆系统接收各种车辆参数，包括诸如速度、俯仰、滚动、偏航、方向盘位置和车辆方向的参数，并将这些参数提供至车道标记检测器120、车道偏离检测器125和后方车道投影电路130。

图2描绘了并入所公开的实施例的车辆200的图。车辆200可包括：左侧外部后视镜组件205，右侧外部后视镜组件210，中心高位停车灯215，A柱220a、220b，B柱225a、225b，C柱230a、230b和内部后视镜组件235。应理解，外部后视镜组件205、210和内部后视镜组件235可以是自动调光电光镜，且可并入一个或多个显示器，如下文将解释的。还应理解，尽管前向图像传感器105A、图像控制器110、处理器115、车道标记检测器120和车道偏离检测器125可以定位在任何合适的位置中，但在一些实施例中，前向图像传感器105A、图像控制器110、处理器115、车道标记检测器120和车道偏离检测器125可位于以下各项中的任一个附近、上面或内部：左侧外部后视镜组件205，右侧外部后视镜组件210，中间高位停车灯215，A柱220a、220b，B柱225a、225b，C柱230a、230b和内部后视镜组件235。

在一些实施例中，前向图像传感器105A可以位于内部后视镜组件235的安装件上，并且在一个或多个实施例中，图像控制器110和处理器115可以与前向图像传感器105A共同定位。在一个或多个实施例中，后向图像传感器105B可位于中心高位停车灯215中，或位于车辆200的后部上的安装件245中。

图3描绘了根据所公开的实施例的左侧外部后视镜组件205的实例的各个部件。左侧外部后视镜组件205可包括电光镜元件305和安装在外壳315内的外部后视显示器310。左侧外部后视镜组件205还可包括一个或多个滤光器320、电连接、安装件和用于将外部后视镜组件300安装到车辆200且用于提供车辆200的侧后视图的其它部件。电光镜元件305可以是部分反射和部分透射的，使得由外部后视显示器310显示的信息是可见的。外部后视显示器310可利用LCD、LED、OLED、等离子、DLP或任何合适的显示技术，且至少操作以提供补充由电光镜元件305提供的反射图像的信息的覆盖。在一些实施例中，外部后视显示器310可以提供可由后向图像传感器105B提供的部分侧后视图，并且可以包括预测的车道标记指示，而在其它实施例中，外部后视显示器310可以提供包括预测的车道标记指示的整个侧后视图。应理解，右侧外部后视镜组件210可包括相同部件并且可提供相同的部分或完整视图。

图4示出了根据所公开的实施例的内部后视镜组件235的实例。内部后视镜组件235可包括电光元件405、包围内部后视显示器420的前屏蔽罩410和后屏蔽罩415、外壳425和安装构件430。内部后视镜组件235的电光镜元件405可以是部分反射和部分透射的，以便内部后视显示器410显示的信息对用户可见。内部后视显示器410可以利用LCD、LED、OLED、等离子、DLP或任何合适的显示技术，并且至少操作以提供补充由电光镜元件405提供的反射图像的信息的覆盖。在一些实施例中，内部后视显示器410可仅占据电光镜元件405的表面的一部分，且显示由后向图像传感器105B提供的包括预测的车道标记指示的部分后视图，而在其它实施例中，内部后视显示器410可以占据电光镜元件405的绝大部分或大致全部表面，并且可以提供由后向图像传感器105B提供的包括预测的车道标记指示的整个后视图。示例性内部后视镜组件可包括名称为“Display Mirror Assembly(显示镜组件)”的第9,598,018号美国专利和名称为“Full Display Mirror(全显示镜)”的第2017/00880055号美国专利申请中描述的那些内部后视镜组件，所有这些文献均以引用的方式整体并入本文中。

如上文所提及，后方车道投影电路130可以对来自车道标记检测器120和车道偏离检测器125中的一个或多个的数据进行操作，以提供车辆200后方的车道的显示。出于所公开的实施例的目的，相对于车辆200的坐标系根据三维坐标系来限定，所述三维坐标系的原点位于地面上的一个点，中心位于车辆200的两个后轮胎之间。坐标系中的每个点相对于原点根据(x，y，z)定义，其中x轴延伸到车辆的左侧和右侧，其中x是到车辆中心右侧的距离，以及-x是到车辆中心左侧的距离，y轴在车辆下方和上方延伸，其中y是低于地平面的距离，并且-y是高于地平面的距离，且z轴延伸到车辆的前部和后部，其中z是朝向车辆200的前部的距离，并且-z是朝向车辆200的后部的距离。后向图像传感器105B的位置和取向可相对于车辆的坐标系进行校准。另外，还可以校准后向图像传感器105B的焦距、光学中心和透镜畸变系数。

图5示出了用于预测车道标记将出现在车辆200后方的位置且为用户显示车道标记的过程500。

如方框505中所示，车道标记检测器120从前向图像传感器105A接收图像帧。当接收到每个新帧时，在相对于车辆200的坐标系内确定在图像帧中左车道标记上的点(被称为左边缘点)的坐标，并且将其存储在左缓冲器135中，如方框510中所示。在相对于车辆200的坐标系内确定在图像帧中右车道标记上的点(被称为右边缘点)的坐标，并且将其存储在右缓冲器140中，如方框515中所示。当接收每个帧时，后方车道投影电路130计算接收当前帧与先前帧之间的时间量，如方框520中所示。

在一些实施例中，前向图像传感器105、图像控制器110或处理器115可以在生成或检索帧时对帧加时间戳，并且车道标记检测器120可以使用时间戳来计算连续帧之间的时间量。在其它实施例中，车道标记检测器120可以参考时钟信号，或执行一些其它操作以计算接收帧之间的时间量。

如方框525中所示，车道标记检测器120对存储在左缓冲器135和右缓冲器140中的每个边缘点的坐标执行以下操作，以反映在接收当前帧与先前帧之间的车辆取向和位置变化：

使用以下矩阵围绕y轴旋转每个边缘点的坐标(偏航)

使用以下矩阵围绕x轴旋转每个边缘点的坐标(俯仰)

使用以下矩阵围绕z轴旋转每个边缘点(滚动)；以及

使用以下矩阵沿着z轴平移每个边缘点(速度)

替代地，对存储在左缓冲器135和右缓冲器140中的每个边缘点的坐标的操作可以被编译成单个矩阵乘法：

如方框530中所示，然后，可以从缓冲器移除由于车辆行进而超过距车辆特定距离的左缓冲器135和右缓冲器140中的点。作为非限制性实例，可以移除车辆200后方超过50米的点。

然后，模型可用于将线独立地拟合到每个缓冲器中的经修改的坐标，如方框535和540中所示。例如，在一些实施例中，可以使用针对给定z值计算X和Y值的一对多项式。例如，可以使用f_x(z)＝a₃z³+a₂z²+a₁z+a₀和f_y(z)＝b₃z³+b₂z²+b₁z+b₀。在其它实施例中，可以利用最小二乘回归、线性回归、Theil-Sen估计器或任何合适的建模技术来将线拟合到经修改的坐标。

如方框545中所示，模拟的拟合线接着可绘制在内部后视显示器410上显示的视图上。在一些实施例中，投影矩阵可用于确定与模拟的拟合线的点对应的后视显示器410的像素。图7示出了内部后视显示器410上示出的包括模拟的拟合线705、710的示例性视图。

可选地，拟合到左缓冲器中的经修改的坐标的线可以覆盖在由左侧外部后视镜组件205提供的视图中，如图8所示，拟合到右缓冲器中的经修改的坐标的线可以覆盖在由右侧外部后视镜组件210提供的视图中，如图9所示。还可以执行其它图像操作，例如增强模拟的拟合线周围的对比度，或增加亮度。

应注意，本文所述的实施例可以单独使用或以其任何组合使用。应理解，前述描述仅说明实施例。在不脱离实施例的情况下，本领域技术人员可以设计各种替代方案和修改。因此，本实施例旨在涵盖属于所附权利要求书范围内的所有此类替代方案、修改和变化。

当结合附图阅读时，鉴于前述描述，对相关领域的技术人员来说，各种变形和适应修改可能变得显而易见。然而，对所公开的实施例的教导的所有此类和类似修改仍将落入所公开的实施例的范围内。

本文所述的不同实施例的各种特征是一个与另一个地可互换的。根据本公开的原理，各种所描述的特征以及任何已知的等同物可以混合和匹配以构建另外的实施例和技术。

此外，在没有对应地使用其它特征的情况下，使用示例性实施例的一些特征可更有优势。因此，前述描述应被视为仅仅是对所公开的实施例的原理的说明而非对其的限制。