阅读说明：本技术 具有水平校正的显示装置 (Display device with horizontal correction ) 是由 S·A·博格斯特罗姆 于 2018-06-06 设计创作，主要内容包括：本发明公开了一种用于车辆的显示系统,所述显示系统包括显示装置,该显示装置包括设置在车辆的乘客隔室中的屏幕。所述显示装置被配置成相对于所述车辆倾斜,并且包括被配置成输出加速度信号的惯性传感器。控制器与所述显示装置和成像器通信,所述成像器被配置成捕获在相对于所述车辆后方的视场中的图像数据。所述控制器可操作以接收所述加速度信号并从所述加速度信号识别重力方向。所述控制器还被配置成从所述图像数据识别参考方向,并生成调整后的图像数据,所述调整后的图像数据校正所述重力方向与所述显示装置的竖直轴线之间的所述显示装置的角偏移。(A display system for a vehicle includes a display device including a screen disposed in a passenger compartment of the vehicle. The display device is configured to tilt relative to the vehicle and includes an inertial sensor configured to output an acceleration signal. A controller is in communication with the display device and an imager configured to capture image data in a field of view rearward relative to the vehicle. The controller is operable to receive the acceleration signal and identify a direction of gravity from the acceleration signal. The controller is further configured to identify a reference direction from the image data and generate adjusted image data that corrects for an angular offset of the display device between the direction of gravity and a vertical axis of the display device.)

具有水平校正的显示装置

技术领域

本公开大体上涉及一种用于车辆的显示系统，且更确切地涉及一种提供相对于车辆的后方视图的显示系统。

发明内容

根据本公开的一个方面，公开了一种用于车辆的显示系统。所述系统包括显示装置，所述显示装置包括设置在车辆的乘客隔室中的屏幕。所述显示装置被配置成相对于所述车辆倾斜，并且包括被配置成输出加速度信号的惯性传感器。控制器与所述显示装置和成像器通信，所述成像器被配置成捕获在相对于所述车辆后方的视场中的图像数据。所述控制器可操作以接收所述加速度信号并从所述加速度信号识别重力方向。所述控制器还被配置成从所述图像数据识别参考方向，并生成调整后的图像数据，所述调整后的图像数据校正所述重力方向与所述显示装置的竖直轴线之间的所述显示装置的角偏移。所述控制器控制所述显示装置以显示调整后的图像数据。

根据本公开的另一方面，公开了一种用于在车辆显示器上显示图像数据的方法。所述方法包括检测所述车辆显示器相对于车辆的角定向，并捕获靠近所述车辆的视场中的图像数据。所述方法还包括检测所述图像数据中的至少一个特征，并基于所述至少一个特征识别参考方向。将所述参考方向与所述车辆显示器的角定向进行比较，以生成显示偏移。接着，使所述图像数据的显示定向偏移所述显示偏移，以生成偏移图像数据。在所述车辆显示器上显示所述偏移图像数据。

根据本公开的又一方面，公开了一种用于车辆的显示系统。所述系统包括显示装置，所述显示装置包括设置在车辆的乘客隔室中的屏幕。所述显示装置被配置成相对于所述车辆旋转，并且包括被配置成输出加速度信号的惯性传感器。控制器与所述显示装置和成像器通信，所述成像器被配置成捕获在相对于所述车辆后方的视场中的图像数据。所述控制器被配置成接收所述加速度信号并从所述加速度信号识别重力方向。所述控制器还被配置成识别所述图像数据中的多条车道线，并计算车道线的交点。基于所述车道线的交点，所述控制器识别所述图像数据中的地平线方向。所述控制器生成调整后的图像数据，所述调整后的图像数据校正重力方向与所述显示装置的竖直轴线之间的所述显示装置的角偏移，以及在所述显示装置上显示调整后的图像数据。

参考以下说明书、权利要求书和附图，所属领域的技术人员将进一步理解和了解本公开的这些和其它特征、优点和目的。

附图说明

根据详细描述和附图，将更完全理解本公开，在附图中：

图1是展示包括显示系统的车辆的内部的投影视图；

图2是展示显示系统的成像器的视场的俯视示意图；

图3A是显示系统的显示装置的示意图；

图3B是在显示系统的成像器的视场中捕获的图像数据的图；

图3C是显示装置显示校正显示装置的倾斜的图像数据的图；以及

图4是根据本公开的显示系统的框图。

具体实施方式

当前示出的实施例主要体现在与图像传感器系统及其方法相关的方法步骤和设备部件的组合。因此，已在适当之处通过图中的常规符号表示设备部件和方法步骤，仅示出与理解本公开的实施例有关的那些具体细节以免混淆本公开，本公开具有将对所属领域的技术人员来说是显而易见的且具有本文中的描述的益处的细节。此外，在说明书和附图中，相同的数字表示相同的元件。

在此文档中，例如，第一和第二、顶部和底部等关系术语仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示此类实体或动作之间的任何实际此类关系或次序。术语“包括(comprises、comprising)”或其任何其它变化意图涵盖非排他性的包含物，使得包括一系列元件的过程、方法、物品或设备并不仅包含那些元件，而是可以包含并未明确地列出的或并非此类过程、方法、物品或设备固有的其它元件。

参考图1和图2，示出了装备有显示系统12的车辆10。显示系统12包括成像器14，所述成像器被配置成捕获包括后向指向场景18的视场16。成像器14被配置成捕获对应于视场16的图像数据44，并将图像数据44显示在显示装置22上。在示范性实施例中，显示系统12可操作以检测装置22相对于重力的倾斜24或角偏移δ。如图1所示，显示装置22可包括惯性传感器40，所述惯性传感器被配置成检测相对于显示装置22的竖直显示轴线28的重力矢量26。因此，显示系统12可以被配置成测量显示装置22的角偏移δ。基于角偏移δ，显示系统12的控制器可以定向图像数据44以显示针对角偏移δ校正的调整后视图30(图3C中展示)。图1中显示的图像数据44未经校正以展示图像数据44在未经校正的情况下在显示装置22上的外观的示例。如本文进一步讨论的，系统12可以校正图像数据44以与重力齐平地显示，从而校正倾斜24。

惯性传感器40可对应于加速计或包括加速计。加速度计可包括3轴加速度计，并且可以被配置成以大致16位的分辨率测量大致+/-4g的范围。加速度计还可以可操作以在宽范围的温度中操作并且具有大致25Hz的有效采样率。因此，惯性传感器40可将加速度信号输出到显示系统12的控制器。基于加速度信号，控制器可识别重力矢量26，且计算相对于显示装置22的竖直显示轴线28的重力方向。因此，尽管在本文中描述为重力矢量26，控制器可利用重力矢量26识别相对于竖直显示轴线28或显示装置22的任何其它参考方向的重力方向。虽然本文论述了对应于加速度计的特定性能特征，但是可以根据控制器的具体精度、操作参数和车辆10的操作条件/环境利用各种加速度计。

在示范性实施例中，显示装置22可以对应于后视显示装置，其被配置成提供相对于车辆10的后向指向视图。在此配置中，显示系统12可操作以显示对应于车辆10后方的场景的所捕获的一系列图像。成像器14与控制器通信，且包括被配置成捕获呈像素信息形式的图像数据44的像素阵列。在本文讨论的各种实施方案中，显示系统12被配置成处理成像器14捕获的图像数据44，并应用至少一种图像分析技术来识别和显示校正后的视图。

参考图2，示出了展示视场16的车辆10的俯视图。如前所述，视场16可以相对于车辆10的前向操作方向34指向后向方向32。在此配置中，可以显示成像器14捕获的一系列图像以提供视场16的数字表示。可以调整视场16的数字表示，以模拟常规后视镜的操作。例如，当相对于后向方向32倾斜或成角度时，常规的镜子可以保持地平线的水平外观和从后向方向32反射的各种特征。因此，为了改善图像数据44在显示装置22上的外观，显示系统12可以处理和操纵图像数据44以维持与重力的关系，使得图像数据44看起来与地平线齐平。

参考图3A和图3B，分别示出了显示装置22和视场16的图。操作中，系统12的控制器可与惯性传感器40通信。惯性传感器40可设置在显示装置22的部件中或以其它方式作为该显示装置的部件并入。惯性传感器40可以被配置成检测相对于显示装置22的竖直显示轴线28的重力矢量26。类似地，惯性传感器40还可测量相对于任何其它参考方向的水平显示轴线42的重力矢量26。因此，显示系统12可以被配置成测量显示装置22相对于重力的角偏移δ。

响应于接收到角偏移δ，显示系统12的控制器可以定向来自视场16的图像数据44以显示如图3C所示的调整后视图30，这在以下描述中进一步讨论。控制器可基于地平线46或在从成像器14接收的图像数据44中检测到的参考方向50调整来自视场16的图像数据44。可响应于应用于图像数据44的一个或多个图像处理技术由处理器识别地平线46和/或参考方向50。这样，控制器可以被配置成确定参考方向50的方位或定向。尽管在各种示范性实施例中描述为是基于地平线46或参考方向50和重力矢量26生成的，但是系统12的控制器还可基于重力矢量26或地平线46独立地生成调整后视图30。例如，控制器可通过定向图像数据44以与重力矢量26竖直对准来对准图像数据44。另外，控制器可通过定向图像数据44以与地平线46水平对准来对准图像数据44。

在一些实施例中，可在控制器的初始化期间假定或配置参考方向50。例如，可以假定参考方向50平行于图像数据44的竖直轴线，其可垂直于图像数据44的水平轴线以近似地平线46。因此，如果控制器不能识别或不可操作以识别图像数据中的参考方向50，可以将参考方向50假定为图像数据的竖直轴线，其可由控制器对准以平行于重力矢量26。这样，参考方向50可与重力矢量26对准，而不需要在图像数据中识别参考方向50。基于假定或预配置的参考方向50，显示系统12的控制器可检测重力矢量26的变化并更新图像数据44以维持与重力的关系，使得图像数据44通常看上去与地平线齐平。

现在参考图3A、图3B和图3C，控制器可以被配置成在图像数据44中识别地平线46，以识别地平线46的角定向。可由控制器应用地平线46的角定向，以确定由惯性传感器40检测到的重力矢量26的参考方向50。因此，控制器可从图像数据44识别参考方向50，且将图像数据44调整或旋转到调整后的视图30，使得重力矢量26与参考方向50对准，如图3C所示。这样，控制器可以被配置成定向并在显示装置22的显示屏52上显示图像数据44，使得地平线46垂直于重力矢量26布置。换言之，通过使图像数据44的参考方向50与惯性传感器40测量的重力矢量26对准，系统12的控制器可以可操作以显示与地平线46齐平的图像数据44，而不管显示装置22相对于重力的角旋转或角偏移δ如何。

参考图3B，在操作中，控制器还可以利用在图像数据44中识别的地平线46的相对角度或斜率，以识别地平线46的旋转位移。为了识别视场16中地平线46和地平线的对应角定向，控制器可以被配置成利用各种算法和方法。例如，控制器可以被配置成利用自适应边缘检测过程识别道路54的车道和各部分，以便识别道路54的消失点56，其可与地平线46相交。另外，控制器可以被配置成利用边界对比度算法以通过检测图像数据44的一系列像素值的梯度阈值来检测地平线46。尽管本文讨论了特定图像处理方法，但介绍所述方法是为了解释而不是限制。这样，除非另有明确说明，否则本公开不应限于此类示范性实施例。

自适应边缘检测过程可利用边缘检测掩码来近似图像数据44中的像素位置处的梯度。如果像素符合强度值和梯度阈值的预定标准，控制器可以将像素识别为候选车道线像素。当处理与成像器14捕获的当前帧对应的图像数据44，候选车道线像素可以用于生成最佳拟合多项式以模拟道路54的车道线。在一些实施例中，最佳拟合多项式可对应于三阶多项式。这样，候选车道线像素可以用于生成左车道线模型54A和右车道线模型54B，其可以对应于道路54的两侧。左车道线模型54A和右车道线模型54B可以用于确定道路54的两侧的相交点，其可以对应于图像数据44中的消失点56。

控制器可利用地平线边界对比算法检测图像数据44中的像素组，以便识别地平线46。像素组中的每一个可对应于图像数据44中包含图像数据44的天空部分62与地面部分64之间的边界的邻接像素的部分或补片。地平线边界对比算法可分析天空部分62与地面部分64之间的对比度以确定地平线46的位置。可通过在图像数据中竖直计算像素强度以确定竖直梯度来分析对比度。竖直梯度捕获对应于天空部分62的像素和对应于地面部分64的像素的强度或像素值的差值。通过识别天空部分62和地面部分64的边界，控制器可以可操作以识别图像数据44中的地平线46。

在一些实施例中，控制器可识别图像数据44的各种特征以稳定和/或限制图像数据44和视场16的定向的变化。例如，控制器可以被配置成检测图像数据44中的一个或多个特征66或物体。特征66可以对应于地平线46、消失点56、树68、街道标志、车辆70，以及可由控制器检测的图像数据44的多个图像帧中的任何形式的物体。这样，控制器可以被配置成检测图像数据44中的多种物体以调整地平线46的变化，从而更新图像数据44在显示屏52上的定向。

在一些实施例中，地平线46的定向的变化可由于道路54的表面的波动(例如，起伏、坑洞、减速带等)产生。在此类情况下，控制器可以被配置成从第一帧到后一帧识别和/或跟踪图像数据44中的至少一个特征66。基于至少一个特征66，控制器可调整调整后的视图30的位置和/或定向，以稳定图像数据44中调整后的视图30的外观。在示范性实施例中，控制器可以可操作以检测一个或多个物体(例如，树68、车辆70等)，确定并调整角偏移δ以考虑至少一个物体或特征66的移动。在此类实施例中，一个或多个物体可由控制器选择性地利用以响应于在图像数据44中不可检测的消失点56和地平线46中的一个或多个而偏移调整后的视图30。

展示可在显示系统12中实施的各种检测技术的系统在以下文献中进一步详细讨论：Steven G Hoek等人于2013年7月11日提交的名称为“STAND ALONE BLIND SPOTDETECTION SYSTEM(独立式盲点检测系统)”的美国专利第9,767,695号；Oliver M.Jeromin等人于2011年10月17日提交的名称为“IMAGE ACQUISITION AND PROCESSING SYSTEM FORVEHICLE EQUIPMENT CONTROL(车辆设备控件的图像采集和处理系统)”的美国专利第8,924,078号；Jeremy C.Andrus等人于2010年2月1日提交的名称为“DIGITAL IMAGEPROCESSING AND SYSTEMS INCORPORATING THE SAME(数字图像处理及包括该数字图像处理的系统)”的美国专利第8,577,169号；Joseph S.Stam等人于2011年1月31日提交的名称为“IMAGE ACQUISITION AND PROCESSING SYSTEMS FOR VEHICLE EQUIPMENT CONTROL(车辆设备控件的图像采集和处理系统)”的美国专利第8,065,053B2号；Jeremy A.Schut等人于2012年3月28日提交的名称为“VEHICULAR IMAGING SYSTEM AND METHOD FORDETERMINING ROADWAY WIDTH(车辆成像系统和用于确定道路宽度的方法)”的美国专利第8,543,254B1号，这些专利以引用的方式整体并入本文中。

现在参考图3C，示出了显示装置22，其展示了调整了角偏移δ的图像数据44以显示调整后的视图30。如先前讨论的，控制器可以处理成像器14捕获的图像数据44以生成调整后的视图30。具体地，控制器可处理图像数据44以基于物体和/或地平线46识别参考方向50。用参考方向50，控制器可使图像数据44的参考方向50与来自惯性传感器40的重力矢量26对准。这样，显示系统12的控制器可以被配置成当显示装置22相对于地平线46或车辆10的操作平面倾斜或成角度时调整图像数据44以反映视场16的外观。

在示范性实施例中，控制器响应于车辆10相对于地平线46的定向变化和显示装置22相对于重力的定向变化而生成图像数据44的调整后视图30。在此类实施例中，控制器可以被配置成通过将重力矢量26与参考方向50对准来校正图像数据44的多个旋转偏移。这样，显示装置22的控制器可操作以校正显示装置22相对于车辆10的角定向且还校正车辆10相对于地平线46的角定向的变化。因此，显示系统12可以可操作以定向图像数据44，从而显示调整后的视图30，使得图像数据44将被显示为与重力齐平，以校正车辆10的操作表面的倾斜24和变化。

现参考图4，示出了显示系统12的框图。成像器14示出为与控制器82通信。成像器14的像素阵列可对应于互补金属氧化物半导体(CMOS)图像传感器，例如，CMOS有源像素传感器(APS)或电荷耦合装置(CCD)。像素阵列的像素中的每一个可对应于光电传感器、光电传感器的阵列或被配置成捕获光的任何传感器分组。控制器82可以包括处理器84，所述处理器可操作以处理在成像器14中以模拟或数字形式供应的图像数据44。例如，控制器82可以被实施为多个处理器、多核处理器，或处理器、电路和***处理装置的任何组合。

控制器82还可包括存储器86。存储器86可包括各种形式的存储器，例如，随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)和被配置成存储数字信息的其它形式的存储器。存储器86可以被配置成存储图像数据44以用于处理。处理图像数据44可包括缩放和裁剪图像数据44以在图像数据44输出到显示装置22的屏幕时调整所述图像数据的位置和表观尺寸。显示装置22包括可操作以显示调整后的视图30的屏幕。屏幕可以对应于任何形式的显示器，例如，发光二极管(LED)显示器、液晶显示器(LCD)、有机LED(OLED)显示器等。在一些实施例中，存储器86还可被配置成存储对应于多个所需视图的多个用户简档。

控制器82可以与多个输入通信。例如，控制器82可以经由车辆总线90与车辆控制模块88通信。车辆控制模块88可以与各种车辆控制、操作和娱乐系统通信。例如，控制器82可以可操作以基于经由车辆总线90接收的通信识别车辆操作条件、速度、方向、灯光或转向指示器状态等。可以使用任何合适的标准通信总线，例如，控制器局域网(CAN)总线实施车辆总线90。车辆总线90还可以被配置成将多种附加信息提供到控制器82。

如先前讨论的，惯性传感器40可对应于或包括加速度计。加速度计可包括3轴加速度计，并且可以被配置成以大致16位的分辨率测量大致+/-4g的范围。加速度计还可以可操作以在宽范围的温度中操作并且具有大致25Hz的有效采样率。因此，惯性传感器40可将加速度信号输出到显示系统12的控制器。基于加速度信号，控制器82可识别重力矢量26，且计算相对于显示装置22的竖直显示轴线28的重力方向。因此，尽管在本文中描述为重力矢量26，控制器82可利用重力矢量26识别相对于竖直显示轴线28或显示装置22的任何其它参考方向的重力方向。虽然本文论述了对应于加速度计的特定性能特征，但是可以根据控制器82的具体精度、操作参数和车辆10的操作条件/环境利用各种加速度计。

在一些实施例中，系统12还可与附加惯性传感器通信，所述附加惯性传感器被配置成将惯性数据或偏航传感器数据传达到控制器82。例如，附加惯性传感器可对应于与车辆控制模块88通信的陀螺仪或偏航传感器。另外，控制器82可以被配置成从车辆10的转向角传感器接收转向角数据。附加惯性数据和/或转向角可经由车辆总线90从车辆控制模块88传达。

操作中，控制器82可处理经由车辆总线90传送的附加惯性数据或转向数据以识别重力矢量26可能偏离真实重力方向的时间段或时机。例如，控制器82可处理附加惯性数据和/或转向数据以识别车辆10正在进行急转弯的时段，从而导致惯性传感器40检测到的重力矢量26由于离心力而偏离真实重力方向。因此，控制器82可以基于附加惯性数据和/或转向数据校正或过滤图像数据44的校正以准确地处理和显示调整后的视图30。这样，控制器82可以提高调整后的视图30的处理和生成的准确性。

应了解，本文中所描述的本公开的实施例可由一个或多个常规处理器和独特的存储程序指令构成，所述存储程序指令控制一个或多个处理器以结合某些非处理器电路实施如本文所述的图像传感器系统及其方法的功能中的某些、大部分或所有。非处理器电路可包含但不限于信号驱动器、时钟电路、电源电路和/或用户输入装置。或者，一些或所有功能可以通过不具有存储的程序指令的状态机实施，或在一个或多个专用集成电路(ASIC)中实施，其中每一功能或功能的一些组合实施为定制逻辑。当然，可以使用两个途径的组合。因此，本文中已经描述用于这些功能的方法和构件。此外，不管可能付出巨大努力以及由例如可用时间、当前技术和经济考量促动的许多设计选择，预期一般技术人员在由本文中所公开的概念和原理引导时将能够很容易地利用最少实验生成此类软件指令和程序以及IC。

本领域的技术人员应了解，上述部件可按本文中未明确描述的补充或替代方式组合。本领域的技术人员和应用本公开的教示的那些人将想到对本公开的各种实施方案的修改。因此，应理解，在附图中示出且在上文描述的实施例仅用于说明的目的，且并非旨在限制本公开的范围，本公开的范围由根据包含等同原则的专利法的原理解释的所附权利要求定义。