阅读说明：本技术 具有距离修正功能的测距装置 (Distance measuring device with distance correction function ) 是由 中村稔 高桥祐辉 渡边淳 于 2019-07-05 设计创作，主要内容包括：本发明提供一种具有距离修正功能的测距装置,具备：参照物体距离计算部,其根据二维图像来计算到参照物体的距离,该二维图像是拍摄了具有三维坐标的相关性明确的多个特征点的参照物体而得的图像；以及修正量计算部,其通过对计算出的到参照物体的距离和到距离图像中的参照物体的测距值进行比较,来计算用于修正距离图像的修正量。(The present invention provides a distance measuring device with a distance correction function, comprising: a reference object distance calculation unit that calculates a distance to a reference object from a two-dimensional image in which a reference object having a plurality of feature points with clear correlation in three-dimensional coordinates is captured; and a correction amount calculation unit that calculates a correction amount for correcting the distance image by comparing the calculated distance to the reference object with the distance measurement value to the reference object in the distance image.)

具有距离修正功能的测距装置

技术领域

本发明涉及一种根据光的飞行时间来测量到物体的距离的测距装置，特别涉及一种具有距离修正功能的测距装置。

背景技术

作为测量到物体的距离的测距装置，公知一种根据光的飞行时间来输出距离的TOF(time of flight飞行时间)的摄像机。TOF摄像机大多采用以下的相位差方式，即将在预定周期进行了强度调制后的测量光照射到测量对象空间，并检测所照射的测量光与来自测量对象空间的物体的反射光之间的相位差。

作为三维传感器的TOF摄像机会产生由于电子元件(例如受光元件、A/D转换元件等)的个体特性不一、电子元件的时间变化等引起的测距误差。关于个体特性不一，通过由摄像机提供者在出货时在特定条件下进行的校准而被调整在目标误差内，但是由于使用环境(特别是温度)的不同、时间变化等会有测距误差变大的情况。这些测距误差的程度根据每个个体而不同。

日本特开2015-175752号公报中公开一种使用了光飞行时间型距离图像传感器的距离图像生成装置。距离图像生成装置决定针对大小已知的物体进行平滑化所使用的滤波器的参数(大小、系数、帧数等)，并进行距离图像的平滑化。

日本特开2015-056057号公报中公开一种使用了TOF摄像机的标记的姿势推定方法。在上述姿势推定方法中，从摄像机图像检测标记，并从距离图像切出标记区域，根据切出的距离图像来推定最优的平面，并根据推定出的平面来推定标记的位置以及姿势。

日本特开2014-070936号公报中公开一种检测TOF摄像机的误差像素的误差像素检测装置。误差像素检测装置将根据距离图像修正了TOF图像(亮度图像)的距离修正TOF图像与从拍摄摄像机取得的拍摄图像进行比较，并根据比较结果来检测距离图像中包括测量误差的误差像素。

发明内容

由于TOF摄像机的电子元件特别是半导体激光(LD)、晶体管、电阻器等个体特性的原因，实际的参照光相对于理想参照光的发光定时产生定时延迟以及波形钝化(参照图5)。上述定时延迟以及波形钝化不是随机性，而有重复性，能够视为针对理想发光脉冲的简单延迟或平均的延迟，因此与简单地相对于反射光的相位将偏移Δt加到测距值中的状态是等价的，能够考虑需要对测距值进行偏移修正。因此，TOF摄像机的提供者在出货前的校准时作为参数，而根据对位于预定距离的物体进行了测距而得的结果来按照每个TOF摄像机取得由于有个体差的偏移Δt引起的测距值的偏移ΔL，以后在TOF摄像机内部输出根据偏移ΔL进行了修正的测距值。

但是，实际使用TOF摄像机时，相当于偏移Δt的定时延迟以及波形钝化(即简单延迟)会由于周围温度、部件发热等造成的温度变化、个体特性的时间变化等引起变动，测距值也发生变动。即，TOF摄像机中的各个像素的测距值会变动。针对上述变动尝试在TOF摄像机内部设置温度传感器，根据检测温度使修正量发生变化，但是根据温度传感器的配置以及精度的问题不能够完全正确地进行修正。

因此，寻求一种能够容易地进行高精度的距离修正的测距装置。

本公开的一个方式提供一种测距装置，具备在预先决定的发光定时向测量对象空间发出参照光的发光部和二维排列且在预先决定的拍摄定时接收来自测量对象空间的入射光的多个受光元件，基于受光元件的受光量输出到测量对象空间的物体的距离图像和与距离图像对应的二维图像。该测距装置具备：参照物体距离计算部，其根据二维图像来计算到参照物体距离，该二维图像是拍摄了具有三维坐标的相关性明确的多个特征点的参照物体而得的图像；以及修正量计算部，其通过对计算出的到参照物体的距离和到距离图像的参照物体的测距值进行比较，来计算用于修正距离图像的修正量。

附图说明

图1是一个实施方式的测距装置的框图。

图2A是表示一个实施方式的作为参照物体而使用了参考标记的距离修正方法的说明图。

图2B是表示一个实施方式的作为参照物体而使用了任意的物体的距离修正方法的说明图。

图3表示一个实施方式的测距装置的设置时、数年后或周围温度的大变化时以及修正后的测距值。

图4是表示其它实施方式的距离修正方法的说明图。

图5表示现有技术的参照光的发光定时延迟以及波形钝化。

具体实施方式

以下参照附图详细说明本公开的实施方式。在各个附图中对相同或类似的结构要素赋予相同或类似的符号。另外，以下所记载的实施方式不限定专利请求范围所记载的发明的技术范围以及技术用语的意思。

图1是本实施方式的测距装置10的框图。测距装置10是例如根据相位差方式来测量到物体的距离的TOF摄像机，具备：发光部11，其发出照射到测量对象空间中的参照光L1；受光部12，其接收来自测量对象空间的入射光L2；以及距离图像生成部13，其生成到测量对象空间的物体的距离图像。

发光部11例如由发出近红外(NIR)光的发光二极管(LED)、LD等的光源构成，根据来自发光/拍摄定时控制部14的发光定时信号发出以预定周期进行了强度调制的参照光L1。参照光L1由扩散板15进行扩散，并照射到测量对象空间。

受光部12例如由具有RGB滤波器、NIR滤波器等的CCD、CMOS等图像传感器构成，经由包括聚光透镜等的光学系统16接收入射光L2。入射光L2除了包括通过物体反射的参照光，也包括外光。受光部12针对一个像素具有接收红色光、蓝色光、绿色光以及NIR光的4个受光元件17。或者，受光部12具有针对一个像素只接收NIR光的一个受光元件。

受光元件17例如由光电二极管、电容器等构成。接收NIR光的受光元件17根据来自发光/拍摄定时控制部14的拍摄定时信号，在相对于参照光L1的发光定时延迟了预定相位的多个拍摄定时接收光。例如如图5所示，在相对于理想参照光的发光定时错开了0°、90°、180°以及270°相位的4种拍摄定时Et1～Et4取得受光量Q₁～Q₄。另一方面，接收红色光、蓝色光、绿色光的受光元件17在预先决定的拍摄期间内分别取得受光量。如图1所示，取得的受光量通过放大部18被放大，通过A/D转换部19进行A/D转换，A/D转换值被存储在缓冲存储器20中。

距离图像生成部13根据NIR光的受光量Q₁～Q₄的A/D转换值来生成到测量对象空间的物体的距离图像30。测距值L_tof例如通过公知的下述公式来计算。这里Td是参照光与反射光之间的相位差，c是光速，f是频率。所生成的距离图像被存储在缓冲存储器21中，经由输出控制部22被输出给应用(应用软件app)23。

二维图像生成部24根据RGB光或NIR光的受光量的A/D转换值来生成二维图像31。即，二维图像31可以是RGB图像(彩色图像)，也可以是NIR图像(单色图像)。二维图像31被存储在缓冲存储器21中，经由输出控制部22被输出给应用23。

参照图，5如上所述，实际参照光的发光定时相对于理想参照光的发光定时具有偏移Δt，通过出货时进行的校准来取得偏移Δt引起的测距值的偏移ΔL，以后在TOF摄像机内部，输出根据偏移ΔL进行修正的测距值。因此，测距值L_tof由加上了偏移ΔL的修正后的下述公式来计算。

偏移Δt会由于温度变化、时间变化等引起变动，因此最终的距离图像也有可能包括测距误差。为了修正上述偏移Δt的变动量(进一步为了修正距离图像)，本实施方式的测距装置10具有距离修正功能。测距装置10使用根据二维图像31几何学地计算出的到参照物体25(参照图1)的距离来计算用于修正距离图像30的修正量Li。为了几何学地计算到参照物体25的距离，参照物体25需要具有三维坐标的相关性明确的多个特征点32。另外，三维坐标的相关性明确是指能够获知相对的位置关系。即，不一定需要三维坐标的相关性必须是已知的(即测距装置10不需要预先存储在存储器等中)。

图2A是表示作为参照物体25而使用了参考标记25a的距离修正方法的说明图。如图4所示，参考标记25a在大小已知的四角形的白色板状部件上配置位置关系已知的正圆、正方形以及菱形，包括很多三维坐标的相关性已知的特征点。例如特征点可以是正圆、正方形以及菱形的中心部(通过符号32a、32b、32c来表示)。进一步，将参考标记25a的正圆中心部设为代表特征点32b。测距装置10从使用公知的图像处理拍摄了参考标记25a而得的二维图像来检测参考标记25a，以子像素等级(level)来确定参考标记25a的各种特征点在图像上的位置坐标。

测距装置10根据多个(一般为4个以上)特征点在图像上的位置坐标的组合通过几何学来计算到代表特征点32b的距离L_ref。为了计算更高精度的距离L_ref，根据组合不同的多个特征点来计算多个L_ref，进行平均化处理等。测距装置10通过对根据二维图像计算出的到代表特征点32b的距离L_ref和距离图像的代表特征点32b的测距值L_tof进行比较，来计算用于修正距离图像的修正量Li。在上述距离修正方法中，二维图像和距离图像按照每个像素对应，如公知的立体声法那样不需要2个图像特征点的对应或合并的处理，并且进一步通过子像素等级来确定代表特征点32b在图像上的位置坐标时，能够通过与周围像素的测距值的插值处理来高精度地计算距离图像上的代表特征点的测距值，因此能够计算出高精度的修正量Li。另外，预先准备参考标记25a，从而使用者能够在要进行修正时容易地进行修正作业。或者，测距装置10可以始终拍摄参考标记25a，随时变更修正量Li来维持精度。

图2B是表示作为参照物体而使用了任意的物体25b、25c的距离修正方法的说明图。本例是通过9个向量指示2个长方体25b、25c的10个特征点的三维坐标相关性的例子。例如，操作者可以将9个向量的三维坐标直接输入到测距装置10中，或者可以在测距装置10拍摄的二维图像上指示2个长方体的8个角32d、32e、32f、32g、32h、32i、32j、32k的位置，并且输入2个长方体各边的长度、2个长方体间的距离。这样测距装置10优选具备指示物体的特征量(例如向量的三维坐标、物体的特征点的位置、物体自身的大小、物体的特定形状、图案以及色彩的大小等)或多个物体的位置关系(例如物体间的距离等)作为三维坐标的相关性的单元。这样，任意的物体25b、25c会发挥与参考标记25a相同的作用。

再次参照图1，本实施方式的测距装置10具备计算到参照物体25的距离的参照物体距离计算部26、使用到参照物体25的距离来计算用于修正距离图像30的修正量Li的修正量计算部27。参照物体距离计算部26以及修正量计算部27例如能够构成为使中央处理装置(CPU)等处理器发挥功能的软件。或者例如可以作为能够执行上述软件的至少一部分的处理的处理器等硬件来实现。

参照物体距离计算部26从缓冲存储器21读出二维图像31，并根据二维图像31利用几何学来计算到特征点32的距离，该二维图像31是拍摄了具有三维坐标的相关性明确的多个特征点32(包括代表特征点32b)的参照物体25而得的图像。

修正量计算部27通过对参照物体距离计算部26计算出的到代表特征点32b的距离L_ref和存储在缓冲存储器21中的距离图像30的代表特征点32b的测距值L_tof进行比较，来计算用于修正距离图像的修正量。例如修正量Li可以是如下述公式那样作为距离L_ref以及测距值L_tof的差值而计算出的值，或者也可以是计算出通过对所有像素的各种测距值进行更高的修正的另行验证试验等求出的函数式内的多个系数值群的值。

Li＝L_tof-L_ref

修正量计算部27将修正量Li存储在非易失性存储器28中，在接通测距装置10的电源时，从非易失性存储器28读出修正量Li并再使用。或者测距装置10在始终拍摄参考标记25a的使用方法中，可以随时变更修正量Li来维持精度。另外，修正量计算部27输出到发光/拍摄定时控制部14或距离图像生成部13中。

发光/拍摄定时控制部14根据修正量Li来控制发光定时或拍摄定时。例如发光/拍摄定时控制部14在修正量Li是作为上述公式那样的距离的修正值时，根据下述公式计算修正后的偏移Δt’，并使拍摄定时或发光定时偏移使得将拍摄定时相对于发光定时延迟偏移Δt’。另外，2倍是因为反射光移动测距值2倍的距离。

或者，距离图像生成部13可以根据修正量Li来修正距离图像。例如距离图像生成部13在来自修正量计算部27的修正量Li为有效的情况下，如下述公式那样除了偏移ΔL的修正，也使修正量Li重叠来修正测距值L_tof。

图3表示测距装置10的设置时、数年后或周围温度发生大变化时以及修正后的测距值。在测距装置10的设置时，测距值是容许范围，但是数年后或周围温度发生大变化时，测距值偏离容许范围，因此操作者使用测距装置10的距离修正功能来修正测距值。或者，测距装置10可以持续监视参照物体25，随时进行距离修正，维持精度。根据上述测距装置10，能够容易地修正由于电子元件的个体特性不一、电子元件的时间变化等引起而产生的测距误差。

作为本申请的其他实施方式的距离修正方法之一，根据图4说明除了之前描述的使用代表特征点的距离的方法以外，还说明使用参照物体的平面上的多个距离值的方法。测距装置10根据TOF测量距离，因此，与公知的立体声法不同，也能够测量没有光强度变化的物体平面的距离。因此，参照物体距离计算部26以及修正量计算部27根据拍摄了平面33而得的二维图像的多个特征点来求出平面33的位置以及姿势，可以通过对拍摄了平面33的各个像素的距离值和与这些像素对应的距离图像上的各个像素的测距值综合地进行比较，来计算用于修正距离图像的修正量Li。这样，测距装置10进行更高精度的修正。另外，平面33的位置表示多个特征点的距离值，平面33的姿势表示平面33相对于测距装置10的光轴的倾角。

例如参照物体距离计算部26关于例如由4个角32l、32m、32n、32o构成的参考标记25a，从二维图像检测参考标记25a和多个特征点(例如4个角、正圆、正方形以及菱形的中心部等)，求出平面33的位置以及姿势。接着，参照物体距离计算部26根据平面33的位置以及姿势计算用于确定平面33的各个像素的距离值，并将确定后的各个像素的图像上的位置以及各个像素的距离值输出给修正量计算部27。修正量计算部27求出这些各个像素的距离值的平均值和与所确定的各个像素的位置对应的距离图像上的各个测距值的平均值之间的差值，并计算修正量Li。

在基于TOF原理的距离图像中，一般光强度强的像素的精度高于光强度弱的像素。因此在如上述那样进行与确定好的各个像素的图像上的位置对应的距离图像上的各个测距值的平均时，可以进行对各个像素的光强度加权之后的加权平均。这样，能够取得更高精度的修正量Li。例如根据公知的以下公式来计算光强度I。

根据以上的实施方式，二维图像31与距离图像30按照每个像素进行对应，因此能够计算出使用到参照物体25的距离来修正距离图像30的修正量，上述距离是从二维图像31利用几何学计算出的。结果，能够容易地实现由于电子元件的个体特性不一、电子元件的时间变化等引起而产生的测距误差的修正。

在本说明书中说明了各种实施方式，但是本发明不限于上述实施方式，希望认识到能够在专利请求所记载的范围内进行各种变更。