成像装置、车辆用灯具、汽车、成像方法

文档序号:1942736 发布日期:2021-12-07 浏览:13次 >En<

阅读说明:本技术 成像装置、车辆用灯具、汽车、成像方法 (Imaging device, vehicle lamp, automobile, and imaging method ) 是由 五味正人 杉本真太郎 春濑祐太 鸟居辉明 于 2020-04-21 设计创作,主要内容包括:照明装置(110)照射第1参照光(S1_1)和第2参照光(S1_2),该第1参照光(S1_1)具有第1强度分布(I-(r)(x,y)),该第2参照光(S1_2)具有与第1强度分布(I-(r)(x,y))处于互补关系的第2强度分布(I-(r)^(x,y))。光检测器(120)对来自物体的反射光(S2_1、S2_2)进行测定。运算处理装置进行利用了基于照射第1参照光(S1_1)时的光检测器(120)的输出的第1检测强度(b-(r))和第1强度分布(I-(r)(x,y))的强度分布的第1相关计算,并进行利用了基于照射第2参照光(S1_2)时的光检测器(120)的输出的第2检测强度(b-(r)^)和第2强度分布(I-(r)^(x,y))的第2相关计算。(The lighting device (110) irradiates a 1 st reference light (S1 _ 1) and a 2 nd reference light (S1 _ 2), wherein the 1 st reference light (S1 _ 1) has a 1 st intensity distribution (I) r (x, y)), the 2 nd reference light (S1 _ 2) having the 1 st intensity distribution (I) r (x, y)) in complementary relationship to the 2 nd intensity distribution (I) r Λ (x, y)). The photodetector (120) measures reflected light (S2 _1, S2_ 2) from the object. The arithmetic processing device performs a 1 st detection intensity (b) using an output of the photodetector (120) based on the irradiation of the 1 st reference light (S1 _ 1) r ) And 1 st intensity distribution (I) r (x, y)) and a 2 nd detection intensity (b) based on the output of the photodetector (120) when the 2 nd reference light (S1 _ 2) is irradiated is used r Λ) and 2 nd intensity distribution (I) r The 2 nd correlation for ^ (x, y)).)

成像装置、车辆用灯具、汽车、成像方法

技术领域

本发明涉及利用了鬼成像(ghost imaging)的成像装置。

背景技术

为了自动驾驶或前照灯的配光的自动控制,会利用对存在于车辆周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包含传感器、以及对传感器的输出进行分析的运算处理装置。关于传感器,考虑用途、要求精度及成本,从照相机、LiDAR(LightDetection and Ranging,Laser Imaging Detection and Ranging:光探测和测距、激光成像探测和测距)、毫米波雷达、以及超声波声呐等中选择。

作为成像装置(传感器)之一,已知有利用了鬼成像原理的成像装置。鬼成像中,一边随机切换参照光的强度分布(图案(pattern))一边使其向物体照射,并针对每个图案来测定反射光的光检测强度。光检测强度为某一平面的能量或强度的积分值,而非强度分布。然后,通过取得对应的图案与光检测强度的相关来重构(reconstruct)物体的复原图像。

[现有技术文献]

[专利文献]

专利文献1:日本特许第6412673号公报

发明内容

[发明要解决的课题]

1.本发明人们针对成像装置进行了讨论,结果认识到以下的问题。对于鬼成像中的相关,使用式(1)的相关函数。参照光的Ir为第r个(r=1,2…,M)的强度分布,br为在照射具有第r个强度分布的参照光时得到的检测强度的值。

【式1】

图1是表示对成像装置的1帧进行感测的时序图。由式(1)可知,在相关计算中,通过M次参照光的照射来复原1张图像。在此,在M次参照光的照射中,来自物体的反射光以外的噪声会入射到光检测器中,复原图像的画质会因该噪声而降低。

此外,本发明人进行了研究,结果认识到:参照光的图案是随机地变化的,但针对某一被摄体,可能会发生在某个图案中得到良好的图像,在另一图案中图像劣化的情况。

1.本发明的一个方案的例示性目的之一在于改善复原图像的画质。

2.此外,本发明的一个方案的例示性目的之一在于提供一种可对成像装置附加新的功能或效果的照明装置。

[用于解决技术课题的技术方案]

1.本发明的一个方案涉及成像装置或成像方法。该装置、方法会向物体照射第1参照光和第2参照光,该第1参照光具有第1强度分布,该第2参照光具有与第1强度分布处于互补关系的第2强度分布。然后,对来自物体的反射光进行测定。进行第1相关计算、以及第2相关计算,该第1相关计算基于照射第1参照光的结果,该第2相关计算基于照射第2参照光的结果。

2.本发明的另一方案涉及一种照明装置。照明装置包含与多个像素对应的多个微镜,各微镜包括:DMD(Digital Micromirror Device:数字微镜器件),其可围绕扭转轴(铰链)沿第1方向、第2方向独立地倾动;第1光源,其向DMD照射第1输入光束;以及第2光源,其向DMD照射第2输入光束。第1输入光束在微镜为沿第1方向倾动的状态时,被作为第1输出光束向外部投射,在微镜为沿第2方向倾动的状态时,不被投射,第2输入光束在微镜为沿第2方向倾动的状态时,被作为第2输出光束向外部投射,在微镜为沿第1方向倾动的状态时,不被投射,第1输出光束与第2输出光束具有互补的强度分布。

[发明效果]

根据本发明的一个方案,能够改善复原图像的画质。此外,根据另一方案,能够对成像装置附加新的功能或效果。

附图说明

图1是表示对成像装置的1帧进行感测的时序图。

图2是表示实施方式1的成像装置的图。

图3是对图2的成像装置的动作进行说明的时序图。

图4是表示实施例1的照明装置的图。

图5是表示DMD的结构的图。

图6是表示实施例1的照明装置中的第1光源、第2光源及DMD的位置关系的剖视图。

图7是表示实施例2的照明装置的图。

图8是实施方式2的成像装置的框图。

图9是对图8的成像装置的动作进行说明的时序图。

图10是实施方式3的成像装置的框图。

图11的(a)、图11的(b)是表示实施例3的照明装置的图。

图12是对图11的照明装置的动作进行说明的图。

图13是物体识别系统的框图。

图14是表示具备物体识别系统的汽车的图。

图15是表示具备物体检测系统的车辆用灯具的框图。

具体实施方式

(实施方式的概要)

对本公开的几个例示性的实施方式的概要进行说明。该概要作为后述的详细说明的前置,以实施方式的基本理解为目的,将1个或多个实施方式中的几个概念简化并对其进行说明,并不会限定发明或公开的广度。此外,该概要并非能够考虑的所有实施方式的概括性的概要,并不对实施方式的不可或缺的构成要素进行限定。方便起见,本说明书中的“一个实施方式”有时会用于指代本说明书所公开的一个实施方式或多个实施方式。

本说明书中的所谓“强度分布随机”,并不意味着为完全的随机,只要为可在鬼成像中重建图像的程度地随机即可。因此,关于本说明书中的“随机”,其中能够包含某种程度的规律性。此外,关于“随机”,并不要求无法预测,也可以是可预想、可再现的。

1.一个实施方式涉及一种成像装置。成像装置包括:照明装置,其照射第1参照光和第2参照光,该第1参照光具有第1强度分布,该第2参照光具有与第1强度分布处于互补关系的第2强度分布;光检测器,其对来自物体的反射光进行测定;以及运算处理装置,其进行第1相关计算、以及第2相关计算,该第1相关计算基于照射第1参照光的结果,该第2相关计算基于照射第2参照光的结果。

例如,也可以是,运算处理装置将2个相关计算进行合成,从而生成1个最终复原图像。由此,能够消除第1检测强度与第2检测强度所共通地包含的噪声分量的影响,并能够改善画质。

或者,也可以是,运算处理装置基于第1相关计算来生成第1复原图像,并基于第2相关计算来生成第2复原图像。在该情况下,也可以是,将第1复原图像与第2复原图像中的、画质较好的一者选择为最终的图像。

也可以是,第1参照光与第2参照光的波长相同,且被时分地照射。

也可以是,第1参照光具有第1波长,第2参照光具有与第1波长不同的第2波长。也可以是,光检测器包含:第1检测器,其对第1波长具有灵敏度,对第2波长不灵敏;以及第2检测器,其对第2波长具有灵敏度,对第1波长不灵敏。

也可以是,第1参照光与第2参照光被同时照射。由此,能够提高帧率。

也可以是,照明装置包括:DMD(Digital Micromirror Device:数字微镜器件);第1光源,其向DMD照射第1输入光束;以及第2光源,其向DMD照射第2输入光束。入射到沿第1方向倾动的微镜的第1输入光束的一部分被作为第1输出光束向外部投射,入射到沿第2方向倾动的微镜的第1输入光束的一部分不会被投射,入射到沿第2方向倾动的上述微镜的上述第2输入光束的一部分被作为第2输出光束向外部投射,入射到沿第1方向倾动的微镜的第2输入光束的一部分不会被投射。在向DMD提供了某一图案的状态下,能够通过使第1光源点亮来生成具有第1强度分布的第1参照光,并能够通过使第2光源点亮来生成具有第2强度分布的第2参照光。

2.一个实施方式涉及一种照明装置。照明装置例如能够用于通过相关计算来重构物体的复原图像的成像装置。照明装置包含与多个像素对应的多个微镜,各微镜包括;DMD(Digital Micromirror Device:数字微镜器件),其可围绕扭转轴沿第1方向、第2方向独立地倾动;第1光源,其向DMD照射第1输入光束;以及第2光源,其向DMD照射第2输入光束。第1输入光束在微镜为沿第1方向倾动的状态时,被作为第1输出光束向外部投射,在微镜为沿第2方向倾动的状态时,不被投射,第2输入光束在微镜为沿第2方向倾动的状态时,被作为第2输出光束向外部投射,在微镜为沿第1方向倾动的状态时,不被投射,第1输出光束与第2输出光束具有互补的强度分布。

该照明装置不必使微镜的状态发生变化,即不必改写DMD的图像,就能够生成具有互补的强度分布的输出光束。

也可以是,第1输入光束与第2输入光束的波长不同。在该情况下,第1光源与第2光源也可以同时点亮。由此,能够同时产生具有互补的强度分布的2束输出光束。

也可以是,第1输入光束与第2输入光束的波长相同。在该情况下,第1光源与第2光源也可以排他性地点亮。在对与2束输出光束对应的、来自物体的2束反射光进行检测时,能够基于波长来分离2束反射光。

也可以是,第1输出光束和第2输出光束被照射到在空间上重叠的区域。在该情况下,能够通过后级的信号处理来消除噪声。

也可以是,第1输出光束和第2输出光束被照射到空间上不重叠的区域。由此,能够扩大照射范围。

也可以是,第1输入光束和第2输入光束的波长可变。由此,能够进行适应于被摄体的颜色或材质、周围的环境的感测或成像。

实施方式的照明装置能够内置于车辆用灯具。

在一个实施方式中,公开了一种成像装置。成像装置包括:上述任意一种照明装置;光检测器,其对来自物体的反射光进行测定;以及运算处理装置,其进行第1相关计算、以及第2相关计算,该第1相关计算基于照射第1输出光束的结果,该第2相关计算基于照射第2输出光束的结果。

也可以是,第1输出光束和第2输出光束被照射到重叠的区域。也可以是,运算处理装置将第1相关计算与第2相关计算进行合成,生成最终的复原图像。由此,能够消除第1检测强度与第2检测强度所共通地包含的噪声分量的影响。

(实施方式)

以下,参照附图,基于优选的实施方式来对本发明进行说明。对于各附图所示的相同或等同的构成要素、构件、以及处理,标注相同的附图标记,并适当省略重复的说明。此外,实施方式并不对发明进行限定,仅为例示,实施方式所记述的一切特征或其组合并非都是发明的实质性内容。

图2是表示实施方式1的成像装置100的图。成像装置100为使用了鬼成像的原理的相关函数图像传感器,包括照明装置110、光检测器120、以及运算处理装置130。也将成像装置100称为量子雷达照相机。

照明装置110为虚拟热光源,生成具有实质上可视为随机的第1强度分布Ir(x,y)的第1参照光S1_1、以及具有与第1强度分布I(x,y)处于互补关系的第2强度分布Ir^(x,y)的第2参照光S1_2,并向物体OBJ照射。关于参照光S1_1、S1_2向物体OBJ的照射,一边使强度分布I(x,y)随机地变化多次(M次)一边进行。

例如,照明装置110包含光源112、图案化设备114、以及图案产生器132。光源112生成具有均匀的强度分布的输入光束S0。图案化设备114具有被矩阵状地配置的多个像素,并被构成为能够基于多个像素的开、关的组合来在空间上对输入光束S0的强度分布I进行调制。在本说明书中,将开状态的像素称为开像素,将关状态的像素称为关像素。另外,在以下的说明中,为了易于理解,各像素仅取开与关这2个值(1,0),但不限于此,也可以通过高速地对开与关进行切换来调节它们的时间比例,从而取得中间的灰阶。被图案化设备114反射的输出光束S1_1、S1_2被调制为具有互补的强度分布I(x,y)。

光检测器120对第1参照光S1_1所对应的来自物体OBJ的反射光S2_1进行测定,并输出第1检测信号Dr。第1检测信号Dr为在使具有第1强度分布Ir的第1参照光S1_1照射到物体OBJ时,入射到光检测器120的光能量(或强度)的空间积分值。因此,光检测器120能够使用单像素的光检测器(光电探测器)。与M种(M>1)强度分布I1~IM分别对应的多个第1检测信号D1~DM被从光检测器120输出。

同样,光检测器120对第2参照光S1_2所对应的来自物体OBJ的反射光S2_2进行测定,并输出第2检测信号Dr^。与M种(M>1)强度分布I1^~IM^分别对应的多个第2检测信号D1^~DM^被从光检测器120输出。

运算处理装置130包含图案产生器132和重构处理部134。重构处理部134取得多个第1强度分布(也称随机图案)I1~IM与多个第1检测强度b1~bM的相关(第1相关计算)。第1检测强度b1~bM基于检测信号D1~DM。关于检测强度与检测信号的关系,考虑光检测器120的种类或方式等来确定即可。

【式2】

此外,重构处理部134取得多个第2强度分布I1^~IM^与多个第2检测强度b1^~bM^的相关(第2相关计算)。第2强度分布I1^~IM^能够基于第1强度分布I1~IM来运算。第2检测强度b1^~bM^基于第2检测信号D1^~DM^。

【式3】

重构处理部134通过对式(4)进行运算来生成最终的复原图像G(x,y)。式(4)为将以式(2)表示的第1相关计算的相关计算式与以式(3)表示的第2相关计算的相关计算式进行合成的合成相关。

【式4】

以上是成像装置100的构成。接着,对其动作进行说明。图3是对图2的成像装置100的动作进行说明的时序图。在此,第1参照光S1_1与第2参照光S1_2被交替地时分地照射。

每当照射第1参照光S1_1时,取得第1检测强度br,每当照射第2参照光S1_2时,取得第2检测强度br^。在各检测强度中,包含噪声分量σ。重构处理部134能够基于针对r=1~M得到的第1检测强度br、第2检测强度br^、第1强度分布Ir(x,y)、以及第2强度分布Ir^(x,y)来对式(4)的合成相关式进行计算,并得到最终的复原图像G(x,y)。

以上为成像装置100的动作。接着,对其优点进行说明。

现在,强度分布取0、1这两种值。此时,对于第1强度分布Ir(x,y)和第2强度分布Ir^(x,y),成立式(5)。

【式5】

将式(2)、(3)、(5)代入到式(4)中,得到式(6)。

【式6】

<br^>为br^的平均值,因此,式(7)成立。

【式7】

将式(7)代入到式(6)并进行整理,得到式(8)。

【式8】

在此,将br和br^用反射光导致的真正的信号分量(在下标中附加“(true)”)与噪声分量σ之和来表示。假定br与br^中包含相同的噪声分量σr

br=br(true)r

br^=br(true)^+σr

将其代入到式(8)中,得到式(9)。

【式9】

由式(9)可知,在最终得到的图像G(x,y)中,噪声分量会相互抵消,因此仅包含信号分量br(true)、br(true)^。因此,能够改善画质。

(变形例1)

在图3中,将参照光S1_1与S1_2交替照射,但不限于此。若参照光S1_1、S1_2被同时照射时,光检测器120能够使它们所对应的反射光S2_1、S2_2分离,则也可以同时照射参照光S1_1、S1_2。

例如也可以是,第1参照光S1_1具有第1波长λ1,第2参照光S1_2具有与第1波长λ1不同的第2波长λ2。在该情况下,也可以是,光检测器120包含:第1检测器,其对第1波长λ1具有灵敏度;以及第2光检测器,其对第2波长λ2具有灵敏度。或者,也可以是,利用滤光器来使反射光S2、S2_2分离,并对被分离的2个分量S2_1和S2_2各自的强度进行测定。

另外,在第1波长λ1与第2波长λ2较大不同的情况下,会发生如下状况:针对相同的物体的反射率较大地不同。在该情况下,进行反射率修正为好。

为了进行反射率修正,将强度分布均匀(例如所有像素为最大强度或1)的第1波长λ1的第1参照光S1_1向物体照射,取得此时的检测强度b0。此外,将具有相同强度分布(注意并非互补)的第2波长λ2的参照光S1_2向相同的物体照射,并取得此时的检测强度b0^。b0和b0^与针对物体的波长λ1、λ2的反射率成比例。运算处理装置130用得到的b0、b0^来对之后会得到的第1检测强度br、第2检测强度br^中的至少一者进行修正。

例如也可以是,设为直接使用br,将br^乘以系数b0^/b0来进行修正,并用修正后的br^来进行相关计算。相反,也可以是,设为直接使用br^,将br乘以系数b0/b0^来进行修正,并用修正后的br来进行相关计算。

或者,也可以是,在能够调节进行图案化前的输入光束S0的强度的情况下,对光源112所生成的光强度进行修正。也可以是,不调节第1波长λ1的输入光束S0地,将第2波长λ2的输入光束S0的强度变成b0^/b0倍。相反,也可以是,不调节第2波长λ2的输入光束S0地,将第1波长λ1的输入光束S0的强度变成b0/b0^倍。

(变形例2)

也可以是,第1参照光S1_1与第2参照光S1_2具有同一波长,且具有不同的偏振特性。例如,也可以是,第1参照光S1_1和第2参照光S1_2中的一者具有右旋的圆偏振光(或椭圆偏振光),另一者具有左旋的圆偏振光(或椭圆偏振光)。

在该情况下,也可以是,照明装置110包含使右旋的偏振分量与左旋的偏振分量分离的光学系统。使偏振分量分离的光学系统能够以1/4波长板与直线偏振光元件的组合来构成。

(变形例3)

也可以是,重构处理部134利用照射M次第1参照光S1_1的结果来计算式(2)的第1相关式,并对第1复原图像G1(x,y)进行重构。此外,也可以是,利用照射M次第2参照光S1_2的结果来计算式(3)的第2相关式,并对第2复原图像G2(x,y)进行重构。并且,也可以是,通过将这2个复原图像G1(x,y)、G2(x,y)所对应的像素彼此相加,从而生成最终的复原图像G(x,y)。在该情况下,也能够消除噪声的影响。

(变形例4)

在此前的说明中,将具有互补强度分布的2个图案利用于噪声消除,但不限于此。在变形例4中,重构处理部134利用照射M次第1参照光S1_1的结果来计算式(2)的第1相关式,对第1复原图像G1(x,y)进行重构,并利用照射M次第2参照光S1_2的结果来计算式(3)的第2相关式,对第2复原图像G2(x,y)进行重构。

并且,也可以是,将这2个复原图像G1(x,y)、G2(x,y)中的、画质更优的一者选择为最终图像。例如也可以是,选择物体的轮廓清晰的一者。由此,不会得到噪声消除的效果,但能够选择出针对被摄体更为适合的图案,因此能够改善画质。

接着,针对照明装置110的构成,基于几个实施例进行说明。

(实施例1)

图4是表示实施例1的照明装置110A的图。照明装置110A包含第1光源112_1、第2光源112_2、以及图案化设备114即DMD116。光源112_1、112_2生成具有均匀的强度分布的输入光束S0_1、S0_2。光源112也可以使用激光或发光二极管等。输入光束S0_1、S0_2的波长及光谱并不被特别地限定,既可以是具有多个或连续光谱的白色光,也可以是包含预定波长的单色光。输入光束S0_1、S0_2的波长也可以为红外光或紫外光。

DMD116包含与多个像素对应的多个微镜118。图5是表示DMD116的结构的图。各微镜118能够围绕扭转轴119沿第1方向(图中为逆时针)、第2方向(图中为顺时针)独立地倾动。将沿第1方向倾动的状态记为,将沿第2方向倾动的状态记为

图6是表示实施例1的照明装置110A中的第1光源112_1、第2光源112_2及DMD116的位置关系的剖视图。2个光源112_1、112_2被配置为满足以下的关系。

入射到沿第1方向倾动的状态的微镜118的输入光束S0_1的一部分(光束)被作为第1输出光束(第1参照光)S1_1的一部分向外部投射,入射到沿第2方向倾动的状态的微镜118的输入光束S0_1的一部分不被投射,而是被遮挡。

相反,入射到沿第2方向倾动的状态的微镜118的输入光束S0_2的一部分被作为第2输出光束(第2参照光)S1_2的一部分向外部投射,入射到沿第1方向倾动的状态的微镜118的输入光束S0_2的一部分不被投射,而是被遮挡。

入射到相同的像素(微镜)的输入光束S0_1、S0_2被向实质上相同的方向反射。由此,2束输出光束S1_1与S1_2会照射实质上相同的区域。

以上是实施例1的成像装置100A的构成。根据该成像装置100A,能够通过在向DMD116提供了某一图案(图像)的状态下,使第1光源112_1和第2光源112_2依次点亮,从而生成具有互补强度分布的参照光S1_1、S1_2。

在同时照射2束参照光S1_1、S1_2的情况下,使2个光源112_1、112_2同时点亮即可。在该情况下,2个光源112_1、112_2的波长也可以不同,偏振特性也可以不同。

在同时照射2束参照光S1_1、S1_2的情况下,使2个光源112_1、112_2依次点亮即可。

此外,根据照明装置110A,能够不必使微镜118的状态变化,即不必改写DMD116的图像,就生成具有互补强度分布的2个光束S1_1、S1_2。

另外,照明装置110A的用途不被限定于基于相关计算的成像装置。

(实施例2)

图7是表示实施例2的照明装置110B的图。照明装置110B包含单一的光源112、以及图案化设备114即DMD116。光源112生成具有均匀的强度分布的输入光束S0。光源112也可以使用激光或发光二极管等。

向图案化设备114提供图案产生器132所产生的图案信号PTN(图像数据),生成在该状态下具有与图案信号PTN对应的强度分布Ir(x,y)的参照光S1_1。然后,图案产生器132产生使图案信号PTN反转的图案信号PTN^,并将其提供给图案化设备114。由此,会生成具有与反转图案信号PTN^相应的强度分布Ir^(x,y)的参照光S1_2。

在图7中,作为图案化设备114,也能够使用透射型或反射型的液晶设备等图案化设备。

(实施方式2)

图8是实施方式2的成像装置100B的框图。在实施方式2中,第1光源112_1与第2光源112_2生成不同的波长λ1、λ2的输入光束S0_1、S0_2。

与其对应地,光检测器120B包含波长灵敏度特性不同的2个检测器122_1、122_2。第1检测器122_1对第1波长λ1具有灵敏度,对第2波长λ2不灵敏。第2检测器122_2对第2波长λ2具有灵敏度,对第1波长λ1不灵敏。第1检测器122_1生成与M次第1参照光S1_1的照射对应的M个第1检测强度b1~bM。第2检测器122_2生成与M次第2参照光S1_2的照射对应的M个第2检测强度b1^~bM^。

在实施方式2中,参照光S1_1、S1_2也被照射到在空间上重叠的共通区域。

以上是成像装置100B的构成。接着,对其动作进行说明。图9是对图8的成像装置100B的动作进行说明的时序图。在实施方式2中,2个光源112_1、112_2同时点亮。2束参照光S1_1、S1_2被同时向物体照射,与它们对应的反射光S2_1、S2_2也同时入射到光检测器120B。第1检测强度br与第2检测强度br^由2个检测器122_1、122_2同时生成。针对其他,与实施例1相同。

根据实施方式2,与实施例1同样,能够得到降低了噪声影响的高画质的复原图像G(x,y)。

此外,因为能够同时照射2束参照光S1_1、S1_2,所以能够将1帧的测定时间设为实施例1的一半。

或者,也可以是,在使1帧的测定时间相同的情况下,将每个图案的参照光S1_1、S1_2的照射时间设为2倍。在该情况下,检测强度br、br^的信号电平会变大,能够改善合成前的第1复原图像G1(x,y)、第2复原图像G2(x,y)各自的画质,进而能够改善最终的图像G(x,y)的画质。

另外,在第1波长λ1与第2波长λ2较大不同的情况下,会发生如下状况:针对相同的物体的反射率较大地不同。在该情况下,进行反射率修正为好。

为了进行反射率修正,将强度分布均匀(例如所有像素为最大强度或1)的第1波长λ1的第1参照光S1_1向物体照射,取得此时的检测强度b0。此外,将具有相同强度分布(注意并非互补)的第2波长λ2的参照光S1_2向相同的物体照射,并取得此时的检测强度b0^。b0和b0^与针对物体的波长λ1、λ2的反射率成比例。运算处理装置130用得到的b0、b0^来对之后得到的第1检测强度br、第2检测强度br^中的至少一者进行修正。

例如也可以是,设为直接使用br,将br^乘以系数b0^/b0来进行修正,并用修正后的br^来进行相关计算。相反,也可以是,设为直接使用br^,将br乘以系数b0/b0^来进行修正,并用修正后的br来进行相关计算。

或者,也可以是,在能够调节进行图案化前的输入光束S0的强度的情况下,对光源112所生成的光强度进行修正。也可以是,不调节第1波长λ1的输入光束S0地,将第2波长λ2的输入光束S0的强度变为b0^/b0倍。相反,也可以是,不调节第2波长λ2的输入光束S0地,将第1波长λ1的输入光束S0的强度变为b0/b0^倍。

(变形例2.1)

另外,也可以是,在实施方式2中,使2个光源112_1、112_2交替地点亮,从而交替地照射2束参照光S1_1、S1_2。

(变形例2.2)

也可以是,重构处理部134利用照射M次第1参照光S1_1的结果来计算式(2)的第1相关式,并对第1复原图像G1(x,y)进行重构。此外,也可以是,利用照射M次第2参照光S1_2的结果来计算式(3)的第2相关式,并对第2复原图像G2(x,y)进行重构。并且,也可以是,通过将这2个复原图像G1(x,y)、G2(x,y)所对应的像素彼此相加,从而生成最终的复原图像G(x,y)。在该情况下,也能够消除噪声的影响。

(变形例2.3)

在此前的说明中,将具有互补强度分布的2个图案利用于噪声消除,但不限于此。在变形例1.3中,重构处理部134利用照射M次第1参照光S1_1的结果来计算式(2)的第1相关式,对第1复原图像G1(x,y)进行重构,并利用照射M次第2参照光S1_2的结果来计算式(3)的第2相关式,对第2复原图像G2(x,y)进行重构。

并且,也可以是,将这2个复原图像G1(x,y)、G2(x,y)中的、画质更优的一者选择为最终图像。例如也可以是,选择物体的轮廓清晰的一者。由此,不会得到噪声消除的效果,但能够选择出相对于被摄体更为适合的图案,因此能够改善画质。

(实施方式3)

图10是表示实施方式3的成像装置100C的图。成像装置100C与实施方式1、实施方式2同样,为使用了鬼成像原理的相关函数图像传感器。

照明装置110C向空间上不同的位置照射2束参照光S1_1、S1_2。它们的强度分布处于互补的关系。在本实施方式中,2束参照光S1_1、S1_2的波长相同,且被同时照射。在实施方式3中,2束参照光S1_1、S1_2被作为1个参照光S1来对待。

光检测器120同时对2束参照光S1_1、S1_2所对应的反射光S2_1、S2_2进行检测。检测强度br为通过第r次照射得到的2束反射光S2_1、S2_2的能量。需注意的是,在实施方式3中,br^被包含于br

重构处理部134通过连接强度分布Ir(x,y)与Ir^(x,y)来生成参照光S1的强度分布,并通过取得与检测强度br的相关来重构1张复原图像G(x,y)。

根据该成像装置100C,能够对2倍的范围进行感测。

(实施例3)

图11的(a)、图11的(b)是表示实施例3的照明装置110C的图。照明装置110C的基本构成包含第1光源112_1、第2光源112_2、以及图案化设备114即DMD116。

在照明装置110A或110B中,入射到相同的像素(微镜)中的输入光束S0_1、S0_2被向实质上相同的方向反射,因此2束输出光束S1_1与S1_2会照射实质上相同的重叠区域。

如图11的(b)所示,在实施例3中,2束输出光束S1_1与S1_2的、相对于YZ平面中的Z轴所成的偏角θ1、θ2不同。

以上是照明装置110C的构成。接着,对其动作进行说明。图12是对图11的照明装置110C的动作进行说明的图。关于第1输出光束S1_1与第2输出光束S1_2,因为yz平面内的出射角θ不同,所以会被照射到偏离y轴方向的不同区域。2束输出光束S1_1、S1_2具有互补的强度分布Ir(x,y)、Ir^(x,y)这点与实施方式1相同。

以上是照明装置110C的动作。根据该照明装置110C,能够向在空间上不重叠的区域照射互补的图案。2个图案的照射既可以同时,也可以不同,根据用途来确定即可。

接着,对实施例3的照明装置110C的用途进行说明。照明装置110C与照明装置110A同样,能够用于成像装置。

(实施方式4)

实施方式4的成像装置100D是在实施方式3(图10)中变更为时分地生成2束参照光S1_1、S1_2的方案。在该实施方式4中,通过照射第1参照光S1_1得到第1检测强度br,通过照射第2参照光S1_2得到第2检测强度br^。重构处理部134针对第1参照光S1_1的照射范围生成第1复原图像G1(x,y),针对第2参照光S1_2的照射范围生成第2复原图像G2(x,y)。并且,通过将2个复原图像G1(x,y)、G2(x,y)接合来生成整个照射范围的图像。

(实施方式5)

也可以是,在实施方式3((图10))中,使2束参照光S1_1、S1_2的波长λ1、λ2不同,并将它们同时照射。在该情况下,将光检测器120如图8所示地构成即可。由此,能够将与2束参照光S1_1、S1_2各自的照射区域有关的图像单独地复原。

关于实施方式3~5,能够追加以下特征。

(波长控制)

也可以是,光源112_1、112_2被构成为能够对2束输入光束S0_1、S0_2的波长λ1、λ2进行控制。并且,也可以是,适应于被摄体的颜色或材质地,使波长λ1、λ2最优化。具体而言,基于被摄体的颜色或材质来选择反射率较高的波长为好。例如,使得参照光S1_1被向第1物体照射,参照光S1_2被向第2物体照射。也可以是,在第1物体的颜色为红色,第2物体的颜色为蓝色时,使波长λ1接近红色,使波长λ2接近蓝色。

或者,在第1物体与第2物体材质不同、波长λ1、λ2为红外线的情况下,选择反射率相对于各材质较高的波长为好。

或者,也可以是,根据周期的环境来选择波长。例如在产生了雨、雾、雪、沙尘暴及烟雾等的情况下,在光的传播中,特定的波长易于被吸收。在那样的情况下,选择难以在传播中被吸收的波长为好。

例如,针对参照光S1_#(#=1,2),使得强度分布均匀(全部像素为1),并使波长λ#进行扫描(sweep)。并且,也可以是,通过取得检测强度最大时的波长λ#来确定最佳的波长。

(强度控制)

也可以是,光源112_1、112_2被构成为能够对2束输入光束S0_1、S0_2的强度进行控制。在该情况下,也可以是,根据到被摄体的距离或被摄体的反射率来使强度动态地变化。

以上,针对本发明,基于实施方式进行了说明。本领域技术人员应理解的是,该实施方式仅为例示,在它们的各构成元素或各处理过程的组合中,可能存在各种变形例,且那样的变形例也在本发明的范围之内。以下,针对这样的变形例进行说明。

(用途)

接着,对成像装置100的用途进行说明。图13是物体识别系统10的框图。该物体识别系统10被搭载于汽车或摩托车等车辆,并对存在于车辆周围的物体OBJ的种类(类别)进行判定。

物体识别系统10包括成像装置100和运算处理装置40。成像装置100如上所述,通过向物体OBJ照射参照光S1,并对反射光S2进行测定来生成物体OBJ的复原图像G。

运算处理装置40对成像装置100的输出图像G进行处理,并对物体OBJ的位置及种类(类别)进行判定。

运算处理装置40的分类器42接受图像G作为输入,并对其所包含的物体OBJ的位置及种类进行判定。分类器42基于通过机械学习生成的模型来实现。分类器42的算法并不被特别地限定,但能够采用YOLO(You Only Look Once:你只需看一遍)、SSD(Single ShotMultiBox Detector:单发多边框检测器)、R-CNN(Region-based Convolutional NeuralNetwork:基于区域的卷积神经网络)、SPPnet(Spatial Pyramid Pooling:空间金字塔池化)、Faster R-CNN、DSSD(Deconvolution-SSD:反卷积单发多边框检测器)、以及Mask R-CNN等,或者能够采用将来被开发出来的算法。

以上是物体识别系统10的构成。作为物体识别系统10的传感器,能够通过使用成像装置100来获得以下优点。

通过使用成像装置100即量子雷达照相机,抗噪性大大提高。例如,在降雨时、降雪时或雾中行驶的情况下,难以以肉眼识别出物体OBJ,但能够通过使用成像装置100来不受雨、雪、雾的影响地得到物体OBJ的复原图像G。

此外,能够通过使用实施方式的成像装置100来得到降低了噪声影响的高画质图像。

(用途)

图14是表示具备物体识别系统10的汽车的图。汽车300包括前照灯302L、302R。成像装置100被内置于前照灯302L、302R中的至少一者。前照灯302位于车体的最前端,在对周围的物体进行检测上,作为成像装置100的设置位置最为有利。

图15是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一同构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、以及光学系统206。进而,在车辆用灯具200,设置有物体检测系统210。物体检测系统210与上述物体识别系统10对应,包含成像装置100及运算处理装置40。

运算处理装置40所检测到的与物体OBJ有关的信息也可以利用于车辆用灯具200的配光控制。具体而言,灯具侧ECU208基于运算处理装置40所生成的与物体OBJ的种类及其位置有关的信息来生成适当的配光图案。点亮电路204及光学系统206以会得到灯具侧ECU208所生成的配光图案的方式进行动作。

此外,也可以是,将运算处理装置40所检测到的与物体OBJ有关的信息发送到车辆侧ECU304。也可以是,车辆侧ECU基于该信息来进行自动驾驶。

虽然基于实施方式,用具体的语句来对本发明进行了说明,但实施方式仅表示本发明的原理及应用的一个侧面,对于实施方式,在不脱离权利要求书所规定的本发明的思想的范围内,允许许多变形例或配置的变更。

[工业可利用性]

本发明涉及利用了鬼成像的成像装置。

[附图标记说明]

OBJ 物体

10 物体识别系统

40 运算处理装置

42 分类器

100 成像装置

110 照明装置

112 光源

114 图案化设备

116 DMD

118 微镜

120 光检测器

130 运算处理装置

132 图案产生器

134 重构处理部

200 车辆用灯具

202 光源

204 点亮电路

206 光学系统

300 汽车

302 前照灯

310 灯具系统

304 车辆侧ECU

30页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:放射线检测器及放射线图像摄影装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类