测距系统、光接收模块以及制造带通滤波器的方法

文档序号:1102502 发布日期:2020-09-25 浏览:5次 >En<

阅读说明:本技术 测距系统、光接收模块以及制造带通滤波器的方法 (Distance measuring system, light receiving module, and method of manufacturing band pass filter ) 是由 横川创造 菊池勇辉 诹访泰介 千代田亮 于 2019-02-19 设计创作,主要内容包括:该测距系统设置有:光源单元,其向物体发射红外光;光接收单元,其接收来自物体的红外光;以及算术处理单元,其基于来自光接收单元的数据获取关于物体的距离信息,其中,包括带通滤波器的光学构件被设置在光接收单元的光接收表面侧,该带通滤波器选择性地透射规定波长范围内的红外光,并且该带通滤波器的光入射表面具有凹形。(This ranging system is provided with: a light source unit that emits infrared light to an object; a light receiving unit that receives infrared light from an object; and an arithmetic processing unit that acquires distance information on the object based on data from the light receiving unit, wherein an optical member including a band-pass filter that selectively transmits infrared light in a prescribed wavelength range and has a light incident surface having a concave shape is provided on a light receiving surface side of the light receiving unit.)

测距系统、光接收模块以及制造带通滤波器的方法

技术领域

本公开涉及测距系统、光接收模块以及制造带通滤波器的方法。

背景技术

近年来,已经提出了一种测距系统,其中,通过向目标对象发射光并接收反射光来获得关于到目标对象的距离的信息(例如,参见专利文献1)。发射红外光并接收反射光以获得距离信息的配置具有优点,例如,光源不是非常引人注目,并且可以与捕获正常可见光图像并行地执行操作。

就减少影响测量的干扰而言,优选尽可能窄地限制作为要成像的电磁波长的红外光的波长范围。为此,通常在成像元件的前面布置仅对特定波长带透明的带通滤波器。

引用列表

专利文献

专利文献1:日本专利申请公开第2017-150893号

发明内容

本发明要解决的问题

为了应对电子设备的壳体的高度的减小,便携式电子设备中使用的光接收模块等被迫具有光学系统的配置,该光学系统具有所谓的瞳孔校正,其中,主光线角在成像元件的中心与周边之间相差很大。带通滤波器的频带特性根据入射光的角度在波长方向上偏移。因此,为了在包括成像元件等的光接收单元的中心和周边毫无困难地接收目标光,有必要将带通滤波器的带宽设置为比正常带宽更宽。这导致干扰光的影响增加。

因此,本公开的目的是提供测距系统、光接收模块以及制造带通滤波器的方法,其使得能够为带通滤波器设置窄带宽并减小干扰光的影响。

问题的解决方案

为了实现上述目的,根据本公开的测距系统包括:

光源单元,向目标对象发射红外光;

光接收单元,接收来自目标对象的红外光;以及

算术处理单元,基于来自光接收单元的数据获得关于到目标对象的距离的信息,

其中,光学构件被布置在光接收单元的光接收表面侧,该光学构件包括对预定波长范围内的红外光选择性地透明的带通滤波器,并且

带通滤波器具有凹形的光入射表面。

为了实现上述目的,根据本公开的光接收模块包括:

光接收单元,接收红外光;以及

光学构件,被布置在光接收单元的光接收表面侧,并且包括对预定波长范围内的红外光选择性地透明的带通滤波器,

其中,带通滤波器具有凹形的光入射表面。

为了实现上述目的,根据本公开的制造带通滤波器的方法包括:

在至少对红外光成分透明并且经受塑性变形的膜片上形成带通滤波器层;

将其上已经形成带通滤波器层的膜片放置在模具上,在该模具中,在一个表面上形成凹部,并且形成从凹部穿过到另一表面的开口;并且

通过开口从另一表面抽吸凹部中的空气。

附图说明

[图1]图1是示出根据本公开的第一实施方式的测距系统的基本配置的示意图。

[图2]图2是示出参考示例的测距系统中的光学构件的配置的示意图。

[图3]图3A是示出参考示例的光学构件中的图像高度与相对于主光线角(CRA)的角度之间的关系的示意图。图3B是示出参考示例的光学构件中的带通滤波器的特性的示意图。

[图4]图4A是示出根据第一实施方式的测距系统中的光学构件的配置的示意图。图4B是示出根据第一实施方式的光学构件中的带通滤波器的特性的示意图。

[图5]图5是示出带通滤波器中波长偏移与相对于CRA的角度之间的关系的示意图。

[图6]图6A和图6B是示出带通滤波器的配置的示意图。图6C是示出带通滤波器的特性的示意图。

[图7]图7A是示出第一滤波器的特性的示意图。图7B是示出第二滤波器的特性的示意图。

[图8]图8是示出第一滤波器的配置示例的示图,并且图8A是示出堆叠关系的表。图8B示出了滤波器的透射特性。

[图9]图9是示出第二滤波器的配置示例的示图,并且图9A是示出堆叠关系的表。图9B示出了滤波器的透射特性。

[图10]图10A、图10B、图10C和图10D是示出制造带通滤波器的第一方法的示意图。

[图11]图11A、图11B、图11C和图11D是示出制造带通滤波器的第二方法的示意图。

[图12]图12A、图12B和图12C是示出带通滤波器的另一配置示例的示意图。

[图13]图13A、图13B、图13C和图13D是示出制造带通滤波器的第三方法的示意图。

[图14]图14A、图14B、图14C和图14D是示出制造带通滤波器的第四方法的示意图。

[图15]图15是示出在制造带通滤波器的第五方法中使用的片材的配置的示意图。

[图16]图16A、图16B和图16C是示出在制造带通滤波器的第五方法中的真空形成的示意图。

[图17]图17是示出在制造带通滤波器的第五方法中的冲压加工的示意图。

[图18]图18A和图18B是示出制造光接收模块的方法的示意图。

[图19]图19A和图19B是示出光接收模块的结构的示意图。

[图20]图20是示出包括透镜的光接收模块的结构的示意图。

[图21]图21A、图21B和图21C是示出在测距系统中使用的半导体装置的配置的示意图。

[图22]图22是示出测距系统的第一变形例的示意图。

[图23]图23是示出测距系统的第二变形例的示意图。

[图24]图24是示出测距系统的第三变形例的示意图。

[图25]图25是示出测距系统的第四变形例的示意图。

[图26]图26A和图26B是示出便携式电子设备中的光接收单元和光源单元的布置的示例的示意图。

[图27]图27是示出车辆控制系统的示意性配置的示例的框图。

[图28]图28是示出车外信息检测器和成像单元的安装位置的示例的说明图。

[图29]图29是示出内窥镜手术系统的示意性配置的示例的示图。

[图30]图30是示出图29所示的相机头和CCU的功能配置的示例的框图。

具体实施方式

下面将基于实施方式参考附图描述本公开。本公开不限于实施方式,并且实施方式中的各种数值、材料等是示例。在下面的描述中,相同的元件或具有相同功能的元件将由相同的参考数字表示,而没有冗余的描述。注意,将按照以下顺序进行描述。

1.根据本公开的测距系统和光接收模块的总体描述

2.第一实施方式

3.第一变形例

4.第二变形例

5.第三变形例

6.第四变形例

7.第一应用例

8.第二应用例

9.本公开的配置

[根据本公开的测距系统和光接收模块的总体描述]

如上所述,根据本公开的测距系统包括:

光源单元,向目标对象发射红外光;

光接收单元,接收来自目标对象的红外光;以及

算术处理单元,基于来自光接收单元的数据获得关于到目标对象的距离的信息,

其中,光学构件被布置在光接收单元的光接收表面侧,该光学构件包括对预定波长范围内的红外光选择性地透明的带通滤波器,并且

带通滤波器具有凹形的光入射表面。

根据本公开的测距系统可以具有以下配置,其中,

光学构件包括布置在带通滤波器的光入射表面侧的透镜,并且

最大图像高度处的光相对于带通滤波器的光入射表面的入射角为10度或更小。

包括上述优选配置的本公开的测距系统可以具有以下配置,其中,

带通滤波器的透射带的半宽度为50nm或更小。

包括上述各种优选配置的本公开的测距系统可以具有以下配置,其中,

带通滤波器包括

第一滤波器,对红外光的预定波长范围内的光透明,以及

第二滤波器,对可见光不透明而对红外光透明。

在这种情况下,在配置中,

第一滤波器和第二滤波器可以堆叠并形成在基材的一侧上。

可选地,在配置中,

第一滤波器可以形成在基材的一个表面上,并且

第二滤波器可以形成在基材的另一表面上。

包括上述各种优选配置的本公开的测距系统可以具有以下配置,其中,

第一滤波器被布置在光入射表面侧,并且

第二滤波器被布置在光接收单元侧。

在这种情况下,第二滤波器在配置中可以具有模仿光入射表面的凹形。可选地,第二滤波器在配置中可以具有平面形状。

可选地,在配置中,

第二滤波器可以被布置在光入射表面侧,并且

第一滤波器可以被布置在光接收单元侧。

在这种情况下,第一滤波器可以在配置中具有模仿光入射表面的凹形。

包括上述各种优选配置的本公开的测距系统可以具有以下配置,其中,

光源单元包括红外激光元件或红外发光二极管元件。

包括上述各种优选配置的本公开的测距系统可以具有以下配置,其中,

光源单元发射中心波长为约850nm、约905nm或约940nm的红外光。

包括上述各种优选配置的本公开的测距系统可以具有以下配置,其中,

算术处理单元基于从目标对象反射的光的飞行时间获得距离信息。

可选地,在配置中,

红外光可以以预定图案发射到目标对象,并且

算术处理单元可以基于从目标对象反射的光的图案获得距离信息。

如上所述,根据本公开的光接收模块包括:

光接收单元,接收红外光;以及

光学构件,被布置在光接收单元的光接收表面侧,并且包括对预定波长范围内的红外光选择性地透明的带通滤波器,

其中,带通滤波器具有凹形的光入射表面。

根据本公开的光接收模块可以具有以下配置,其中,

光学构件包括布置在带通滤波器的光入射表面侧的透镜。在这种情况下,在该配置中,最大图像高度处的光相对于带通滤波器的光入射表面的入射角可以为10度或更小。

如上所述,根据本公开的制造带通滤波器的方法包括:

在至少对红外光成分透明并且经受塑性变形的膜片上形成带通滤波器层;

将其上已经形成带通滤波器层的膜片放置在模具上,在该模具中,在一个表面上形成凹部,并且形成从凹部穿过到另一表面的开口;并且

通过开口从另一表面抽吸凹部中的空气。

根据本公开的制造带通滤波器的方法可以具有以下配置,其中,

将其上已经形成带通滤波器层的膜片分割为预定形状,该预定形状包括通过抽吸凹部中的空气而形成的凹表面。

在包括上述各种优选配置的本公开的测距系统和光接收模块中,例如,光电转换元件或成像元件(诸如其中包括各种像素晶体管的像素在行方向和列方向上以二维矩阵布置的CMOS传感器或CCD传感器)可以用作光接收单元。

在包括上述各种优选配置的本公开的测距系统中,可以具有以下配置,其中,基于来自光接收单元的数据获得关于到目标对象的距离的信息的算术处理单元基于通过硬件的物理连接操作,或者基于程序操作。同样适用于控制整个测距系统的控制器等。

[第一实施方式]

第一实施方式涉及根据本公开的测距系统和光接收模块。

图1是示出根据本公开的第一实施方式的测距系统的基本配置的示意图。

测距系统1包括:

光源单元70,其向目标对象发射红外光;

光接收单元20,其接收来自目标对象的红外光;以及

算术处理单元40,其基于来自光接收单元20的数据获得关于到目标对象的距离的信息。

光学构件10被布置在光接收单元20的光接收表面侧,该光学构件10包括对预定波长范围内的红外光选择性地透明的带通滤波器12。带通滤波器12具有凹形的光入射表面。光学构件10包括布置在带通滤波器12的光入射表面侧的透镜(透镜组)11。

光接收单元20由CMOS传感器等构成,并且光接收单元20的信号由模数转换单元30数字化并发送到算术处理单元40。这些操作由控制器50控制。

光源单元70发射例如波长在约700nm至1100nm范围内的红外光。光源单元70包括诸如红外激光元件或红外发光二极管元件的发光元件。与中心波长的偏差对于前者为约1nm,而对于后者为约10nm。光源单元70由控制器50控制的光源驱动单元60驱动。

可以根据测距系统的预期用途和配置来适当地选择由光源单元70发射的红外光的波长。例如,可以选择诸如约850nm、约905nm或约940nm的值作为中心波长。

光接收单元20、模数转换单元30、算术处理单元40、控制器50和光源驱动单元60形成在包括例如硅的半导体基板上。它们可以被配置为单个芯片,或者可以根据它们的功能被配置为多个芯片。这将参考稍后描述的图21A进行描述。

接收系统1可以被配置为一个单元,以适合于例如内置在设备中,或者可以被单独地配置。

以上已经描述了测距系统1的基本配置。接下来,为了促进对本公开的理解,将描述其中带通滤波器具有平面光入射表面的配置的参考示例及其问题。

图2是示出参考示例的测距系统中的光学构件的配置的示意图。

参考示例的光学构件90与图1所示的光学构件10的不同之处在于,光学构件90具有平面带通滤波器92。

图3A是示出参考示例的光学构件中的图像高度与相对于主光线角(CRA)的角度之间的关系的示意图。图3B是示出参考示例的光学构件中的带通滤波器的特性的示意图。

例如,在透镜被配置为应对高度减小的情况下,透镜被迫具有以下配置,其中,主光线角在光接收单元20的中心部分与周边部分之间相差很大。图3A示出了在这种情况下图像高度与相对于CRA的角度之间的关系。曲线图基于光接收单元20处的图像高度最大的情况(其通常对应于屏幕的四个角)进行归一化。如图所示,与图像高度为0的情况相比,在图像高度最大的情况下,相对于CRA的角度改变约30度。

因此,在光入射到光接收单元20的中心部分的情况下和在光入射到周边部分的情况下,光相对于带通滤波器92的入射角也改变约30度。在光倾斜入射到带通滤波器92上的情况下,穿过滤波器的光的光路长度增加,使得特性向短波长侧偏移。

因此,例如,在接收目标是中心波长为905nm的红外光的情况下,有必要将相对于CRA的角度为0的情况下的带通滤波器92的带中心设置为比905nm长的波长。此外,还需要设置带宽,以便即使在相对于CRA的角度为0度至30度的情况下也能够透射905nm。因此,需要将带通滤波器92的带宽设置为比正常带宽更宽。这导致诸如包含环境光的干扰的影响增加。

以上已经描述了其中带通滤波器具有平面光入射表面的配置的参考示例及其问题。

随后,将描述第一实施方式。

图4A是示出根据第一实施方式的测距系统中的光学构件的配置的示意图。图4B是示出根据第一实施方式的光学构件中的带通滤波器的特性的示意图。

如图4A所示,第一实施方式中的带通滤波器12具有凹形的光入射表面。通过这种布置,减小了光相对于带通滤波器12的入射角的变化。

因此,例如,在接收目标是中心波长为905nm的红外光的情况下,可以将相对于CRA的角度为0的情况下的带通滤波器12的带中心设置为接近905nm。此外,即使在光入射到光接收单元20的周边部分的情况下,也减小了带通滤波器12的特性向短波长侧的偏移量。因此,可以将带通滤波器92的带宽设置为更窄,并且可以抑制干扰的影响。通过这种布置,可以提高测量精度。

图5是示出带通滤波器中波长偏移与相对于CRA的角度之间的关系的示意图。更具体地,示出了带通滤波器12的透射带的短波长侧的值的偏移量和长波长侧的值的偏移量。

根据图5,在相对于CRA的角度为约30度的情况下,带通滤波器12的透射带偏移约20nm。另一方面,在相对于CRA的角度为约10度的情况下,可以将透射带的偏移量抑制到约十分之一。因此,优选地设置带通滤波器12的形状,使得最大图像高度处的光相对于带通滤波器12的光入射表面的入射角为10度或更小。此外,带通滤波器12的透射带的半宽度优选为50nm或更小。

带通滤波器12可以具有以下配置:包括对红外光的预定波长范围内的光透明的第一滤波器和对可见光不透明而对红外光透明的第二滤波器。下面将参考附图描述带通滤波器12的配置示例和制造方法。

图6A和图6B是示出带通滤波器的配置的示意图。图6C是示出带通滤波器特性的示意图。

图6A示出了其中第一滤波器12A被布置在光入射表面侧,并且第二滤波器12B被布置在光接收单元20侧的配置示例。图6B示出了其中第二滤波器12B被布置在光入射表面侧,并且第一滤波器12A被布置在光接收单元20侧的配置示例。两者都表现出如图6C所示的透射特性。

图7A是示出第一滤波器的特性的示意图。图7B是示出第二滤波器的特性的示意图。

光学滤波器可以由例如其中适当地堆叠高折射率材料和低折射率材料的多层膜构成。然而,在光学滤波器被设计为使得包括目标光的波长带可以具有透射特性的情况下,即使具有例如具有倍增关系的频率的光也表现出一些透射特性。因此,如图7A所示,示意性地表示第一滤波器12A的特性。为此,如图7B所示,还包括对可见光不透明而对红外光透明的第二滤波器12B。因此,整个滤波器的特性如图6C所示。

图8是示出第一滤波器的配置示例的示图,并且图8A是示出堆叠关系的表。图8B示出了滤波器的透射特性。

在该示例中,第一滤波器12A由11层多层膜构成。氧化硅用作高折射率材料,而硅用作低折射率材料。

图9是示出第二滤波器的配置示例的示图,并且图9A是示出堆叠关系的表。图9B示出了滤波器的透射特性。

在该示例中,第二滤波器12B由5层多层膜构成。氧化硅用作高折射率材料,而硅用作低折射率材料。

诸如CVD、PDV、ALD的已知方法可以用作形成多层膜的方法,并且优选地选择具有诸如高精度膜形成和良好覆盖性的优点的ALD。

第一滤波器12A和第二滤波器12B可以具有以下配置,其中,它们堆叠并形成在基材的一侧上。下面将描述制造方法。

图10A、图10B、图10C和图10D是示出制造带通滤波器的第一方法的示意图。

准备由对红外光透明并且具有形成在表面上的凹面的材料构成的基材13(参见图10A),并且在其上形成由多层膜构成的第二滤波器12B(参见图10B)。接下来,在其上形成由多层膜构成的第一滤波器12A(参见图10C)。此后,可以通过将带通滤波器12分割为包括凹面的预定形状(参见图10D)来获得带通滤波器12。

注意,在上述示例中,形成第二滤波器12B,并且然后形成第一滤波器12A。然而,可以采用其中两者互换的配置。

图11A、图11B、图11C和图11D是示出制造带通滤波器的第二方法的示意图。

除了使用具有形成在前表面上的凹面并且在对应后表面部分上具有凸面的基材13A的不同之外,该示例与参考图10描述的处理流程相似,并且将省略其描述。

在上述配置中,第一滤波器12A和第二滤波器12B被堆叠,但是也可以使用另一配置。例如,在这样的配置中,第一滤波器12A形成在基材的一个表面上,并且第二滤波器12B形成在基材的另一表面上。

图12A、图12B和图12C是示出带通滤波器的另一配置示例的示意图。

在图12A和图12B中,第一滤波器12A和第二滤波器12B以固定间隔布置。在图12A中,第一滤波器12A被布置在光入射表面侧,并且第二滤波器12B被布置在光接收单元20侧。另一方面,在图12B中,第二滤波器12B被布置在光入射表面侧,并且第一滤波器12A被布置在光接收单元20侧。图12C是图12A的变形,并且第二滤波器12B是平面的。

图13A、图13B、图13C和图13D是示出制造带通滤波器的第三方法的示意图。

准备具有形成在前表面上的凹面并且在对应后表面部分上具有凸面的基材13A(参见图13A),并且在前表面上形成由多层膜构成的第一滤波器12A(参见图13B)。接下来,在基材13A的后表面上形成由多层膜构成的第二滤波器12B(参见图13C)。此后,可以通过将带通滤波器12分割为包括凹表面的预定形状(参见图13D)来获得带通滤波器12。

注意,在上述示例中,形成第二滤波器12B,并且然后形成第一滤波器12A。然而,可以采用其中两者互换的配置。

图14A、图14B、图14C和图14D是示出制造带通滤波器的第四方法的示意图。

除了使用具有形成在前表面上的凹面并且具有平坦的后表面的基材13的不同之外,该示例与参考图14描述的处理流程相似,并且将省略其描述。

图15、图16A、图16B、图16C和图17是示出制造带通滤波器的第五方法的附图。

图15是示出在制造带通滤波器的第五方法中使用的膜片15的配置的示意图。准备由至少对红外光成分透明并且在施加外力时塑性变形的材料构成的膜片15A,并且通过气相沉积在膜片15A的一个表面上形成反射膜12C(带通滤波器层或BPF层)。接下来,通过气相沉积在膜片15A的另一表面上形成防反射膜12D(AR层)。通过这种布置,可以获得其上形成有带通滤波器层等的膜片15。

注意,可以首先在膜片15A上气相沉积防反射膜12D,并且然后可以气相沉积反射膜12C。此外,膜片15A具有通过混入吸收材料而获得的带通滤波器功能。具体地,将吸收材料混入或气相沉积在基于树脂基片(诸如环烯烃聚合物、聚对苯二甲酸乙二醇酯(PET)或聚碳酸酯)的材料上以获得具有带通特性的膜片。通过这种配置,仅通过气相沉积在膜片的一个表面上的反射膜不能去除的波长带中的光可以被具有带通特性的膜片去除。注意,膜片15A不限于本公开的配置,并且可以应用不具有带通特性的膜片材料。

图16A、图16B和图16C是示出在制造带通滤波器的第五方法中的真空成形的示意图。准备抽吸模具(suction die)16(mold,模具),在该抽吸模具16中,在一个表面上形成具有预定曲率的凹部16A,并且在凹部16A的中心附近形成开口16B,并且该开口16B穿过另一表面侧(参见图16A)。接下来,在形成有凹部16A的抽吸模具16的表面上,膜片15被放置为使得反射膜可以面向上(使得防反射膜和抽吸模具可以彼此相对)(参见图16B)。此后,凹部16A中的空气通过开口16B从抽吸模具16的另一表面被抽吸,并且膜片15塑性变形(参见图16C)。接下来,通过从抽吸模具16去除膜片15,可以获得其中形成具有预定曲率的凹部的膜片15。

图17是示出在制造带通滤波器的第五方法中的冲压加工的示意图。膜片15通过图16A、图16B和图16C所示的方法进行真空成形,以在膜片15上形成多个凹部。此后,带通滤波器12可以通过冲压加工分割为包括凹部的预定形状来获得。

通过使用第五制造方法,可以在平面膜片上气相沉积带通滤波器层,从而可以均匀地气相沉积带通滤波器层,并且降低制造成本。

光接收单元20和光学构件10也可以被配置为集成的光接收模块。下面将描述光接收模块等的制造方法。

图18A和图18B是示出制造光接收模块的方法的示意图。图19A和图19B是示出光接收模块的结构的示意图。

堆叠其上形成有多个成像元件的半导体晶圆200、其中形成有对应于光接收表面的开口的晶圆状框140以及其上形成有多个带通滤波器的晶圆120(参见图18A),并且然后将其切割并分割为具有预定形状的芯片(参见图18B)。图19A示出了单片化芯片的横截面。参考数字14A表示框。在该配置中,在基材13与光接收单元20之间存在空腔。

在一些情况下,在配置中,具有开口的框140可以用不具有开口的粘合构件代替。图19B示出了具有这种配置的单片化芯片的横截面。参考数字14B表示粘合构件。在该配置中,在基材13与光接收单元20之间不存在空腔。

图20示出了进一步包括透镜的光接收模块的示例。在该配置中,如上所述制造的芯片和透镜被结合在壳体中。

上述已经描述了制造光接收模块的方法等。

如上所述,图1所示的光接收单元20、模数转换单元30、算术处理单元40、控制器50和光源驱动单元60可以被配置为单个芯片,或者可以根据它们的功能被配置为多个芯片。图21A、图21B和图21C是示出在测距系统中使用的半导体装置的配置的示意图。

随后,将描述距离信息的获取。在图1所示的测距系统1中,算术处理单元40可以具有以下配置,其中,基于从目标对象反射的光的飞行时间获得距离信息,或者可以具有以下配置,其中,红外光以预定图案发射到目标对象,并且算术处理单元40基于从目标对象反射的光的图案获得距离信息。这些将在下面作为各种变形例进行描述。

[第一变形例]

图22示出了其中基于反射光的飞行时间获得距离信息的配置。在测距系统1A中,光扩散构件71被布置在光源单元70的前面以发射扩散光。光源单元70以例如几十kHz至几百MHz的频率调制。然后,可以通过与光源单元70的调制同步地检测反射光成分来获得距离信息。

[第二变形例]

图23还示出了其中基于反射光的飞行时间获得距离信息的配置。在测距系统1B中,扫描单元72使来自光源单元70的光扫描。然后,可以通过与扫描同步地检测反射光成分来获得距离信息。

[第三变形例]

图24示出了其中红外光以预定图案发射到目标对象,并且算术处理单元40基于从目标对象反射的光的图案获得距离信息的配置。在测距系统1C中,图案投影单元73使来自光源单元70的光以预定图案发射到目标对象。可以通过检测关于照度图案的空间分布或目标对象上的图案图像的失真的信息来获得距离信息。

[第四变形例]

图25示出了其中还通过将多个光接收单元彼此相距一定距离布置来获得立体信息的配置。注意,该配置可以是以下配置中的任何一种配置:如第一变形例中那样发射扩散光的配置、如第二变形例中那样扫描来自光源的光的配置或如第三变形例中那样以预定图案发射光的配置。图26A和图26B是示出在光接收单元和光源单元被设置在便携式电子设备中的情况下光接收单元和光源单元的布置的示例的示意图。

在第一实施方式中,可以使带通滤波器的带变窄,并且可以减小干扰光的影响。因此,即使在外部光下也可以实现高质量的测距成像。此外,通过根据透镜模块设置带通滤波器的形状,可以提供具有优异波长选择性的光接收模块。

[第一应用例]

根据本公开的技术可以应用于多种产品。例如,根据本公开的技术可以实现为安装在任何类型的移动对象(诸如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动、飞机、无人机、船舶、机器人、建筑机械或农业机械(拖拉机))上的装置。

图27是示出车辆控制系统7000的示意性配置示例的框图,该车辆控制系统7000是可以应用根据本公开的技术的移动对象控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图27所示的示例中,车辆控制系统7000包括驱动系统控制单元7100、体系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接多个控制单元的通信网络7010可以是例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或符合诸如FlexRay(注册商标)的任选标准的车载通信网络。

每个控制单元包括:根据各种程序执行算术处理的微型计算机;存储由微型计算机执行的程序、用于各种计算的参数等的存储单元;以及驱动对其执行各种控制的装置的驱动电路。每个控制单元包括用于经由通信网络7010与另一控制单元执行通信的网络接口,并且还包括用于与车辆内部或外部的装置、传感器等执行有线或无线通信的通信接口。图27示出了集成控制单元7600的功能配置,该集成控制单元7600包括微型计算机7610、通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车内设备接口7660、音频/图像输出单元7670、车载网络接口7680和存储单元7690。以类似的方式,其他控制单元也包括微型计算机、通信接口、存储单元等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如,驱动系统控制单元7100用作用来控制用于生成车辆的驱动力的驱动力生成装置(诸如内燃机或驱动电机)、用于将驱动力传递到车轮的驱动力传递机构、调节车辆的转向角的转向机构、生成车辆的制动力的制动装置等的装置。驱动系统控制单元7100可以具有作为用于控制防抱死制动系统(ABS)、电子稳定控制(ESC)等的装置的功能。

驱动系统控制单元7100与车辆状态检测器7110连接。车辆状态检测器7110例如包括检测车体的轴旋转的角速度的陀螺仪传感器;检测车辆的加速度的加速度传感器;或者用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、车轮旋转速度等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测器7110输入的信号执行算术处理,并且控制内燃机、驱动电机、电动助力转向装置、制动装置等。

体系统控制单元7200根据各种程序控制安装在车体上的各种装置的操作。例如,体系统控制单元7200用作用于控制无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯(诸如前照灯、后照灯、制动灯、闪光器或雾灯)的装置。在这种情况下,从替代钥匙的便携式装置发送的无线电波或来自各种开关的信号可以被输入到体系统控制单元7200。体系统控制单元7200接收这些无线电波或信号的输入,并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如,从包括二次电池7310的电池装置将诸如电池温度、电池输出电压或电池剩余容量的信息输入到电池控制单元7300。电池控制单元7300使用这些信号执行算术处理,并且执行二次电池7310的温度调节控制或包括在电池装置中的冷却装置等的控制。

车外信息检测单元7400检测其上安装有车辆控制系统7000的车辆外的信息。例如,车外信息检测单元7400与成像单元7410或车外信息检测器7420中的至少一个连接。成像单元7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机和另一相机中的至少一个。车外信息检测器7420例如包括用于检测当前天气或气候的环境传感器或用于检测其上安装有车辆控制系统7000的车辆的周围中的另一车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

环境传感器可以是例如检测雨天的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声传感器、雷达装置和LIDAR(“光检测和测距”或“激光成像检测和测距”)装置中的至少一个。这些成像单元7410和车外信息检测器7420可以各自被设置为独立的传感器或装置,或者可以被设置为包括多个传感器或装置的集成装置。

这里,图28示出了成像单元7410和车外信息检测器7420的安装位置的示例。成像单元7910、7912、7914、7916和7918被设置在例如车辆7900的车辆内部中的前鼻、侧视镜、后保险杠、后门和挡风玻璃的顶部中的至少一个处。设置在车辆内部的前鼻处的成像单元7910和设置在挡风玻璃的顶部的成像单元7918主要获取车辆7900的前面的图像。设置在侧视镜处的成像单元7912和7914主要从车辆7900获取侧视图的图像。设置在后保险杠或后门处的成像单元7916主要获取车辆7900后面的图像。设置在车辆内部的挡风玻璃的顶部处的成像单元7918主要用于检测在前车辆、行人、障碍物、交通灯、交通标志、车道等。

注意,图28示出了成像单元7910、7912、7914和7916中的每一个的成像范围的示例。成像范围a表示设置在前鼻处的成像单元7910的成像范围,成像范围b和c分别表示设置在侧视镜处的成像单元7912和7914的成像范围,并且成像范围d表示设置在后保险杠或后门处的成像单元7916的成像范围。例如,通过叠加由成像单元7910、7912、7914和7916捕获的多个图像数据,可以获得从上方观察到的车辆7900的俯瞰图像。

设置在车辆7900的前面、后面、侧面和角落以及车辆内部的挡风玻璃的顶部处的车外信息检测器7920、7922、7924、7926、7928和7930可以是例如超声传感器或雷达装置。设置在车辆7900的车辆内部的前鼻、后保险杠、后门和挡风玻璃的顶部处的车外信息检测器7920、7926和7930可以是例如LIDAR装置。这些车外信息检测器7920至7930主要用于检测在前车辆、行人、障碍物等。

返回图27,将继续描述。车外信息检测单元7400使成像单元7410捕获车辆外部的图像,并且接收所捕获的图像数据。此外,车外信息检测单元7400从连接的车外信息检测器7420接收检测信息。在车外信息检测器7420是超声传感器、雷达装置或LIDAR装置的情况下,车外信息检测单元7400发送超声波、电磁波等,并且从接收到的反射波接收信息。车外信息检测单元7400可以基于接收到的信息执行人、汽车、障碍物、标志、路面上的字符等的物体检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车辆外部的物体的距离。

此外,车外信息检测单元7400可以基于接收到的图像数据执行用于识别人、汽车、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。车外信息检测单元7400还可以通过对接收到的图像数据执行诸如失真校正或定位的处理,并且从由不同成像单元7410捕获的多个图像数据段生成合成图像来生成俯瞰图像或全景图像。车外信息检测单元7400可以使用由不同成像单元7410捕获的多个图像数据来执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测器7510连接。驾驶员状态检测器7510可以包括捕获驾驶员的图像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部中的声音的麦克风等。生物传感器被设置在例如座椅表面、方向盘等处,并且检测坐在座椅上的乘员或握持方向盘的驾驶员的生物信息。基于从驾驶员状态检测器7510输入的检测信息,车内信息检测单元7500可以计算驾驶员的疲劳程度或集中程度,或者确定驾驶员是否已经入睡。车内信息检测单元7500可以对收集到的声音的信号执行诸如噪声消除处理的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。集成控制单元7600与输入单元7800连接。输入单元7800包括可以由乘员用于执行输入操作的装置,例如触摸面板、按钮、麦克风、开关、操纵杆等。通过经由麦克风输入的语音的语音识别获得的数据可以被输入到集成控制单元7600。输入单元7800可以是例如使用红外线或其他无线电波的远程控制装置,或者可以是外部连接的设备,诸如可以用于操作车辆控制系统7000的移动电话或个人数字助理(PDA)。输入单元7800可以是例如相机,在这种情况下,乘员可以通过手势输入信息。可选地,可以通过检测由乘员穿戴的可穿戴器具的运动来获得要输入的数据。此外,输入单元7800可以包括例如输入控制电路,该输入控制电路基于乘员等使用上述输入单元7800输入的信息生成输入信号,并且将该输入信号输出到集成控制单元7600。通过操作输入单元7800,乘员等将各种类型的数据输入到车辆控制系统7000或给出关于处理操作的指示。

存储单元7690可以包括用于存储由微型计算机执行的各种程序的只读存储器(ROM)和用于存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外,存储单元7690可以包括诸如硬盘驱动器(HDD)、半导体存储装置、光学存储装置、磁光存储装置等的磁存储装置。

通用通信接口7620是调解与存在于外部环境7750中的各种类型的设备的通信的通用的通信接口。通用通信接口7620可以实现蜂窝通信协议,诸如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)或高级LTE-A(LTE-A),或者另一无线通信协议,诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标)。通用通信接口7620可以经由例如基站或接入点连接到存在于外部网络(例如,因特网、云网络或运营商专用网络)上的设备(例如,应用服务器或控制服务器)。此外,通用通信接口7620可以例如使用点对点(P2P)技术连接到存在于车辆附近的终端(例如,驾驶员、行人或商店的终端或机器类型通信(MTC)终端)。

专用通信接口7630是支持设计用于在车辆中使用的通信协议的通信接口。专用通信接口7630可以实现例如诸如车辆环境中的无线接入(WAVE)(其是下层IEEE802.11p和上层IEEE1609的组合)的标准协议、专用短程通信(DSRC)或蜂窝通信协议。专用通信接口7630通常执行V2X通信,该V2X通信是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的至少一个的概念。

例如,定位单元7640从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如,从GPS卫星接收全球定位系统(GPS)信号),执行定位,并且生成包括车辆的纬度、经度和高度的位置信息。注意,定位单元7640可以通过与无线接入点交换信号来指定当前位置,或者可以从诸如具有定位功能的移动电话、PHS或智能电话的终端获取位置信息。

例如,信标接收单元7650接收从安装在道路上的无线站等发送的无线电波或电磁波,以获取诸如当前位置、交通拥堵、交通暂停或所需时间的信息。注意,信标接收单元7650的功能可以包括在上述专用通信接口7630中。

车内设备接口7660是调解微型计算机7610与存在于车辆内部的各种类型的车内设备7760之间的连接的通信接口。车内设备接口7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议建立无线连接。此外,车内设备接口7660可以经由连接端子(未示出)(以及电缆(如果必要))建立有线连接,诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)。车内设备7760可以包括例如乘员所拥有的移动设备或可穿戴设备或承载在车辆中或附接到车辆的信息设备中的至少一个。此外,车内设备7760可以包括搜索到任选目的地的路线的导航装置。车内设备接口7660与车内设备7760交换控制信号或数据信号。

车载网络接口7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络接口7680基于通信网络7010所支持的预定协议发送和接收信号等。

基于经由通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车内设备接口7660和车载网络接口7680中的至少一个获取的信息,集成控制单元7600的微型计算机7610根据各种程序控制车辆控制系统7000。例如,微型计算机7610可以基于从车辆内部和外部获取的信息计算驱动力生成装置、转向机构或制动装置的控制目标值,并且将控制命令输出到驱动系统控制单元7100。例如,微型计算机7610可以出于实现高级驾驶员辅助系统(ADAS)的功能的目的执行协同控制,该高级驾驶员辅助系统(ADAS)的功能包括车辆的碰撞避免或冲击减轻、基于车辆间距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告、车辆车道偏离警告等。此外,微型计算机7610可以通过基于从车辆的周围获取的信息控制驱动力生成装置、转向机构、制动装置等,出于自动操作(即,无需驾驶员的操作而自动驾驶)等的目的执行协同控制。

微型计算机7610可以基于经由通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车内设备接口7660和车载网络接口7680中的至少一个获取的信息,生成关于车辆与车辆周边中的诸如结构体或人的对象之间的三维距离的信息,并且创建包括车辆的当前位置周边中的信息的局部地图信息。此外,微型计算机7610可以基于所获取的信息预测诸如车辆碰撞、接近行人等或进入封闭道路的危险,并生成警告信号。警告信号可以是例如用于生成警告声音或点亮警告灯的信号。

音频/图像输出单元7670将音频输出信号和图像输出信号中的至少一个发送到能够在视觉或听觉上向车辆中或车辆外部的乘员通知信息的输出装置。在图27的示例中,音频扬声器7710、显示单元7720和仪表板7730被示出为输出装置。显示单元7720可以包括例如车载显示器和平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。除了这些装置之外,输出装置可以是另一装置,诸如耳机、可穿戴装置(诸如由乘员佩戴的眼镜型显示器)、投影仪或灯。在输出装置是显示装置的情况下,显示装置以诸如文本、图像、表或曲线图的各种形式可视地显示从由微型计算机7610执行的各种类型的处理获得的结果或从另一控制单元接收的信息。此外,在输出装置是音频输出装置的情况下,音频输出装置将包括再现的音频数据、声学数据等的音频信号转换为模拟信号,并且在听觉上输出该模拟信号。

注意,在图27所示的示例中,经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。可选地,每个控制单元可以包括多个控制单元。此外,车辆控制系统7000可以包括另一控制单元(未示出)。此外,在以上描述中,由控制单元中的一个执行的一些或全部功能可以被提供给另一控制单元。即,只要经由通信网络7010发送和接收信息,就可以由任何控制单元执行预定的算术处理。类似地,连接到任何控制单元的传感器或装置可以连接到另一控制单元,并且多个控制单元可以经由通信网络7010彼此发送检测信息和从彼此接收检测信息。

根据本公开的技术可以应用于例如上述配置中的车外信息检测单元的成像单元。

[第二应用例]

根据本公开的技术可以应用于多种产品。例如,根据本公开的技术可以应用于内窥镜手术系统。

图29是示出可以应用根据本公开的技术的内窥镜手术系统5000的示意性配置的示例的示图。图29示出了其中操作者(医生)5067使用内窥镜手术系统5000在病床5069上对患者5071执行手术的情况。如图所示,内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027以及其上安装有用于内窥镜手术的各种装置的推车5037。

在内窥镜手术中,用称为套管针5025a至5025d的多个管状开孔器械刺穿腹壁,而不是切割并打开腹壁。然后,通过套管针5025a至5025d将内窥镜5001的镜筒5003和其他手术工具5017***患者5071的体腔内。在所示的示例中,将吹气管5019、能量治疗工具5021和钳子5023作为其他手术工具5017***患者5071的体腔中。此外,能量治疗工具5021用于通过使用高频电流或超声振动来执行组织的切开和剥落、血管的密封等。然而,所示的手术工具5017仅是示例,并且通常用于内窥镜手术的各种手术工具(诸如镊子、牵开器等)可以用作手术工具5017。

在显示装置5041上显示由内窥镜5001捕获的患者5071的体腔中的手术部位的图像。操作者5067在实时观察显示在显示装置5041上的手术部位的图像的同时,例如使用能量治疗工具5021或钳子5023执行诸如切除患部的过程。注意,尽管未示出,但是在手术期间,吹气管5019、能量治疗工具5021和钳子5023由操作者5067或助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基部5029延伸的臂5031。在所示的示例中,臂5031包括关节5033a、5033b和5033c以及连杆5035a和5035b,并且由臂控制装置5045的控制来驱动。臂5031支撑内窥镜5001以控制其位置和取向。通过这种布置,可以稳定地固定内窥镜5001的位置。

(内窥镜)

内窥镜5001包括镜筒5003和相机头5005,镜筒5003从端部起预定长度被***患者5071的体腔中,相机头5005连接到镜筒5003的近端。在所示的示例中,示出了被配置为具有刚性的镜筒5003的所谓的刚性内窥镜的内窥镜5001。可选地,内窥镜5001可以被配置为具有柔性的镜筒5003的所谓的柔性内窥镜。

镜筒5003在其端部设置有开口部,物镜安装在该开口部中。内窥镜5001与光源装置5043连接。由光源装置5043生成的光通过在镜筒内部延伸的光导被引导到镜筒5003的端部,并且通过物镜向患者5071的体腔中的观察目标发射。另外,内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

相机头5005在其内部设置有光学系统和成像元件,并且从观察目标反射的光(观察光)通过光学系统聚焦在成像元件上。成像元件对观察光进行光电转换,以生成对应于观察光的电信号,即,对应于观察图像的图像信号。图像信号作为原始数据被发送到相机控制单元(CCU)5039。注意,相机头5005具有通过适当地驱动光学系统来调节放大率和焦距的功能。

注意,相机头5005可以设置有多个成像元件,以便支持例如立体观看(3D显示)等。在这种情况下,镜筒5003在其内部设置有多个中继光学系统,以将观察光引导到多个成像元件中的每一个。

(安装在推车上的各种装置)

CCU 5039由中央处理单元(CPU)、图形处理单元(GPU)等构成,并且集成地控制内窥镜5001和显示装置5041的操作。具体地,CCU 5039对从相机头5005接收的图像信号执行用于基于图像信号显示图像的各种类型的图像处理,诸如显影处理(去马赛克处理)。CCU5039向显示装置5041提供已经对其执行了图像处理的图像信号。此外,CCU 5039将控制信号发送到相机头5005以控制其驱动。控制信号可以包含关于成像条件的信息,诸如放大率和焦距。

CCU 5039控制显示装置5041基于已经由CCU 5039对其执行了图像处理的图像信号来显示图像。例如,在内窥镜5001支持以诸如4K(3840水平像素×2160垂直像素)或8K(7680水平像素×4320垂直像素)的高分辨率的成像的情况下,和/或在内窥镜5001支持3D显示的情况下,支持高分辨率显示和/或3D显示的显示装置可以相应地用作显示装置5041。在支持以诸如4K或8K的高分辨率的成像的情况下,具有55英寸或更大尺寸的显示装置可以用作显示装置5041以提供更沉浸感。此外,可以根据预期用途提供具有不同分辨率和尺寸的多个显示装置5041。

光源装置5043例如包括诸如发光二极管(LED)的光源,并且在对手术部位成像时向内窥镜5001提供发射光。

臂控制装置5045例如由诸如CPU的处理器构成,并且根据预定程序操作,以根据预定控制方法控制支撑臂装置5027的臂5031的驱动。

输入装置5047是到内窥镜手术系统5000的输入接口。用户可以经由输入装置5047向内窥镜手术系统5000输入各种类型的信息和输入指示。例如,用户经由输入装置5047输入与手术相关的各种类型的信息,诸如患者的物理信息和关于手术过程的信息。此外,例如,用户可以经由输入装置5047输入驱动臂5031的指示、改变内窥镜5001的成像条件(发射光的类型、放大率和焦距等)的指示、驱动能量治疗工具5021的指示等。

输入装置5047的类型不受限制,并且各种已知的输入装置可以用作输入装置5047。作为输入装置5047,例如,可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或操纵杆。在触摸面板用作输入装置5047的情况下,可以在显示装置5041的显示表面上设置触摸面板。

可选地,输入装置5047例如是由用户佩戴的装置,诸如眼镜型可穿戴装置或头戴式显示器(HMD),并且根据由这些装置检测到的用户的手势或视线来执行各种输入。此外,输入装置5047包括能够检测用户的运动的相机,并且根据从由相机捕获的视频中检测到的用户的姿势或视线来执行各种输入。此外,输入装置5047包括能够收集用户的语音的麦克风,并且经由麦克风通过语音执行各种输入。如上所述,由于输入装置5047具有以下配置,其中可以以非接触方式输入各种类型的信息,特别地,属于清洁区域的用户(例如,操作者5067)可以以非接触方式操作属于不清洁区域的设备。此外,用户可以在手握手术工具的同时操作设备,并且这提高了用户的便利性。

治疗工具控制装置5049控制用于组织的烧灼或切开、血管的密封等的能量治疗工具5021的驱动。出于确保内窥镜5001的视野以及确保操作者的工作空间的目的,为了使患者5071的体腔充气,吹气装置5051通过吹气管5019将气体输送到体腔中。记录器5053是可以记录与手术相关的各种类型的信息的装置。打印机5055是可以以诸如文本、图像或曲线图的各种格式打印与手术相关的各种类型的信息的装置。

下面将更详细地描述内窥镜手术系统5000的特别特征配置。

(支撑臂装置)

支撑臂装置5027包括作为基座的基部5029和从基部5029延伸的臂5031。在所示的示例中,臂5031包括多个关节5033a、5033b和5033c,以及由关节5033b连接的多个连杆5035a和5035b。然而,图29为了便于说明以简化的方式示出了臂5031的配置。实际上,关节5033a至5033c以及连杆5035a和5035b的形状、数量和布置,关节5033a至5033c的旋转轴方向等可以适当地设定,使得臂5031具有期望的自由度。例如,臂5031可以适当地具有实现六个或更多自由度的配置。通过这种布置,内窥镜5001可以在臂5031的可移动范围内自由移动,并且内窥镜5001的镜筒5003可以从期望的方向***患者5071的体腔中。

关节5033a至5033c设置有致动器,并且关节5033a至5033c具有能够通过致动器的驱动绕预定旋转轴旋转的配置。臂控制装置5045控制致动器的驱动,从而控制关节5033a至5033c中的每一个的旋转角度,并且控制臂5031的驱动。通过这种布置,可以控制内窥镜5001的位置和取向。此时,臂控制装置5045可以通过诸如力控制或位置控制的各种已知的控制方法来控制臂5031的驱动。

例如,可以由操作者5067经由输入装置5047(包括脚踏开关5057)执行适当的操作输入来控制内窥镜5001的位置和取向,从而使臂控制装置5045根据操作输入适当地控制臂5031的驱动。通过这种控制,臂5031的端部的内窥镜5001可以从任选位置移动到任选位置,并且然后固定支撑在移动后的位置。注意,臂5031可以通过所谓的主从方法来操作。在这种情况下,臂5031可以由用户经由安装在远离手术室的位置处的输入装置5047远程控制。

此外,在施加力控制的情况下,可以执行所谓的动力辅助控制,其中,臂控制装置5045从用户接收外力,并且驱动对应关节5033a至5033c的致动器,使得臂5031根据外力平滑地移动。通过这种布置,当用户在直接触摸臂5031的同时移动臂5031时,臂5031可以以相对轻的力移动。因此,内窥镜5001可以更直观且操作更简单地移动,并且这提高了用户的便利性。

这里,通常,内窥镜5001在内窥镜手术期间已经由被称为内窥镜医师的医生支撑。另一方面,通过使用支撑臂装置5027,内窥镜5001的位置可以更可靠地固定而无需手动操作。这使得可以稳定地获得手术部位的图像并且平稳地执行手术。

注意,臂控制装置5045不必设置在推车5037上。此外,臂控制装置5045不必是一个装置。例如,臂控制装置5045可以为支撑臂装置5027的臂5031的关节5033a至5033c中的每一个设置一个,并且多个臂控制装置5045可以彼此协作以控制臂5031的驱动。

(光源装置)

光源装置5043在对手术部位成像时向内窥镜5001提供发射光。光源装置5043由包括例如LED、激光光源或其组合的白色光源构成。此时,在白色光源包括RGB激光光源的组合的情况下,可以高精度地控制每个颜色(每个波长)的输出强度和输出定时,并且这使得能够在光源装置5043处调节捕获图像的白平衡。此外,在这种情况下,通过以分时方式从每个RGB激光光源向观察目标发射激光,并且与发射定时同步地控制相机头5005的成像元件的驱动,可以以分时方式捕获R、G和B中的每一个的图像。根据该方法,无需在成像元件中设置滤色器就可以获得彩色图像。

此外,可以控制光源装置5043的驱动,使得要输出的光的强度可以以预定时间间隔改变。通过与光强度的变化的定时同步地控制相机头5005的成像元件的驱动,以分时方式获取图像,并且从图像生成合成图像,可以生成没有所谓的遮挡阴影或高光突出的高动态范围图像。

此外,光源装置5043可以具有以下配置,其中,可以以可以用于特殊光观察的预定波长带提供光。在特殊光观察中,例如,通过利用身体组织中的光吸收的波长依赖性,执行所谓的窄带成像,其中,通过发射比正常观察期间发射的光窄的带中的光(即,白色光),以高对比度成像诸如粘膜表面层中的血管的预定组织。可选地,在特殊光观察中,可以执行荧光观察,其中,通过由发射激发光生成的荧光来获得图像。在荧光观察中,例如,激发光被发射到身体组织并且观察来自身体组织的荧光(自体荧光观察),或者通过将诸如吲哚青绿(ICG)的试剂局部注射到身体组织中并且将对应于试剂的荧光波长的激发光发射到身体组织来获得荧光图像。光源装置5043可以具有以下配置,其中,可以提供可以用于这种特殊光观察的窄带光和/或激发光的配置。

(相机头和CCU)

将参考图30更详细地描述内窥镜5001的相机头5005和CCU 5039的功能。图30是示出图29所示的相机头5005和CCU 5039的功能配置的示例的框图。

参考图30,相机头5005具有包括透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制器5015的功能。此外,CCU 5039具有包括通信单元5059、图像处理单元5061和控制器5063的功能。相机头5005和CCU 5039通过传输电缆5065连接以允许双向通信。

首先,将描述相机头5005的功能配置。透镜单元5007是设置在与镜筒5003的连接处的光学系统。从镜筒5003的端部入射的观察光被引导到相机头5005并且入射到透镜单元5007上。透镜单元5007由包括变焦透镜(zoom lens)和聚焦透镜的多个透镜的组合构成。调整透镜单元5007的光学特性,使得观察光可以聚焦在成像单元5009的成像元件的光接收表面上。此外,变焦透镜和聚焦透镜具有以下配置,其中,它们的位置可以在光轴上移动以调整捕获图像的放大率和焦点。

成像单元5009由成像元件构成,并且被布置在透镜单元5007之后的阶段。已经通过透镜单元5007的观察光被聚焦在成像元件的光接收表面上,并且通过光电转换生成对应于观察图像的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

作为包括在成像单元5009中的成像元件,例如,使用具有拜尔阵列并且能够捕获彩色图像的互补金属氧化物半导体(CMOS)型图像传感器。注意,作为成像元件,可以使用能够捕获例如4K或更高的高分辨率图像的成像元件。可以以高分辨率获得手术部位的图像,并且这允许操作者5067更详细地掌握手术部位的状态,并且更平稳地进行手术。

此外,包括在成像单元5009中的成像元件具有包括一对成像元件的配置,一个成像元件用于获取支持3D显示的右眼图像信号,而另一个成像元件用于获取支持3D显示的左眼图像信号。3D显示允许操作者5067更精确地掌握手术部位中活组织的深度。注意,在成像单元5009具有多板型配置的情况下,设置多个透镜单元5007以支撑每个成像元件。

此外,成像单元5009不必设置在相机头5005中。例如,成像单元5009可以设置在镜筒5003的内部,刚好在物镜的后面。

驱动单元5011由致动器构成,并且相机头控制器5015控制透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。通过这种布置,可以适当地调整由成像单元5009捕获的图像的放大率和焦点。

通信单元5013由用于向CCU 5039发送各种类型的信息和从CCU 5039接收各种类型的信息的通信装置构成。通信单元5013经由传输电缆5065将从成像单元5009获得的图像信号作为原始数据发送到CCU 5039。此时,优选地通过光通信来发送图像信号,以便以低延迟显示手术部位的捕获图像。这是因为,在手术期间,操作者5067在从捕获图像观察患部的状态的同时执行手术,并且要求尽可能实时地显示手术部位的运动图像,以便更安全和更可靠的手术。在执行光通信的情况下,通信单元5013设置有将电信号转换为光信号的光电转换模块。图像信号由光电转换模块转换为光信号,并且然后经由传输电缆5065发送到CCU5039。

此外,通信单元5013从CCU 5039接收用于控制相机头5005的驱动的控制信号。控制信号包含例如用于指定捕获图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定捕获图像的放大率和焦点的信息、关于成像条件的信息等。通信单元5013将接收到的控制信号提供给相机头控制器5015。注意,来自CCU 5039的控制信号也可以通过光通信来发送。在这种情况下,通信单元5013设置有将光信号转换为电信号的光电转换模块。控制信号由光电转换模块转换为电信号,并且然后被提供给相机头控制器5015。

注意,由CCU 5039的控制器5063基于获取的图像信号自动设置诸如帧速率、曝光值、放大率和焦点的上述成像条件。即,内窥镜5001具有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制器5015基于经由通信单元5013接收到的来自CCU 5039的控制信号来控制相机头5005的驱动。例如,相机头控制器5015基于用于指定捕获图像的帧速率的信息和/或用于指定成像时的曝光的信息来控制成像单元5009的成像元件的驱动。此外,例如,相机头控制器5015基于用于指定捕获图像的放大率和焦点的信息,经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制器5015还可以包括存储用于识别镜筒5003和相机头5005的信息的功能。

注意,通过以具有高气密性和防水性的密封结构布置透镜单元5007、成像单元5009等的配置,相机头5005可以具有耐高压灭菌性。

接下来,将描述CCU 5039的功能配置。通信单元5059由用于向相机头5005发送各种类型的信息和从相机头5005接收各种类型的信息的通信装置构成。通信单元5059接收经由传输电缆5065从相机头5005发送的图像信号。此时,如上所述,可以通过光通信适当地发送图像信号。在这种情况下,为了支持光通信,通信单元5059设置有将光信号转换为电信号的光电转换模块。通信单元5059向图像处理单元5061提供转换为电信号的图像信号。

此外,通信单元5059将用于控制相机头5005的驱动的控制信号发送到相机头5005。控制信号也可以通过光通信来发送。

图像处理单元5061对作为从相机头5005发送的原始数据的图像信号执行各种类型的图像处理。图像处理的示例包括各种类型的已知信号处理,诸如显影处理、高图像质量处理(诸如频带加重处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)。此外,图像处理单元5061对用于执行AE、AF和AWB的图像信号执行解调处理。

图像处理单元5061由诸如CPU或GPU的处理器构成,并且上述图像处理和解调处理可以由根据预定程序操作的处理器执行。注意,在图像处理单元5061由多个GPU构成的情况下,图像处理单元5061适当地划分与图像信号相关的信息,并且由多个GPU并行地执行图像处理。

控制器5063执行与通过内窥镜5001捕获手术部位的图像和显示捕获图像相关的各种控制。例如,控制器5063生成用于控制相机头5005的驱动的控制信号。此时,在已经由用户输入成像条件的情况下,控制器5063基于用户的输入生成控制信号。可选地,在内窥镜5001具有AE功能、AF功能和AWB功能的情况下,控制器5063根据由图像处理单元5061执行的解调处理的结果适当地计算最佳曝光值、焦距和白平衡,并且生成控制信号。

此外,控制器5063使显示装置5041基于图像处理单元5061已经对其执行了图像处理的图像信号来显示手术部位的图像。此时,控制器5063使用各种图像识别技术来识别手术部位的图像中的各种对象。例如,控制器5063可以通过检测手术部位的图像中的对象的边缘的形状、颜色等来识别诸如钳子、特定活体部位、出血、使用能量治疗工具5021时的雾气等的手术工具。当在显示装置5041上显示手术部位的图像时,控制器5063使用识别的结果将各种类型的手术支持信息叠加在手术部位的图像上。通过叠加手术支持信息并将其呈现给操作者5067,可以更安全且可靠地执行手术。

连接相机头5005和CCU 5039的传输电缆5065是支持电信号通信的电信号电缆、支持光通信的光纤电缆或其复合电缆。

这里,在所示的示例中,使用传输电缆5065执行有线通信,但是可以在相机头5005与CCU 5039之间执行无线通信。在两者之间执行无线通信的情况下,不需要在手术室中铺设传输电缆5065。这可以解决医务人员在手术室中的移动被传输电缆5065阻碍的情况。

以上已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。注意,尽管这里已经描述了内窥镜手术系统5000作为示例,但是可以应用根据本公开的技术的系统不限于这样的示例。例如,根据本公开的技术可以应用于检查柔性内窥镜系统或显微手术系统。

根据本公开的技术可以应用于例如上述配置中的相机头。

[本公开的配置]

注意,本公开还可以具有以下配置。

[A1]

一种测距系统,包括:

光源单元,向目标对象发射红外光;

光接收单元,接收来自目标对象的红外光;以及

算术处理单元,基于来自光接收单元的数据获得关于到目标对象的距离的信息,

其中,光学构件被布置在光接收单元的光接收表面侧,该光学构件包括对预定波长范围内的红外光选择性地透明的带通滤波器,并且

该带通滤波器具有凹形的光入射表面。

[A2]

根据[A1]的测距系统,其中,

光学构件包括布置在带通滤波器的光入射表面侧的透镜,并且

最大图像高度处的光相对于带通滤波器的光入射表面的入射角为10度或更小。

[A3]

根据[A1]或[A2]的测距系统,其中,

带通滤波器的透射带的半宽度为50nm或更小。

[A4]

根据[A1]至[A3]中任一项的测距系统,其中,

带通滤波器包括

第一滤波器,对红外光的预定波长范围内的光透明,以及

第二滤波器,对可见光不透明而对红外光透明。

[A5]

根据[A4]的测距系统,其中,

第一滤波器和第二滤波器堆叠并形成在基材的一侧上。

[A6]

根据[A4]的测距系统,其中,

第一滤波器形成在基材的一个表面上,并且

第二滤波器形成在基材的另一表面上。

[A7]

根据[A4]至[A6]中任一项的测距系统,其中,

第一滤波器被布置在光入射表面侧,并且

第二滤波器被布置在光接收单元侧。

[A8]

根据[A7]的测距系统,其中,

第二滤波器具有模仿光入射表面的凹形。

[A9]

根据[A7]的测距系统,其中,

第二滤波器具有平面形状。

[A10]

根据[A4]至[A6]中任一项的测距系统,其中,

第二滤波器被布置在光入射表面侧,并且

第一滤波器被布置在光接收单元侧。

[A11]

根据[A10]的测距系统,其中,

第一滤波器具有模仿光入射表面的凹形。

[A12]

根据[A1]至[A11]中任一项的测距系统,其中,

光源单元包括红外激光元件或红外发光二极管元件。

[A13]

根据[A1]至[A12]中任一项的测距系统,其中,

光源单元发射中心波长为约850nm、约905nm或约940nm的红外光。

[A14]

根据[A1]至[A13]中任一项的测距系统,其中,

算术处理单元基于从目标对象反射的光的飞行时间获得距离信息。

[A15]

根据[A1]至[A13]中任一项的测距系统,其中,

红外光以预定图案发射到目标对象,并且

算术处理单元基于从目标对象反射的光的图案获得距离信息。

[B1]

一种光接收模块,包括:

光接收单元,接收红外光;以及

光学构件,被布置在光接收单元的光接收表面侧,并且包括对预定波长范围内的红外光选择性地透明的带通滤波器,

其中,带通滤波器具有凹形的光入射表面。

[B2]

根据[B1]的光接收模块,其中,

光学构件包括布置在带通滤波器的光入射表面侧的透镜。

[B3]

根据[B2]的光接收模块,其中,

最大图像高度处的光相对于带通滤波器的光入射表面的入射角为10度或更小。

[B4]

根据[B1]至[B3]中任一项的光接收模块,其中,

带通滤波器的透射带的半宽度为50nm或更小。

[B5]

根据[B1]至[B4]中任一项的光接收模块,其中,

带通滤波器包括

第一滤波器,对红外光的预定波长范围内的光透明,以及

第二滤波器,对可见光不透明而对红外光透明。

[B6]

根据[B5]的光接收模块,其中,

第一滤波器和第二滤波器堆叠并形成在基材的一侧上。

[B7]

根据[B5]的光接收模块,其中,

第一滤波器形成在基材的一个表面上,并且

第二滤波器形成在基材的另一表面上。

[B8]

根据[B5]至[B7]中任一项的光接收模块,其中,

第一滤波器被布置在光入射表面侧,并且

第二滤波器被布置在光接收单元侧。

[B9]

根据[B8]的光接收模块,其中,

第二滤波器具有模仿光入射表面的凹形。

[B10]

根据[B8]的光接收模块,其中,

第二滤波器具有平面形状。

[B11]

根据[B5]至[B7]中任一项的光接收模块,其中,

第二滤波器被布置在光入射表面侧,并且

第一滤波器被布置在光接收单元侧。

[B12]

根据[B11]的光接收模块,其中,

第一滤波器具有模仿光入射表面的凹形。

参考标记列表

1、1A、1B、1C和1D 测距系统

10、10A、10B和90 光学构件

11 透镜

12、92 带通滤波器

12A 第一滤波器

12B 第二滤波器

12C 带通滤波器层

12D 防反射膜

13、13A 对红外光透明的基材

14A 帧

14B 粘合构件

15、15A 膜片

16 抽吸模具

16A 凹部

16B 开口

20、20A和20B 光接收单元

30、30A和30B 模数转换单元

40、40A和40B 算术处理单元

50 控制器

60 光源驱动单元

70 光源单元

71 光扩散构件

72 扫描单元

73 图案投影单元

80 合成处理单元

120 晶圆状带通滤波器组

140 晶圆状帧

200 晶圆状成像元件组。

56页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:激光雷达测距的多脉冲融合分析

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!