通过有意引入的光学像差使视觉伪影最小化来改进结构光投影
阅读说明：本技术 通过有意引入的光学像差使视觉伪影最小化来改进结构光投影 (Improved structured light projection by minimizing visual artifacts through intentionally introduced optical aberrations ) 是由 A·施文德纳 托马斯·延森 J·斯蒂格瓦尔 于 2021-05-07 设计创作，主要内容包括：本发明涉及通过有意引入的光学像差使视觉伪影最小化来改进结构光投影。一种三角测量装置用于通过将结构光图案投影到测量对象上来测量测量对象,该三角测量装置包括：投影仪,其被配置成将结构光图案投影到测量对象上,结构光图案能被分解成不同的空间频率,投影仪包括：像素元素矩阵,其中,伪影图案由相邻像素元素之间的伪影区域限定,以及透镜系统,其中,透镜系统确定相对于参考波前具有波前像差的波前；以及摄像头,该摄像头包括透镜系统和成像传感器,其中,摄像头被配置成接收由投影仪投影到测量对象上的结构光图案；以及处理单元,其被配置成通过评估由摄像头提供的成像信息来提供距离信息。(The present invention relates to improving structured light projection by minimizing visual artifacts through intentionally introduced optical aberrations. A triangulation device for measuring a measurement object by projecting a structured light pattern onto the measurement object, the triangulation device comprising: a projector configured to project a structured light pattern onto a measurement object, the structured light pattern being resolvable into different spatial frequencies, the projector comprising: a matrix of pixel elements, wherein the artefact pattern is defined by artefact areas between adjacent pixel elements, and a lens system, wherein the lens system determines a wavefront having a wavefront aberration relative to a reference wavefront; and a camera comprising a lens system and an imaging sensor, wherein the camera is configured to receive a structured light pattern projected onto the measurement object by the projector; and a processing unit configured to provide distance information by evaluating imaging information provided by the camera.)
技术领域
本发明涉及使用结构光投影的三角测量装置。
背景技术
投影结构光图案是快速获取有关待测量对象的3D信息的常用技术。在最简单的情况下，三角测量系统包括投影仪和摄像头，该投影仪将激光线投影到对象上，并且摄像头拍摄对应的场景。如果已知投影仪与摄像头之间的相对几何配置，则可以推断出与被照射对象有关的3D信息，因为入射在对象上的激光线位于由投影激光线和投影仪所限定的平面与穿过摄像头的摄像头中心和激光线在摄像头的图像传感器上的位置的射线的交叉处。通过使激光线扫过待测量对象，可以准确捕获有关对象的3D信息。为了加速整个测量过程，通常是用时间和空间变化都更复杂的图案来代替单个投影的激光线。对投影的结构光图案进行编码；因此，可以获得图像点与投影图案的点之间的对应关系，由此可以对被照射对象的表面进行三角测量。使用投影的结构光的附加益处是，其简化了在更经典的三角测量系统中通常遇到的对应问题。在此，必须在至少两个图像中标识要获得3D位置的同一物理点。在多个图像中找到足够数量的这种对应点通常是困难的计算问题。
在许多不同的
技术领域
中，期望精确地测量对象或获取关于对象内部组成的进一步的信息。这尤其适用于需要精确测量和检查过程以便控制其产品质量的制造业。三角测量扫描器通常用于检查制成的产品的表面。三角测量的原理使得能够快速且精确地扫描表面。例如，在DE102004026090A1和WO2011/000435A1中公开了利用三角测量原理的测量系统。使用具有有限像素数量的液晶显示器(LCD)的投影仪需要用于访问和控制各像素的电路。这种电路靠近各个单独像素被设置在半导体芯片上。由这种电路在半导体芯片上占据的区域通常不可用于实际成像目的，导致投影图像中的视觉伪影，因为投影仪的透镜系统通常足以分辨电路区域。对于数字光处理投影仪的情况，微镜需要彼此之间设置有足够的距离，以便可以使各微镜倾斜。出于计量目的，电路或微镜伪影是有问题的，因为在要计算3D信息的情况下，这种视觉伪影可能会导致错误的结果。对于具有强梯度的相邻像素元素(其中，一个像素是明亮的而另一像素是黑暗的)尤其如此。两个像素元素之间的电路或微镜伪影会使局部强度质心(intensity centroid)移位。在投影仪发送结构光图案的情况下，由于在投影图像中电路或微镜伪影的存在，可能会做出错误的推断。
发明内容
因此，本发明的目的是提供一种三角测量装置，该三角测量装置减少投影图像中的电路或微镜视觉伪影。
该目的通过实现独立权利要求的特征的至少一部分特征来实现。在从属专利权利要求中描述了以另选方式或有利方式进一步开发本发明的特征。
本发明涉及一种三角测量装置，所述三角测量装置用于通过将结构光图案投影到测量对象上来测量所述测量对象，所述三角测量装置包括：投影仪，所述投影仪被配置成利用投影光将所述结构光图案投影到所述测量对象上，所述投影光包括至少一个波长λ，所述结构光图案能够被分解成不同的空间频率，所述投影仪包括：像素元素矩阵，其中，伪影图案由相邻像素元素之间的伪影区域限定，以及透镜系统，其中，所述透镜系统被布置成使得穿过所述透镜系统的所述投影光限定相对于球面参考波前具有波前像差的波前，以及摄像头，所述摄像头包括透镜系统和成像传感器，其中，所述摄像头被配置成接收由所述投影仪投影到所述测量对象上的所述结构光图案；以及处理单元，所述处理单元被配置成通过评估由所述摄像头提供的成像信息来提供距离信息，其中，所述波前像差由Zernike分解的初级球差系数Z9限定(特别是控制)，其中，限定Zernike分解的Zernike多项式根据FringeZernike系数排序而排序，其中，所述初级球差系数Z9大于所述波长λ的四分之一。
应当理解，波前像差通常不仅由像差系数Z9限定，而且其它像差系数也可能影响波前像差的形状。
球面参考波前和由投影仪的透镜系统限定的波前可以在透镜系统的出射瞳孔(exit pupil)处限定。在透镜系统的出射瞳孔处的球形参考波前可表征理想透镜，因为球形参考波前可以清晰地聚焦在像平面上的一点上。通过Zernike分解表征波前像差可以简洁地捕获透镜系统的相关行为。在透镜设计程序和干涉计量学二者中都已知所谓的“Fringe Zernike”符号。Zernike多项式的系数通常以“波”为单位指定，“波”指的是所用光的波长。Zernike多项式代表典型的波前像差。项数9描述“初级球差”。
透镜系统通常被设计成在给定的约束下达到最大调制传递函数(MTF)，即，透镜系统针对图像质量进行了优化。为了实现理想MTF，可以将像差组合在一起以在一定程度上彼此补偿，这被称为像差平衡。例如，可以利用散焦来平衡球差以改进MTF。另一经典的平衡任务是像散、场曲和散焦的组合，以在整个视场上找到MTF的最佳折衷方案。对于较大的视场角，像散和场曲较差，因此散焦会降低视场中心的MTF，但对于较大的视场角，至少部分地补偿场曲和像散。另外，由于像差的失谐平衡以及由透镜元件倾斜和偏心引起的不对称性，制造公差通过增加像差而使MTF退化。实际上，即使对实际透镜进行了适当的优化并为应用提供了足够的MTF，许多实际透镜仍具有明显的残留像差。
对于小F数的透镜，球差更难校正。F数为诸如2.8或更小且针对图像质量进行了优化的透镜趋向于具有更多的残留球差，例如fringe Zernike项数9(初级球差)的值通常为0.1个波。针对图像质量进行优化的F数为5.6的透镜，由于其较小的光圈，其fringeZernike项数9可能为0.01个波或更小。这些值是示例性的，因为它们也强烈取决于校正透镜所花费的精力、取决于要求和成本目标。F数较小(诸如，2.8或更小)的透镜对于FringeZernike项9也可能具有0.01个波或更小的残留，但是此类透镜需要更多的努力才能实现较小的残留，即，它们需要更多的透镜元件、更严格的制造公差，并且因此更贵。
对于针对200万或更多像素的图像质量进行了优化的现代摄像头或消费类投影仪，Fringe Zernike项数9通常为0.1个波或更小，通常明显更小。对于像素间距为5.4μm的Full-HD DLP投影仪，对于以高清晰度印象投影Full-HD图像来说，投影透镜的FringeZernike项编号9可能要求为0.1个波或更小。
根据本发明的三角测量装置包括具有波前像差的投影透镜，其特征在于，FringeZernike项数9为波长λ的四分之一或更高既允许在投影正弦图案的空间频率处有足够的MTF对比度，又允许在伪影图案的空间频率处有低MTF对比度。
在一个实施方式中，初级球差系数Z9大于所述波长λ的三分之一或大于所述波长λ的一半。
在另一实施方式中，三角测量装置可以另外包括散射盘(diffusion disk)。
在另一实施方式中，初级球差提供了低通滤波器。
在另一实施方式中，结构光图案被实施成正弦图案。
正弦图案可以被以以下这样的方式设计，使得其主要包含较低的空间频率。
在另一实施方式中，投影仪的透镜系统的调制传递函数(MTF)在所述结构光图案的空间频率处与接近零相比更接近衍射极限MTF值，并且在相邻像素元素伪影图案的空间频率处与接近衍射MTF值相比更接近零。
衍射MTF曲线对应于投影仪原则上能够达到的最佳分辨率，通过使用完美透镜系统可以达到衍射MTF曲线。根据本发明，可以以高对比度投影结构光图案，同时可以抑制伪影图案。通过指定投影仪的透镜系统的MTF值在结构光图案的空间频率处与接近零相比更接近于衍射MTF值，结构光图案可以充分强烈地透射过投影仪的透镜系统。等效地，指定条件可以保证以比结构光图案更强的方式抑制伪影图案。
在另一实施方式中，所述投影仪的透镜系统在所述相邻像素元素伪影图案的空间频率处的MTF值与所述投影仪的透镜系统在所述结构光图案的空间频率处的MTF值之间的最大比小于0.5，特别是小于0.25。
相邻像素元素伪影图案和结构光图案二者均可以包括多个空间频率。可以在在相邻像素元素伪影图案的任何空间频率处评估的MTF曲线的值与在结构光图案的任何空间频率处评估的MTF曲线的值之间取该比例。从所有这样的可能比率中，最大比率可以小于0.5，特别是小于0.25。
在另一实施方式中，所述投影仪的透镜系统在所述相邻像素元素伪影图案的空间频率处的所述MTF值小于所述投影仪的透镜系统在所述结构光图案的空间频率处的所述MTF值的一半。
在另一实施方式中，所述MTF值与沿着所述投影仪的透镜系统的光轴的点有关，其中，所述点位于预定的测量范围内。
在另一实施方式中，MTF在整个投影的结构光图案上基本上保持不变(preserve)，其中，所述结构光图案投影到的所述测量对象上的两个任意点具有基本相等的MTF曲线，所述任意点位于所述测量对象的表面的由所述结构光图案照射的部分上。
期望的MTF曲线表征投影仪在整个投影仪视场中的光学行为。
在另一实施方式中，投影仪的透镜系统相对于预定的测量范围被聚焦。
三角测量装置被配置成在预定的测量范围内操作。假设投影仪的透镜系统处于其第一状态或第二状态，并且位于预定的测量范围内，则由投影仪投影到测量对象的表面上的结构光图案是清晰的(sharp)或基本清晰的。
在另一实施方式中，所述结构光图案投影到的所述测量对象的表面位于所述预定的测量范围内。
在另一实施方式中，投影仪被实施成数字光处理投影仪，在两个相邻像素元素之间的伪影区域为单独的像素元素宽度的至多15％、特别是至多10％的程度。
总体上，本发明涉及具有发光像素元素的三角测量装置的任何投影仪。
在另一实施方式中，三角测量装置包括另外的摄像头，所述另外的摄像头包括透镜系统和成像传感器，并且所述三角测量装置的所述摄像头和所述另外的摄像头绕投影仪对称地设置，其中，所述处理单元被配置成通过评估由所述摄像头和所述另外的摄像头提供的成像信息来提供距离信息。
三角测量装置能够评估由两个摄像头提供的图像，从而潜在地改进距离信息的估计。两个摄像头也可以绕投影仪不对称地设置。
在另一实施方式中，结构光图案被设计成包含其最大值小于相邻像素元素伪影图案的最小空间频率的空间频率。
如果在结构光图案中存在的空间频率的平均值小于某个预定数(最小空间频率)，并且如果伪影图案的所有空间频率等于或大于所述预定数，则保证了结构光图案中存在的一些空间频率在伪影图案中不存在。因此，通过附加的光学像差实现的附加滤波步骤原则上能够通过比结构光图案的对比度更强烈地减小伪影图案的对比度来部分地将结构光图案与伪影图案分离。
在另一实施方式中，对于相邻像素元素伪影图案的空间频率集合，最小空间频率是下限，特别是最大下限。
已知小于伪影图案的所有空间频率的任何数都可以被选作最小空间频率。然而，如果要确保充分抑制大于最小空间频率的空间频率，则所选择的最小空间频率越低，期望的MTF曲线也必须下降得越快。因此，对最小空间频率的保守估计会给透镜系统的设计带来更大的负担。当存在等于最大下限的伪影图案的空间频率而不存在小于最大下限的空间频率时，最大下限是最佳可能估计。
在另一实施方式中，结构光图案的空间频率与相邻像素元素伪影图案的空间频率是分离的。
在结构光图案和伪影图案的空间频率是分离的情况下，完美的滤波将能够将两个图案分开。
附图说明
下面仅通过示例的方式借助于在附图中示意性例示的具体示例性实施方式来更详细地描述本发明的系统，还检查了本发明的其它优点。在附图中，相同的元素用相同的附图标记来标记。详细地：
图1示出了使用根据本发明的具有波前像差的投影仪的透镜系统对投影的结构光图案的影响的例示，其中结构光图案被投影到测量对象上；
图2示出了所使用的三角测量装置的例示；以及
图3示出了根据本发明的调制传递函数(MTF)和针对图像质量设计的透镜系统的MTF的例示。
具体实施方式
图1示出了使用根据本发明的具有波前像差的投影仪的透镜系统对投影的结构光图案的影响的例示，其中结构光图案被投影到测量对象上。
图1中的(a)示出了投影的图案，该图案被投影到平坦表面上。将图案投影到的平面处于焦点上，即，图案被清晰地投影。另外，在图1中的(a)中假设投影仪的透镜系统针对图像质量进行了优化；透镜系统以使光学像差误差最小化的方式进行了优化。由于投影仪包括有限数量的像素元素并且透镜系统的放大倍数是有限的，因此像素元素的投影矩阵在平坦表面1上占据紧凑的区域。
在像素元素4、5之间通常存在未被照射的区域2、3。该区域例如被保留用于电路路径，所述电路路径用于访问半导体芯片的各像素元素。还可能需要该区域使得微镜能够倾斜。由于像素元素之间的区域2、3没有被照射，因此在投影仪投影到的平坦表面上，看起来像细网格。在图1中，示出了用于像素元素的矩形布置的网格。然而，类似的考虑适用于更通用的像素元素布置，诸如，六边形网格。
在投影图案由高分辨率摄像头进行成像的情况下，对应于区域2、3的细网格会导致可见伪影。记录的图像的自动处理受到这样的视觉伪影的影响，因为在相邻像素之间进行明/暗过渡的情况下，投影图案的局部强度最大值可能会在所述相邻像素之间偏移。
在图1中的(b)中，利用根据本发明设计的投影仪的透镜系统，将与图1中的(a)相同的图案投影到平坦表面上。根据本发明的透镜系统对整个投影图像进行低通滤波。锐利的过渡被强烈地抑制，同时通过增加的光学像差有效地保留了图像中的逐渐过渡。
在投影的结构光图案的特征是低空间频率并且伪影网格(相邻像素元素伪影图案)的特征是高空间频率的情况下，根据本发明的投影仪的透镜系统保留结构光图案，同时大大地抑制了伪影网格。与图1中的(a)中的伪影网格2相比，图1中的(b)中的伪影网格3被抑制。然而，结构光图案也部分地模糊，使得来自像素元素5的信息被移动到其它像素元素6、7。在测量对象的投影图像的表面上的任何点处的这种模糊效果的强度取决于其附近所有像素元素的强度。因此，投影的结构光图案在投影图像中比在伪影网格中更好地可见。因此，由于可以以较小的误差提取所需的结构光图案，因此进一步的处理得益于对伪影网格的部分抑制。
图2示出了包括被配置成投影结构光图案的投影仪8和摄像头的三角测量装置的例示。
在图2中，投影仪发出单个光线。在入射到测量对象12的表面上时，入射光线11通常是弯曲的。在数学上由摄像头中心9和像平面10表征的摄像头接收投影的结构光图案的图像，图2中的结构光图案被实施成线。然而，除了线之外，还可以使用更一般的结构光图案。
由摄像头接收的信息和关于摄像头相对于投影仪8的相对位置的几何先验信息然后可以立刻(at once)用于推断从三角测量装置到整个投影线的距离。投影线的3D位置位于与投影仪8和投影光线相关联的三角形13与穿过摄像头中心9和投影光线被成像到的图像平面10中的点的射线的交叉处上。可以通过使用对摄像头接收的图像进行操作的处理单元来提取距离信息。处理单元可以首先识别摄像头接收的图像中线的位置，然后可以使用此信息立刻推断整个投影线到三角测量装置的距离。
投影仪8的透镜系统以根据本发明的这种方式被有意地设计，以主要传播结构光图案并强烈地抑制伪影网格。
尽管图2中所示的结构线图案是简单的光线，但在期望完整的3D信息的情况下需要使光线扫过整个测量对象，也可以设计更复杂的结构光线图案，从而允许用于立刻捕获测量对象的整个表面。这种复杂的结构光图案可以根据本发明以以下这种方式设计，使得它们的空间频率与伪影网格的空间频率很好地分离，因为这允许滤波步骤去除一者而保留另一者。通过设计根据本发明的投影仪的透镜系统来执行相应的滤波步骤。
复杂结构光图案的一个示例是由在窄频带内具有不同频率的正弦图案组成的多频正弦曲线，其中，各个频率以不同的相移投影几次。复杂结构光图案的另一示例是通过将二进制格雷码与正弦相移相结合而获得的，其中，用于精细测量的单个正弦图案(具有少量相移)与通过提供枚举正弦周期的代码来扩展非模糊范围的一组粗略二进制图案相结合。
图3示出了根据本发明的调制传递函数(MTF)和针对图像质量设计的透镜系统的MTF的例示。图3中的所有曲线都与投影仪视场中的同一点相关。
假设有完美透镜系统，则最佳可能的MTF曲线由衍射MTF曲线14给出。根据现有技术针对图像质量优化的投影仪的透镜系统通常具有MTF曲线15，该MTF曲线15在低空间频率处接近衍射MTF曲线14，而在较高空间频率处偏离衍射MTF曲线14。
设计根据本发明的投影仪的透镜系统会改变MTF曲线，其中，新MTF曲线16在较高的空间频率下示出比针对图像质量而设计的透镜系统的MTF曲线15更强的抑制。在结构光图案的空间频率17足够低的情况下，根据本发明的透镜系统和针对图像质量优化的透镜系统在结构光图案的空间频率17处具有相似的MTF值，而与针对图像质量设计的透镜系统相比，伪影网格的最小空间频率18以及较高空间频率被根据本发明的透镜系统更强地抑制。因此，根据本发明的透镜系统主要在低空间频率下保持对比度，同时有效地减少高频伪影。
不言而喻，这些例示的图仅是可能的示例性实施方式的示意图。
尽管上面部分地参考一些优选实施方式例示了本发明，但是必须理解，可以对实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种快速光纤锥区形貌测量方法