阅读说明：本技术 具有校正功能的图像获取系统 (Image acquisition system with correction function ) 是由 林明华 李季峰 于 2019-08-27 设计创作，主要内容包括：本发明公开了一种具有校正功能的图像获取系统。所述图像获取系统包含一图像获取装置、一激光测距仪以及一处理器。所述图像获取装置获取二图像。所述处理器耦接于所述图像获取装置和所述激光测距仪,用于根据所述二图像决定至少一特征点,以及根据所述二图像产生对应所述至少一特征点中每一特征点的一深度信息,其中所述激光测距仪测量对应所述每一特征点的一参考距离,以及所述处理器根据所述参考距离选择性地校正所述深度信息或所述二图像。因此,本发明相较于现有技术,可以更快速且更方便地进行校正。(The invention discloses an image acquisition system with a correction function. The image acquisition system comprises an image acquisition device, a laser range finder and a processor. The image acquisition device acquires two images. The processor is coupled to the image capturing device and the laser range finder, and configured to determine at least one feature point according to the two images, and generate a depth information corresponding to each of the at least one feature point according to the two images, wherein the laser range finder measures a reference distance corresponding to each of the at least one feature point, and the processor selectively corrects the depth information or the two images according to the reference distance. Therefore, compared with the prior art, the invention can perform correction more quickly and conveniently.)

具有校正功能的图像获取系统

技术领域

本发明是涉及于一种图像获取系统，尤其涉及一种具有校正功能的图像获取系统。

背景技术

在现有技术中，一立体图像获取装置经常被安装于一无人机或一汽车上以测量所述无人机或所述汽车与周围对象的距离。然而，所述立体图像获取装置所需的机构准度会因为所述立体图像获取装置的使用环境或使用方法(例如所述立体图像获取装置的使用环境或使用方法可造成所述立体图像获取装置的左/右眼图像获取器的位置或获取图像角度产生改变)而无法维持，使得所述立体图像获取装置需要进行校正。然而，现有技术所公开的校正方法是主要利用棋盘格等特定校正图案以进行校正，其中现有技术所公开的校正方法需要在具有专业校正装置的立体图像获取装置的制造工厂中进行。因此，为了校正所述立体图像获取装置，所述无人机或所述汽车需要被送回所述立体图像获取装置的制造工厂。也就是说，现有技术所公开的校正方法显然不是一个方便的选择。因此，如何更快速且更方便地校正所述立体图像获取装置是所述立体图像获取装置的设计者的一项重要议题。本发明相较于现有技术，可以更快速且更方便地进行校正。

发明内容

本发明的一实施例公开一种具有校正功能的图像获取系统。所述图像获取系统包含一图像获取装置、一激光测距仪以及一处理器。所述图像获取装置获取二图像。所述处理器耦接于所述图像获取装置和所述激光测距仪，用于根据所述二图像决定至少一特征点，以及根据所述二图像产生对应所述至少一特征点中每一特征点的一深度信息，其中所述激光测距仪测量对应所述每一特征点的一参考距离，以及所述处理器根据所述参考距离选择性地校正所述深度信息或所述二图像。

本发明的另一实施例公开一种具有校正功能的图像获取系统。所述图像获取系统包含一图像获取装置、一激光测距仪以及一处理器。所述图像获取装置包含一图像获取器和一光源，其中所述光源发出一发射光，以及所述图像获取器获取包含所述发射光的一图像。所述处理器耦接于所述图像获取装置和所述激光测距仪，用于根据所述图像决定至少一特征点，以及根据所述图像产生对应所述至少一特征点中每一特征点的一深度信息，其中所述激光测距仪测量对应所述每一特征点的一参考距离，以及所述处理器根据所述参考距离选择性地校正所述深度信息或所述图像。

本发明的另一实施例公开一种具有校正功能的图像获取系统。所述图像获取系统包含一图像获取装置、一激光测距仪以及一处理器。所述处理器根据所述图像获取装置获取的至少一图像，产生多个深度信息，其中所述激光测距仪测量对应所述多个深度信息的多个参考距离，以及所述处理器根据所述多个参考距离校正所述多个深度信息。

本发明公开一种具有校正功能的图像获取系统。所述图像获取系统利用一图像获取装置获取至少一图像，根据所述至少一图像产生多个深度信息，以及利用一激光测距仪以测量对应所述多个深度信息的多个参考距离。因为所述图像获取系统是利用所述激光测距仪产生所述多个参考距离，所以所述图像获取系统可以根据所述多个参考距离，校正所述多个深度信息。因此，相较于现有技术，本发明可以更快速且更方便地进行校正。

附图说明

图1是本发明的第一实施例所公开的一种具有校正功能的图像获取系统的示意图。

图2是说明左眼图像和右眼图像的示意图。

图3是说明校正后的左眼图像和校正后的右眼图像的示意图。

图4是说明深度图的示意图。

图5是本发明的第二实施例所公开的一种具有校正功能的图像获取系统的示意图。

图6是本发明的第三实施例所公开的一种具有校正功能的图像获取系统的操作方法的流程图。

其中，附图标记说明如下：

100、500 图像获取系统

101 图像获取装置

103 激光测距仪

105 处理器

1011、1013、5011 图像获取器

5013 光源

600-612 步骤

A、B、A’、B’ 特征点

A”、B” 点

CA、CB、CA’、CB’ 校正后的特征点

CLI 校正后的左眼图像

CRI 校正后的右眼图像

DI 深度图

LI 左眼图像

RI 右眼图像

RDA、RDB 参考距离

具体实施方式

请参照图1。图1是本发明的第一实施例所公开的一种具有校正功能的图像获取系统100的示意图。如图1所示，图像获取系统100包含一图像获取装置101、一激光测距仪103以及一处理器105，其中图像获取装置101和激光测距仪103耦接于处理器105。图像获取装置101包含二图像获取器1011、1013，其中图像获取器1011、1013是用于获取二图像，例如一左眼图像LI和一右眼图像RI。但本发明并不受限于图像获取装置101包含二图像获取器1011、1013。也就是说，图像获取装置101可包含至少二图像获取器。

请参照图2。图2是说明左眼图像LI和右眼图像RI的示意图。处理器105可根据左眼图像LI和右眼图像RI，决定左眼图像LI的特征点A、B以及在右眼图像RI中对应特征点A、B的特征点A’、B’。但本发明并不受限于处理器105仅决定特征点A、B。也就是说，处理器105可以根据左眼图像LI和右眼图像RI决定至少一特征点。另外，处理器105根据特征点A、A’，产生对应特征点A的深度信息DA，其中深度信息DA可以以视差、距离或是其他方式来表示。例如，在本发明的一实施例中，因为特征点A和特征点A’之间具有一第一视差，所以处理器105可以根据所述第一视差和一三角测距法，产生对应特征点A的距离作为深度信息DA。另外，在本发明的另一实施例中，处理器105可将所述第一视差作为深度信息DA。另外，处理器105也可根据特征点B、B’，产生对应特征点B的深度信息DB。另外，激光测距仪103可以是一多点激光测距仪或多个单点激光测距仪，其中处理器105可调整激光测距仪103的方向或角度，以使激光测距仪103发射激光至特征点A、B。因此，激光测距仪103将可以根据特征点A与所述三角测距法，测量对应特征点A的参考距离RDA，以及根据特征点B与所述三角测距法，测量对应特征点B的参考距离RDB。但在本发明的另一实施例中，激光测距仪103是根据特征点A与一飞时测距法，测量对应特征点A的参考距离RDA，以及根据特征点B与所述飞时测距法，测量对应特征点B的参考距离RDB。另外，在本发明的另一实施例中，激光测距仪103先发射所述激光，处理器105才根据所述激光在左眼图像LI和右眼图像RI的位置，决定相对应的特征点。另外，在本发明的另一实施例中，激光测距仪103是一单点激光测距仪。此时，激光测距仪103可以先发射激光至特征点A，并根据上述实施例中有关激光测距仪103和处理器105的操作方法测量对应特征点A的参考距离RDA。接着，激光测距仪103再发射激光至特征点B，并根据上述实施例中有关激光测距仪103和处理器105的操作方法测量对应特征点B的参考距离RDB。另外，在本发明的另一实施例中，激光测距仪103是所述单点激光测距仪，其中激光测距仪103先以一第一方向或一第一角度发射一第一激光，处理器105才根据所述第一激光在左眼图像LI和右眼图像RI的位置，决定一第一特征点，使得激光测距仪103可以测量对应所述第一特征点的参考距离。接着，激光测距仪103再以一第二方向或一第二角度发射一第二激光，处理器105才根据所述第二激光在左眼图像LI和右眼图像RI的位置，决定一第二特征点，使得激光测距仪103可以测量对应所述第二特征点的参考距离。另外，在本发明的另一实施例中，激光测距仪103可以是所述多点激光测距仪、所述多个单点激光测距仪或所述单点激光测距仪，其中激光测距仪103的方向或角度无法调整。此时当激光测距仪103发射所述激光时，处理器105和激光测距仪103是根据图像获取系统100从一第一时间到一第二时间的位置变化，或对应图像获取系统100的场景中的对象从所述第一时间到所述第二时间的位置变化，产生特征点A、B与参考距离RDA、RDB。

当激光测距仪103测量并得到参考距离RDA、RDB后，处理器105从激光测距仪103接收参考距离RDA、RDB。在本发明的一实施例中，因为深度信息DA、DB是以距离来表示，所以处理器105可产生深度信息DA和参考距离RDA之间的一第一误差。同理，处理器105可产生深度信息DB和参考距离RDB之间的一第二误差。而当所述第一误差和所述第二误差中至少一误差大于一第一预定值时，处理器105判断深度信息DA、DB需要校正。另外，在本发明的另一实施例中，因为处理器105是根据左眼图像LI和右眼图像RI，产生深度信息DA、DB，所以当所述第一误差和所述第二误差中至少一误差大于所述第一预定值时，处理器105判断左眼图像LI和右眼图像RI需要校正。

另外，在本发明的另一实施例中，处理器105判断左眼图像LI和右眼图像RI之间是否出现图像错位(image misalignment)。例如处理器105可以检查左眼图像LI中的扫描线和右眼图像RI中的扫描线是否平行于图像获取器1011、1013之间的一基线，或者检查左眼图像LI中的所述扫描线和右眼图像RI中的所述扫描线是否互相平行。而当左眼图像LI和右眼图像RI之间出现图像错位时，处理器105判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正。

另外，在本发明的另一实施例中，处理器105可以先根据左眼图像LI和右眼图像RI产生一深度图。接着，处理器105判断所述深度图的有效信号数量是否低于一第二预定值。而当所述深度图的有效信号数量低于所述第二预定值时，处理器105判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正。然而，但本发明并不限定处理器105是根据所述深度图的有效信号数量，判断距离DA、DB需要校正。也就是说，处理器105可以根据所述深度图的其他特性，判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正。

当处理器105判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正时，处理器105根据参考距离RDA、RDB来校正深度信息DA、DB，或校正左眼图像LI和右眼图像RI。例如，在本发明的一实施例中，处理器105可以根据深度信息DA、DB、参考距离RDA、RDB、式(1)以及一回归分析法，计算一第一对应关系F1：

RDX＝F1(DX) (1)

如式(1)所示，RDX分别代入参考距离RDA、RDB，以及DX分别代入深度信息DA、DB，以计算第一对应关系F1，其中第一对应关系F1可为线性或非线性。但本发明并不限定处理器105是根据所述回归分析法计算第一对应关系F1。在本发明的另一实施例中，处理器105是根据一机器学习法产生第一对应关系F1。另外，在本发明的另一实施例中，处理器105可以根据深度信息DA、DB以及参考距离RDA、RDB，产生并储存一第一查阅表，以及根据所述第一查阅表产生第一对应关系F1。因此，当处理器105利用左眼图像LI和右眼图像RI产生对应一点X的深度信息DX时，处理器105即可根据第一对应关系F1校正深度信息DX。

另外，在本发明另一实施例中，当处理器105判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正时，处理器105可以根据激光测距仪103发射对应特征点A的激光的方向或角度和参考距离RDA，产生对应特征点A的一参考坐标(xa,ya,za)。同理，处理器105可以根据激光测距仪103发射对应特征点B的激光的方向或角度和参考距离RDB，产生对应特征点B的一参考坐标(xb,yb,zb)。在产生参考坐标(xa,ya,za)、(xb,yb,zb)后，处理器105可以根据参考坐标(xa,ya,za)、(xb,yb,zb)校正左眼图像LI以产生一校正后的左眼图像CLI，以及校正右眼图像RI以产生一校正后的右眼图像CRI。请参照图3。图3是说明校正后的左眼图像CLI和校正后的右眼图像CRI的示意图。如图3所示，因为校正后的左眼图像CLI中包含对应特征点A的一校正后的特征点CA以及对应特征点B的一校正后的特征点CB，以及校正后的右眼图像CRI中包含对应特征点A’的一校正后的特征点CA’以及对应特征点B’的一校正后的特征点CB’，所以处理器105可以根据校正后的特征点CA和校正后的特征点CA’，产生一对应深度信息DA的校正后的深度信息CDA，并根据校正后的特征点CB和校正后的特征点CB’，产生一对应深度信息DB的校正后的深度信息CDB。

另外，在本发明另一实施例中，当处理器105判断深度信息DA、DB，或左眼图像LI和右眼图像RI需要校正时，处理器105先对左眼图像LI和右眼图像RI执行一扫描线校正，其中所述扫描线校正是用于对齐左眼图像LI的扫描线和右眼图像RI的扫描线以产生一对齐后的左眼图像和一对齐后的右眼图像，所述对齐后的左眼图像的扫描线和所述对齐后的右眼图像中的扫描线平行于图像获取器1011、1013之间的所述基线，以及所述对齐后的左眼图像的所述扫描线和所述对齐后的右眼图像中的所述扫描线互相平行。因此，处理器105可以根据所述对齐后的左眼图像和所述对齐后的右眼图像，产生一深度图DI(如图4所示)，其中深度图DI包含点A”、B”，点A”对应特征点A，以及点B”对应特征点B。另外，处理器105可以根据深度图DI，产生对应点A”、B”的深度信息DA”、DB”另外，因为所述对齐后的左眼图像和所述对齐后的右眼图像中可能具有偏移，所以处理器105可以根据深度信息DA”、DB”、参考距离RDA、RDB、式(2)以及所述回归分析法，计算一第二对应关系F2：

RDX＝F2(DX”) (2)

如式(2)所示，RDX分别代入参考距离RDA、RDB，以及DX”分别代入深度信息DA”、DB”，以计算第二对应关系F2，其中第二对应关系F2可为线性或非线性的关系。但在本发明的另一实施例中，处理器105是根据所述机器学习法产生第二对应关系F2。另外，在本发明的另一实施例中，处理器105可以根据深度信息DA”、DB”以及参考距离RDA、RDB，产生并储存一第二查阅表，以及根据所述第二查阅表产生第二对应关系F2。因此，当处理器105利用深度图DI产生对应一点X的深度信息DX”时，处理器105即可根据第二对应关系F2校正深度信息DX”。

另外，在本发明另一实施例中，处理器105可先根据参考坐标(xa,ya,za)、(xb,yb,zb)，产生校正后的左眼图像CLI和校正后的右眼图像CRI，并根据校正后的左眼图像CLI和校正后的右眼图像CRI产生深度图DI，其中深度图DI可以用于产生对应点A”的深度信息DA”以及对应点B”的深度信息DB”。因此，处理器105可以根据深度信息DA”、DB”、参考距离RDA、RDB、式(2)以及所述回归分析法，计算所述第二对应关系F2。因此，当处理器105利用深度图DI产生对应一点X的深度信息DX”时，处理器105即可根据第二对应关系F2校正深度信息DX”。

请参照图5。图5是本发明的第二实施例所公开的一种具有校正功能的图像获取系统500的示意图。如图5所示，图像获取系统500与图像获取系统100的差异在于图像获取系统500利用图像获取装置501以取代图像获取装置101的功能，其中图像获取装置501包含一图像获取器5011以及一光源5013。光源5013是用于发出一发射光，其中所述发射光可以是一结构光，以及图像获取器5011是用于获取包含所述结构光的一图像。另外，处理器105根据包含所述结构光的所述图像，决定至少一特征点，并根据包含所述结构光的所述图像产生对应所述至少一特征点的至少一深度信息；而激光测距仪103根据所述至少一特征点，测量对应所述至少一特征点的至少一参考距离。而当所述至少一深度信息需要校正时，处理器105根据所述至少一参考距离，校正所述至少一深度信息。另外，处理器105的后续操作方法可以参照上述有关处理器105的说明，在此不再赘述。

另外，本发明领域的技术人员可以经由上述对应处理器105的说明清楚地了解处理器105的功能。因此本发明领域的技术人员可以轻易地利用一具有上述处理器105的功能的现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、一具有上述处理器105的功能的特殊应用集成电路(Application-specific integrated circuit,ASIC)、一具有上述处理器105的功能的软件模块，或是一具有上述处理器105的功能的模拟集成电路来实现处理器105。因此，关于对应处理器105的结构的说明在此不再赘述。

请参照图6，图6是本发明的第三实施例所公开的一种具有校正功能的图像获取系统100的操作方法的流程图。图6的操作方法是利用图1的图像获取系统100说明，详细步骤如下：

步骤600：开始；

步骤602：图像获取装置101获取左眼图像LI和右眼图像RI；

步骤604：处理器105根据左眼图像LI和右眼图像RI，产生对应特征点A的深度信息DA以及对应特征点B的深度信息DB；

步骤606：激光测距仪103测量对应特征点A的参考距离RDA以及对应特征点B的参考距离RDB；

步骤608：对应特征点A、B的深度信息DA、DB是否需要校正；如果否，回到步骤602；如果是，进行步骤610；

步骤610：处理器105根据参考距离RDA、RDB校正对应特征点A、B的深度信息DA、DB；

步骤612：结束。

在步骤604中，处理器105根据左眼图像LI和右眼图像RI，决定左眼图像LI的特征点A、B以及右眼图像RI的特征点A’、B’，根据特征点A、A’产生对应特征点A的深度信息DA，以及根据特征点B、B’产生对应特征点B的深度信息DB。在步骤606中，激光测距仪103根据特征点A、B，分别测量对应特征点A的参考距离RDA以及对应特征点B的参考距离RDB。另外，在本发明的另一实施例中，激光测距仪103先发射所述激光，处理器105才根据所述激光在左眼图像LI和右眼图像RI的位置，决定相对应的特征点。因此，在此实施例中，图像获取系统100可以以步骤602、步骤606、步骤604、步骤608的顺序进行操作。

在步骤608中，处理器105根据深度信息DA、DB和参考距离RDA、RDB，判断深度信息DA、DB是否需要校正。然而，在本发明的另一实施例中，处理器105是根据左眼图像LI和右眼图像RI，或根据由左眼图像LI和右眼图像RI产生的所述深度图，判断深度信息DA、DB是否需要校正。此时处理器105并不需要根据参考距离RDA、RDB来判断深度信息DA、DB是否需要校正。因此，在此实施例中，图像获取系统100可以以步骤604、步骤608的顺序进行操作，以及当深度信息DA、DB需要校正时，图像获取系统100接着以步骤606、步骤610的顺序进行操作。

另外，在步骤610中，处理器105根据参考距离RDA、RDB校正深度信息DA、DB的操作方法可以参照上述有关处理器105的说明，在此不再赘述。

综上所述，本发明公开一种具有校正功能的图像获取系统。所述图像获取系统利用一图像获取装置获取至少一图像，根据所述至少一图像产生多个深度信息，以及利用一激光测距仪以测量对应所述多个深度信息的多个参考距离。因为所述图像获取系统是利用所述激光测距仪产生所述多个参考距离，所以所述图像获取系统可以根据所述多个参考距离，校正所述多个深度信息。因此，相较于现有技术，本发明可以更快速且更方便地进行校正。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。