具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，图1为本发明实施例提供的基于3D视觉引导的涂胶系统，该基于3D视觉引导的涂胶系统可包括：扫描装置3、驱动工作装置5、涂胶装置4、夹具1、以及控制系统6。

夹具用于在进行涂胶作业时装夹工件(如图1中的2所示)。本发明实施例中，待涂胶的工件可包括但不限于眼镜、笔记本电脑、手机等。

驱动工作装置5用于驱动扫描装置3工作以及执行涂胶操作。可选的，该驱动工作装置5可驱动工作装置5包括但不限于：多轴机械手或者多轴运动平台。

扫描装置3用于根据驱动工作装置5的驱动对工件进行图像扫描。可选的，该扫描装置3可包括但不限于3D线激光轮廓仪、3D相机、双目相机、编码结构光相机、深度相机中的任意一种。

涂胶装置4用于在进行涂胶作业时在工件上进行涂胶。

控制系统6用于控制驱动工作装置5、扫描装置3以及涂胶装置4工作，以及用于：获取待涂胶工件的模板图，并对模板图进行处理，获得模板图的图像信息；获取待涂胶工件的第一测量图；判断第一测量图是否覆盖待涂胶工件的所有待涂胶区域；若第一测量图覆盖待涂胶工件的所有待涂胶区域，则获取待涂胶工件的第一模板图，并对第一模板图进行处理，获得第一模板图的图像信息；基于第一模板图的图像信息对第一测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径；若第一测量图未覆盖待涂胶工件的所有待涂胶区域，则获取待涂胶工件的多个视角下的第二测量图及与多个视角下的第二测量图对应的第二模板图，并对第二模板图进行处理，获得第二模板图的图像信息；基于第一模板图的图像信息和第二模板图的图像信息分别对第一测量图、多个视角下的第二测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径。可选的，该控制系统6可包括工控机。

一些实施例中，当第一测量图不能完全覆盖待涂胶工件的所有待涂胶区域时，需要从多个视角扫描待涂胶工件的图像。其中，在多个视角下扫描工件，视角的选择和扫描顺序可以根据获取的轨迹模板数据，通过成像优化来确定。具体的，对于同一个工件，视角的选择(数量和方位)和扫描顺序(扫描获取每个视角下深度图的顺序)根据获取的模板图、成像效果是否足够好，提取出来的模板轨迹是否能够覆盖完该工件的所有的待涂胶区域来确定。

本发明还提供一种基于3D视觉引导的涂胶路径规划方法，该方法通过对涂胶区域进行匹配补正，对每个路径点进行局部截面分析，然后将分析得到的涂胶路径点连接、平顺，即可准确且鲁棒地提取涂胶路径。进一步地，该方法可通过多个视角采集工件深度图分别提取各个涂胶区域路径，再对各条路径进行整体拼接连结，可满足各种复杂空间形状路径提取。

具体的，参考图2，图2为本发明实施例提供的基于3D视觉引导的涂胶路径规划方法的流程示意图。

如图2所示，该基于3D视觉引导的涂胶路径规划方法可包括：

步骤S201、获取待涂胶工件的第一测量图。

步骤S202、判断第一测量图是否覆盖待涂胶工件的所有待涂胶区域。

步骤S203、若第一测量图覆盖待涂胶工件的所有待涂胶区域，则获取待涂胶工件的第一模板图，并对第一模板图进行处理，获得第一模板图的图像信息。

一些实施例中，获取待涂胶工件的第一模板图包括：采用3D线激光轮廓仪扫描待涂胶工件，获得待涂胶工件的深度图；待涂胶工件的深度图为待涂胶工件的第一模板图。

一些实施例中，对第一模板图进行处理，获得第一模板图的图像信息包括：获取待涂胶工件的待涂胶位置点；采用预设方法将待涂胶位置点进行连线，获得待涂胶工件的空间曲线轨迹；对空间曲线轨迹进行离散处理，获得离散轨迹点；对每一个离散轨迹点进行计算处理，获得每一个离散轨迹点的坐标和对应的法向量；保存每一个离散轨迹点的坐标和对应的法向量；每一个离散轨迹点的坐标和对应的法向量为第一模板图的图像信息。可选的，待涂胶工件的待涂胶位置点可由用户输入。

一些实施例中，采用预设方法将待涂胶位置点进行连线，获得待涂胶工件的空间曲线轨迹包括：采用多样条方程将待涂胶位置点进行连线，获得待涂胶工件的空间曲线轨迹。可选的，多样条议程包括但不限于贝塞尔曲线、B样条曲线等。

一些实施例中，对空间曲线轨迹进行离散处理，获得离散轨迹点可以通过以固定步长对空间曲线轨迹进行离散处理，以获得离散轨迹点。可选的，固定步长可以根据工件的大小确定。其中，不同的工件采用不同的固定步长。例如，眼镜可以采用0.1毫米(不限于0.1毫米，具体需根据实际产品确定)，而笔记本电脑则不能采用与眼镜相同的固定步长，由于笔记本电脑本身的产品尺寸均与眼镜不同。

步骤S204、基于第一模板图的图像信息对第一测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径。

一些实施例中，若第一测量图覆盖待涂胶工件的所有待涂胶区域，则基于第一模板图的图像信息对第一测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径包括：若第一测量图覆盖待涂胶工件的所有待涂胶区域，则：

将第一测量图相对于第一模板图进行匹配补正；在匹配补正完成后，基于每一个离散轨迹点对经过补正后的第一测量图进行局部截面分析，获得与第一测量图对应的截线轮廓图；对截线轮廓图进行特征点提取，获得截线轮廓图的特征点；根据待涂胶工件的涂胶位置要求对特征点进行偏移，获得待涂胶工件的涂胶路径点；对待涂胶工件的每一个涂胶路径点进行平顺处理，获得待涂胶工件的涂胶路径。其中，在将第一测量图相对于第一模板图进行匹配补正即为将所保存的轨迹点和法向量映射对齐到第一测量图，在匹配补正完成后，第一测量图的涂胶区域基于与模板图的涂胶区域对齐。

具体的，通过所保存的离散轨迹点对经过补正后的第一测量图进行局部截面分析，对每一个离散轨迹点，沿着法线方向一定范围内截取第一测量图的区域(如图3所示)，得到一个与第一测量图对应的截线轮廓图(如图4所示)。其中，x轴为法向方向上到这个离散轨迹点的距离，y轴为对应位置的高度。接着对每个截线轮廓图进行分析，提取每一个截线轮廓图上的特征点，然后根据待涂胶工件的涂胶位置要求对特征点进行偏移，得到待涂胶工件的涂胶路径点。可选的，特征点可以为最高点、最低点、轮廓线交点、曲线最大点等。

一些实施例中，对待涂胶工件的每一个涂胶路径点进行平顺处理，获得待涂胶工件的涂胶路径包括：采用多样条曲线将涂胶路径点连接，获得连续的空间轨迹；对连续的空间轨迹进行离散处理，获得离散点；计算每一个离散点处的曲率，获得每一个离散点的曲率；判断每一个离散点的曲率是否大于阈值；若是，将曲率大于阈值的离散点剔除，并对曲率大于阈值的离散点的相邻离散点进行三次样条插值，获得待涂胶工件的涂胶路径。

具体的，对每一个涂胶路径点进行平顺处理时，将所获取到的涂胶路径点用多样条曲线连接，形成连续的空间轨迹，再对空间轨迹以固定步长进行离散化，得到一系列等间距的离散点。接着，计算空间轨迹在每一个离散点处的曲率，若曲率大于阈值，则将该点剔除，并对其连接的前后两点进行三次样条插值，得到平滑的涂胶路径。

步骤S205、若第一测量图未覆盖待涂胶工件的所有待涂胶区域，则获取待涂胶工件的多个视角下的第二测量图及与多个视角下的第二测量图对应的第二模板图，并对第二模板图进行处理，获得第二模板图的图像信息。

步骤S206、基于第一模板图的图像信息和第二模板图的图像信息对第一测量图、多个视角下的第二测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径。其中，多个视角下的第二测量图为除第一测量图的视角外的其余多个视角的测量图。第二模板图为与多个视角的测量图一一对应的模板图。例如，设除第一测量图的视角外的其余多个视角测量图分别为：第一子测量图、第二子测量图、第三子测量图、……、第N子测量图，则第二模板图包括：与第一子测量图对应的第一子模板图、与第二子测量图对应的第二子模板图、与第三子测量图对应的第三子模板图、……、与第N子测量图对应的第N子模板图。即当第一测量图不能覆盖待涂胶工件的所有待涂胶区域时，在多个视角下再分别获取多个子测量图，且每一个子测量图所在视角下还需要再分别获取对应的模板图。其中，视角的数量以覆盖所有涂胶区域为参考。

其中，第二模板图的图像信息包括：第一子模板图的图像信息、第二子模板图的图像信息、第三子模板图的图像信息、……、第N子模板图的图像信息。

一些实施例中，对每一个子模板图的处理方法可参考第一模板图的处理方法，在此不再赘述。

一些实施例中，基于第一模板图的图像信息和第二模板图的图像信息对第一测量图、多个视角下的第二测量图进行匹配补正和分析处理，获得待涂胶工件的涂胶路径包括：将第一测量图、第二测量图相对于第一模板图和对应的第二模板图进行匹配补正；在匹配补正完成后，基于每一个离散轨迹点对经过补正后的第一测量图和经过补正后的第二测量图进行局部截面分析，获得与第一测量图对应的第一截线轮廓图和与第二测量图对应的第二截线轮廓图；对第一截线轮廓图和第二截线轮廓图进行特征点提取，获得第一截线轮廓图的特征点和第二截线轮廓图的特征点；根据待涂胶工件的涂胶位置要求对第一截线轮廓图的特征点和第二截线轮廓图的特征点进行偏移，获得待涂胶工件的第一组涂胶路径点和第二组涂胶路径点；第一组涂胶路径点为与第一测量图对应的一组涂胶路径点；第二组涂胶路径点为与第二测量图对应的多组涂胶路径点；对第一组涂胶路径点中的每一个涂胶路径点和第二组涂胶路径点中的每一个涂胶路径点进行平顺处理，获得与第一测量图对应的第一涂胶路径和与第二测量图对应的第二涂胶路径。

具体的，将第二测量图相对于对应的第二模板图进行匹配补正为：将第一子测量图相对于第一子模板图进行匹配补正，将第二子测量图相对于第二子模板图进行匹配补正，将第三子测量图相对于第三子模板图进行匹配补正，……，将第N子测量图相对于第N子模板图进行匹配补正，从而可以得到经过补正后的第一子测量图、经过补正后的第二子测量图、经过补正后的第三子测量图、……、经过补正后的第N子测量图。第二截线轮廓图包括：与第一子测量图对应的第一子截线轮廓图、与第二子测量图对应的第二子截线轮廓图、与第三子测量图对应的第三子截线轮廓图、……、与第N子测量图对应的第N子截线轮廓图。一些实施例中，对第一组涂胶路径点中的每一个涂胶路径点和第二组涂胶路径点中的每一个涂胶路径点进行平顺处理，获得与第一测量图对应的第一涂胶路径和与第二测量图对应的第二涂胶路径包括：采用多样条曲线将第一组涂胶路径点中的每一个涂胶路径点连接，获得连续的第一空间轨迹；对连续的第一空间轨迹进行离散处理，获得第一离散点；计算每一个第一离散点处的曲线，获得每一个第一离散点的曲率；判断每一个第一离散点的曲率是否大于阈值；若是，将曲率大于阈值的第一离散点剔除，并对曲率大于阈值的第一离散点的相邻第一离散点进行三次样条插值，获得待涂胶工件的第一涂胶路径；第一涂胶路径为与第一测量图对应的涂胶路径。

一些实施例中，对第一组涂胶路径点中的每一个涂胶路径点和第二组涂胶路径点中的每一个涂胶路径点进行平顺处理，获得与第一测量图对应的第一涂胶路径和与第二测量图对应的第二涂胶路径还包括：采用多样条曲线将第二组涂胶路径点中的每一个涂胶路径点连接，获得连续的第二空间轨迹；对连续的第二空间轨迹进行离散处理，获得第二离散点；计算每一个第二离散点处的曲线，获得每一个第二离散点的曲率；判断每一个第二离散点的曲率是否大于阈值；若是，将曲率大于阈值的第二离散点剔除，并对曲率大于阈值的第二离散点的相邻第二离散点进行三次样条插值，获得待涂胶工件的第二涂胶路径；第二涂胶路径为与多个第二测量图对应的多条涂胶路径。

本发明实施例中，在第一测量图不能完全覆盖待涂胶工件的所有待涂胶区域的情况下，对于该条件下所得到的第一测量图和多个视角下的第二测量图的匹配补正及局部截面分析以及平顺处理方法相同。

在该步骤中，当第一测量图不能覆盖待涂胶工件的所有待涂胶区域时，需要在多个视角下分别获取第一子模板图、第二子模板图、第三子模板图、……、第N子模板图以及对应的第一子测量图、第二子测量图、第三子测量图、……、第N子测量图，然后采用与步骤S204中的方法分别通过所保存的第一模板图的图像信息、第一子模板图的图像信息、第二子模板图的图像信息、第三子模板图的图像信息、……、第N子模板图的图像信息分别对第一测量图、第一子测量图、第二子测量图、第三子测量图、……、第N子测量图进行匹配补正和分析处理，获得与第一测量图对应的第一涂胶路径、第一子涂胶路径、第二子涂胶路径、第三子涂胶路径、……、第N子涂胶路径。其中，第二涂胶路径包括：第一子涂胶路径、第二子涂胶路径、第三子涂胶路径、……、第N子涂胶路径。

即本发明实施例中，当第一测量图可覆盖待涂胶工件的待涂胶区域时，即可采用步骤S204的方法即可得到待涂胶工件的涂胶路径。当第一测量图不能覆盖待涂胶工件的待涂胶区域时，则在多个视角下分别获取模板图(第一子模板图、第二子模板图、……、第N子模板图)，分别计算处理得到第一模板图的图像信息、第一子模板图的图像信息、第二子模板图的图像信息、第三子模板图的图像信息、……、第N子模板图的图像信息，然后采用与步骤S104相同的方法对第一测量图、第一子测量图、第二子测量图、第三子测量图、……、第N子测量图进行匹配补正和分析处理，得到第一涂胶路径、第一子涂胶路径、第二子涂胶路径、第三子涂胶路径、……、第N子涂胶路径。进一步地，当需要进行拼接时，则将第一涂胶路径、第一子涂胶路径、第二子涂胶路径、第三子涂胶路径、……、第N子涂胶路径进行拼接，最终得到一条完整的涂胶路径。其中，具体的拼接方法如下：

进一步地，一些实施例中，在获得第一涂胶路径和第二涂胶路径(第一子涂胶路径、第二子涂胶路径、第三子涂胶路径、……、第N子涂胶路径)后，还需要对第一涂胶路径和第二涂胶路径进行拼接处理，获得待涂胶工件的拼接涂胶路径。具体的，通过在各个视角下扫描待涂胶工件的涂胶区域，用上述方法分别对每个涂胶区域进行处理，提取到多条涂胶路径，然后根据视角间的空间位姿关系，将不同视角下获取的多条涂胶路径进行空间变换拼接，形成完整的涂胶路径。

在拼接完成后，为了解决误差问题，本发明实施例还需要对待涂胶工件的拼接涂胶路径进行平顺处理，获得待涂胶工件的涂胶路径。

一些实施例中，对待涂胶工件的拼接涂胶路径进行平顺处理，获得待涂胶工件的涂胶路径包括：对待涂胶工件的拼接涂胶路径中的每相邻两条涂胶路径进行重叠区域计算处理；若相邻两条涂胶路径不重叠，则采用第一合成方法将相邻两条涂胶路径合成；若相邻两条涂胶路径重叠，则采用第二合成方法将相邻两条涂胶路径合成。

一些实施例中，若相邻两条涂胶路径不重叠，则采用第一合成方法将相邻两条涂胶路径合成包括：若相邻两条涂胶路径不重叠，则：将相邻两条涂胶路径的首尾相连，并在相邻两条涂胶路径中的前一条涂胶路径的最后一个点与后一条涂胶路径的第一个点之间进行三次样条插值，完成对相邻两条涂胶路径的合成。

具体的，若两条涂胶路径不重叠，则将两条涂胶路径的首尾相连，即分别取前一条涂胶路径的最后一个点和后一条涂胶路径的第一个点，在这两个点之间进行三次样条插值，把两条曲线合并成一条平滑过渡的涂胶路径，如图5(1)所示。

一些实施例中，若相邻两条涂胶路径重叠，则采用第二合成方法将相邻两条涂胶路径合成包括：若相邻两条涂胶路径重叠，则：获取相邻两条涂胶路径的重叠区域；根据重叠区域，获得相邻两条涂胶路径的第一点集和第二点集；第一点集为相邻两条涂胶路径中的任一条涂胶路径在重叠区域内的点集；第二点集为相邻两条涂胶路径中另一条涂胶路径在重叠区域内的点集；根据第一点集和第二点集进行最近点查找，获得最近点对；根据最近点对的数量对相邻两条涂胶路径进行合成。

一些实施例中，根据最近点查找数量对相邻两条涂胶路径进行合成包括：若最近点对的数量为0，则在第一点集的第一个点和第二点集的最后一个点之间进行三次样条插值，完成对相邻两条涂胶路径的合成；若最近点对的数量为1，则将该最近点对的两个最近点进行三次样条插值，完成对相邻两条涂胶路径的合成；若最近点对的数量大于或等于2，则提取最近点对中的第一个最近点对、中间最近点对、以及最后一个最近点对；计算中间最近点对中每一对最近点对的中心点，获得中心点集；将第一个最近点对、中心点集、和最后一个最近点对按顺序以三次样条插值相连，完成对相邻两条涂胶路径的合成。

具体的，若相邻两条涂胶路径有重叠区域，则分别提取两条涂胶路径在重叠区域内的点集，假设第一点集为Pts1，第二点集为Pts2，然后，对Pts1内的每一个点在Pts2中查找离它最近的点，同样地，对Pts2内的每一个点，在Pts1中查找离它最近的点。如果Pts1中存在一个点P1，它在Pts2中的最近点为P2，若P2在Pts1中的最近点为P1，则将P1和P2点对定义为稳定最近点对。统计Pts1和Pts2中稳定最近点对的数量，若稳定最近点对的数量为0，取Pts1第一个点和Pts2的最后一个点，以三次样条插值的方式连接(如图5(2)所示)；若稳定最近点对的数量为1，则将这对稳定最近点对以三次样条插值的方式相连(图5(3))；若稳定最近点对的数量大于或等于2(大于1)，取除第一对和最后一对以外的中间稳定对应点对，计算每一对中间稳定对应点对的中心点，得到一个中心点集，然后将Pts1的第一个稳定对应点对、中心点集以及Pts2的最后一个稳定对应点对，按顺序以三次样条插值的方式连接(图5(4))。

通过上述方法，则可将所有拼接的涂胶路径交接处两两相连。最后，对两两连接后的完整涂胶路径再进行一次平顺处理，对路径上的每一个点，计算它在路径中的空间梯度变化量，若空间梯度变化量大于一定阈值，将该点剔除，重新取相邻的前后两点进行三次样条插值。经过平顺处理后，即可得到完整的平滑的涂胶路径。

可选的，本发明实施例提取到的涂胶路径坐标是基于3D线激光轮廓仪坐标系的。通过手眼标定建立3D线激光轮廓仪坐标系以及机械手坐标系之间的变换关系，即可将涂胶路径坐标变换到多轴机械手坐标系下，多轴机械手在涂胶路径坐标的引导下，完成对待涂胶工件的涂胶作业。

可以理解地，在其他一些实施例中，对于离散点间的连接方式还可采用包括但不限于直线或者其他类型曲线。

在其他一些实施例中，两个涂胶路径点间的连接插值方式不限于三次样条插值，还可采用包括但不限于二次样条插值等其他插值方式。

在其他一些实施例中，空间轨迹的离散化还可以变步长的方式进行，例如，基于轨迹的梯度变化/曲率，确定相应的步长。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。