阅读说明：本技术 一种基于机器视觉的非接触式测脚方法 (Non-contact foot measuring method based on machine vision ) 是由 许源平 乔文博 张朝龙 许志杰 冯暄 蒋含 崔陆军 谢攀 于 2020-04-29 设计创作，主要内容包括：本发明涉及一种基于机器视觉的非接触式测脚方法,其包括相机标定和视觉测脚,相机标定用于确定测量区域和尺度信息并计算透射变换的参数；视觉测脚在相机标定获得的参数基础上,测量被测人的脚的测量值。本发明基于机器视觉,结合图像处理技术,通过提取脚的完整脚型轮廓实现脚长、脚宽的非接触式测量,不仅大大缩短了测量时间,提高了测量精度,并且具有较强的环境适应能力,可在不同光照环境下正常工作。(The invention relates to a non-contact foot measuring method based on machine vision, which comprises camera calibration and vision foot measuring, wherein the camera calibration is used for determining measurement area and scale information and calculating parameters of transmission transformation; the vision foot measuring device measures the measured value of the foot of the measured person on the basis of the parameters obtained by calibrating the camera. The invention is based on machine vision, combines with image processing technology, realizes the non-contact measurement of the foot length and the foot width by extracting the complete foot profile of the foot, not only greatly shortens the measurement time and improves the measurement precision, but also has stronger environmental adaptability and can normally work under different illumination environments.)

一种基于机器视觉的非接触式测脚方法

技术领域

本发明涉及一种非接触式测脚方法，具体涉及一种基于机器视觉的非接触式测脚方法。

背景技术

随着时代的发展和社会的进步，人们对鞋靴舒适度的要求也越来越高，在上个世纪60年代，我国进行了两次全国性的脚型调查，采用人工测量的方法，对25万人的脚型进行了测量和分析，制定了适合中国人的鞋号标准和鞋楦样品，传统的鞋靴按照性别和年龄可划分为男鞋、女鞋和童鞋，按照人脚的长度划分了码数，相邻码数相差5毫米。但是，属于同一码长所对应的脚长区间的脚型形状差异是很大的，即使是同一个人的左右脚也并非是完全镜像对称的，导致单纯依据脚长指标很难确定合适的鞋码。在这种情况下，许多工业生产线正在由大规模批量型生产向用户定制、个性化、小批量型生产转变。鞋靴个性化定制依赖于对脚型特征数据的精确测量，传统的脚型参数测量方法主要是依赖人工测量，这种测量方法不仅效率低下、流程繁琐、人工成本高，而且不同的测量人员，测量的尺寸存在一定的差异，因此不能满足批量测量、精准测量和快速测量的需求。为了解决这一问题，脚型测量渐渐地由接触式测量方式向非接触式测量方式转变，其中，非接触式测量方法主要包括线激光扫描方法和立体视觉方法。

线激光扫描方法的优势在于其有较好的三维测量精度，但是在应用和推广还上存在一些瓶颈，主要是因为目前的三维脚型测量设备价格昂贵，不利于中小型企业使用，其次是由于其扫描时间较长，造成用户体验不佳；基于立体视觉方法也可获取脚型三维信息，即通过图像分析、图像重建等方法构建出三维模型，这个方法最大的特点是拍摄速度快，可以在不到一秒时间内完成拍摄任务，适用于需要快速测量的场合。但是，立体视觉方法需要进行两幅图像的匹配，在物体表面灰度和面形变化不大时，容易影响匹配和测量精度。而且在实际的生活中，仅需要脚长和脚宽的数据就已经能够满足普通用户鞋子选型的需要，其它如弓高、脚围、趾长等尺寸参数虽然也是脚型的特征信息，但对于普通用户的鞋子选型却是几乎没有影响。因此，针对当前自动化、低成本、高精度且操作简便的脚型参数测量需求，本发明基于机器视觉方法，结合图像处理技术，通过全自动地提取脚的完整脚型轮廓实现了脚长和脚宽的非接触式测量。

现有技术中采用的有以下两种：

1)线激光脚型测量仪

该方案利用红外线扫描技术，通过双目摄像头采集足面轮廓的激光扫描图像，利用扫描仪扫描足底图像，再运用图像处理技术重建脚型和计算脚型参数，从而测量出人脚的长度、高度、宽度、足弓高度等数据(图18)。这种采用线激光扫描的方法对脚型形状进行获取，其优点在于所获取的模型精度较高。但是，在扫描器移动的过程中需要对大量的数据进行存储和处理，从而导致测量时间长，扫描单脚的时间高达10秒左右，造成用户体验不佳。同时，在较长的测量过程中，人脚的位置可能会有微小的移动，这些微小的移动必然会造成测量误差。另外，高品质的激光发生器及其传动装置价格非常昂贵，不利于在中小型企业推广使用。因此，采用线激光扫描测量脚型的方法在应用上受到了限制。

2)基于立体视觉的三维脚型测量技术

主要通过双目相机从不同角度对脚型图像进行采集，然后利用图像分析、视觉重建和几何处理等手段恢复脚型的三维模型，从而实现对脚型参数的测量。这种基于立体视觉的三维脚型测量方案在图像拍摄时间上有了极大的改善，可在瞬间完成对脚型无盲区的图像采集，避免了因抖动而带来的测量误差。但该方案中的标定技术与立体匹配技术这两个关键技术很容易受到光源的影响，环境适应能力较弱，且人的脚型表面比较光滑，包含的纹理特征较少，标定与匹配精度得不到保证。

综上所述，针对目前测脚技术方案中存在的如价格昂贵、测量时间过长、精确度不稳定以及环境适应能力不强的缺陷，测脚技术有必要作进一步改进或创新。

发明内容

针对上述背景技术中存在的问题，本发明提出了一种基于机器视觉，结合图像处理技术，通过提取脚的完整脚型轮廓实现脚长和脚宽的非接触式测量，不仅大大缩短了测量时间，提高了测量精度，并且具有较强的环境适应能力，可在不同光照环境下正常工作的基于机器视觉的非接触式测脚方法。

本发明的技术方案如下：

上述的基于机器视觉的非接触式测脚方法，包括相机标定和视觉测脚，相机标定用于确定测量区域和尺度信息并计算透射变换的参数；视觉测脚在相机标定获得的参数基础上，测量被测人的脚的测量值。

所述基于机器视觉的非接触式测脚方法，其中：所述被测人的脚的测量值包括脚长和脚宽；所述视觉测脚需保证被测者两脚平行站立，被测者两脚呈内八字站立或外八字站立超过10°会被识别为异常情况；所述视觉测脚时不需要使用标定板，被测者双脚站立在脚踏板上。

所述基于机器视觉的非接触式测脚方法，其中，所述相机标定的主要执行流程为：(1.1)在脚踏板上放置标有特定颜色的标定板；(1.2)使用摄像头拍摄一张带有标定板的图像，然后将该图像从RGB颜色空间转化到HSV颜色空间，通过颜色空间阈值分割方法，将标定板的绿色区域提取出来作为测量区域；(1.3)采用轮廓检测算法找到绿色标定板轮廓，并据此提取到轮廓的四个角点和标定板的实际尺寸，计算图像透视变换矩阵参数和尺度信息；(1.4)保存标定板图像的透射变换矩阵参数和尺度信息。

所述基于机器视觉的非接触式测脚方法，其中：所述步骤(1.3)中轮廓检测算法采用OpenCV中FindContours()函数。

所述基于机器视觉的非接触式测脚方法，其中：所述步骤(1.1)中脚踏板的颜色为红色，标定板为绿色。

所述基于机器视觉的非接触式测脚方法，其中：所述相机标定只需在测脚前初始化相机过程中进行一次，除非摄像头出现偏移或站脚区域有变动，否则无需再次进行标定。

所述基于机器视觉的非接触式测脚方法，其中：所述视觉测脚的具体处理步骤为：

(2.1)使用相机拍摄带有待测双脚的图片，且拍摄的图片为斜视图；

(2.2)根据相机标定获取的参数对上述步骤(2.1)中拍摄的图片进行透射变换，将其转换为俯视图，以确保在俯视图中图片的像素尺度是均匀的，然后根据站脚区域长宽与像素点的比例来计算脚长、脚宽的值；

(2.3)使用Canny算子从透射变换后的图片提取脚的边缘信息，并使用高斯模糊算法去除边缘旁边的噪点，将图片转换为脚的轮廓图，在提取边缘信息时，将Canny算子最大阈值设为0，即保留所有的边缘信息；

(2.4)提取到脚的轮廓后，接着提取轮廓的最小外接矩形，提取到左右脚区域的宽度和两个脚的脚尖到区域上边界的距离，并通过最小外接矩形的信息，判断各种测量异常情况；

(2.5)经过上述步骤(2.1)-(2.4)的处理，可得到检测和距离计算模型，以右脚为例，其中W₁代表站脚区域宽度，W₂为待测量的右脚宽度，H₁为站脚区域的长度，H₂为右脚脚尖到区域上边界的距离；C₁、C₂、D₁和D₂代表像素点数量；由于W₁和H₁为已知量，并且像素的尺度固定，可得到脚宽和脚长的计算方式：

脚的长度为：

H_foot＝H₁-H₂ (6)。

所述基于机器视觉的非接触式测脚方法，其中，所述步骤(2.4)中判断各种测量异常情况具体包括：

首先，根据检测到最小外接矩形的数量，可以检测到没有放脚和有障碍物的两种异常情况；如果此时没有检测到最小外接矩形，可以判断相机没有采集到带有脚的图像；如果检测到的最小外接矩形大于2个，可以判断采集到的图像有其他类似脚的障碍物；

其次，在最小外接矩形数量正确的情况下，可以根据最小外接矩形的角度判断此时被测者的站立情况，若此时矩形角度在10°～45°范围内，则判断此时被测者的脚为内八姿势站立；若此时矩形角度在-80°～-45°范围内，则判断此时被测者的脚为外八姿势站立。

所述基于机器视觉的非接触式测脚方法，其中，所述步骤(2.4)中是使用OpenCV的MinAreaRect()方法提取轮廓的最小外接矩形。

有益效果：

本发明基于机器视觉的非接触式测脚方法构思合理，操作流程简单，基于机器视觉，结合图像处理技术，通过提取脚的完整脚型轮廓实现脚长和脚宽的非接触式测量，能有效满足低成本、高效率、高精度的脚型参数测量需求。

相对于线激光扫描与立体视觉方法，本发明基于机器视觉的非接触式测脚方法是通过光学成像技术，没有涉及到三维匹配等复杂的算法，且对图像处理算法做了优化，因此，本发明基于机器视觉的非接触式测脚方法，不仅大大缩短了测量时间(测量脚的时间为1秒)，提高了测量精度(精确度可达到0.2mm)，并且具有较强的环境适应能力，可在不同光照环境下正常工作；另外，本发明基于机器视觉的非接触式测脚方法中涉及到的测脚装置结构简单，仅需一个普通摄像头与一块脚踏板便可测量，极大地降低了生产成本，有利于中小企业的推广使用。

本发明基于机器视觉的非接触式测脚方法，使用单个高精度彩色摄像头采集原始图像，并通过图像处理算法精确提取脚的长宽信息；针对现有测脚技术方案中设备价格昂贵、测量效率较低、精确度不稳定以及环境适应能力不强的缺陷，本发明降低了测量成本并提高了测量效率和精度。另外，通过加入光源，可保证每次采集的图像亮度均匀且充足，提高了环境适应性。

本发明基于机器视觉的非接触式测脚方法，与现有的测脚方法相比，极大地提高了测量效率，同时保证了测量精度，降低了测量成本，本发明基于机器视觉的非接触式测脚方法中涉及到的测脚装置易维护且使用寿命长。

附图说明

图1为本发明基于机器视觉的非接触式测脚方法中相机标定的流程图；

图2为本发明基于机器视觉的非接触式测脚方法中相机标定的步骤(1.2)中标定板拍摄原图；

图3为本发明基于机器视觉的非接触式测脚方法中相机标定的步骤(1.2)中绿色标定板区域示意图；

图4为本发明基于机器视觉的非接触式测脚方法中相机标定的步骤(1.3)中角点检测图；

图5为本发明基于机器视觉的非接触式测脚方法中视觉测脚的流程图；

图6为本发明基于机器视觉的非接触式测脚方法中视觉测脚的步骤(2.1)中带脚拍摄原图片；

图7为本发明基于机器视觉的非接触式测脚方法中视觉测脚的步骤(2.2)中透视变换后的俯视图片；

图8为本发明基于机器视觉的非接触式测脚方法中视觉测脚的步骤(2.3)中脚轮廓图；

图9为本发明基于机器视觉的非接触式测脚方法中视觉测脚的步骤(2.4)中最小外接矩形图；

图10为本发明基于机器视觉的非接触式测脚方法中视觉测脚的步骤(2.5)中距离计算示意图；

图11为本发明基于机器视觉的非接触式测脚方法中视觉测脚的实施流程图；

图12为本发明基于机器视觉的非接触式测脚方法的实例一中的低亮度站脚图；

图13为本发明基于机器视觉的非接触式测脚方法的实例一中的低亮度脚型框图；

图14为本发明基于机器视觉的非接触式测脚方法的实例二中的中亮度站脚图；

图15为本发明基于机器视觉的非接触式测脚方法的实例二中的中亮度脚型框图；

图16为本发明基于机器视觉的非接触式测脚方法的实例三中的高亮度站脚图；

图17为本发明基于机器视觉的非接触式测脚方法的实例三中的高亮度脚型框图；

图18为现有的线激光脚型测量仪的结构示意图。

具体实施方式

下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本发明基于机器视觉的非接触式测脚方法，包括相机标定和视觉测脚，相机标定用于确定测量区域和尺度信息，同时由于大部分测脚装置都无法垂直安装摄像头，相机标定还需要计算透射变换的参数；视觉测脚在相机标定获得的参数基础上，测量被测人的脚的测量值(包括脚长和脚宽)，为保证测量精度，视觉测脚需要保证被测者两脚平行站立(内八字站立或外八字站立超过10°会被识别为异常情况)；本发明的图像处理算法可以使用OpenCV实现。

如图1所示，上述的相机标定的主要执行流程为：

(1.1)在脚踏板上放置标有特定颜色的标定板；在本发明中，脚踏板的颜色为红色，标定板为绿色，也可以采用其它可区分的颜色；

(1.2)使用摄像头拍摄一张带有标定板的图像(如图2所示)，然后将该图像从RGB(Red，Green，Blue)颜色空间转化到HSV(Hue，Saturation，Value)颜色空间，通过颜色空间阈值分割方法，将标定板的绿色区域提取出来(如图3所示)，该区域即为测量区域；

(1.3)采用轮廓检测算法(OpenCV中FindContours()函数)找到绿色标定板轮廓，并据此提取到轮廓的四个角点(如图4所示)和标定板的实际尺寸，计算图像透视变换矩阵参数和尺度信息；

(1.4)保存透射变换矩阵参数和尺度信息。

上述的相机标定只需在测脚前初始化相机过程中进行一次，除非摄像头出现偏移或站脚区域有变动，否则无需再次进行标定。

上述的视觉测脚时不需要使用标定板，被测者双脚站立在红色(也可使用其它颜色)的脚踏板上；

如图5所示，上述的视觉测脚的流程主要处理步骤为：

(2.1)使用相机拍摄带有待测双脚的图片，如图6所示，拍摄的图片为斜视图。

(2.2)根据相机标定获取的参数对上述步骤(2.1)中拍摄的图片进行透射变换，将其转换为俯视图(如图7)，从而可以确保在俯视图中，图片的像素尺度是均匀的，因此可根据站脚区域长宽与像素点的比例来计算脚长、脚宽的值(即步骤2.5中的W₂、H₂)。

(2.3)使用Canny算子从透射变换后的图片提取脚的边缘信息，并使用高斯模糊去除边缘旁边的噪点；将图片转换为脚的轮廓图(如图8所示)；在提取边缘信息时，将Canny算子最大阈值设为0，即保留所有的边缘信息，有效地提高了边缘信息的准确率。

(2.4)提取到脚的轮廓后，就要提取轮廓的最小外接矩形(使用OpenCV的MinAreaRect()方法，结果如图9所示)；提取到左右脚区域的宽度和两个脚的脚尖到区域上边界的距离；通过最小外接矩形的信息，可以判断多种测量异常情况。其中，判断多种测量异常情况具体包括首先，根据检测到的最小外接矩形的数量，可以检测到没有放脚和有障碍物两种异常情况；如果此时没有检测到最小外接矩形，可以判断相机没有采集到带脚的图像；如果检测到的最小外接矩形大于2个，可以判断采集到的图像有其他类似脚的障碍物；其次，在最小外接矩形数量正确的情况下，可以根据最小外接矩形的角度判断此时被测者的站立情况，若此时矩形角度在(10°，45°)范围内，则判断此时被测者的脚为内八姿势站立；若此时矩形角度在(-80°，-45°)范围内，则判断此时被测者的脚为外八姿势站立。

(2.5)经过前面的处理步骤，可以得到如图10所示的检测和距离计算模型(以右脚为例)，其中W₁代表站脚区域宽度，W₂为待测量的右脚宽度，H₁为站脚区域的长度，H₂为右脚脚尖到区域上边界的距离(由于脚跟位置存在遮挡问题，无法直接测量)；C₁、C₂、D₁和D₂代表像素点数量；由于W₁和H₁为已知量，并且像素的尺度固定，因此可以得到脚宽和脚长的计算方式：

脚的长度为：

H_foot＝H₁-H₂ (9)

本发明基于机器视觉的非接触式测脚方法的测脚流程算法可使用Modbus通讯协议与外部应用软件(上位机)进行通讯，具体实施流程图如图11所示。

如图11所示，本发明基于机器视觉的非接触式测脚方法中视觉测脚的实施流程分为两大部分：

(1)相机标定部分：首先，测脚程序收到Modbus发送的标定指令后，调用测脚程序内部的标定算法，采集带有标定板的图片，并根据检测到的角点位置判定是否标定成功，并返回给上位机是否标定成功的回复指令；

(2)测脚部分：测脚程序收到Modbus发送的测脚指令后，调用测脚程序内部的测脚算法控制相机每隔5帧采集一次图像，共采集5帧图像进行测量，并在算法内部将不符合要求的结果删除掉，计算5次正确测量值的平均值返回到上位机。

本发明基于机器视觉的非接触式测脚方法可以在不同的光照条件下进行正常测量，提供以下三种光照条件下的实例：

实例一：在低亮度条件下，待测量人站上双脚(如图12)，得到的脚型框图为图13，测量结果为左脚长229mm，左脚宽91mm，右脚长230mm，右脚宽94mm。

实例二：在中亮度条件下，待测量人站上双脚(如图14)，得到的脚型框图为图15，测量结果为左脚长228mm，左脚宽91mm，右脚长231mm，右脚宽94mm。

实例三：在高亮度条件下，待测量人站上双脚(如图16)，得到的脚型框图为图17，测量结果为左脚长228mm，左脚宽91mm，右脚长231mm，右脚宽94mm。

本发明基于机器视觉，结合图像处理技术，通过提取脚的完整脚型轮廓实现脚长和脚宽的非接触式测量，不仅大大降低了测量成本，缩短了测量时间，提高了测量精度，并且具有较强的环境适应能力，可在不同光照环境下正常工作。

以上所述仅为本发明较佳的实施方式，并非用以限定本发明的权利范围；同时以上的描述，对于相关技术领域专门人士应可理解及实施，因此凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。