阅读说明：本技术 一种基于摄像头的平面图案识别方法及其装置与应用 (Planar pattern recognition method based on camera, device and application thereof ) 是由 赖亚明 刘新 于 2019-09-27 设计创作，主要内容包括：一种基于摄像头的平面图案识别方法及其装置与应用,包括选择所需平面图案,预先将全部平面图案制成高斯蒙版模型：识别时摄像头对其下方的平面图案进行拍摄；利用纹理或连通域算法将平面图案从拍到的图像中抠出；将抠出后的图案转成矩形,使图像调正并调整为与蒙版模型中相一致的尺寸,然后采用自动色阶处理；再进行高斯模糊；最后以前述高斯蒙版模型进行识别。其可用于对图书封面或内页进行识别。其装置包括光源、摄像头、单片机和存储芯片,存储芯片用来预存蒙版模型；摄像头进行拍摄之后,单片机以前述方法进行识别。本发明可操作性强,识别准确,具有良好的扩展性能,能够扩展出位置识别和动作识别等功能,可以应用于点读机等电子阅读设备。(A planar pattern recognition method based on camera, its device and application, including choosing the required planar pattern, making all the planar patterns into Gauss mask model in advance: during identification, the camera shoots a plane pattern below the camera; utilizing texture or connected domain algorithm to extract the plane pattern from the photographed image; converting the stripped pattern into a rectangle, aligning and adjusting the image to be the same as the size in the mask model, and then adopting automatic color gradation processing; then carrying out Gaussian blur; and finally, identifying by the Gaussian mask model. Which can be used to identify the book cover or inner page. The device comprises a light source, a camera, a singlechip and a storage chip, wherein the storage chip is used for prestoring a mask model; after the camera shoots, the singlechip recognizes by the method. The invention has strong operability, accurate identification and good expansion performance, can expand the functions of position identification, action identification and the like, and can be applied to electronic reading equipment such as a point reading machine and the like.)

一种基于摄像头的平面图案识别方法及其装置与应用

技术领域

本发明涉及一种平面图案的识别方法，具体涉及一种基于摄像头的平面图案识别方法及其装置与应用，属于机器视觉及智能电子领域。

背景技术

随着计算机技术的发展，高拍仪、扫描仪等装置已经逐渐具备了各种智能处理功能。但是其智能功能局限于目标物的图像矫正和预置目标物体识别能力。举例说明，高拍仪能够修正由于纸面弯曲造成的透视变形；具有识别目标物能力的扫描仪能够自动从图像中识别照片和文字，将照片和文字分别计入不同类型的格式化文档之中。

现有装置的不足之处在于，识别预定目标的能力有限，不能按照用户自定义的目标类型进行识别。拍照或扫描的角度有规定，例如高拍仪必须采用垂直指向纸面的角度进行正交拍照，不能容忍大角度倾斜拍照的情况。

此外，现有装置设定目标物识别模板的算法复杂，需要通过模式识别等方法制作识别模板，普通用户无法掌握，所以识别模板通常由厂家设计好之后内置于产品硬件之中，这样就限制了产品的应用扩展能力。

另一方面，点读机是一种常见的学***的提升和多媒体效果增强，在基本用户操作方面，并未改变“特殊制作的书”或“特殊制作的图”这一技术基础。现有方案的缺点在于读物必须是专门生产的读物。现有点读机（笔）通常采用在印刷品中植入特殊条码，或特殊光学符号，来实现对用户所指内容的索引。读物的生产制作以及版权等问题会造成额外的成本。点读机的最关键的步骤仍是在于对读物封面的识别以及对读物内容的识别，然而现有技术的点读机仍是停留在传统识别方式上，几乎没有采用图案识别技术。

发明内容

本发明的一个目的是提供一种基于摄像头的平面图案识别方法，该方法按照摄像头与平面图案的相对位置，又可分为摄像头位于平面图案正上方、摄像头位于平面图案左上方、摄像头位于平面图案前上方三种情况，构成三种在主流程上一致、在细节上有所区别的三种方法。

本发明的另一个目的是提供上述方法的用途。

本发明还有一个目的是提供一种基于摄像头的平面图案识别装置，该装置可分为一般情况下的装置，以及与台灯结合后的台灯式平面图案识别装置。

具体如下：

一种基于摄像头的平面图案识别方法，包括以下步骤：

步骤1，选择所需平面图案，预先将全部平面图案制成高斯蒙版模型：

将平面图案扫描或拍摄成数码图像，将所有数码图像尺寸归一化为M×N大小；

具体方法如下：

1.1）将数码图像分解成CMYK四色，或者RGB-Gray四色；

1.2）对各个通道进行高斯模糊，模糊半径不小于2；

1.3）将所有数码图像的四个通道的信息分别叠加，其中第i个数码图像所对应的四个通道信息为负叠加，其余为正叠加，从而得到数量等于书页数量的含有四个通道的蒙版模型；

1.4）然后，对上述每一个蒙版模型采用自动色阶处理，使其数值充满0-255区间；

步骤2. 识别时，首先用摄像头对其下方的平面图案进行拍摄；拍摄时摄像头通常位于平面图案的正上方、左上方、前上方；

步骤3. 然后利用纹理或连通域算法将平面图案从拍到的图像中抠出；在摄像头位于左上方、前上方两种情形下，抠出的平面图案为梯形；

步骤4.如果抠出后的平面图案非矩形，则对非矩形的图像进行“反透视变换”，使其变换成矩形；

步骤5.对步骤4得到的矩形图像进行旋转操作，使图像调正，以符合读者视角，以便于后续步骤处理；当摄像头位于左上方时，顺时针旋转90度；当摄像头位于前上方时，旋转180度，当摄像头位于正上方时，不进行旋转；

步骤6.将上一步的图像形状调整为M×N像素大小的长方形，然后采用自动色阶处理，使图像的原始灰度值均匀插值到0~255区间；再进行高斯模糊，模糊半径不小于2；

步骤7.用步骤1生成的高斯蒙版模型对步骤6得到的高斯模糊图像进行识别，获得识别结果，具体如下：

将步骤6所得的图像与步骤1得到的高斯蒙版模型全部叠加，选择叠加后标准差最小的模板编号为输出结果，从而识别出平面图案的类别。

上述步骤7中还包括设定阈值，阈值值域[0,1]，如果叠加后计算标准差没有低于预设的阈值，则判断待测平面图案不能匹配步骤1中任何一个蒙版模型。

所述方法的应用，其特征是所述方法在对图书封面进行识别的应用。

所述方法的应用，其特征是所述方法在对图书内页进行识别的应用。

一种基于摄像头的平面图案识别装置，其特征是包括光源、摄像头、单片机和存储芯片，所述摄像头的拍照方向与光源的光照方向一致；且存储芯片用来预存按照步骤的方式所得到的各种平面图案的蒙版模型；当平面图案由位于其正上方、左上方、前上方的摄像头进行拍摄之后，单片机将拍摄到的平面图案以步骤2-6的方式进行处理，并以步骤7的方式对进行处理后得到的图像进行识别。

一种基于摄像头的平面图案识别装置，包括一个台灯，其特征是还包括一个摄像头、以及台灯内的单片机和存储芯片，所述摄像头1的拍照方向与照明灯的光照方向一致；且台灯内的存储芯片用来预存按照步骤1的方式所得到的各种平面图案的蒙版模型；当平面图案由位于其正上方、左上方、前上方的摄像头1进行拍摄之后，台灯内的单片机将拍摄到的平面图案以步骤2-6的方式进行处理，并以步骤7的方式对进行处理后得到的图像进行识别。

发明优点

本发明提出了制作识别模板的具体方法，可操作性强。本发明的方法识别准确、效率高，能将录入数据库中的平面图案快速、精准的识别出来。

本发明具有良好的扩展性能，在此基础上可以开发多种电子阅读装置。本发明提出的图像识别装置配合笔形输入装置使用时，能够扩展出位置识别和动作识别等功能，进一步丰富本发明的使用场景。

本发明可以应用于点读机设备，能够改善用户与读物之间——尤其是青少年与教材之间的交互过程，该方法将点读机与台灯融为一体，让用户在更接近于日常阅读的姿势下进行点读操作，有利于培养青少年养成良好的坐姿和阅读习惯。

附图说明

图1是四种读物封面的Gray通道的图像。

图2 是图1中的四种读物封面的Gray通道图像经过高斯模糊处理后的图像。

图3是本发明对两个图案的四通道信息分别进行叠加的结果。

图4是图1所示的四种图案的Gray通道蒙版模型。

图5是摄像头位于平面图案左上方时的示意图（书脊朝摄像头）。

图6是图5情形中摄像头视野中的平面图案的图像。

图7是摄像头位于平面图案左上方时的示意图，从侧面观察（书的上缘朝摄像头）。

图8是图7情形中摄像头视野中的平面图案的图像。

图9摄像头位于平面图案上方任意角度进行拍摄所得的图像。

图10将图9中抠出平面图案的示意图。

图11反透视变换的示意图。

图12反透视变换的实际效果图。

图13将梯形图案进行反透视变换的实际效果图。

图14是本发明的装置示意图。

其中，1、摄像头，2、底座， 3、支撑臂， 4、照明灯。

具体实施方式

一种基于摄像头的平面图案识别方法，包括以下步骤：

步骤1，选择所需平面图案，预先将全部平面图案制成高斯蒙版模型：

将平面图案扫描或拍摄成数码图像，将所有数码图像尺寸归一化为M×N大小，本发明的实验中M和N取值不小于100；

如果平面图案类型较多，则需要提高M和N的值，但一般来说M×N的值不需要超过100,000，该值并非越高越好。

具体方法如下：

1.1）将数码图像分解成CMYK四色，或者RGB-Gray四色；

需要注意的是，K或Gray并不是完全独立的颜色成分，而是与CMY或RGB相关联。以RGB-Gray为例，Gray值约等于R×0.299 + G×0.587 + B×0.114。但K或Gray通道包含有其他三个通道的融合信息，大多数情况下是最重要的通道；采用多通道融合的方式，将全部N本读物，取成CMYK通道或者RGB-Gray并统一尺寸。平面图案以读物封面为例，通道以Gray为例，四种读物封面的通道Gray图像如图1所示。

图1读物封面的Gray通道读物的图像明显不同。其中，第一张是左右明暗差别；第二张是上下明暗差别；第三张是明暗分布不匀；第四张是明暗分布比较均匀。

1.2）对各个通道进行高斯模糊，模糊半径不小于2；本实验中以3像素作为模糊半径；如图2。

1.3）将所有数码图像的四个通道的信息分别叠加，其中第i个数码图像所对应的四个通道信息为负叠加，其余为正叠加，从而得到数量等于书页数量的含有四个通道的蒙版模型；

1.4）然后，对上述每一个蒙版模型采用自动色阶处理，使其数值充满0-255区间；叠加过程如图3所示，

图4是以对Gray通道进行叠加后的示例（Gray通道仅是R-G-B-Gray四通道中的一个通道）。也就是说，每本读物的模版都由4种模版构成（R模板、G模板、B模板、Gray模板，或C模板、M模板、Y模板、K模板）。后面为了表述上的方便，仅以1种为例。

步骤2. 识别时，首先用摄像头对其下方的平面图案进行拍摄；拍摄时摄像头通常位于平面图案的正上方、左上方、前上方；后两种情况均会得到平面图案的透视图像；

其中，摄像头位于左上方的情形如图5所示，此时摄像头视野中的图像如图6所示。

为了便于后续的抠图操作，可以将平面图案放置在具有单一底色的台面上。还可以使平面图案的放置满足摄像头光轴能够穿过平面图案的中心，以便于算法实现上的减少参数设置。

当然也会有摄像头位于平面图案上方且与平面图案成任意角度进行拍摄的情况，所拍摄的图像如图9所示。

图5是摄像头位于平面图案左上方时的示意图（书脊朝摄像头）。

图6是图5情形中摄像头视野中的平面图案的图像。

摄像头位于前上方的情形如图7所示，此时摄像头视野中的图像如图8所示。

图7是摄像头位于平面图案左上方时的示意图，从侧面观察（书的上缘朝摄像头）。

图8是图7情形中摄像头视野中的平面图案的图像。

图9摄像头位于平面图案上方任意角度进行拍摄所得的图像。

步骤3. 然后利用纹理或连通域算法将平面图案从拍到的图像中抠出；在摄像头位于左上方、前上方两种情形下，抠出的平面图案为梯形；如之前的图6、图8所示；而在后一种情况下，所抠出的图案为平行四边形，如图10所示。

步骤4.如果抠出后的平面图案非矩形，则对非矩形的图像进行“反透视变换”，使其变换成矩形；反透视变换为现有技术，其效果如图11、图12、图13所示；

具体操作时，透视变形的参数以“是否转换为矩形”为标准，如果一次转换之后未能转换成矩形，可采用逐次逼近法调整参数，执行多次转换，直到转换成的图像为矩形。

步骤5.对步骤4得到的矩形图像进行旋转操作，使图像调正，以符合读者视角，以便于后续步骤处理；当摄像头位于左上方时，顺时针旋转90度；当摄像头位于前上方时，旋转180度，当摄像头位于正上方时，不进行旋转。

由此可见本发明的方法可按摄像头与平面图案的相对位置而分成三种具体方法，其区别在于抠图之后是否需要进行反透视变换，以及如何进行旋转调正的操作。

步骤6.将上一步的图像形状调整为M×N像素大小的长方形，然后采用自动色阶处理，使图像的原始灰度值均匀插值到0~255区间；再进行高斯模糊，模糊半径不小于2；

所述自动色阶处理为现有技术，如灰度值范围是0~255，但是本图像中灰度的范围可能只有50~200（也就是说图像中没有纯白纯黑的像素），这种情况下自动色阶功能将50~200的范围均匀插值到0~255，让整个图像对比度尽量最大。

步骤7.用步骤1生成的高斯蒙版模型对步骤6得到的高斯模糊图像进行识别，获得识别结果，具体如下：

将步骤6所得的图像与步骤1得到的高斯蒙版模型全部叠加，选择叠加后标准差最小的模板编号为输出结果，从而识别出平面图案的类别。

进一步，所述步骤7中还包括设定阈值，阈值值域[0,1]，如果叠加后计算标准差没有低于预设的阈值，则判断待测平面图案不能匹配步骤1中任何一个蒙版模型。

以上所述方法的应用，其特征是所述方法在对图书封面进行识别的应用。

以上所述方法的应用，其特征是所述方法在对图书内页进行识别的应用。

一种基于摄像头的平面图案识别装置，其特征是包括光源、摄像头1、单片机和存储芯片，所述摄像头1的拍照方向与光源的光照方向一致；且存储芯片用来预存按照步骤1的方式所得到的各种平面图案的蒙版模型；当平面图案由位于其正上方、左上方、前上方的摄像头1进行拍摄之后，单片机将拍摄到的平面图案以步骤2-6的方式进行处理，并以步骤7的方式对进行处理后得到的图像进行识别。

实施例

显然，本发明的上述装置可以很自然的与台灯进行结合，如图14，一种基于摄像头的台灯式平面图案识别装置，包括一个台灯，其特征是还包括一个摄像头1、以及台灯内的单片机和存储芯片，所述摄像头1的拍照方向与照明灯的光照方向一致；且台灯内的存储芯片用来预存按照步骤1的方式所得到的各种平面图案的蒙版模型；当平面图案由位于其正上方、左上方、前上方的摄像头1进行拍摄之后，台灯内的单片机将拍摄到的平面图案以步骤2-6的方式进行处理，并以步骤7的方式对进行处理后得到的图像进行识别。

本装置的外观形态如图14所示，台灯通常包含底座2、支撑臂3和照明灯，单片机和存储芯片宜内置于底座2中，摄像头位于照明灯3附近，且拍照方向与照明灯的光照方向一致。