阅读说明：本技术 问卷图像识别方法、电子装置及存储介质 (Questionnaire image recognition method, electronic device, and storage medium ) 是由 蒋栋 叶颖琦 万正勇 沈志勇 高宏 于 2020-04-21 设计创作，主要内容包括：本发明涉及图像识别技术,提供了一种问卷图像识别方法、电子装置及存储介质。该方法通过对待识别问卷图像执行二值化处理及预设方式的处理,将处理后的待识别问卷图像与问卷模板图像进行匹配和校正,得到与问卷模板图像具有相应坐标位置的待识别问卷图像,基于问卷模板图像的坐标对待识别问卷图像进行切割,将得到的票种标识区域和页码标识区域输入预先训练好的识别模型,得到票种标识和页码标识的识别结果,基于该识别结果分割内容填写区域得到多个评测区域,计算各个评测区域的可填涂区域的像素值,将像素值最小的可填涂区域作为该评测区域的结果。本发明对硬件环境依赖低,对问卷图像的识别精度高。(The invention relates to an image recognition technology and provides a questionnaire image recognition method, an electronic device and a storage medium. The method comprises the steps of performing binarization processing and preset mode processing on a questionnaire image to be recognized, matching and correcting the processed questionnaire image to be recognized and a questionnaire template image to obtain a questionnaire image to be recognized, wherein the questionnaire image to be recognized and the questionnaire template image have corresponding coordinate positions, cutting the questionnaire image to be recognized based on the coordinates of the questionnaire template image, inputting the obtained ticket identification area and page identification area into a pre-trained recognition model to obtain recognition results of the ticket identification and the page identification, segmenting a content filling area based on the recognition results to obtain a plurality of evaluation areas, calculating the pixel value of a fillable area of each evaluation area, and taking the fillable area with the minimum pixel value as the result of the evaluation area. The invention has low dependence on hardware environment and high identification precision on questionnaire images.)

问卷图像识别方法、电子装置及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种问卷图像识别方法、电子装置及存储介质。

背景技术

目前，调查机构在对调查问卷进行统计分析时，大多需要将调查问卷手动录入到分析系统，人工录入的方式效率低下，且容易出错。虽然市面上也出现了一些问卷的自动识别方案，但现有识别方案通常是基于光学的识别方案，依赖于特定的定位区域，比如色块和锚点等，如果定位点扫描不全或其他原因造成的定位点缺失则会导致定位失败，无法对图像进行纠偏、对齐等操作，导致识别不了问卷图像的关键信息。

发明内容

鉴于以上内容，本发明提供一种问卷图像识别方法、电子装置及存储介质，其目的在于解决现有技术中识别问卷图像时对硬件要求高，且识别精度低的问题。

为实现上述目的，本发明提供一种问卷图像识别方法，该方法包括：

接收步骤：接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像；

预处理步骤：对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理；

匹配步骤：将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割；及

识别步骤：将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

优选的，所述匹配步骤包括：

根据SIFT算法解析出待识别问卷图像与问卷模板图像的特征点，分别计算出问卷模板图像中每个特征点与待识别问卷图像中每个特征点的欧式距离；

查找出问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，若距离最小的特征点和距离次小的特征点满足预设条件，将所述距离最小的特征点与问卷模板图像中对应的特征点作为一对匹配特征点；

将所述匹配特征点的对数大于第一预设值的问卷模板图像作为所述待识别问卷图像匹配的图像。

优选的，所述匹配步骤包括：

分别获取匹配的待识别问卷图像与问卷模板图像的各个匹配特征点的坐标，基于各个匹配特征点的坐标计算得到待匹配图像转换为模板图像的单应性矩阵，基于所述单应性矩阵对待匹配图像进行透视变换，得到与问卷模板图像具有相应的坐标位置的待识别问卷图像。

优选的，所述识别步骤包括：

所述识别模型包括页码识别模型和票种识别模型，将所述页码标识区域输入所述页码识别模型，得到所述待识别问卷图像的页码标识的识别结果，将所述票种标识区域输入所述票种识别模型，得到所述待识别问卷图像的票种标识的识别结果。

优选的，所述识别步骤还包括：

利用第一预设判断规则判断所述多个评测区域是否存在漏填涂区域，利用第二预设判断规则判断所述多个评测区域是否存在多填涂区域，若存在所述漏填涂区域或所述多填涂区域，则将所述漏填涂区域或所述多填涂区域添加至该评测区域的结果中。

为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器及处理器，所述存储器上存储问卷图像识别程序，所述问卷图像识别程序被所述处理器执行，实现如下步骤：

接收步骤：接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像；

预处理步骤：对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理；

匹配步骤：将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割；及

识别步骤：将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

优选的，所述匹配步骤包括：

根据SIFT算法解析出待识别问卷图像与问卷模板图像的特征点，分别计算出问卷模板图像中每个特征点与待识别问卷图像中每个特征点的欧式距离；

查找出问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，若距离最小的特征点和距离次小的特征点满足预设条件，将所述距离最小的特征点与问卷模板图像中对应的特征点作为一对匹配特征点；

将所述匹配特征点的对数大于第一预设值的问卷模板图像作为所述待识别问卷图像匹配的图像。

优选的，所述匹配步骤包括：

分别获取匹配的待识别问卷图像与问卷模板图像的各个匹配特征点的坐标，基于各个匹配特征点的坐标计算得到待匹配图像转换为模板图像的单应性矩阵，基于所述单应性矩阵对待匹配图像进行透视变换，得到与问卷模板图像具有相应的坐标位置的待识别问卷图像。

优选的，所述识别步骤包括：

所述识别模型包括页码识别模型和票种识别模型，将所述页码标识区域输入所述页码识别模型，得到所述待识别问卷图像的页码标识的识别结果，将所述票种标识区域输入所述票种识别模型，得到所述待识别问卷图像的票种标识的识别结果。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括问卷图像识别程序，所述问卷图像识别程序被处理器执行时，实现如上所述问卷图像识别方法中的任意步骤。

本发明提出的问卷图像识别方法、电子装置及存储介质，具有不依赖硬件环境、鲁棒性高、识别精度高等优点，以问卷模板为基准对待识别问卷图像校正，再通过像素分析对待识别问卷图像的评测区域进行分析，识别问卷图像中的单选、多选或漏选区域，最后通过深度学习技术对其中的票种和页码区域进行识别，从而完成对问卷图像信息提取。

附图说明

图1为本发明电子装置较佳实施例的示意图；

图2为图1中问卷图像识别程序较佳实施例的模块示意图；

图3为本发明问卷图像识别方法较佳实施例的流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，为本发明电子装置1较佳实施例的示意图。

该电子装置1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子装置1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子装置1的外部存储设备，例如该电子装置1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子装置1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子装置1的操作系统和各类应用软件，例如问卷图像识别程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行问卷图像识别程序10的程序代码等。

显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子装置1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该网络接口14通常用于在所述电子装置1与其它电子设备之间建立通信连接。

图1仅示出了具有组件11-14以及问卷图像识别程序10的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，所述电子装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。

该电子装置1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。

在上述实施例中，处理器12执行存储器11中存储的问卷图像识别程序10时可以实现如下步骤：

接收步骤：接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像；

预处理步骤：对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理；

匹配步骤：将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割；及

识别步骤：将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

所述存储设备可以为电子装置1的存储器11，也可以为与电子装置1通讯连接的其它存储设备。

关于上述步骤的详细介绍，请参照下述图2关于问卷图像识别程序10实施例的程序模块图以及图3关于问卷图像识别方法实施例的流程图的说明。

在其他实施例中，所述问卷图像识别程序10可以被分割为多个模块，该多个模块被存储于存储器12中，并由处理器13执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

参照图2所示，为图1中问卷图像识别程序10一实施例的程序模块图。在本实施例中，所述问卷图像识别程序10可以被分割为：接收模块110、预处理模块120、匹配模块130及识别模块140。

接收模块110，用于接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像。

在本实施例中，可以接收用户采用扫描仪或手机拍摄采集的待识别问卷图像，由于本发明提出的系统鲁棒性强，对光照和拍摄角度的要求不高，所以并不限制用户采集待识别问卷图像的方式和环境。

其中，待识别问卷图像中可以包括一级表或二级表，一级表结构为：在单张表中可对单种类个体多评测项目评分，二级表结构为：在单张表中可对多种类个体多评测项目评分。本实施例的问卷在制表过程中，用户可在问卷样式中按照需求录入待评测项目和待评测个体，为应对用户同种测评问卷对不同被测群体分类统计需求，还可以在表格右上角添加票种标识，例如以英文大写字母A-Z命名。表格自动生成后还可保存为图片或打印使用，并可保存一份JSON格式的录入评测信息文件，已备后续识别统计以及下次重复利用。这种保存方式同样可方便制表与识别统计工作分别由不同人处理的场合，用户只需用系统打开JSON格式的已保存文件，便可接着进行后续功能的操作。

预处理模块120，用于对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理。

在本实施例中，将待识别问卷图像的尺寸调整为与预设的问卷模板图像的尺寸相同的图像，使用cv2.THRESH_OTSU方法对待识别图像及问卷模板图像进行自适应二值化处理，转化为0和255的像素值，从而去除不同光照情况的干扰，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理，预设方式的处理包括采用(5，5)的核对图像进行腐蚀处理，可以去除噪点等干扰。这样的预处理操作使得后续的图像匹配鲁棒性更强，不易受到光照、打印油墨深浅的影响。

匹配模块130，用于将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割。

在本实施例中，基于稳定性和速度两方面的考虑，利用SIFT特征匹配方法进行图像匹配。具体地，根据SIFT算法解析出待识别问卷图像与问卷模板图像的特征点，分别计算出问卷模板图像中每个特征点与待识别问卷图像中每个特征点的欧式距离，查找出问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，若距离最小的特征点和距离次小的特征点满足预设条件，将所述距离最小的特征点与问卷模板图像中对应的特征点作为一对匹配特征点，将所述匹配特征点的对数大于第一预设值的问卷模板图像作为所述待识别问卷图像匹配的图像。其中，查找问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，可以利用cv2.BFMatcher中的knnMatch方法进行查找，预设条件为：距离最小的特征点距离值除以距离次小的特征点的距离值得到的数值小于第二预设值，第二预设值可以为0.65。若所述匹配特征点的对数大于第一预设值，则说明两张图像内容中包含同一特征物体可进行匹配，本实施例的第一预设值可以设为4。

确定两张图像可进行匹配之后，将待识别问卷图像与问卷模板图像进行校正，分别获取待识别问卷图像与问卷模板图像成功匹配的各个特征点的坐标，基于各个匹配特征点的坐标计算得到待匹配图像转换为模板图像的单应性矩阵，基于所述单应性矩阵对待匹配图像进行透视变换，得到与问卷模板图像具有相应的坐标位置的待识别问卷图像。其中，计算单应性矩阵时可采用cv2.RANSAC方法。即待识别区域与问卷模板图像对应的区域在同一坐标范围内，基于问卷模板图像的票种、页码及内容区域的坐标得到待识别问卷图像的票种标识区域、页码标识区域及内容填写区域的位置坐标，并对待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割。

识别模块140，用于将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

在本实施例中，将待识别问卷图像的票种标识区域、页码标识区域输入基于卷积循环神经网络预先训练的识别模型中，得到待识别问卷图像的票种标识和页码标识的识别结果。表格种类分为A到Z的26个字母，表格页码为1、2、3等数字。将CRNN中基于VGG16的CNN模块替换为Resnet101，Resnet中的Shotcut结构可有效防止梯度消失，从而可以采用更深的网络结构提取更具有区分度的文字特征，有效避免相近字符的识别错误问题(比如I和L等)。传统的CRNN网络将输入图像的高度压缩为1，得到1*W*C的特征图，但高度为1的特征图在该维度上保留的信息不足，容易识别错该维度上相近的字符比如Y和V。本方案通过Resnet101将32*W的输入图像压缩成6*X*Y的特征图，在高度上保留更丰富的特征信息，从而使其在该维度有更高的分辨率，从而获得更好的识别精度。

在一个实施例中，所述识别模型包括页码识别模型和票种识别模型，将所述页码标识区域输入所述页码识别模型，得到所述待识别问卷图像的页码标识的识别结果，将所述票种标识区域输入所述票种识别模型，得到所述待识别问卷图像的票种标识的识别结果。考虑到在实际场景中识别页码时，页码代表一种样式的表格所包含的页数(而非打印的份数)，其取值在1～99之间，因此可以将一个页码的识别问题转换为1～99的99种分类问题，例如：数字10的识别在传统OCR方案中即识别出1和0，本实施例将10视为一个整体，直接对应1～99类中的第10类，这样的好处是将OCR问题转换为了分类问题，从而可以摒弃CRNN中的CTC Loss，采用Cross Entropy Loss，避免CTC Los s常见的多字或漏字问题(例如，将10识别为110或者0)。

页码和票种中的数字1和字母I，字数0和字母O等字符很容易混淆，为了避免此类问题，本实施例采用票种识别模型，即A～Z的26分类模型，从而避免容易混淆的问题。因页码和票种的数据中不需要上下文信息，考虑到模型参数量和识别速度，本实例中的页码识别模型和票种识别模型剔除了CRNN中的BiLSTM模块，从而使模型识别速度优于传统的CRNN网络。

卷积循环神经网络模型在训练时，使用Adam优化器，学习速率为0.001。采用交叉熵损失函数，batch size设为64，batch size为每次送入网络中训练的样本数量，训练时首先前向传播产生损失值，再通过反向传播算法，向损失值减小的方向更新网络权重，持续训练直到网络收敛。

根据票种和页码的识别结果可以定位到输入表格图像对应的带评测项目和带评测个体。将待识别问卷图像与问卷模板图像对齐，根据问卷模板图像的评测项目和评测个体的坐标信息，分割内容填写区域得到多个评测区域，由于评分采用涂黑或其他涂抹方式，所以在评测区域内像素值最小的可填涂区域即为已填涂区域，根据问卷模板图像的待填涂区域的坐标位置，可得到待识别图像的已填涂区域对应的坐标，从而得到评测区域的结果并反馈至用户。例如：评测区域为[1]～[10]的十个待填涂区域，根据问卷模板图像位置信息抠取待识别问卷图像中[1]～[10]的可填涂区域，再计算[1]～[10]这十个可填涂区域中的像素值，因填涂区域被涂黑，所以像素值总和最小的可填涂区域为已填涂区域。

进一步地，还可以利用第一预设判断规则判断所述多个评测区域是否存在漏填涂区域，利用第二预设判断规则判断所述多个评测区域是否存在多填涂区域，若存在所述漏填涂区域或所述多填涂区域，则将所述漏填涂区域或所述多填涂区域添加至该评测区域的结果中。对于漏填涂的情况，计算(纯白区域像素总和-填涂区域最小像素总和)/纯白区域像素总和的值，当此值小于第三预设阈值时，判断这一区域属于漏填涂异常，第三预设阈值可设为0.1。

对于异常污染或是多填涂的情况分别计算两个值：(纯白区域像素总和-填涂区域最小像素总和)/纯白区域像素总和，(纯白区域像素总和-填涂区域次小像素总和)/纯白区域像素总和。若两个值都大于第四预设阈值(0.1)，则判断该区域存在污染或是多填涂异常情况。发现异常填涂区域后，系统会给用户提示，指明发生异常填涂的图像编号，用户可人工介入排除异常值，保证识别的准确性。

排除异常情况后，根据票种和页码的识别结果，将所有填涂区域的评分识别结果分别对应到相应的个体和项目上，将分类但未经过统计的结果与异常情况检测提示一起输出到一张表格中，供用户初步浏览结果和对结果进行备份留存。

进一步的，问卷图像识别程序还包括分析模块：将原始识别结果进行统计分析，生成横向和纵向的统计结果，或生成柱状图折线图等可视化图表后反馈至所述用户。

得到原始识别结果之后可自动计算统计结果，包括统计总和、平均分、加权平均分、最高分、最低分等，并生成柱状图和折线图等可视化图表方便用户浏览结果。相较于用户手动处理原始识别结果，省去了用户设计统计表头和统计表结构，进行加和、平均等操作的时间。除了提供横向对比的统计结果，还提供纵向对比的统计结果，若用户多次进行同一项问卷评测活动，可由往期数据库保存的内容自动生成多期活动的统计结果对比，包括统计总和、平均分、加权平均分、最高分、最低分等随时间的变化趋势，便于用户从横向和纵向各个方面对比统计结果。

此外，本发明还提供一种问卷图像识别方法。参照图3所示，为本发明问卷图像识别方法的实施例的方法流程示意图。电子装置1的处理器12执行存储器11中存储的问卷图像识别程序10时实现问卷图像识别方法的如下步骤：

步骤S10：接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像。

在本实施例中，可以接收用户采用扫描仪或手机拍摄采集的待识别问卷图像，由于本发明提出的系统鲁棒性强，对光照和拍摄角度的要求不高，所以并不限制用户采集待识别问卷图像的方式和环境。

其中，待识别问卷图像中可以包括一级表或二级表，一级表结构为：在单张表中可对单种类个体多评测项目评分，二级表结构为：在单张表中可对多种类个体多评测项目评分。本实施例的问卷在制表过程中，用户可在问卷样式中按照需求录入待评测项目和待评测个体，为应对用户同种测评问卷对不同被测群体分类统计需求，还可以在表格右上角添加票种标识，例如以英文大写字母A-Z命名。表格自动生成后还可保存为图片或打印使用，并可保存一份JSON格式的录入评测信息文件，已备后续识别统计以及下次重复利用。这种保存方式同样可方便制表与识别统计工作分别由不同人处理的场合，用户只需用系统打开JSON格式的已保存文件，便可接着进行后续功能的操作。

步骤S20：对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理。

在本实施例中，将待识别问卷图像的尺寸调整为与预设的问卷模板图像的尺寸相同的图像，使用cv2.THRESH_OTSU方法对待识别图像及问卷模板图像进行自适应二值化处理，转化为0和255的像素值，从而去除不同光照情况的干扰，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理，预设方式的处理包括采用(5，5)的核对图像进行腐蚀处理，可以去除噪点等干扰。这样的预处理操作使得后续的图像匹配鲁棒性更强，不易受到光照、打印油墨深浅的影响。

步骤S30：将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割。

在本实施例中，基于稳定性和速度两方面的考虑，利用SIFT特征匹配方法进行图像匹配。具体地，根据SIFT算法解析出待识别问卷图像与问卷模板图像的特征点，分别计算出问卷模板图像中每个特征点与待识别问卷图像中每个特征点的欧式距离，查找出问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，若距离最小的特征点和距离次小的特征点满足预设条件，将所述距离最小的特征点与问卷模板图像中对应的特征点作为一对匹配特征点，将所述匹配特征点的对数大于第一预设值的问卷模板图像作为所述待识别问卷图像匹配的图像。其中，查找问卷模板图像中每个特征点与待识别问卷图像中距离最小和距离次小的两个特征点，可以利用cv2.BFMatcher中的knnMatch方法进行查找，预设条件为：距离最小的特征点距离值除以距离次小的特征点的距离值得到的数值小于第二预设值，第二预设值可以为0.65。若所述匹配特征点的对数大于第一预设值，则说明两张图像内容中包含同一特征物体可进行匹配，本实施例的第一预设值可以设为4。

确定两张图像可进行匹配之后，将待识别问卷图像与问卷模板图像进行校正，分别获取待识别问卷图像与问卷模板图像成功匹配的各个特征点的坐标，基于各个匹配特征点的坐标计算得到待匹配图像转换为模板图像的单应性矩阵，基于所述单应性矩阵对待匹配图像进行透视变换，得到与问卷模板图像具有相应的坐标位置的待识别问卷图像。其中，计算单应性矩阵时可采用cv2.RANSAC方法。即待识别区域与问卷模板图像对应的区域在同一坐标范围内，基于问卷模板图像的票种、页码及内容区域的坐标得到待识别问卷图像的票种标识区域、页码标识区域及内容填写区域的位置坐标，并对待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割。

步骤S40：将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

在本实施例中，将待识别问卷图像的票种标识区域、页码标识区域输入基于卷积循环神经网络预先训练的识别模型中，得到待识别问卷图像的票种标识和页码标识的识别结果。表格种类分为A到Z的26个字母，表格页码为1、2、3等数字。将CRNN中基于VGG16的CNN模块替换为Resnet101，Resnet中的Shotcut结构可有效防止梯度消失，从而可以采用更深的网络结构提取更具有区分度的文字特征，有效避免相近字符的识别错误问题(比如I和L等)。传统的CRNN网络将输入图像的高度压缩为1，得到1*W*C的特征图，但高度为1的特征图在该维度上保留的信息不足，容易识别错该维度上相近的字符比如Y和V。本方案通过Resnet101将32*W的输入图像压缩成6*X*Y的特征图，在高度上保留更丰富的特征信息，从而使其在该维度有更高的分辨率，从而获得更好的识别精度。

在一个实施例中，所述识别模型包括页码识别模型和票种识别模型，将所述页码标识区域输入所述页码识别模型，得到所述待识别问卷图像的页码标识的识别结果，将所述票种标识区域输入所述票种识别模型，得到所述待识别问卷图像的票种标识的识别结果。考虑到在实际场景中识别页码时，页码代表一种样式的表格所包含的页数(而非打印的份数)，其取值在1～99之间，因此可以将一个页码的识别问题转换为1～99的99种分类问题，例如：数字10的识别在传统OCR方案中即识别出1和0，本实施例将10视为一个整体，直接对应1～99类中的第10类，这样的好处是将OCR问题转换为了分类问题，从而可以摒弃CRNN中的CTC Loss，采用Cross Entropy Loss，避免CTC Los s常见的多字或漏字问题(例如，将10识别为110或者0)。

页码和票种中的数字1和字母I，字数0和字母O等字符很容易混淆，为了避免此类问题，本实施例采用票种识别模型，即A～Z的26分类模型，从而避免容易混淆的问题。因页码和票种的数据中不需要上下文信息，考虑到模型参数量和识别速度，本实例中的页码识别模型和票种识别模型剔除了CRNN中的BiLSTM模块，从而使模型识别速度优于传统的CRNN网络。

卷积循环神经网络模型在训练时，使用Adam优化器，学习速率为0.001。采用交叉熵损失函数，batch size设为64，batch size为每次送入网络中训练的样本数量，训练时首先前向传播产生损失值，再通过反向传播算法，向损失值减小的方向更新网络权重，持续训练直到网络收敛。

根据票种和页码的识别结果可以定位到输入表格图像对应的带评测项目和带评测个体。将待识别问卷图像与问卷模板图像对齐，根据问卷模板图像的评测项目和评测个体的坐标信息，分割内容填写区域得到多个评测区域，由于评分采用涂黑或其他涂抹方式，所以在评测区域内像素值最小的可填涂区域即为已填涂区域，根据问卷模板图像的待填涂区域的坐标位置，可得到待识别图像的已填涂区域对应的坐标，从而得到评测区域的结果并反馈至用户。例如：评测区域为[1]～[10]的十个待填涂区域，根据问卷模板图像位置信息抠取待识别问卷图像中[1]～[10]的可填涂区域，再计算[1]～[10]这十个可填涂区域中的像素值，因填涂区域被涂黑，所以像素值总和最小的可填涂区域为已填涂区域。

进一步地，还可以利用第一预设判断规则判断所述多个评测区域是否存在漏填涂区域，利用第二预设判断规则判断所述多个评测区域是否存在多填涂区域，若存在所述漏填涂区域或所述多填涂区域，则将所述漏填涂区域或所述多填涂区域添加至该评测区域的结果中。对于漏填涂的情况，计算(纯白区域像素总和-填涂区域最小像素总和)/纯白区域像素总和的值，当此值小于第三预设阈值时，判断这一区域属于漏填涂异常，第三预设阈值可设为0.1。

对于异常污染或是多填涂的情况分别计算两个值：(纯白区域像素总和-填涂区域最小像素总和)/纯白区域像素总和，(纯白区域像素总和-填涂区域次小像素总和)/纯白区域像素总和。若两个值都大于第四预设阈值(0.1)，则判断该区域存在污染或是多填涂异常情况。发现异常填涂区域后，系统会给用户提示，指明发生异常填涂的图像编号，用户可人工介入排除异常值，保证识别的准确性。

排除异常情况后，根据票种和页码的识别结果，将所有填涂区域的评分识别结果分别对应到相应的个体和项目上，将分类但未经过统计的结果与异常情况检测提示一起输出到一张表格中，供用户初步浏览结果和对结果进行备份留存。

进一步的，问卷图像识别方法还包括分析步骤：将原始识别结果进行统计分析，生成横向和纵向的统计结果，或生成柱状图折线图等可视化图表后反馈至所述用户。

得到原始识别结果之后可自动计算统计结果，包括统计总和、平均分、加权平均分、最高分、最低分等，并生成柱状图和折线图等可视化图表方便用户浏览结果。相较于用户手动处理原始识别结果，省去了用户设计统计表头和统计表结构，进行加和、平均等操作的时间。除了提供横向对比的统计结果，还提供纵向对比的统计结果，若用户多次进行同一项问卷评测活动，可由往期数据库保存的内容自动生成多期活动的统计结果对比，包括统计总和、平均分、加权平均分、最高分、最低分等随时间的变化趋势，便于用户从横向和纵向各个方面对比统计结果。

此外，本发明实施例还提出一种计算机可读存储介质，该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括问卷图像识别程序10，所述问卷图像识别程序10被处理器执行时实现如下操作：

接收步骤：接收用户发出的识别问卷图像的请求，获取所述请求中待识别问卷图像；

预处理步骤：对所述待识别问卷图像及预设的问卷模板图像执行二值化处理，再对二值化处理后的待识别问卷图像及问卷模板图像执行预设方式的处理；

匹配步骤：将处理后的待识别问卷图像与问卷模板图像进行匹配和校正，得到与所述问卷模板图像具有相应坐标位置的待识别问卷图像，基于所述问卷模板图像的坐标得到待识别图像的票种标识区域、页码标识区域及内容填写区域的坐标，并对所述待识别问卷图像的票种标识区域、页码标识区域及内容填写区域进行切割；及

识别步骤：将所述票种标识区域和所述页码标识区域输入预先训练好的识别模型，得到所述待识别问卷图像的票种标识和页码标识的识别结果，基于该识别结果及所述问卷模板图像的坐标分割所述内容填写区域得到多个评测区域，计算各个评测区域的可填涂区域的像素值，将像素值最小的可填涂区域作为该评测区域的结果并反馈至所述用户。

本发明之计算机可读存储介质的具体实施方式与上述问卷图像识别方法的具体实施方式大致相同，在此不再赘述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。