阅读说明：本技术 基于图像处理的文本检测方法、装置、介质及电子设备 (Text detection method, device, medium and electronic equipment based on image processing ) 是由 张秋晖 刘岩 朱兴杰 丁笑天 于 2019-10-24 设计创作，主要内容包括：本发明实施例提供了一种基于图像处理的文本检测方法、装置、介质及电子设备,该方法包括：通过霍夫变换获取待检测图像的文本倾斜角度,并利用文本倾斜角度旋转待检测图像以得到倾斜校正图像；将倾斜校正图像输入预先训练的文本区域检测模型以得到倾斜校正图像中的文本待选区域；基于文本待选区域确定与待检测图像相对应的一个或者多个文本待选图像,并对各个文本待选图像进行灰度化处理；根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值,并利用二值化分割阈值对文本待选图像进行二值化处理；识别经过二值化处理后的文本待选图像中的文字信息。该方法可以提高文字识别效率和识别精度。(The embodiment of the invention provides a text detection method, a text detection device, a text detection medium and electronic equipment based on image processing, wherein the method comprises the following steps: acquiring a text inclination angle of the image to be detected through Hough transformation, and rotating the image to be detected by utilizing the text inclination angle to obtain an inclination correction image; inputting the inclination correction image into a pre-trained text region detection model to obtain a text candidate region in the inclination correction image; determining one or more text images to be selected corresponding to the images to be detected based on the text areas to be selected, and carrying out gray processing on each text image to be selected; determining a binarization segmentation threshold value according to the gray value of each pixel point in the text image to be selected after the graying processing, and performing binarization processing on the text image to be selected by using the binarization segmentation threshold value; and identifying character information in the binary processed text image to be selected. The method can improve the character recognition efficiency and the recognition precision.)

基于图像处理的文本检测方法、装置、介质及电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于图像处理的文本检测方法、基于图像处理的文本检测装置、计算机可读介质及电子设备。

背景技术

随着计算机视觉与深度神经网络的发展，文本识别的技术得到了极大的发展。这种技术不仅可用于身份证等证件类的识别，在票据识别中也具有广泛的应用前景。但目前在实际应用中，由于图像的采集、处理、传输等环节会存在一定程度的图像失真的问题，因此目前票据识别的应用范围还较小，准确率还较低，不能完全达到人工的效果。因此，应用一些图像处理的手段，建立有效的图像处理技术，提高图像识别的准确性具有重大意义。

目前的文字识别方法，主要分为传统图像算法与机器学习神经网络等方法。其中，传统图像算法(如阈值分割，直线检测等)可以在内容格式相对固定，图片清晰的条件下，得到比较好的分割效果，但对于格式复杂或较模糊的图片无能为力。而神经网络算法，目前主流的有CTPN、SSD、EAST等卷积神经网络框架，可以在格式复杂的***检测中取得不错的效果，但存在着检测效果严重依赖于训练样本数据，并且检测出来的文字区域总是比实际的区域大的情况，因此在实际中的使用也比较受限。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种基于图像处理的文本检测方法、基于图像处理的文本检测装置、计算机可读介质及电子设备，进而至少在一定程度上克服由于相关技术的缺陷和限制而导致的文字识别效率低、识别精度差等技术问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种基于图像处理的文本检测方法，包括：

通过霍夫变换获取待检测图像的文本倾斜角度，并利用所述文本倾斜角度旋转所述待检测图像以得到倾斜校正图像；

将所述倾斜校正图像输入预先训练的文本区域检测模型以得到所述倾斜校正图像中的文本待选区域；

基于所述文本待选区域确定与所述待检测图像相对应的一个或者多个文本待选图像，并对各个所述文本待选图像进行灰度化处理；

根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用所述二值化分割阈值对所述文本待选图像进行二值化处理；

识别经过二值化处理后的所述文本待选图像中的文字信息。

在本发明的一些实施例中，基于以上技术方案，所述通过霍夫变换获取待检测图像的文本倾斜角度，包括：

对待检测图像进行二值化处理后得到二值化图像，并将所述二值化图像中各个像素点的像素坐标由直角坐标空间映射至极坐标空间；

遍历所述二值化图像中的目标像素点,使用目标函数计算所述目标象素点在所述极坐标空间中的坐标值以确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值；

将所述极坐标点计数值大于预设阈值的空间网格确定为目标空间网格，以确定所述二值化图像中对应于所述目标空间网格的倾斜校正直线；

根据所述倾斜校正直线的倾斜角度确定所述待检测图像的文本倾斜角度。

在本发明的一些实施例中，基于以上技术方案，所述遍历所述二值化图像中的目标像素点，使用目标函数计算所述目标象素点在所述极坐标空间中的坐标值以确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值，包括：

将所述二值化图像中对应于文本位置的像素点的像素值确定为目标像素值；

以预设长度和预设角度为间隔在所述极坐标空间内划分得到多个空间网格；

遍历所述二值化图像中的具有目标像素值的目标像素点，以获取各个所述目标像素点在直角坐标空间中的坐标值；

根据所述目标像素点在直角坐标空间中的坐标值使用目标函数计算所述目标像素点在极坐标空间中的各个极坐标点的坐标值；

根据所述极坐标空间中的各个极坐标点的坐标值确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值。

在本发明的一些实施例中，基于以上技术方案，所述文本区域检测模型为具有多个卷积池化单元的卷积神经网络模型。

在本发明的一些实施例中，基于以上技术方案，所述文本区域检测模型包括依次连接的第一卷积池化单元、第二卷积池化单元、第三卷积池化单元、第四卷积池化单元和第五卷积池化单元；

所述第一卷积池化单元包括一个第一卷积层和一个第一池化层；

所述第二卷积池化单元包括两个第二卷积层和一个第二池化层；

所述第三卷积池化单元包括三个第三卷积层和一个第三池化层；

所述第四卷积池化单元包括三个第四卷积层和一个第四池化层；

所述第五卷积池化单元包括三个第五卷积层和一个第五池化层。

在本发明的一些实施例中，基于以上技术方案，将所述倾斜校正图像输入预先训练的文本区域检测模型以得到所述倾斜校正图像中的文本待选区域，包括：

将所述倾斜校正图像输入预先训练的文本区域检测模型；

由所述文本区域检测模型的各个卷积池化单元依次对所述倾斜校正图像进行卷积池化处理；

获取所述第三卷积池化单元、所述第四卷积池化单元以及所述第五卷积池化单元输出的特征图，并根据所述特征图确定所述倾斜校正图像中的文本待选区域。

在本发明的一些实施例中，基于以上技术方案，所述根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用所述二值化分割阈值对所述文本待选图像进行二值化处理，包括：

利用膨胀卷积核对经过灰度化处理后的文本待选图像进行卷积处理以得到膨胀图像；

利用腐蚀卷积核对所述膨胀图像进行卷积处理以得到腐蚀图像；

统计所述腐蚀图像中的各个像素点的灰度值以得到二值化分割阈值，并根据所述二值化分割阈值确定二值化阈值范围；

将所述腐蚀图像中灰度值在所述二值化阈值范围内的像素点确定为第一像素点，并将所述腐蚀图像中灰度值在所述二值化阈值范围外的像素点确定为第二像素点；

将所述第一像素点的像素值设置为第一像素值并将所述第二像素点的像素值设置为第二像素值。

根据本发明实施例的第二方面，提供一种基于图像处理的文本检测装置，包括：

倾斜校正模块，被配置为通过霍夫变换获取待检测图像的文本倾斜角度，并利用所述文本倾斜角度旋转所述待检测图像以得到倾斜校正图像；

区域检测模块，被配置为将所述倾斜校正图像输入预先训练的文本区域检测模型以得到所述倾斜校正图像中的文本待选区域；

图像确定模块，被配置为基于所述文本待选区域确定与所述待检测图像相对应的一个或者多个文本待选图像，并对各个所述文本待选图像进行灰度化处理；

二值化处理模块，被配置为根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用所述二值化分割阈值对所述文本待选图像进行二值化处理；

文字识别模块，被配置为识别经过二值化处理后的所述文本待选图像中的文字信息。

根据本发明实施例的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的基于图像处理的文本检测方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的基于图像处理的文本检测方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的一些实施例所提供的技术方案中，通过对待检测图像中的文本区域进行准确定位，然后利用定位得到的文本待选图像进行文字识别，可以减少待检测图像中其他元素对文字识别效果产生影响，从而能够提高文字识别效率和准确性。另外，本发明实施例还可以减少人工核对时间，提高核对效率，减少人工核对的工作量，从而能够节省大量的人力成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性地示出了在本发明实施例中的基于图像处理的文本检测方法的步骤流程图；

图2示意性地示出了本发明实施例中检测文本倾斜角度的步骤流程图；

图3示意性地示出了在本发明实施例中确定各个空间网格内的极坐标点技术值的步骤流程图；

图4示意性地示出了在本发明实施例中获得文本待选区域的步骤流程图；

图5示意性地示出了在本发明实施例中对文本待选图像进行二值化处理的步骤流程图；

图6示意性地示出了本发明实施例中基于图像处理的文本检测装置的结构框图；

图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在保险理赔领域，客户在申请理赔时，需要将保单、医疗票据等纸质单据上传到保险公司的后台数据库中，并且需要人工进行核对与录入，而图像数据在拍摄、传输和存储的过程中可能会存在一定的失真模糊的现象，因此人工的核对信息存在着效率慢，错误率高等问题。

针对图像中的文本识别和检测应用，正确定位图像中的文本位置是识别的关键所在，本发明结合了深度网络与传统图像处理技术，主要原理是首先依据霍夫变换定位图像中的文字方向，进而做图像的倾斜校正，然后再利用深度神经网络获取文字的待选区域，然后通过图像阈值处理的方法，精准定位文字。该方法结合了深度神经网络的强泛化性以及阈值分割法的精准性，能够在一定程度上改善文字区域定位的准确度，进而能够提高文本识别的效率和准确性。

图1示意性地示出了在本发明实施例中的基于图像处理的文本检测方法的步骤流程图。如图1所示，该方法主要可以包括以下步骤：

步骤S110.通过霍夫变换获取待检测图像的文本倾斜角度，并利用文本倾斜角度旋转待检测图像以得到倾斜校正图像。

本步骤首先利用霍夫变换找出待检测图像中的文字趋势，从而获取文本倾斜角度，然后利用文本倾斜角度对待检测图像进行旋转操作，即得到经过倾斜校正后的倾斜校正图像。可选地，在对待检测图像进行倾斜校正之前，还可以对待检测图像进行预处理。例如，可以对基于RGB色彩空间的待检测图像进行锐化和去噪等处理。

步骤S120.将倾斜校正图像输入预先训练的文本区域检测模型以得到倾斜校正图像中的文本待选区域。

为了准确定位图像中的文本位置，本发明实施例可以预先构建文本区域检测模型，并利用标记好文字位置的数据对文本区域检测模型进行训练以提高该模型准确识别和获取图像中文本待选区域的能力。将步骤S110中得到的倾斜校正图像输入至训练完成的文本区域检测模型，可以由文本区域检测模型输出该倾斜校正图像中的文本待选区域。对于一个倾斜校正图像而言，本步骤可以由文本区域检测模型输出得到一个或者多个文本待选区域，具体与待检测图像中的文字分布情况相关。

步骤S130.基于文本待选区域确定与待检测图像相对应的一个或者多个文本待选图像，并对各个文本待选图像进行灰度化处理。

根据步骤S120中确定的文本待选区域，本步骤可以对待检测图像进行分割处理，从待检测图像中切分得到对应于各个文本待选区域的一个或者多个文本待选图像。一般而言，由步骤S120中确定的文本待选区域可以是一个矩形区域，本步骤利用该矩形区域的四个顶点坐标便可以从待检测图像中切分出文本待选图像。在得到文本待选图像后，本步骤还需要对各个文本待选图像进行灰度化处理以便后续进行文字识别。可选地，在由步骤S120得到多个文本待选区域后，本步骤还可以对文本待选区域进行筛选。举例而言，本步骤可以统计所有文本待选区域的高度并计算其平均值，然后根据高度平均值确定一个高度筛选范围，例如该高度筛选范围可以是高度平均值的0.7-1.2倍。基于该高度筛选范围对文本待选区域进行筛选，可以过滤掉在该高度筛选范围之外的尺寸过大或者尺寸过小的文本待选区域，从而可以提高文本定位的准确性，避免出现文本待选区域相互包含或者相互重叠的情况。

步骤S140.根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用二值化分割阈值对文本待选图像进行二值化处理。

文本待选图像中的大部分区域被待识别的文本所占据，因此本步骤根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值可以确定一个二值化分割阈值，利用该二值化分割阈值可以将文本待选图像中的各个像素点分成两类，然后对其进行二值化处理后便可以得到相应的二值化图像。可选地，本步骤中用于进行二值化处理的二值化分割阈值可以对应于一个点值，也可以对应于一个数值范围。

步骤S150.识别经过二值化处理后的文本待选图像中的文字信息。

在由步骤S140对文本待选图像进行二值化处理后，本步骤可以识别文本待选图像中的文字信息，从而完成对待检测图像的文本检测和文本识别。本步骤中进行文字信息识别具体可以选用光学字符识别(Optical Character Recognition，OCR)技术或者其他任意的文字识别技术。

本发明实施例提供的基于图像处理的文本检测方法可以对待检测图像中的文本区域进行准确定位，然后利用定位得到的文本待选图像进行文字识别，可以减少待检测图像中其他元素对文字识别效果产生影响，从而能够提高文字识别效率和准确性。另外，本发明实施例还可以减少人工核对时间，提高核对效率，减少人工核对的工作量，从而能够节省大量的人力成本。

本发明采用霍夫变换的思想检测图像中的文字方向并做倾斜校正，与传统的直接检测图像中文字的方法相比，能具有更好的效果。图2示意性地示出了本发明实施例中检测文本倾斜角度的步骤流程图。如图2所示，在以上实施例的基础上，步骤S110中的通过霍夫变换获取待检测图像的文本倾斜角度，可以包括以下步骤：

步骤S210.对待检测图像进行二值化处理后得到二值化图像，并将二值化图像中各个像素点的像素坐标由直角坐标空间映射至极坐标空间。

待检测图像一般可以是基于RGB色彩空间的彩色图像，本步骤首先对待检测图像进行二值化处理以得到二值化图像。具体可以是先将原始的待检测图像转换为灰度图像，然后再对灰度图像进行二值化处理以得到二值化图像。二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。在二值化图像上的每一个像素点都可以对应表示为直角坐标空间中的一个坐标点，本步骤通过建立直角坐标空间与极坐标空间的映射关系，将二值化图像中各个像素点的像素坐标由直角坐标转换为极坐标。例如，某一像素点在直角坐标空间中的坐标值为(x,y)，在极坐标空间中的坐标值为(λ,μ)。λ的取值范围可以是

μ的取值范围可以是

其中len为二值化图像的尺寸，例如可以是矩形图像的长度。

步骤S220.遍历所述二值化图像中的目标像素点，使用目标函数计算所述目标象素点在所述极坐标空间中的坐标值以确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值。

基于指定的λ和μ的取值范围，可以在极坐标空间内确定多个用于进行均匀离散化采样的空间网格。根据霍夫变换原理可知，原始的直角坐标空间中的一个坐标点可以对应确定极坐标空间中的一条曲线。本步骤遍历二值化图像中具有目标像素值的目标像素点，然后根据目标像素点的位置坐标可以确定落入极坐标空间中的各个空间网格内的极坐标点计数值。

步骤S230.将极坐标点计数值大于预设阈值的空间网格确定为目标空间网格，以确定二值化图像中对应于目标空间网格的倾斜校正直线。

通过统计各个空间网格内落入的目标像素点的数量，可以将极坐标点计数值大于预设阈值的空间网格确定为目标空间网格。根据霍夫变换原理可知，根据极坐标空间中的一个坐标点可以对应确定原始的直角坐标空间中的一条直线。本步骤中的每个目标空间网格均可以确定二值化图像中与之对应的一条或者一组倾斜校正直线。

步骤S240.根据倾斜校正直线的倾斜角度确定待检测图像的文本倾斜角度。

由步骤S230得到的倾斜校正直线基本可以用于表征待检测图像中的文字排列方向。本步骤根据倾斜校正直线的倾斜角度可以确定待检测图像的文本倾斜角度。可选地，本步骤可以对倾斜校正直线进行筛选，例如可以将倾斜角度在预设范围内(如-30度到30度之间)的倾斜校正直线确定为目标直线，然后选取其中数量最多的一条目标直线，将该目标直线的倾斜角度作为待检测图像的文本倾斜角度。

图3示意性地示出了在本发明实施例中确定各个空间网格内的极坐标点技术值的步骤流程图。如图3所示，在以上实施例的基础上，步骤S220.遍历所述二值化图像中的目标像素点，使用目标函数计算所述目标象素点在所述极坐标空间中的坐标值以确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值，可以包括以下步骤：

步骤S310.将二值化图像中对应于文本位置的像素点的像素值确定为目标像素值。

二值化图像中各个像素点的像素值只能有两种取值，以黑白图像为例，各个像素点的像素值只能是0或者255。如果二值化图像中对应于文本位置的像素点的像素值为0，那么可以将0作为目标像素值。如果二值化图像中对应于文本位置的像素点的像素值为255，那么可以将255作为目标像素值。

步骤S320.以预设长度和预设角度为间隔在极坐标空间内划分得到多个空间网格。

分别以预设长度和预设角度作为两个极坐标参数的采样间隔，可以将极坐标空间整体划分为多个空间网格。举例而言，预设长度可以是0.02*len，预设角度可以是π/30。针对极坐标参数(λ,μ)，可以按照λ取间隔0.02*len，μ取间隔π/30进行空间分割，由此确定的每一个空间网格即作为一个采样节点，实现均匀地离散化采样。

步骤S330.遍历二值化图像中的具有目标像素值的目标像素点，以获取各个目标像素点在直角坐标空间中的坐标值。

遍历二值化图像中的各个像素点，通过获取各个像素点的像素值确定其中具有目标像素值的目标像素点，并获取各个目标像素点在直角坐标空间中的坐标值。每一个目标像素点可以被看作是待检测图像中对应于文本所在位置的一个像素点。

步骤S340.根据目标像素点在直角坐标空间中的坐标值使用目标函数计算目标像素点在极坐标空间中的各个极坐标点的坐标值。

二值化图像中的位于直角坐标空间中的每一个目标像素点可以对应极坐标空间中的一条曲线。例如，某一目标像素点在直角坐标空间中的坐标值为(x₀,y₀)，那么该目标像素点在极坐标空间中确定的曲线方程为λ＝x cos μ+y sin μ，该曲线方程作为目标函数，即用于表征极坐标空间中与目标像素点相对应的各个极坐标点的坐标值。

步骤S350.根据极坐标空间中的各个极坐标点的坐标值确定落入极坐标空间中的各个空间网格内的极坐标点计数值。

利用步骤S320中划分确定的空间网格对每个目标像素点对应的曲线进行采样，可以确定落入极坐标空间中的各个空间网格内的极坐标点计数值。在直角坐标空间中位于同一直线上的多个坐标点，可以相应确定极坐标空间中的多条曲线，而这些曲线将具有一个共同的交点，因此该交点所在的空间网格将具有相对较高的极坐标点计数值。换言之，具有较高极坐标点计数值的空间网格可以对应确定在直角坐标空间中的表征文字排列方向的直线。后续利用由此确定的直线倾斜角度便可以实现对待检测图像的倾斜校正，从而提高后续文字识别过程的识别效率和识别准确性。

在本发明的一些实施例中，用于对待检测图像进行文本区域检测的文本区域检测模型可以是具有多个卷积池化单元的卷积神经网络模型。优选地，本发明实施例中的文本区域检测模型可以包括依次连接的第一卷积池化单元、第二卷积池化单元、第三卷积池化单元、第四卷积池化单元和第五卷积池化单元。

第一卷积池化单元包括一个第一卷积层和一个第一池化层；例如，第一卷积层采用64个3×3的卷积核对输入数据进行卷积处理，第一池化层可以采用最大池化将经过卷积后的数据进行池化处理。

第二卷积池化单元包括两个第二卷积层和一个第二池化层；例如，两个第二卷积层均采用128个3×3的卷积核对第一卷积池化单元输出的数据进行卷积处理，第二池化层可以采用最大池化将经过卷积后的数据进行池化处理。

第三卷积池化单元包括三个第三卷积层和一个第三池化层；例如，前两个第三卷积层可以采用256个3×3的卷积核对第二卷积池化单元输出的数据进行卷积处理，第三个第三卷积层可以采用256个1×1的卷积核对数据继续进行卷积处理，第三池化层可以采用最大池化将经过卷积后的数据进行池化处理。

第四卷积池化单元包括三个第四卷积层和一个第四池化层；例如，前两个第四卷积层可以采用512个3×3的卷积核对第三卷积池化单元输出的数据进行卷积处理，第三个第四卷积层可以采用512个1×1的卷积核对数据继续进行卷积处理，第四池化层可以采用最大池化将经过卷积后的数据进行池化处理。

第五卷积池化单元包括三个第五卷积层和一个第五池化层；例如，前两个第五卷积层可以采用512个3×3的卷积核对第四卷积池化单元输出的数据进行卷积处理，第三个第五卷积层可以采用512个1×1的卷积核对数据继续进行卷积处理，第五池化层可以采用最大池化将经过卷积后的数据进行池化处理。

利用本发明实施例提供的文本区域检测模型可以通过多层卷积提取待检测图像的深层次特征，从而获得文本待选区域。图4示意性地示出了在本发明实施例中获得文本待选区域的步骤流程图。如图4所示，在以上实施例的基础上，步骤S120.将倾斜校正图像输入预先训练的文本区域检测模型以得到倾斜校正图像中的文本待选区域，可以包括以下步骤：

步骤S410.将倾斜校正图像输入预先训练的文本区域检测模型。

倾斜校正图像作为输入数据被输入至预先训练完成的文本区域检测模型中，由文本区域检测模型对其进行检测处理。输入文本区域检测模型的倾斜校正图像例如可以是512*512的三通道图像。若原始的倾斜校正图像不符合规定的图像尺寸，那么可以预先对其进行尺寸调整，然后再输入文本区域检测模型。

步骤S420.由文本区域检测模型的各个卷积池化单元依次对倾斜校正图像进行卷积池化处理。

文本区域检测模型中包括有多个依次连接的卷积池化单元，随着卷积池化的深入，各个卷积池化单元可以逐步获取倾斜校正图像的深层特征。

步骤S430.获取第三卷积池化单元、第四卷积池化单元以及第五卷积池化单元输出的特征图，并根据特征图确定倾斜校正图像中的文本待选区域。

对于具有五个卷积池化单元的文本区域检测模型而言，本步骤可以提取第三卷积池化单元、第四卷积池化单元以及第五卷积池化单元输出的特征图，然后采用sigmoid激活函数回归倾斜校正图像中包含文字的外接四边形位置，从而确定倾斜校正图像中的文本待选区域。利用多个卷积池化单元作为输出层，可以兼顾倾斜校正图像中存在的具有文字的候选区域大小各异的情况，提高确定文本待选区域的准确性。

针对利用文本待选区域切分得到的文本待选图像，本发明实施例可以利用阈值处理技术对其进行校正。图5示意性地示出了在本发明实施例中对文本待选图像进行二值化处理的步骤流程图。如图5所示，在以上实施例的基础上，步骤S140.根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用二值化分割阈值对文本待选图像进行二值化处理，可以进一步包括以下步骤：

步骤S510.利用膨胀卷积核对经过灰度化处理后的文本待选图像进行卷积处理以得到膨胀图像。

文本待选图像虽然已经可以排除待检测图像中除文本以外的其他元素，但是图像中各个文字之间仍然可能存在较大的间隙，本步骤通过膨胀运算得到膨胀图像，可以将膨胀图像中的文字间的间隙连接起来。膨胀运算的方法是使用膨胀卷积核对经过灰度化处理后的文本待选图像进行卷积处理，本发明实施例中的膨胀卷积核例如可以是：

步骤S520.利用腐蚀卷积核对膨胀图像进行卷积处理以得到腐蚀图像。

完成膨胀运算后可以获得膨胀图像，本步骤再对膨胀图像进行腐蚀运算得到腐蚀图像，可以将腐蚀图像中的文字的位置能够更加精确地回归到文字外接四边形的区域。腐蚀运算的方式是使用腐蚀卷积核对膨胀图像进行卷积处理，本发明实施例中的腐蚀卷积核例如可以是：

步骤S530.统计腐蚀图像中的各个像素点的灰度值以得到二值化分割阈值，并根据二值化分割阈值确定二值化阈值范围。

在经过膨胀运算和腐蚀运算后得到的腐蚀图像中，文字占据了图像的大部分空间，因此本步骤可以统计腐蚀图像中的各个像素点的灰度值以得到所有像素点的灰度均值，该灰度均值可以作为二值化分割阈值，然后根据二值化分割阈值可以确定一个二值化阈值范围。例如，统计灰度值得到的二值化分割阈值为p，那么本发明实施例中可以将二值化阈值范围确定为[0.85*p,1.15*p]。

步骤S540.将腐蚀图像中灰度值在二值化阈值范围内的像素点确定为第一像素点，并将腐蚀图像中灰度值在二值化阈值范围外的像素点确定为第二像素点。

利用步骤S530中确定的二值化阈值范围可以对腐蚀图像中的各个像素点进行类型划分，如果某一像素点的灰度值落在二值化阈值范围之内，那么该像素点可以被确定为第一像素点；而如果某一像素点的灰度值落在二值化阈值范围之外，那么该像素点可以被确定为第二像素点。

步骤S550.将第一像素点的像素值设置为第一像素值并将第二像素点的像素值设置为第二像素值。

基于步骤S540中确定的像素点类型划分，本步骤对各个像素点的像素值进行重新赋值以完成对文本待选图像的二值化处理，具体可以是将第一像素点的像素值设置为第一像素值，并将第二像素点的像素值设置为第二像素值。

通过图像处理技术与卷积神经网络相结合的方法，待检测图像中的文字检测效果与传统的文字检测方法相比，具有更准确的位置信息，并且更具有普遍的实用性，能够提高后续文字识别的精确度。

以下介绍本发明的装置实施例，可以用于执行本发明上述的基于图像处理的文本检测方法。

图6示意性地示出了本发明实施例中基于图像处理的文本检测装置的结构框图。如图6所示，文本检测装置600主要可以包括：倾斜校正模块610、区域检测模块620、图像确定模块630、二值化处理模块640和文字识别模块650。

倾斜校正模块610被配置为通过霍夫变换获取待检测图像的文本倾斜角度，并利用文本倾斜角度旋转待检测图像以得到倾斜校正图像。

区域检测模块620被配置为将倾斜校正图像输入预先训练的文本区域检测模型以得到倾斜校正图像中的文本待选区域。

图像确定模块630被配置为基于文本待选区域确定与待检测图像相对应的一个或者多个文本待选图像，并对各个文本待选图像进行灰度化处理。

二值化处理模块640被配置为根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用二值化分割阈值对文本待选图像进行二值化处理。

文字识别模块650被配置为识别经过二值化处理后的文本待选图像中的文字信息。

在本发明的一些实施例中，倾斜校正模块610可以进一步包括：

坐标转换单元，被配置为对待检测图像进行二值化处理后得到二值化图像，并将所述二值化图像中各个像素点的像素坐标由直角坐标空间映射至极坐标空间；

坐标点计数单元，被配置为遍历所述二值化图像中的目标像素点，使用目标函数计算所述目标象素点在所述极坐标空间中的坐标值以确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值；

直线确定单元，被配置为将所述极坐标点计数值大于预设阈值的空间网格确定为目标空间网格，以确定所述二值化图像中对应于所述目标空间网格的倾斜校正直线；

角度确定单元，被配置为根据所述倾斜校正直线的倾斜角度确定所述待检测图像的文本倾斜角度。

在本发明的一些实施例中，坐标点计数单元可以进一步包括：

目标像素值确定子单元，被配置为将所述二值化图像中对应于文本位置的像素点的像素值确定为目标像素值；

空间网格划分子单元，被配置为以预设长度和预设角度为间隔在所述极坐标空间内划分得到多个空间网格；

坐标值获取子单元，被配置为遍历所述二值化图像中的具有目标像素值的目标像素点，以获取各个所述目标像素点在直角坐标空间中的坐标值；

坐标值确定子单元，被配置为根据所述目标像素点在直角坐标空间中的坐标值使用目标函数计算所述目标像素点在极坐标空间中的各个极坐标点的坐标值；

坐标点计数子单元，被配置为根据所述极坐标空间中的各个极坐标点的坐标值确定落入所述极坐标空间中的各个空间网格内的极坐标点计数值。

在本发明的一些实施例中，所述文本区域检测模型为具有多个卷积池化单元的卷积神经网络模型。

在本发明的一些实施例中，所述文本区域检测模型包括依次连接的第一卷积池化单元、第二卷积池化单元、第三卷积池化单元、第四卷积池化单元和第五卷积池化单元；

所述第一卷积池化单元包括一个第一卷积层和一个第一池化层；

所述第二卷积池化单元包括两个第二卷积层和一个第二池化层；

所述第三卷积池化单元包括三个第三卷积层和一个第三池化层；

所述第四卷积池化单元包括三个第四卷积层和一个第四池化层；

所述第五卷积池化单元包括三个第五卷积层和一个第五池化层。

在本发明的一些实施例中，区域检测模块620可以包括：

图像输入单元，被配置为将所述倾斜校正图像输入预先训练的文本区域检测模型；

卷积池化处理单元，被配置为由所述文本区域检测模型的各个卷积池化单元依次对所述倾斜校正图像进行卷积池化处理；

特征输出单元，被配置为获取所述第三卷积池化单元、所述第四卷积池化单元以及所述第五卷积池化单元输出的特征图，并根据所述特征图确定所述倾斜校正图像中的文本待选区域。

在本发明的一些实施例中，二值化处理模块640可以包括：

膨胀处理单元，被配置为利用膨胀卷积核对经过灰度化处理后的文本待选图像进行卷积处理以得到膨胀图像；

腐蚀处理单元，被配置为利用腐蚀卷积核对所述膨胀图像进行卷积处理以得到腐蚀图像；

分割阈值确定单元，被配置为统计所述腐蚀图像中的各个像素点的灰度值以得到二值化分割阈值，并根据所述二值化分割阈值确定二值化阈值范围；

像素点分类单元，被配置为将所述腐蚀图像中灰度值在所述二值化阈值范围内的像素点确定为第一像素点，并将所述腐蚀图像中灰度值在所述二值化阈值范围外的像素点确定为第二像素点；

像素值设置单元，被配置为将所述第一像素点的像素值设置为第一像素值并将所述第二像素点的像素值设置为第二像素值。

由于本发明的示例实施例的基于图像处理的文本检测装置的各个功能模块与上述基于图像处理的文本检测方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的基于图像处理的文本检测方法的实施例。

下面参考图7，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备的计算机系统700仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的基于图像处理的文本检测。

例如，所述的电子设备可以实现如图1中所示的：步骤S110.通过霍夫变换获取待检测图像的文本倾斜角度，并利用文本倾斜角度旋转待检测图像以得到倾斜校正图像；步骤S120.将倾斜校正图像输入预先训练的文本区域检测模型以得到倾斜校正图像中的文本待选区域；步骤S130.基于文本待选区域确定与待检测图像相对应的一个或者多个文本待选图像，并对各个文本待选图像进行灰度化处理；步骤S140.根据经过灰度化处理后的文本待选图像中的各个像素点的灰度值确定二值化分割阈值，并利用二值化分割阈值对文本待选图像进行二值化处理；步骤S150.识别经过二值化处理后的文本待选图像中的文字信息。

又如，所述的电子设备可以实现如图2至图5所示的各个方法步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。