阅读说明：本技术 图像处理方法和装置、电子设备及存储介质 (Image processing method and device, electronic device and storage medium ) 是由 刘学博 梁鼎 于 2019-04-28 设计创作，主要内容包括：本申请实施例公开了一种图像处理方法和装置、电子设备及存储介质,其中方法包括：对获取到的卡片图像进行关键点检测,获得所述卡片图像中目标卡片的多个关键点的预测位置信息；基于所述目标卡片的多个关键点的预测位置信息,确定所述卡片图像中包含的所述目标卡片的完整性；至少部分地基于所述卡片图像中包含的所述目标卡片的完整性,确定是否存储所述卡片图像,有利于提高卡片识别精确度和用户体验。(The embodiment of the application discloses an image processing method and device, electronic equipment and a storage medium, wherein the method comprises the following steps: performing key point detection on the acquired card image to acquire predicted position information of a plurality of key points of a target card in the card image; determining the integrity of the target card contained in the card image based on predicted position information of a plurality of key points of the target card; determining whether to store the card image based at least in part on the integrity of the target card contained in the card image facilitates improving card recognition accuracy and user experience.)

图像处理方法和装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种图像处理方法和装置、电子设备及存储介质。

背景技术

卡证识别，是指利用计算机视觉技术对卡证图像进行处理，以识别卡证图像中包含的卡证上记录的信息的技术。以银行卡为例，用户在办理新的银行卡时需要记录银行卡的信息，以将银行卡与用户绑定，然而，人工输入银行卡信息效率较低且容易出错，用户体验较差，拍摄银行卡照片并利用银行卡识别技术对银行卡照片进行处理，以实现对银行卡信息的识别，能够提高处理效率和准确率，从而提高用户体验。

发明内容

本申请实施例提供了一种图像处理方法和装置、电子设备及存储介质。

本申请实施例第一方面提供一种图像处理方法，包括：

对获取到的卡片图像进行关键点检测，获得所述卡片图像中目标卡片的多个关键点的预测位置信息；

基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性；

至少部分地基于所述卡片图像中包含的所述目标卡片的完整性，确定是否存储所述卡片图像。

在一种可选的实施方式中，所述目标卡片的多个关键点包括所述目标卡片的多个顶点。

在一种可选的实施方式中，所述基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性包括：

基于所述目标卡片的多个关键点的预测位置信息和所述卡片图像的边界位置信息，确定所述多个关键点是否位于所述卡片图像内；

基于所述多个关键点是否位于所述卡片图像内，确定所述卡片图像中包含的所述目标卡片的完整性。

在一种可选的实施方式中，所述基于所述多个关键点是否位于所述卡片图像内，确定所述卡片图像中包含的所述目标卡片的完整性包括：

响应于所述多个关键点中存在至少一个关键点不在所述卡片图像内，确定所述卡片图像中包含的所述目标卡片缺失。

在一种可选的实施方式中，所述基于所述多个关键点是否位于所述卡片图像内，确定所述卡片图像中包含的所述目标卡片的完整性包括：

响应于所述多个关键点中存在至少一个第一关键点不在所述卡片图像内，获得所述至少一个第一关键点到所述目标卡片的边界的最小距离；

响应于所述至少一个第一关键点中存在到所述目标卡片的边界的最小距离大于所述预设阈值的关键点，确定所述卡片图像中包含的所述目标卡片缺失。

在一种可选的实施方式中，所述方法还包括：

响应于所述至少一个第一关键点到所述目标卡片的边界的最小距离均小于或等于所述预设阈值，确定所述卡片图像中包含的所述目标卡片完整。

在一种可选的实施方式中，在所述基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性之前，还包括：

对所述卡片图像进行转正处理，得到转正处理后的所述卡片图像；

所述确定是否存储所述卡片图像，包括：

确定是否存储所述转正处理后的所述卡片图像。

在一种可选的实施方式中，所述至少部分地基于所述卡片图像中包含的所述目标卡片的完整性，确定是否存储所述卡片图像包括：

响应于确定所述卡片图像中包含的所述目标卡片完整，存储所述卡片图像。

在一种可选的实施方式中，所述方法还包括：

对所述卡片图像进行文本识别，确定所述目标卡片的文本识别结果；

所述至少部分地基于所述卡片图像中包含的所述目标卡片的完整性，确定是否存储所述卡片图像，包括:

至少部分地基于所述卡片图像中包含的所述目标卡片的完整性以及所述目标卡片的文本识别结果，确定是否存储所述卡片图像。

在一种可选的实施方式中，所述方法还包括：

响应于确定所述卡片图像中包含的所述目标卡片缺失，输出第一提示信息，所述第一提示信息用于提示所述卡片图像中包含的所述目标卡片缺失、所述目标卡片的缺失位置、调整所述目标卡片的放置位置中的至少一项。

在一种可选的实施方式中，在所述对获取到的卡片图像进行关键点检测之前，还包括：

发出第二提示信息，提示用户将所述目标卡片置于指定区域。

在一种可选的实施方式中，所述目标卡片包括身份证、银行卡、护照、驾驶证、行驶证、社保卡中的一种或任意组合。

本申请实施例第二方面提供一种图像处理装置，包括：预测模块、完整性检测模块和存储模块，其中：

所述预测模块，用于对获取到的卡片图像进行关键点检测，获得所述卡片图像中目标卡片的多个关键点的预测位置信息；

所述完整性检测模块，用于基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性；

所述存储模块，用于至少部分地基于所述卡片图像中包含的所述目标卡片的完整性，确定是否存储所述卡片图像。

可选的，所述目标卡片的多个关键点包括所述目标卡片的多个顶点。

在一种可选的实施方式中，所述完整性检测模块具体用于：

基于所述目标卡片的多个关键点的预测位置信息和所述卡片图像的边界位置信息，确定所述多个关键点是否位于所述卡片图像内；

基于所述多个关键点是否位于所述卡片图像内，确定所述卡片图像中包含的所述目标卡片的完整性。

在一种可选的实施方式中，所述完整性检测模块具体还用于：

响应于所述多个关键点中存在至少一个关键点不在所述卡片图像内，确定所述卡片图像中包含的所述目标卡片缺失。

在一种可选的实施方式中，所述完整性检测模块还具体用于：

响应于所述多个关键点中存在至少一个第一关键点不在所述卡片图像内，获得所述至少一个第一关键点到所述目标卡片的边界的最小距离；

响应于所述至少一个第一关键点中存在到所述目标卡片的边界的最小距离大于所述预设阈值的关键点，确定所述卡片图像中包含的所述目标卡片缺失。

在一种可选的实施方式中，所述完整性检测模块还具体用于：

响应于所述至少一个第一关键点到所述目标卡片的边界的最小距离均小于或等于所述预设阈值，确定所述卡片图像中包含的所述目标卡片完整。

在一种可选的实施方式中，还包括转正模块，用于：

在所述完整性检测模块基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性之前，对所述卡片图像进行转正处理，得到转正处理后的所述卡片图像；

所述存储模块具体用于，确定是否存储所述转正处理后的所述卡片图像。

在一种可选的实施方式中，所述存储模块具体用于：

响应于确定所述卡片图像中包含的所述目标卡片完整，存储所述卡片图像。

在一种可选的实施方式中，还包括识别模块，用于对所述卡片图像进行文本识别，确定所述目标卡片的文本识别结果；

所述存储模块还用于，至少部分地基于所述卡片图像中包含的所述目标卡片的完整性以及所述目标卡片的文本识别结果，确定是否存储所述卡片图像。

在一种可选的实施方式中，还包括输出模块，用于响应于确定所述卡片图像中包含的所述目标卡片缺失，输出第一提示信息，所述第一提示信息用于提示所述卡片图像中包含的所述目标卡片缺失、所述目标卡片的缺失位置、调整所述目标卡片的放置位置中的至少一项。

在一种可选的实施方式中，还包括提示模块，用于在所述预测模块对获取到的所述卡片图像进行关键点检测之前，发出第二提示信息，提示用户将所述目标卡片置于指定区域。

可选的，所述目标卡片包括身份证、银行卡、护照、驾驶证、行驶证、社保卡中的一种或任意组合、

本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序被配置成由所述处理器执行，所述处理器用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

本申请第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面及其任一种可能的实现方式的方法。

本申请实施例中，通过对获取到的卡片图像进行关键点检测，获得所述卡片图像中目标卡片的多个关键点的预测位置信息，再基于所述目标卡片的多个关键点的预测位置信息，确定所述卡片图像中包含的所述目标卡片的完整性，至少部分地基于所述卡片图像中包含的所述目标卡片的完整性，确定是否存储所述卡片图像，有利于提高卡片识别的精确度并提升用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本申请实施例公开的一种图像处理方法的流程示意图；

图2是本申请实施例公开的一种卡片图像的示意图；

图3是本申请实施例公开的另一种图像处理方法的流程示意图；

图4本申请实施例公开的一种目标卡片的完整性示意图；

图5是本申请实施例公开的一种图像处理装置的结构示意图；

图6是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的图像处理装置是可以对图像进行处理的装置，可以为电子设备，上述电子设备包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种图像处理方法的流程示意图，如图1所示，该图像处理方法包括如下步骤。

101、对获取到的卡片图像进行关键点检测，获得上述卡片图像中目标卡片的多个关键点的预测位置信息。

图像处理方法的执行主体可以是上述图像处理装置，例如，图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

本申请实施例中，上述卡片图像可以是摄像头采集的图像，比如终端设备的摄像头拍摄的照片，或者来自终端设备的摄像头拍摄的视频中的截图等，本申请实施例对此不作限定。

其中，上述卡片图像可以包含上述目标卡片，可选地上述目标卡片可以为矩形，如长方形，或其他任意形状。本申请实施例对目标卡片的形状不作限定。

可选的，上述目标卡片包括身份证、银行卡、护照、驾驶证、行驶证、社保卡中的一种或任意组合，也可以是纸质合同、协议等文件，本申请实施例对此不作限定。

可以对获取到的卡片图像进行关键点检测，获得卡片图像中上述目标卡片的多个关键点的预测位置信息。在一种可能的实施方式中，可以利用卷积神经网络(Convolutional Neural Networks,CNN)对卡片图像进行关键点检测，获得该目标卡片的多个关键点的预测位置信息，其中，上述关键点的预测位置信息可以包括关键点的坐标。

具体的，可以输出上述卡片图像中上述目标卡片的关键点的位置信息，比如可以输出上述多个关键点的二维坐标。

在图像处理中，关键点本质上是一种特征，它是对一个固定区域或者空间物理关系的抽象描述，描述的是一定邻域范围内的组合或上下文关系。它不仅仅是一个点信息，或代表一个位置，更代表着上下文与周围邻域的组合关系。

比如在人脸关键点检测任务当中，有28个关键点，或是现在比较流行的64个、128个关键点，其中每个点在不同的人脸当中，代表了一类的特征，且具有一定的通用性，这一类特征不仅包含了像素的一些特性，比如嘴唇的特征点，包含了嘴唇与面部的位置关系。

上述实现关键点检测的神经网络可以是已有的关键点检测网络，比如可以是一个分支用于像素点的回归，另一个分支用于上述像素点的关系的回归。其中点标签和关系标签的定义方法减轻了回归的难度，网络中所用的多阶段计算的方式，相当于每个阶段给提供出来一定的预测结果，下一个阶段对这个结果再进行多阶段精度的实验，类似的方法可以应用到多种领域。

其中，上述目标卡片的关键点可以包括上述目标卡片的多个顶点，也可以为该目标卡片的边界上的点，比如，可以参见图2，如图2所示的卡片图像中包含目标卡片，其关键点包括该目标卡片的四个顶点l、m、o和n，具体可以获得预测的该四个关键点的坐标。由于一般证件拍摄不全时顶点(角)的位置超出摄像范围的可能性较大，将关键点选择为目标卡片的顶点位置，可以使图像完整性检测的精度更高，判断更快捷。

本申请实施例中的图像边界也可以叫图像边缘是图像最基本的特征边缘检测时图像处理和计算机视觉中最为经典和基础的问题之一，在物体识别、三维重建、图像匹配、检索等诸多方面有着重要应用。

一般在复杂背景下定位上述目标卡片(例如身份证、银行卡、护照、驾驶证、行驶证或社保卡等)时，这些证件的边缘往往是最重要的信息之一。可选的，通过对卡片图像的边缘检测可以确定上述卡片图像中目标卡片的边界，即该证件的边框位置，便于更好地确定上述关键点。具体的，可以利用边缘检测算法得到卡片图像中的边缘点位置信息，如roberts算子、sobel算子、prewitt算子等，也可以通过后续追踪算法得到边缘轮廓信息，如canny算子。

在一种可选的实施方式中，可以确定上述卡片图像中上述目标卡片的边界，再获得上述卡片图像中目标卡片的多个关键点的预测位置信息。

具体的，可以通过关键点检测算法获得该目标卡片的凸包，再将该凸包的边界作为上述目标卡片的边界。

其中，上述关键点检测算法可以是输入平面上的若干点、输出它们的凸包的任意方法，比如旋转卡壳法、Graham扫描法和Jarvis步进法算法等，也可以包括OpenCV中的相关算法。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。X的凸包可以用X内所有点(X1，...Xn)的凸组合来构造。

通俗来讲，给定二维平面上的点集，凸包可以理解为将最外层的点连接起来构成的凸封闭图形，它能包含点集中所有的点，在卡片图像中可以表现为目标卡片的边界，另一方面，在这些点中可以确定出至少一个上述关键点。

在获得上述卡片图像中目标卡片的多个关键点的预测位置信息之后，可以执行步骤102。

102、基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性。

目标卡片的识别有着广泛的用途，检测目标卡片是否缺失也是非常重要的，在实际应用中常要求目标卡片完整，才能保留该目标卡片的图像用于存证、审核等。可以基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性。主要可以通过判断目标卡片的多个关键点是否在卡片图像内来判断该目标卡片在卡片图像中的完整性。

具体的，可以基于上述目标卡片的多个关键点的预测位置信息和上述卡片图像的边界位置信息，确定上述多个关键点是否位于上述卡片图像内；

基于上述多个关键点是否位于上述卡片图像内，确定上述卡片图像中包含的上述目标卡片的完整性。

在对卡片图像进行处理时可以获取卡片图像的边界位置信息，上述卡片图像的边界位置信息可以包括卡片图像的边界点坐标，可以是基于像素点的边缘检测确定的，也可以通过图像信息识别获取。可选的，还可以获得该卡片图像的分辨率、图像格式等信息。上述卡片图像的边界是由多条直线组成，一般可以为四条直线连接而成的矩形。

可以对关键点和卡片图像的边界的位置进行分析判断，确定该目标卡片在该卡片图像中是否缺失。上述缺失可以理解为，该目标卡片在卡片图像中未显示完整，比如由于拍摄角度问题使该目标卡片显示不完整，存在部分缺失，通常是目标卡片的边缘超出图像区域。

在一种可能的实施方式中，上述基于上述多个关键点是否位于上述卡片图像内，确定上述卡片图像中包含的上述目标卡片的完整性可包括：

响应于上述多个关键点中存在至少一个关键点不在上述卡片图像内，确定上述卡片图像中包含的上述目标卡片缺失。

根据上述关键点的预测位置信息，和上述卡片图像的边界位置信息，可以确定上述多个关键点是否位于上述卡片图像内。

通过确定关键点是否在上述卡片图像内，可以判断该目标卡片在卡片图像中是否缺失。当所有关键点均在上述卡片图像内时，可以确定上述目标卡片在上述卡片图像中不存在缺失。而上述多个关键点中存在至少一个关键点不在上述卡片图像内，表示该关键点处于卡片图像外，即目标卡片未拍摄完全(拍摄时有一部分超出卡片图像)，可以确定上述卡片图像中包含的上述目标卡片缺失。

其中，对于关键点的选取和预测可以适当，不需要太多关键点进行判断，减少了数据处理量。

在一些实施例中，上述关键点检测可以通过神经网络实现，例如卷积神经网络或循环神经网络等。例如，将采集到的原始的卡片图像或经过预处理的卡片图像输入到神经网络进行关键点检测，得到卡片图像中目标卡片的关键点信息，其中，卷积神经网络可以包含多个卷积层、激活函数和多个池化层。比如上述激活函数可包括线性整流函数(Rectified Linear Unit，ReLU)，可以更加有效率的梯度下降以及反向传播，避免了梯度***和梯度消失问题。通过上述卷积神经网络可以获得上述关键点的预测位置信息，在训练时可以基于输出的置信度进行优化。

在一些实施例中，神经网络可以输出目标卡片的多个关键点的位置信息，或者进一步输出多个关键点的检测置信度信息，例如分数，等等，本公开实施例对此不做限定。

本申请实施例中的图像处理方法，通过卷积神经网络进行关键点检测，不需要递归神经网络，就可以很好地对卡片图像进行信息提取，减少了计算量，有利于提高卡片识别精确度。

可选的，该方法还包括：响应于确定上述卡片图像中包含的上述目标卡片缺失，输出第一提示信息，上述第一提示信息用于提示上述卡片图像中包含的上述目标卡片缺失、上述目标卡片的缺失位置、调整上述目标卡片的放置位置中的一项或其任意组合。其中，上述提示信息可以为文字信息或语音信息等，其中，文字信息可以显示在卡片图像内或卡片图像外部的任意区域，或者弹出提示框，等等，本申请实施例对此不做限制。

通过上述第一提示信息，可以提示用户卡片图像中包含的目标卡片缺失，需要重新上传完整目标卡片的图像，成功完成验证或者存证流程，还可以在第一提示信息中详细地表明目标卡片的缺失位置，比如以显示图像的方式在卡片图像中标出缺失位置，或通过文字表明，比如“上传图像中身份证左上角缺失”。还可以通过第一提示信息提示用户调整上述目标卡片的放置位置，具体的，在证件验证过程中，用户可能是将证件放置在指定位置，由图像处理装置采集该证件的图像(即上述卡片图像)，在图像处理装置确定该图像中包含的证件缺失时，可以输出第一提示信息以提示用户调整目标卡片的放置位置，以获得完整的证件图像，比如“请调整证件的放置位置”或者“请将证件向右上方移动”，等等。

在一些实施例中，该流程可以实时进行，且在确定当前采集到的卡片图像中包含的目标卡片不完整的情况下，可以继续采集卡片图像并重复检测流程，直到检测到满足条件的卡片图像。

103、至少部分地基于上述卡片图像中包含的上述目标卡片的完整性，确定是否存储上述卡片图像。

在上述步骤102中对卡片图像中的目标卡片进行完整性检测获得结果之后，可以确定是否存储该卡片图像。

在一种可选的实施方式中，可以响应于确定上述卡片图像中包含的上述目标卡片完整，存储上述卡片图像。

不存在缺失的目标卡片满足需求，可以对卡片图像进行存储，作为用户的存证，也可以作为下一步进行身份验证或审核的依据。

在一种可选的实施方式中，该方法还包括：对上述卡片图像进行文本识别，确定上述目标卡片的文本识别结果；

上述步骤103具体可以包括:

至少部分地基于上述卡片图像中包含的上述目标卡片的完整性以及上述目标卡片的文本识别结果，确定是否存储上述卡片图像。

上述卡片图像中的目标卡片可能包含文字，还可以对该卡片图像进行文本识别，获得上述文本识别结果，通过上述文本识别结果可以判断该目标卡片是否为指定卡片类型，若上述目标卡片完整且为指定卡片类型，可以存储该卡片图像。若上述目标卡片完整但不为指定卡片类型，可以不存储上述卡片图像。

在一些实施例中，可以在确定卡片图像中包含的目标卡片完整(即不存在缺失)的情况下进行上述文本识别。这样，在确定卡片图像中的目标卡片缺失的情况下不进行文本识别，能够节省文本识别的时间，从而提高处理效率。

举例来讲，使用证件图像进行在线身份认证时，比如一些应用程序需要上传身份证、银行卡等进行身份认证，则可以从证件图像中通过文本识别，比如光学字符识别(Optical Character Recognition，OCR)提取文字内容，可以确定是否为待获取的证件类型，比如是否为指定银行，以及可以提取其中的证件编号、***等信息，便于进行身份验证或者信息存储。又如，社交网络上可能上传一些非法图片，如果图片中含有违法的文字内容，可以自动识别出来以便进行处后续处理。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

在本申请实施例中，可以对获取到的卡片图像进行关键点检测，获得上述卡片图像中目标卡片的多个关键点的预测位置信息，再基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性，然后至少部分地基于上述卡片图像中包含的上述目标卡片的完整性，确定是否存储上述卡片图像，可以检测图像完整性，提升图像识别和信息提取的准确度。

请参阅图3，图3是本申请实施例公开的另一种图像处理方法的流程示意图，图3是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为前述的一种图像处理装置。如图3所示，该图像处理方法包括如下步骤：

201、发出第二提示信息，提示用户将目标卡片置于指定区域。

本申请实施例中的执行主体可以是上述图像处理装置，例如，图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

其中，上述目标卡片可以为矩形，如长方形。本申请实施例对目标卡片的形状不作限定。可选的，上述目标卡片包括身份证、银行卡、护照、驾驶证、行驶证、社保卡中的一种或任意组合，也可以是纸质合同、协议等文件，本申请实施例对此不作限定。

具体的，图像处理装置可以发出上述第二提示信息，来提示用户将目标卡片置于指定区域，然后可以通过摄像头采集该目标卡片的卡片图像，进而可以执行步骤202。上述第一提示信息可以为文字信息或语音信息等，本申请实施例对此不做限制。

202、对获取到的卡片图像进行关键点检测，获得上述卡片图像中上述目标卡片的多个关键点的预测位置信息。

其中，上述步骤202可以参考图1所示实施例中步骤101的具体描述，此处不再赘述。

本申请实施例中，上述卡片图像可以是摄像头采集的图像，比如终端设备的摄像头拍摄的照片，或者来自终端设备的摄像头拍摄的视频中的截图等，本申请实施例对此不作限定。

可选的，在步骤202之前，该方法还包括：

对所述卡片图像进行转正处理，得到转正处理后的所述卡片图像。

图像处理装置在对卡片图像进行关键点识别之前，可以先进行初步的图像识别，以确定该卡片图像中的目标卡片是否正向显示，若该卡片图像中的目标卡片不是正向显示，可以对该卡片图像进行上述转正处理，获得转正处理后的上述卡片图像，再执行步骤202。

通过上述转正处理，可以没有将正向显示的目标卡片的卡片图像转为正向显示，提高图像识别的处理准确度和显示效果。

203、基于上述目标卡片的多个关键点的预测位置信息和上述卡片图像的边界位置信息，确定上述多个关键点是否位于上述卡片图像内。

其中，获取上述卡片图像的边界可以参考图1所示的实施例中步骤102的具体描述，此处不再赘述。

若确定上述多个关键点均位于上述卡片图像内，可以执行步骤206。

可选的，若上述关键点中存在至少一个第一关键点不在上述卡片图像内，可以执行步骤204。

204、响应于上述多个关键点中存在至少一个第一关键点不在上述卡片图像内，获得上述至少一个第一关键点到上述目标卡片的边界的最小距离。

上述目标卡片的关键点的预测位置信息可以包括关键点的二维坐标，即可以准确地在卡片图像中依据建立的坐标系，确定上述关键点的位置，以及上述目标卡片的边界位置，从而判断上述关键点是否在上述卡片图像内。若上述关键点中存在至少一个关键点不在上述卡片图像内，为方便表述，将不在上述卡片图像内的关键点记为第一关键点，可以进一步获得上述第一关键点到上述目标卡片的边界的最小距离进行判断。

上述卡片图像的边界为直线构成，在已知上述关键点的位置和上述卡片图像的边界的情况下，可以根据点到直线的距离公式计算获得上述至少一个第一关键点到上述目标卡片的边界的最小距离。

进一步地，可以对上述至少一个第一关键点都进行判断，判断上述至少一个第一关键点到上述目标卡片的边界的最小距离是否大于预设阈值。

若上述至少一个第一关键点到上述目标卡片的边界的最小距离均小于或等于上述预设阈值，可以执行步骤205；若上述至少一个第一关键点中存在到上述目标卡片的边界的最小距离大于上述预设阈值的关键点，可以执行步骤207。

205、响应于上述至少一个第一关键点到上述目标卡片的边界的最小距离均小于或等于上述预设阈值，确定上述卡片图像中包含的上述目标卡片完整。

若上述至少一个第一关键点到上述目标卡片的边界的最小距离均小于或等于上述预设阈值，可以理解为该不在上述卡片图像内的关键点其实超出卡片图像的距离不大，对目标卡片的完整性影响不大，可以确定上述卡片图像中包含的上述目标卡片完整。其中，上述预设阈值可以根据需求进行设置和调整，此处不做限制。

在确定上述卡片图像中包含的上述目标卡片完整的情况下，可以执行步骤206。

206、存储上述卡片图像。

若确定上述卡片图像中包含的上述目标卡片完整，即上述目标卡片不存在缺失，即该卡片图像符合要求，可以存储上述卡片图像，作为用户的信息存证，也可以作为下一步进行身份验证或审核的依据。进一步可选的，可以对上述卡片图像进行文本识别。

举例来讲，使用证件图像进行在线身份认证时，比如一些应用程序需要上传身份证、银行卡等进行身份认证，则可以从证件图像中通过文本识别，比如光学字符识别(Optical Character Recognition，OCR)提取文字内容，可以确定是否为待获取的证件类型，比如是否为指定银行，以及可以提取其中的证件编号、***等信息，便于进行身份验证或者信息存储。又如，社交网络上可能上传一些非法图片，如果图片中含有违法的文字内容，可以自动识别出来以便进行处后续处理。

207、响应于上述至少一个第一关键点中存在到上述目标卡片的边界的最小距离大于上述预设阈值的关键点，确定上述卡片图像中包含的上述目标卡片缺失。

若在上述第一关键点中有至少一个关键点到上述目标卡片的边界的最小距离大于上述预设阈值，即可以理解为到上述目标卡片的边界的最小距离大于上述预设阈值的关键点超出卡片图像的距离较远，影响目标卡片的完整性和信息识别，可以确定为上述卡片图像中包含的上述目标卡片缺失。

若确定上述卡片图像中包含的上述目标卡片缺失，可以执行步骤208。

208、输出第一提示信息，上述第一提示信息用于提示调整上述目标卡片的放置位置。

在上述卡片图像中包含的上述目标卡片缺失的情况下，可以通过输出上述第一提示信息来提示用户调整上述目标卡片的放置位置。

具体的，在证件验证过程中，用户可能是将证件放置在指定位置，由图像处理装置采集该证件的图像(即上述卡片图像)，在图像处理装置确定该图像中包含的证件缺失时，可以输出第一提示信息提示卡片图像中包含的目标卡片缺失，以及提示用户调整目标卡片的放置位置，从而重新获得完整的证件图像，比如输出“请调整证件的放置位置。”或者具体为“请将证件向右上方移动，置于指定区域。”其中，上述第一提示信息可以为文字信息或语音信息等，本申请实施例对此不做限制。

可以参见图4，图4为本申请实施例公开的一种卡片图像处理示意图，如图4所示，图像A中的目标卡片a，其关键点均在图像A的边界内的区域，比如点q，可以确定目标卡片a在图像A中是完整的。而图像B中的目标卡片b，其关键点之一的点p在图像B的边界外的区域，可以判断目标卡片b在卡片图像B中存在缺失；可选的，也可以通过判断点p到目标卡片b的边界的最小距离h是否大于预设阈值来确定是否存储图像B。图中所示虚线部分即为该目标卡片b超出图像B的补全部分。

针对不同目标卡片的卡片图像处理任务，可以设置和修改上述预设阈值，本申请实施例对上述预设阈值不做限制。比如，有一些目标卡片的核心内容集中在证件中部，与其证件边缘相隔较远，此时设置的上述预设阈值可以偏大，因为即使该目标卡片的边角在卡片图像中缺失，也不影响针对核心内容的信息提取和验证，以此类推，即可以根据需要灵活地调整检测标准，提高了图像处理方法的灵活适应性。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本申请实施例通过发出第二提示信息，提示用户将目标卡片置于指定区域，对获取到的卡片图像进行关键点检测，获得上述卡片图像中上述目标卡片的多个关键点的预测位置信息，再基于上述目标卡片的多个关键点的预测位置信息和上述卡片图像的边界位置信息，确定上述多个关键点是否位于上述卡片图像内，然后，响应于上述多个关键点中存在至少一个第一关键点不在上述卡片图像内，可获得上述至少一个第一关键点到上述目标卡片的边界的最小距离，响应于上述至少一个第一关键点到上述目标卡片的边界的最小距离均小于或等于上述预设阈值，确定上述卡片图像中包含的上述目标卡片完整，并可以存储上述卡片图像，而响应于上述至少一个第一关键点中存在到上述目标卡片的边界的最小距离大于上述预设阈值的关键点，确定上述卡片图像中包含的上述目标卡片缺失，可以输出第一提示信息，上述第一提示信息用于提示调整上述目标卡片的放置位置，可以检测图像完整性，提升图像识别和信息提取的准确度，同时可以根据需要灵活地调整检测标准完成不同的图像处理任务，适应性强。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对图像处理装置进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图5，图5是本申请实施例公开的一种图像处理装置的结构示意图。如图5所示，该图像处理装置300包括：预测模块310、完整性检测模块320和存储模块330，其中：

上述预测模块310，用于对获取到的卡片图像进行关键点检测，获得上述卡片图像中目标卡片的多个关键点的预测位置信息；

上述完整性检测模块320，用于基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性；

上述存储模块330，用于至少部分地基于上述卡片图像中包含的上述目标卡片的完整性，确定是否存储上述卡片图像。

可选的，上述目标卡片的多个关键点包括上述目标卡片的多个顶点。

可选的，上述完整性检测模块320具体用于：

基于上述目标卡片的多个关键点的预测位置信息和上述卡片图像的边界位置信息，确定上述多个关键点是否位于上述卡片图像内；

基于上述多个关键点是否位于上述卡片图像内，确定上述卡片图像中包含的上述目标卡片的完整性。

可选的，上述完整性检测模块320具体还用于：

响应于上述多个关键点中存在至少一个关键点不在上述卡片图像内，确定上述卡片图像中包含的上述目标卡片缺失。

可选的，上述完整性检测模块320还具体用于：

响应于上述多个关键点中存在至少一个第一关键点不在上述卡片图像内，获得上述至少一个第一关键点到上述目标卡片的边界的最小距离；

响应于上述至少一个第一关键点中存在到上述目标卡片的边界的最小距离大于上述预设阈值的关键点，确定上述卡片图像中包含的上述目标卡片缺失。

可选的，上述完整性检测模块320还具体用于：

响应于上述至少一个第一关键点到上述目标卡片的边界的最小距离均小于或等于上述预设阈值，确定上述卡片图像中包含的上述目标卡片完整。

可选的，上述图像处理装置300还包括存储模块340，用于若上述目标卡片在上述卡片图像中不存在缺失，存储上述卡片图像。

可选的，上述图像处理装置300还包括转正模块340，用于：

在上述完整性检测模块基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性之前，对上述卡片图像进行转正处理，得到转正处理后的上述卡片图像；

上述存储模块330具体用于，确定是否存储上述转正处理后的上述卡片图像。

可选的，上述存储模块330具体用于：

响应于确定上述卡片图像中包含的上述目标卡片完整，存储上述卡片图像。

可选的，上述图像处理装置300还包括识别模块350，用于对上述卡片图像进行文本识别，确定上述目标卡片的文本识别结果；

上述存储模块330还用于，至少部分地基于上述卡片图像中包含的上述目标卡片的完整性以及上述目标卡片的文本识别结果，确定是否存储上述卡片图像。

可选的，上述图像处理装置300还包括输出模块360，用于响应于确定上述卡片图像中包含的上述目标卡片缺失，输出第一提示信息，上述第一提示信息用于提示上述卡片图像中包含的上述目标卡片缺失、上述目标卡片的缺失位置、调整上述目标卡片的放置位置中的至少一项。

可选的，上述图像处理装置300还包括提示模块370，用于在上述预测模块对获取到的上述卡片图像进行关键点检测之前，发出第二提示信息，提示用户将上述目标卡片置于指定区域。

可选的，上述目标卡片包括身份证、银行卡、护照、驾驶证、行驶证、社保卡中的一种或任意组合。

使用本申请实施例中的图像处理装置300，可以实现前述图1和图3实施例中的图像处理方法。

实施图5所示的图像处理装置300，图像处理装置300可以对获取到的卡片图像进行关键点检测，获得上述卡片图像中目标卡片的多个关键点的预测位置信息，再基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性，然后至少部分地基于上述卡片图像中包含的上述目标卡片的完整性，确定是否存储上述卡片图像，可以检测图像完整性，提升图像识别和信息提取的准确度。

请参阅图6，图6是本申请实施例公开的一种电子设备的结构示意图。如图6所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储计算机程序；处理器401用于调用存储在存储器402中的计算机程序执行上述图1和图3实施例中提到的部分或全部方法步骤。

实施图6所示的电子设备400，电子设备400可以对获取到的卡片图像进行关键点检测，获得上述卡片图像中目标卡片的多个关键点的预测位置信息，再基于上述目标卡片的多个关键点的预测位置信息，确定上述卡片图像中包含的上述目标卡片的完整性，然后至少部分地基于上述卡片图像中包含的上述目标卡片的完整性，确定是否存储上述卡片图像，可以检测图像完整性，提升图像识别和信息提取的准确度。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质用于存储计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元(模块)可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。