阅读说明：本技术 一种图像处理方法、装置及设备、可读介质 (Image processing method, device and equipment and readable medium ) 是由 徐跃书 肖飞 范蒙 俞海 于 2018-05-31 设计创作，主要内容包括：本发明提供一种图像处理方法、装置及设备、可读介质,该图像处理方法包括从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；从所述第一图像数据中截取所述位置信息对应的目标数据；将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式,所述第二数据格式适于所述目标数据显示和/或传输。可提升检测目标的图像质量。(The invention provides an image processing method, an image processing device, image processing equipment and a readable medium, wherein the image processing method comprises the steps of acquiring position information of a specified target in first image data in a first acquired data format; intercepting target data corresponding to the position information from the first image data; and converting the data format of the target data from the first data format into a second data format, wherein the second data format is suitable for display and/or transmission of the target data. The image quality of the detection target can be improved.)

一种图像处理方法、装置及设备、可读介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备、可读介质。

背景技术

目标检测技术主要目的是从单帧图片或视频中检测并定位特定的目标。目前，目标检测技术已广泛应用于社会中的各个领域，例如：物流中货物搬运的文字检测，道路交通中对违章车辆的检测，商场、车站对客流的检测和客流量的统计等等。

目前的目标检测算法主要应用已经经过ISP处理后的低位宽图像，在检测到感兴趣的目标后，从图像中抠取相应的目标图像，以作显示或者后续的识别等处理。在这种检测技术的系统中，最终获取的小目标图像的质量一般差距较大，有些图像质量较优，但是很多时候可能存在模糊、亮度不足、对比度不足等质量较差的情况。

中国专利局公开的公开号为CN104463103A的专利申请文件中，提出了一种图像处理方法及装置，当检测目标是文字时，对目标图像中文字进行清晰化处理，方案的主要流程如下：首先对图像中的感兴趣目标进行检测，检测目标使用预设的分类器进行分类，当分类结果为文字时，对文字进行清晰化处理。

现有的ISP处理算法由于设计的缺陷，以及每个处理模块损失的叠加，最后会在一定程度上损失图像原有信息，而该专利申请的技术方案在后续对文字处理时的信息已经是经过ISP算法处理后的数据格式图像，此时信息有可能丢失较为严重，后续无法再修复；且只针对文字进行处理，而文字一般是人们关注对象的极小一部分，当检测到人们关注的其它目标如人脸、车辆、建筑等时，该专利并不进行后续的处理以提高关键目标的质量；整体来说，当前方案较为局限，无法全面提升检测到目标的图像质量。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置及设备、可读介质，可提升检测目标的图像质量。

本发明第一方面提供一种图像处理方法，包括：

从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；

从所述第一图像数据中截取所述位置信息对应的目标数据；

将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。

根据本发明的一个实施例，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：

将所述第一图像数据转换为可进行目标检测的第二图像数据；

在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。

根据本发明的一个实施例，所述在第二图像数据中检测出指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息包括：

将所述第二图像数据输入至已训练的第一神经网络；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出；

将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息。

根据本发明的一个实施例，所述将所述第一图像数据转换为可进行目标检测的第二图像数据，包括：

采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。

根据本发明的一个实施例，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：

将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据,以及检测指定目标在第二图像数据中的位置信息；

将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。

根据本发明的一个实施例，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：

将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。

根据本发明的一个实施例，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：

对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述ISP处理至少包括色彩插值。

根据本发明的一个实施例，所述ISP处理还包括以下处理中的至少一种：白平衡校正、曲线映射。

本发明第二方面提供一种图像处理装置，包括：

第一处理模块，用于从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；

第二处理模块，用于从所述第一图像数据中截取所述位置信息对应的目标数据；

第三处理模块，用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。

根据本发明的一个实施例，所述第一处理模块包括第一处理单元和第二处理单元；

所述第一处理单元，用于将所述第一图像数据转换为可进行目标检测的第二图像数据；

所述第二处理单元，用于在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。

根据本发明的一个实施例，所述第二处理单元，具体用于：

将所述第二图像数据输入至已训练的第一神经网络，以及将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出。

根据本发明的一个实施例，所述第一处理单元，具体用于：

采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。

根据本发明的一个实施例，所述第一处理模块包括第三处理单元；

所述第三处理单元，用于将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。

根据本发明的一个实施例，所述第三处理模块包括第四处理单元；

所述第四处理单元，用于将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。

根据本发明的一个实施例，所述第三处理模块包括第五处理单元；

所述第五处理单元，用于对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，至少包括色彩插值。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中任意一项所述的图像处理方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的图像处理方法。

相比于现有技术，本发明实施例具有以下有益效果：

本发明实施例利用采集得到的第一数据格式的第一图像数据，进行指定目标的检测而获取其位置信息，再利用第一数据格式的第一图像数据截取所得位置信息对应的目标数据，该目标数据由于是从第一图像数据中截取的，因而未发生图像格式或质量的改变，再利用该目标数据进行格式转换而将其转换至适于显示和/或传输的数据格式，相比于现有对已经经过图像处理的图像在检测后进行后处理的方式而言，提升了所检测目标的图像质量。

附图说明

图1为本发明一示例性实施例的图像处理方法的流程示意图；

图2为本发明一示例性实施例的图像处理装置的结构框图；

图3为本发明提供的第一处理模块的一个实施例的结构框图；

图4为本发明提供的将第一图像数据转换为第二图像数据的一个实施例的流程示意图；

图5为本发明提供的色彩插值的一个实施例的示意图；

图6为本发明提供的第一神经网络的一个实施例的结构框图；

图7为本发明提供的第一神经网络的另一个实施例的结构框图；

图8为本发明提供的第一处理模块的另一个实施例的结构框图；

图9为本发明提供的第二神经网络的一个实施例的结构框图；

图10为本发明提供的第二神经网络的另一个实施例的结构框图；

图11为本发明提供的进行灰度化处理的一个实施例的示意图；

图12为本发明提供的图像处理装置的一个实施例的结构框图；

图13为本发明提供的第三神经网络的一个实施例的结构框图；

图14为本发明提供的图像处理装置的另一个实施例的结构框图；

图15为本发明提供的将目标数据的数据格式从第一数据格式转换为第二数据格式的ISP处理的一个实施例的结构框图；

图16为本发明一示例性实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：

ISP(Image Signal Processor)：即图像处理，主要作用是对前端成像设备的图像传感器采集的图像信号进行处理，主要功能有坏点校正、黑电平校正、白平衡校正、色彩插值、伽马校正、色彩校正、锐化、去噪等功能，具体可根据实际应用选择其中的一种或几种。

深度学习：深度学习的概念源于人工神经网络的研究，是一种使用较深的神经网络来模拟人脑分析学习、并建立对应数据表征的方法。

神经网络(Neural Network)：神经网络是是一种模拟大脑信息处理过程抽象而出的网络技术，主要由神经元构成；它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，它可以包括卷积层(Convolutional Layer)和池化层(Pooling Layer)等。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。

在一个实施例中，参看图1，示出了本发明实施例的一种图像处理方法，该方法可以包括以下步骤：

S1：从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；

S2：从所述第一图像数据中截取所述位置信息对应的目标数据；

S3：将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。

在本发明实施例中，图像处理方法可以应用在图像设备上，图像设备可以是摄像机等具有成像功能的设备，或者是可进行图像后处理的设备等，具体不限。第一数据格式的第一图像数据可以是本设备自身采集得到的图像数据，也可以是本设备从其他设备获取的其他设备所采集的图像数据，具体不限。

图像设备采集的图像数据格式为第一数据格式。第一数据格式是图像设备采集的原始图像格式，可包含一个或多个光谱波段的数据，例如可以包括对波长范围是380nm～780nm的光谱采样信号和/或对波长范围是780nm～2500nm的光谱采样信号。通常来说，第一数据格式的图像直接用于显示或传输会存在一定的困难。

在步骤S1中，从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息。

第一图像数据中包含有指定目标，该指定目标是被期望进行ISP处理，以提高该指定目标的图像质量的对象。由于在第一图像数据检测并定位指定目标，是会对第一图像数据本身进行处理的，因而在检测指定目标后，则不再是采集时的原图。

指定目标在第一图像数据中的位置信息，可以包括：指定目标的特征点在第一图像数据中的坐标、及指定目标图像区域的大小；或者，指定目标图像区域的起始点和终点的坐标等等，具体并不限定，只要是能够定位指定目标在第一图像数据中的位置即可。

接着执行步骤S2，从所述第一图像数据中截取所述位置信息对应的目标数据。

步骤S2中的第一图像数据是采集的第一数据格式的第一图像数据，也即是设备采集时的原始图像，并非是为了获取目标对象的位置信息而对第一图像数据经过处理后的图像数据，不存在丢失图像信息的问题。也就是说，步骤S1和步骤S2中所利用的第一图像数据是同一数据源，可以是同一第一图像数据，也可以是在相同场景下采集的不同第一图像数据，例如可以是前后两帧图像数据，只要指定目标在两帧图像数据中不发生运动或其他变化即可。当然，优选来说，步骤S1和步骤S2中是选用同一第一图像数据，该第一图像数据可以存储在图像设备中，在需要利用时可调取。

由于位置信息是从第一图像数据中检测获取的，因而位置信息在第一图像数据中对应的图像区域便是指定目标。可定位到第一图像数据中位置信息指向的区域进行图像截取，得到指定目标对应的目标数据。由于目标数据是从第一图像数据中截取的，因而其数据格式仍然是第一数据格式，与第一图像数据的数据格式是相同的。

接着执行步骤S3，将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。

步骤S3中，是对第一数据格式的目标数据进行图像处理，将其数据格式转换为第二数据格式，第二数据格式是适于目标数据进行显示和/或传输的一种数据格式，当然，第一数据格式和第二数据格式都是图像格式。当然，图像处理的过程可以不仅仅进行数据格式转换，还可以包括其他的图像处理，提高目标数据的图像质量。

本发明实施例利用采集得到的第一数据格式的第一图像数据，进行指定目标的检测而获取其位置信息，再利用第一数据格式的第一图像数据截取所得位置信息对应的目标数据，该目标数据由于是从第一图像数据中截取的，因而未发生图像格式或质量的改变，再利用该目标数据进行格式转换而将其转换至适于显示和/或传输的数据格式，相比于现有对已经经过图像处理的图像在检测后进行后处理的方式而言，提升了所检测目标的图像质量。

步骤S1是位置信息获取的步骤，可通过检测感兴趣的指定目标，并在检测到指定目标后进行定位，得到定位完成的位置信息，指定目标的类型不限，例如是文字、人物、车辆、车牌和建筑等等，形状、大小同样是不限的。可以先进行一些预处理将输入的第一数据格式的第一图像数据进行转化，转化为常用的可进行目标检测的数据，再进行目标检测，也可以直接对第一数据格式的第一图像数据进行目标检测，输出目标位置信息，具体实现方式不限。

在一个实施例中，上述方法流程可由图像处理装置100执行，如图2所示，图像处理装置100主要包含3个模块：第一处理模块101，第二处理模块102和第三处理模块103。第一处理模块101用于执行上述步骤S1，第二处理模块102用于执行上述步骤S2，第三处理模块103用于执行上述步骤S3。

如图2，第一处理模块101以图像采集设备获得的第一数据格式的第一图像数据为输入，对其中感兴趣的目标或者对象进行检测，并输出检测到目标的位置信息；第二处理模块102是联合第一处理模块101输出的感兴趣目标的位置信息和原始输入的第一数据格式的第一图像数据作为输入，从原始的第一数据格式的第一图像数据中获取感兴趣目标对应的第一数据格式的目标数据；第三处理模块103是以第二处理模块102输出的目标对应的第一数据格式的目标数据为输入，进行自适应ISP处理，得到质量较高的第二数据格式的目标数据。

在一个实施例中，如图3所示，第一处理模块101包括第一处理单元1011和第二处理单元1012，可由第一处理单元1011执行步骤S101，可由第二处理单元1012执行步骤S102，以实现上述步骤S1。上述步骤S1具体包括以下步骤：

S101：将所述第一图像数据转换为可进行目标检测的第二图像数据；

S102：在所述第二图像数据中检测出指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。

由于需要检测出指定目标，而第一图像数据是无法用来直接检测出指定目标的，因而在步骤S101中，先将第一图像数据转换为可用来进行目标检测的第二图像数据，使得第二图像数据可以用来检测出指定目标。具体转换的方式不限，只要能够将第一图像数据转换为能检测目标的第二图像数据即可。

此第二图像数据由于经过转换，数据格式可能已不再是第一数据格式，若再利用其进行后处理来检测提取目标，图像质量是无法保证的。因而本实施例中并非利用第二图像数据来提取指定目标，而是利用了该第二图像数据来检测出指定目标的位置信息。

步骤S101之后执行步骤S102，在所述第二图像数据中检测出指定目标的位置信息，对第二图像数据中的指定目标进行目标识别定位，便可确定指定目标在第二图像数据中的位置信息，指定目标在第一图像数据和第二图像数据中的位置关系一般不发生变化，当然也不排除第一图像数据和第二图像数据之间发生缩放或者指定目标的平移等，但是这些缩放和平移都是处理过程中可确定的，因而得知指定目标在第二图像数据中的位置信息就可得知指定目标在第一图像数据中的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。

进一步的，将所述第一图像数据转换为可进行目标检测的第二图像数据的方式可以包括至少对第一图像数据进行色彩插值处理。在此基础上，例如还可以进行以下处理的至少一种：黑电平校正、白平衡校正、对比度增强和位宽压缩，当然具体也不限于此。

在一种可能的实施方式中，第一处理单元1011可以通过执行步骤S1011至步骤S1015来实现上述步骤S101。参看图4，S1011至步骤S1015具体为：

S1011：黑电平校正；

S1012：白平衡校正；

S1013：色彩插值；

S1014：对比度增强；

S1015：位宽压缩。

可以理解，将第一图像数据转换到第二图像数据的方式也不限于上述步骤S1011～S1015，且处理顺序也不限，例如，将第一图像数据转换到第二图像数据也可以仅进行色彩插值处理，只要得到的第二图像数据能够进行目标检测即可。

步骤S1011中，假设第一数据格式的第一图像数据记为imgR，黑电平校正是为了去除第一数据格式的第一图像数据中黑电平的影响，输出imgR_blc：

imgR_blc＝imgR-V_blc

其中，V_blc是黑电平值。

步骤S1012中，白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，可由两个系数R_gain、B_gain来控制对应的R1分量和B1分量的调整：

R1′＝R1*R_gain

B1′＝B1*B_gain

其中，R1、B1是黑电平校正处理后的图像数据的红色、蓝色通道色彩分量，R1′、B1′是白平衡校正模块输输出图像的红色、蓝色通道色彩分量，输出图像记为imgR_wb。

步骤S1013中，色彩插值所针对的数据是白平衡校正处理后的数据，色彩插值可采用最邻近插值法实现，将单通道第一数据格式的第一图像数据扩展成多通道数据。针对Bayer格式的第一数据格式的第一图像数据，直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，具体插值过程如图5所示，R11将其邻近的三个色彩像素填补为R11，具体将哪几个邻近的进行填补可以进行设置，其他色彩像素也是同理，在此不再赘述，插值后的图像记为imgC。

步骤S1014中，对比度增强所针对的数据是色彩插值后的数据，对比度增强是为了增强插值后图像的对比度，可以使用Gamma曲线进行线性映射，假设Gamma曲线的映射函数为f()，映射后的图像记为imgC_gm：

imgC_gm(i,j)＝f(imgC(i,j))，(i,j)为像素点的坐标。

步骤S1015中，位宽压缩所针对的数据是对比度增强后的数据，位宽压缩是将对比度增强后得到的高位宽数据imgC_gm进行压缩，可压缩到第二数据格式对应的位宽，例如可以直接采用线性压缩，压缩后的图像记为imgC_lb：

imgC_lb(i,j)＝imgC_gm(i,j)/M

其中，M即为第一数据格式压缩到第二数据格式对应的压缩比例。

在一种可能的实施方式中，第二处理单元1012可以通过执行步骤S1021至步骤1022来实现上述步骤S102。

S1021：将所述第二图像数据输入至已训练的第一神经网络；所述第一神经网络用于至少通过卷积层、池化层、全连接层和边框回归层实现定位；

S1022：将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息。

步骤S1021中，第一神经网络是已经训练好的网络，将第二图像数据输入该第一神经网络，便可实现指定目标在第二图像数据中的定位，相应获得指定目标的位置信息。

其中，第一神经网络可以集成在第二处理单元1012中作为第一处理模块101的一部分，也可以设置在第一处理模块101外部，可由第二处理单元1012来调度。

参看图6，所述第一神经网络200可以包括至少一层用于执行卷积的卷积层201、至少一层用于执行下采样的池化层202、至少一层用于执行特征综合的全连接层203和至少一层用于执行坐标变换的边框回归层204。

作为第一神经网络的一个实施例，参看图7，第一神经网络200可以包括依次连接的卷积层205、卷积层206、池化层207…卷积层208、池化层209、全连接层210、边框回归层211，输入第二图像数据，输出位置信息，该位置信息作为指定目标在第一图像数据中的位置信息。第一神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图7示出的第一神经网络仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或池化层、和/或其他层。

下面介绍一下第一神经网络中的各层的具体功能，但不应以此为限。

卷积层(Conv)执行的是卷积操作，还可以带有一个激活函数ReLU，可以对卷积结果进行激活操作，因此对于一个卷积层的操作可以用以下公式表示：

YC_i(I)＝g(W_i*YC_i-1(I)+B_i)

其中，YC_i(I)为第i个卷积层的输出，YC_i-1(I)为第i个卷积层的输入，*表示卷积操作，W_i和B_i分别为第i个卷积层的卷积滤波器的权重系数和偏移系数，g()表示激活函数，当激活函数为ReLU时，g(x)＝max(0,x)，x即YC_i(I)。

池化层(Pool)是一种特殊的下采样层，即对卷积得到的特征图进行缩小，缩小窗的大小例如为N×N，当使用最大池化时，即对N×N窗求取最大值作为最新图像对应点的值，具体公式如下：

YP_j(I)＝maxpool(YP_j-1(I))

其中，YP_j-1(I)为第j个池化层的输入，YP_j(I)为第j个池化层的输出。

全连接层(FC)可以看成是滤波窗口为1×1的卷积层，全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来，具体实现和卷积滤波类似，表达式例如可以如下：

其中，F_kI(I)为第k个全连接层的输入，YF_k(I)为第k个全连接层的输出，R、C为F_kI(I)的宽高，W_ij和B_ij分别为全连接层的连接权重系数和偏置系数，g()表示激活函数，I即为(i,j)。

边框回归层(BBR)是为了寻找一种关系使得全连接层输出的窗口P经过映射得到一个跟真实窗口G更接近的窗口G′；回归的实现一般是对窗口P进行坐标变换，例如包括平移变换和/或尺度缩放变换；假设全连接层输出的窗口P的坐标为(x₁,x₂,y₁,y₂)，则经变换后的窗后坐标(x₃,x₄,y₃,y₄)；

若变换为平移变换，平移尺度为(Δx,Δy)，平移前后的坐标关系为：

x₃＝x₁+Δx

x₄＝x₂+Δx

y₃＝y₁+Δy

y₄＝y₂+Δy

若尺度变换为缩放变换，X、Y方向的缩放尺度分别为dx、dy，变换前后的坐标关系为：

x₄-x₃＝(x₂-x₁)*dx

y₄-y₃＝(y₂-y₁)*dy。

在步骤S1022中，根据第一神经网络输出的结果确定所述指定目标在第一图像数据中的位置信息，可将第一神经网络的输出结果直接作为指定目标在第一图像数据中的位置信息，或者也可将输出结果用指定目标在第一图像数据和第二图像数据的位置变化关系进行转换得到指定目标在第一图像数据中的位置信息。

对于第一神经网络的训练，可以通过获取第二图像数据样本和对应的位置信息样本作为训练样本集，将第二图像数据样本作为输入，将对应的位置信息样本作为输出，对第一神经网络的训练模型进行训练。关于第二图像数据样本和对应的位置信息样本的获取，可以通过可识别检测目标的图像处理方式来对第二图像数据样本进行处理得到对应的位置信息样本。

在另一个实施例中，参看图8，第一处理模块101包括第三处理单元1013，可由第三处理单元1013执行步骤S111和步骤S112，以实现上述步骤S1。步骤S111和步骤S112具体为：

S111：将所述第一图像数据输入至已训练的第二神经网络；第二神经网络至少通过灰度化层、卷积层、池化层、全连接层和边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；

S112：将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。

其中，第二神经网络可以集成在第三处理单元1013中作为第一处理模块101的一部分，也可以设置在第一处理模块101外部，可由第三处理单元1013来调度。

参看图9，所述第二神经网络300包括至少一层用于执行灰度处理的灰度化层301、一层用于执行卷积的卷积层302、一层用于执行下采样的池化层303、一层用于执行特征综合的全连接层304和一层用于执行坐标变换的边框回归层305，完全通过第二神经网络来实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息，而不用进行其他ISP处理，当然，根据不同的需求，当然可以在第二神经网络处理的基础上，进行一定的信息处理，具体不限。

作为第二神经网络的一个实施例，参看图10，第二神经网络300可以包括灰度化层306、卷积层307、卷积层308、池化层309……卷积层310、池化层311、全连接层312和边框回归层313，直接向第二神经网络输入第一图像数据，第二神经网络的各层结构进行应用处理后输出位置信息，该位置信息作为指定目标在第一图像数据中的位置信息。第一神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图10示出的第二神经网络300仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或、池化层、和/或其他层。

第二神经网络中的灰度化层是将多通道的第一数据格式信息转化为单通道的灰度信息，可以通过对当前像素点周围表征不同色彩的分量分别进行加权即可。参看图11，通过灰度化层的处理，将不同色彩的分量RGB进行加权后均转换为了单通道的灰度信息Y，例如，对于Y22来说，计算公式如下：Y22＝(B22+(G12+G32+G21+G23)/4+(R11+R13+R31+R33)/4)/3

其他分量也可以是同理，在此便不再赘述。

第二神经网络中的卷积层、池化层、全连接层和边框回归层所执行的功能与第一神经网络中的相应层可相同，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。

对于第二神经网络的训练，可以通过获取第一图像数据样本和对应的位置信息样本作为训练样本集，将第一图像数据样本作为输入，将对应的位置信息样本作为输出，对第二神经网络的训练模型进行训练。关于第一图像数据样本和对应的位置信息样本的获取，可以先将第一图像数据样本进行目标可检测化的图像处理，再通过可识别检测目标的图像处理方式来检测目标，以得到对应的位置信息样本。

步骤S2中，可以直接根据步骤S1中得到的指定目标在第一图像数据的位置信息，到原始输入的第一数据格式的第一图像数据中的对应位置进行数据截取，截取的数据作为对应目标的第一数据格式的目标数据。

在一个实施例中，假设步骤S1中得到的指定目标在第一图像数据的位置信息为[x1,x2,y1,y2]，其中x1、y1为起始位置信息，x2、y2为结束位置信息，当整幅图像对应的第一数据格式的第一图像数据用imgR来表示时,则指定目标的第一数据格式的目标数据imgT为：

imgT＝imgR(x1:x2,y1:y2)。

步骤S3中，针对步骤S2中得到的指定目标对应的第一数据格式的目标数据进行处理，以将指定目标的目标数据从第一数据格式转化为第二数据格式。步骤S3事实上是针对小目标的图像处理，可以通过非神经网络实现的ISP处理实现，也可以通过神经网络来实现。

在一个实施例中，如图12所示，第三处理模块103包括第四处理单元1031，可由第四处理单元1031执行以下步骤，以实现上述步骤S3。

将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。

其中，第三神经网络可以集成在第四处理单元1031中作为第三处理模块103的一部分，也可以设置在第三处理模块103外部，可由第四处理单元1031来调度。

所述第三神经网络可以包括至少一层用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。当然，第三神经网络的层结构不限于此，例如还可以包括至少一层用于执行激活的ReLu层，或者还可以包括其他层。具体的层数也不限。

基于第三神经网络来实现图像处理，减少了传统图像处理在每个处理步骤中分别处理所可能引起的误差传播。

下面对第三神经网络的各层执行的操作进行具体描述，但不应以此为限。

第三神经网络的卷积层，假设每个卷积层的输入为FC_i，卷积层的输出为FC_i+1，则有：

FC_i+1＝g(w_ik*FC_i+b_ik)

w_ik、b_ik为当前卷积层中第k个卷积的参数，g(x)是一种线性加权函数,即对每个卷积层的卷积输出进行线性加权。当然，第三神经网络的卷积层与第一神经网络的卷积层都是执行的卷积操作，因而功能类似，相关描述也可以参看关于第一神经网络的卷积层的内容。

第三神经网络的ReLu层，假设每个ReLu层的输入为FR_i，ReLu层的输入为FR_i+1，则有：

FR_i+1＝max(FR_i,0)，即选择0和FR_i的最大者。

作为第三神经网络的一个实施例中，参看图13，第三神经网络400可以包括依次连接的卷积层401、卷积层402、ReLu层403、卷积层404、卷积层405，输入是第一数据格式的目标数据，输出是第二数据格式的目标数据。第三神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图13示出的第三神经网络仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或、池化层、和/或其他层。

对于第三神经网络的训练，为了预先优化深度神经网络，可以使用大量第一数据格式的目标数据样本和对应理想的第二数据格式的目标数据样本构成样本，对第三神经网络训练过程中使用的网络参数进行不断训练，直至当输入第一数据格式的目标数据时，能够输出理想的第二数据格式的目标数据，此时输出网络参数，以供第三神经网络实际测试、使用。

对第三神经网络进行训练的训练流程可以包括以下步骤：

S311：收集训练样本：收集感兴趣目标对应的第一数据格式信息和对应的理想第二数据格式信息。假设已获得n个训练样本对{(x₁,y₁)，(x₂,y₂),…,(x_n,y_n)}，其中，x_i表示输入的第一数据格式信息，y_i表示对应的理想第二数据格式信息。

S312：设计第三神经网络的结构；网络训练使用的网络结构和测试时为同一网络结构；

S313：初始化训练参数；对第三神经网络的结构的网络参数进行初始化，可采取随机值初始化、固定值初始化等；设置训练相关参数，如学习率、迭代次数等；

S314：前向传播；基于当前网络参数，采用训练样本x_i在第三神经网络上进行前向传播，获得第三神经网络的输出F(x_i)，计算损失函数Loss：

Loss＝(F(x_i)-y_i)²；

S315：后向传播：利用后向传播，调整第三神经网络的网络参数；

S316：反复迭代：重复迭代步骤S314和S315，直至网络收敛，输出此时的网络参数。

当然，第三神经网络的训练过程并不局限于此，当然还可以是其他训练方式，只要能够使得训练后的第三神经网络可以实现输入第一数据格式的目标数据可以得到对应的第二数据格式的目标数据即可。

在另一个实施例中，如图14所示，第三处理模块103包括第五处理单元1032，可由第五处理单元1032对所述目标数据执行ISP处理，将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，ISP处理至少包括色彩插值，以实现上述步骤S3。

进一步的，所述ISP处理还包括以下处理中的至少一种：白平衡校正、曲线映射，可以进一步提高图像质量。

仅利用第一数据格式的目标数据来实现ISP处理中参数的计算，可提高处理参数的准确性，进而提升目标数据处理后的图像质量。

作为对所述目标数据执行ISP处理的一个实施例中，参看图15，所述ISP处理可以依次包括以下步骤：

S301：白平衡校正；输入为第一数据格式的目标数据；

S302：色彩插值；

S303：曲线映射；输出为第二数据格式的目标数据。

可以理解，实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式的ISP处理也不局限于此，例如可以仅进行色彩插值，或者可以包括其他的ISP处理方式。

下面对白平衡校正、色彩插值、曲线映射这些ISP处理进行更具体的描述，但不应以此为限。

白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，一般由两个系数R_-gain、B_-gain来控制对应的R分量和B分量的调整。

R2′＝R2*R_-gain

B2′＝B2*B_-gain

其中，R2、B2是白平衡校正的输入图像的红色、蓝色通道色彩分量，R2'、B2'是白平衡校正的输出图像的红色、蓝色通道色彩分量；相对于全图的白平衡校正而言，此处R_-gain、B_-gain只需要对感兴趣目标的R、B、G通道色彩分量进行统计和计算；

在计算R_-gain、B_-gain时，需要先统计R、G、B通道每个色彩分量的均值R_avg、G_avg和B_avg，则有：

色彩插值是指将白平衡校正后的第一数据格式的目标数据由单通道格式扩展成每个通道表征一个色彩分量的多通道数据格式；可以采用最邻近插值法实现，将单通道第一数据格式的目标数据扩展成多通道的目标数据。例如针对Bayer格式的第一数据格式的图像数据，可直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，具体插值过程与前述图4对应的实施例可以相同或类似，在此不再赘述。

曲线映射是指将图像数据按照人眼的视觉特性将图像数据进行亮度和对比度调整，常用不同参数的Gamma曲线进行映射，假设Gamma曲线的映射函数为g，映射后的图像记为img_gm，映射前图像记为img，则有：

img_gm(i,j)＝g(img(i,j))。

下面对本发明实施例的图像处理装置进行描述，但不应以此为限。

在一个实施例中，参看图2，一种图像处理装置100可以包括：

第一处理模块101，用于从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；

第二处理模块102，用于从所述第一图像数据中截取所述位置信息对应的目标数据；

第三处理模块103，用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。

在本发明实施例中，图像处理装置100可以应用在图像设备上，图像设备可以是摄像机等具有成像功能的设备，或者是可进行图像后处理的设备等，具体不限。第一数据格式的第一图像数据可以是本设备自身采集得到的图像数据，也可以是本设备从其他设备获取的，由该其他设备所采集的图像数据，具体不限。

在一个实施例中，参看图3，所述第一处理模块101包括第一处理单元1011和第二处理单元1012；

所述第一处理单元1011，用于将所述第一图像数据转换为可进行目标检测的第二图像数据；

所述第二处理单元1012，用于在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。

在一个实施例中，所述第二处理单元1012，具体用于：

将所述第二图像数据输入至已训练的第一神经网络，以及将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出。

在一个实施例中，所述第一处理单元1011，具体用于：

采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。

在一个实施例中，参看图8，所述第一处理模块101包括第三处理单元1013；

所述第三处理单元1013，用于将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。

在一个实施例中，参看图12，所述第三处理模块103包括第四处理单元1031；

所述第四处理单元1031，用于将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。

在一个实施例中，参看图14，所述第三处理模块103包括第五处理单元1032；

所述第五处理单元1032，用于对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，至少包括色彩插值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中任意一项所述的图像处理方法。

本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图16所示，图16是本发明根据一示例性实施例示出的图像处理装置100所在电子设备的一种硬件结构图，除了图7所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，使得图像设备实现如前述实施例中任意一项所述的图像处理方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。