具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的图像传感器的校正方法，用于对图像传感器的原始数据进行校正。示例的，随着CMOS的发展，图像传感器的颜色过滤器(color filter)由如图1a中所示的拜耳阵列(Bayer pattern)逐渐演变为其他的形式，例如图2a中所示的四拜耳(Quadbayer)阵列、或者9合1(9in1)、16合1(16in1)等其他形式。对于Quad bayer阵列，由于微透镜的高度及曲率半径影响、微透镜的偏移以及电路设计和电路噪声等影响，相同颜色的相邻2×2像素之间往往存在感度差异，例如图3中示意了如图2a中所示意的各通道像素的感度差异。为了给后端ISP提供更合理的原始数据，提高图像分辨率，需要对四拜耳阵列中相同颜色的相邻2×2像素的感度差异进行校正(Adjacent 2×2pixel sensitivitydifference correction，ASDC)，以减小相邻2×2像素之间的差异。

再示例的，由于图像传感器的工差、镜头本身的光学特性、机械结构工差以及红外截止滤光片的材料等的影响，会导致输出图像颜色或亮度不均匀，例如图4中所示例的镜头中心明显偏亮，为了提供更均匀的图像，需要进行镜头阴影校正(Lens shadingcorrection，LSC)。

为了实现上述对图像传感器的校正，本申请实施例中提出，在获取到图像传感器的原始数据后，根据校准表确定每个像素的增益值，并利用增益值对原始数据中的原始像素值进行校正，其中，出于节约内存的考虑，校准表中并不是包括每个像素的增益值，而是将原始数据的像素位置按网格划分，校准表中仅包括网格线的交点位置的增益值，网格的划分方式和大小可以根据图像传感器的实际像素尺寸来确定，从而可以灵活地实现图像传感器的校正，提高图像质量。

下面，将通过具体的实施例对本申请提供的图像传感器的校正方法进行详细地说明。本申请实施例提供的校正方法可以应用于感度差异校正，也可以应用于镜头阴影校正，本申请实施例中对此不做限定。此外，图1a和图2a中的颜色过滤器的排列方式仅用于示例说明，在实际应用中，对于颜色过滤器采用其他排列方式的图像传感器，本申请实施例的校正方法同样适用。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图5为本申请实施例提供的一种图像传感器的校正方法的流程示意图。

如图5中所示，该方法包括：

S501、获取图像传感器的原始数据，原始数据中包括每个像素的原始像素值。

图像传感器的原始数据即图像传感器获得的未经过处理的每个像素的原始像素值。由于原始数据可能存在颜色或亮度不均匀的问题，或者可能存在感度差异的问题，因此需要执行后续步骤对原始数据进行校正。

S502、根据校准表确定每个像素的增益值。

其中，校准表中包括多个位置的增益值，多个位置是将原始数据的像素位置按网格划分后得到的网格线的交点位置。

需要说明的是，校准表是根据进行校正的类型和图像传感器的颜色过滤器的排列方式预先确定的，校正的类型可以是感度差异校正或镜头阴影校正等，本申请实施例中对此不作限定，只需要理解的是，在进行不同类型的校正时，可以利用与该类型校正对应的校准表来确定每个像素的增益值，以达到对应的校正目的。

出于节约内存的考虑，校准表中并不是包括每个像素的增益值，在预先确定校准表的过程中，图像传感器采集一张标准环境下的目标图像的原始数据，对目标图像的原始数据的像素位置按网格进行划分，确定网格线的交点位置处的增益值，由这些交点位置处的增益值形成校准表，而每个像素的增益值均可以利用这些交点位置处的增益值来计算获得。网格的划分方式和大小可以根据图像传感器的实际像素尺寸来具体设置，以满足不同像素尺寸的图像传感器的实际需求。

由于原始数据具有多个颜色通道，校准表也是按颜色通道分别设置的，在预先确定校准表时，首先从目标图像的原始数据中提取各颜色通道的原始数据后，将各颜色通道的原始数据的像素位置按网格进行划分。例如从图1a所示的原始数据提取R通道的原始数据，得到图1b所示的R通道的原始数据，将图1b中各像素按网格进行划分，根据网格线的交点位置处的增益值得到R通道的校准表，其他颜色通道采用类似的方法得到对应的校准表。又如，从图2a所示的原始数据中提取R0通道的原始数据，得到图2b所示的R0通道的原始数据，将图2b中各像素按网格进行划分，根据网格线的交点位置处的增益值得到R0通道的校准表，其他颜色通道采用类似的方法得到对应的校准表。

示例的，图像传感器的颜色过滤器采用图2a所示的四拜耳阵列，对其进行感度差异校正时，校准表中包括了16个颜色通道各自的感度差异校准表，即16张感度差异校准表，在S501中获取原始数据之后，首先分别提取各颜色通道的原始数据，然后利用各颜色通道的感度差异校准表来获得该颜色通道的各像素的增益值。如图2b中所示，提取R0通道的原始数据，利用R0通道的感度差异校准表来获得R0通道的各像素的增益值。其他颜色通道的原始数据进行提取的结果与R0通道类似，此处仅以R0通道进行示例。

示例的，图像传感器的颜色过滤器采用图1a所示的拜耳阵列，对其进行镜头阴影校正时，校准表包括了4个颜色通道各自的镜头阴影校准表，即4张镜头阴影校准表，在S501中获取原始数据之后，首先分别提取各颜色通道的原始数据，然后利用各颜色通道的镜头阴影校准表来获得该颜色通道的各像素的增益值。如图1b中所示，提取R通道的原始数据，利用R通道的镜头阴影校准表来获得R通道的各像素的增益值。其他颜色通道的原始数据进行提取的结果与R通道类似，此处仅以R通道进行示例。

S503、根据每个像素的原始像素值和增益值，确定每个像素校正后的像素值。

在确定每个像素的增益值后，根据每个像素的原始像素值和增益值，即可确定每个像素校正后的像素值，从而得到经过校正的原始数据，使得后续的图像处理质量更好。

本申请实施例的方法，获取到图像传感器的原始数据后，根据校准表确定每个像素的增益值，并利用增益值对原始数据中的原始像素值进行校正，其中，校准表中包括了将原始数据的像素位置按网格划分后的网格线交点位置的增益值，利用网格线交点位置的增益值可以获得图像传感器的每个像素的增益值，网格的划分方式和大小可以根据图像传感器的实际像素尺寸来确定，从而可以灵活地实现图像传感器的校正，提高图像质量。

由于图像传感器中仅包括网格线的交点位置的多个位置的增益值，因此根据校准表确定每个像素的增益值，可以包括：对多个位置的增益值进行插值计算，得到每个像素的增益值。从而在保证了校正结果的准确性的基础上，可以减少对图像传感器的内存占用。

以下在通过示例对校准表中的多个位置如何确定进行说明。

在一种实施方式中，网格线所构成的网格中位于同一列的网格依次增大。如图6中所示，同一列网格中的网格601、网格602、网格603以及之后的网格的大小依次增大。其他列网格同样也是依次增大。具体的网格增大的大小或比例等，可以按照图像传感器的像素尺寸来确定。图6以后后续其他图示中的网格大小和数量仅为示意。

在一种实施方式中，网格线所构成的网格中位于同一行的网格依次增大。如图7中所示，同一行网格中的网格701、网格702、网格703的大小依次增大。其他行网格同样也是依次增大。具体的网格增大的大小或比例等，可以按照图像传感器的像素尺寸来确定。

需要说明的是，前述两种实施方式中按行和按列增大可以合并，即按照如图8中所示的，网格从左到右、从上到下依次增大。

在一种实施方式中，网格线所构成的网格中，除了最后一行网格和最后一列网格之外的其他网格的大小相同。为了降低校准表的计算复杂度，便于确定需要计算增益值的位置，在划分网格时，可以尽量使得网格大小一致，然而，由于不同类型的图像传感器的像素尺寸不同，在一些场景中，图像传感器的像素尺寸可能不便于平均划分网格，因此，可以采用本实施方式中的方法，按照图像传感器的实际像素尺寸，对于大部分位置进行平均划分，将无法平均划分的剩余像素划分至最后一行或最后一列，从而得到如图9中所示的网格，其中，除最后一行网格和最后一列网格之外的其他网格的大小相同，例如图9中网格901、网格902、网格903的大小相同，而网格904和网格905的大小则与前述的三个网格的大小不同。

在一种实施方式中，网格线所构成的网格中，除了中间一行网格和中间一列网格之外的其他网格的大小相同，中间一行网格和中间一列网格的交点处的中心网格包括图像传感器的图像的物理光心位置。与前述类似的，为了降低校准表的计算复杂度，便于确定需要计算增益值的位置，在划分网格时，可以尽量使得网格大小一致，然而，由于不同类型的图像传感器的像素尺寸不同，在一些场景中，图像传感器的像素尺寸可能不便于平均划分网格，因此，可以采用本实施方式中的方法，按照图像传感器的实际像素尺寸，对于大部分位置进行平均划分，将无法平均划分的剩余像素划分至中间的一行或中间的一列，从而得到如图10中所示的网格。其中，中间一行网格和中间一列网格的交点处的中心网格101包括图像传感器的图像的物理光心位置，采用这种划分方式时，从中心向外的网格是均匀的，从而可以保证在进行镜头阴影校正时，各个边缘位置的校正结果不会出现偏差。

在一种实施方式中，网格线所构成的网格中，从中间一行网格向两侧的每一行网格的大小依次增大，且中间一行网格两侧的网格对称，中间一行网格的中心网格包括图像传感器的图像的物理光心位置。由于不同类型的图像传感器的像素尺寸不同，在一些场景中，图像传感器的像素尺寸可能不便于平均划分网格，如图11所示，可以先确定中间一行网格的位置，中间一行网格的中心网格111包括图像的物理光心位置，从中间一行往两侧的各行网格依次增大，每行网格增大的大小或比例等可以根据实际的像素尺寸确定。由于从中间一行网格向外的网格是均匀的，且中间一行的中心网格位于中心位置，从而可以保证在进行镜头阴影校正时，各个边缘位置的校正结果不会出现偏差。

在一种实施方式中，网格线所构成的网格中，从中间一列网格向两侧的每一列网格的大小依次增大，且中间一列网格两侧的网格对称，中间一列网格的中心网格包括图像传感器的图像的物理光心位置。由于不同类型的图像传感器的像素尺寸不同，在一些场景中，图像传感器的像素尺寸可能不便于平均划分网格，如图12所示，可以先确定中间一列网格的位置，中间一列网格的中心网格121包括图像的物理光心位置，从中间一列往两侧的各行网格依次增大，每列网格增大的大小或比例等可以根据实际的像素尺寸确定。由于从中间一列网格向外的网格是均匀的，且中间一列的中心网格位于中心位置，从而可以保证在进行镜头阴影校正时，各个边缘位置的校正结果不会出现偏差。

需要说明的是，前述两种实施方式中从中间一行往两侧依次增大和从中间一列往两侧依次增大可以合并，即按照如图13中所示的，中心网格131位于图像中心位置，围绕中心网格131向四周扩展的网格逐渐增大，对称位置的网格大小相同。

在一种实施方式中，网格线所构成的网格中，从中间一行网格向两侧的每一行网格的大小依次减小，且中间一行网格两侧的网格对称，中间一行网格的中心网格包括图像传感器的图像的物理光心位置。如图14所示，可以先确定中间一行网格的位置，中间一行网格的中心网格141包括图像的物理光心位置，从中间一行往两侧的各行网格依次减小，每行网格减小的大小或比例等可以根据实际的像素尺寸确定。由于从中间一行网格向外的网格是均匀的，且中间一行的中心网格位于中心位置，从而可以保证在进行镜头阴影校正时，各个边缘位置的校正结果不会出现偏差。

在一种实施方式中，网格线所构成的网格中，从中间一列网格向两侧的每一列网格的大小依次减小，且中间一列网格两侧的网格对称，中间一列网格的中心网格包括图像传感器的图像的物理光心位置。如图15所示，可以先确定中间一列网格的位置，中间一列网格的中心网格151包括图像的物理光心位置，从中间一列往两侧的各行网格依次减小，每列网格减小的大小或比例等可以根据实际的像素尺寸确定。由于从中间一列网格向外的网格是均匀的，且中间一列的中心网格位于中心位置，从而可以保证在进行镜头阴影校正时，各个边缘位置的校正结果不会出现偏差。

需要说明的是，前述两种实施方式中从中间一行往两侧依次减小和从中间一列往两侧依次减小可以合并，即按照如图16中所示的，中心网格161位于图像中心位置，围绕中心网格161向四周扩展的网格逐渐减小，对称位置的网格大小相同。由于网格从中心往外逐渐减小，从而边缘位置的网格比中间位置的网格更为密集，由于图像传感器的边缘位置的噪声通常更大，采用这种方式可以使得边缘位置校正结果更准确。

前述各种实施方式中，在进行网格划分时，可以从边缘的第一个像素开始划分，即，网格线中最边缘的网格线为边缘像素的外侧边缘，其中，边缘像素是对原始数据按颜色通道进行提取后，得到的各颜色通道的原始数据中的最边缘的像素，示例的，如图17中即为按照这种方式划分得到的网格线。或者，也可以从边缘第一个像素向内偏移一些像素的位置开始划分，示例的，如图18中即为按照这种方式划分得到的网格线。

本申请实施例提供的前述多种网格划分方式，可以适用于各种不同像素尺寸的图像传感器，在应用中可以根据需求灵活设置，在通过对原始数据的像素位置进行网格划分后，确定出网格线的交点位置，进而能够确定这些交点位置的增益值，从而得到图像传感器的校准表，从而保证了图像传感器校正的准确性。

图19为本申请实施例提供的一种图像传感器的校正装置的结构示意图，如图19所示，图像传感器的校正装置190：

获取模块191，用于获取图像传感器的原始数据，原始数据中包括每个像素的原始像素值；

确定模块192，用于根据校准表确定每个像素的增益值，校准表中包括多个位置的增益值，多个位置是将原始数据的像素位置按网格划分后得到的网格线的交点位置；

校正模块193，用于根据每个像素的原始像素值和增益值，确定每个像素校正后的像素值。

在一种实施方式中，确定模块192用于：

对多个位置的增益值进行插值计算，得到每个像素的增益值。

在一种实施方式中，网格线所构成的网格中位于同一列的网格依次增大。

在一种实施方式中，网格线所构成的网格中位于同一行的网格依次增大。

在一种实施方式中，网格线所构成的网格中，除了最后一行网格和最后一列网格之外的其他网格的大小相同。

在一种实施方式中，网格线所构成的网格中，除了中间一行网格和中间一列网格之外的其他网格的大小相同，中间一行网格和中间一列网格的交点处的中心网格包括图像传感器的图像的物理光心位置。

在一种实施方式中，网格线所构成的网格中，从中间一行网格向两侧的每一行网格的大小依次增大，且中间一行网格两侧的网格对称，中间一行网格的中心网格包括图像传感器的图像的物理光心位置。

在一种实施方式中，网格线所构成的网格中，从中间一列网格向两侧的每一列网格的大小依次增大，且中间一列网格两侧的网格对称，中间一列网格的中心网格包括图像传感器的图像的物理光心位置。

在一种实施方式中，网格线所构成的网格中，从中间一行网格向两侧的每一行网格的大小依次减小，且中间一行网格两侧的网格对称，中间一行网格的中心网格包括图像传感器的图像的物理光心位置。

在一种实施方式中，网格线所构成的网格中，从中间一列网格向两侧的每一列网格的大小依次减小，且中间一列网格两侧的网格对称，中间一列网格的中心网格包括图像传感器的图像的物理光心位置。

在一种实施方式中，网格线中最边缘的网格线为边缘像素的外侧边缘。

本实施例提供的图像传感器的校正装置可用于执行上述方法实施例中的图像传感器的标定方法，其实现原理和计算效果类似，此处不再赘述。

图20为本申请实施例提供的一种电子设备的结构示意图。如图20所示，电子设备200包括存储器201和处理器202，存储器201和处理器202可以通过总线203连接。

存储器201用于存储计算机程序。

处理器202用于在计算机程序被执行时，实现上述方法实施例中的图像传感器的校正方法。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述方法实施例中的图像传感器的校正方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述方法实施例中的图像传感器的校正方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。