相机、黑电平调整方法及装置

文档序号:1642040 发布日期:2019-12-20 浏览:21次 >En<

阅读说明:本技术 相机、黑电平调整方法及装置 (Camera, black level adjusting method and device ) 是由 於敏杰 聂鑫鑫 罗丽红 于 2019-09-30 设计创作,主要内容包括:本申请实施例提供一种相机、黑电平调整方法及装置,该相机包括单个的图像传感器和处理芯片,图像传感器用于在第一工作模式下根据第一曝光参数生成并向处理芯片输出第一图像信号;处理芯片用于根据第一调整方式对第一图像信号进行黑电平调整,得到第一调整信号;图像传感器还用于在第二工作模式下通过多次曝光交替生成并向处理芯片输出第二图像信号和第三图像信号;处理芯片还用于根据第二调整方式对第二图像信号进行黑电平调整,得到第二调整信号;根据第三调整方式对第三图像信号进行黑电平调整,得到第三调整信号。本申请实施例能够解决在对多帧图像数据进行黑电平调整时出现图像画面跳跃严重的问题。(The embodiment of the application provides a camera, a black level adjusting method and a black level adjusting device, wherein the camera comprises a single image sensor and a processing chip, and the image sensor is used for generating and outputting a first image signal to the processing chip according to a first exposure parameter in a first working mode; the processing chip is used for carrying out black level adjustment on the first image signal according to a first adjustment mode to obtain a first adjustment signal; the image sensor is also used for alternately generating and outputting a second image signal and a third image signal to the processing chip through multiple exposures in a second working mode; the processing chip is further used for carrying out black level adjustment on the second image signal according to a second adjustment mode to obtain a second adjustment signal; and performing black level adjustment on the third image signal according to a third adjustment mode to obtain a third adjustment signal. The embodiment of the application can solve the problem that image picture jumping is serious when black level adjustment is carried out on multi-frame image data.)

相机、黑电平调整方法及装置

技术领域

本申请涉及图像处理技术领域,尤其涉及一种相机、黑电平调整方法及装置。

背景技术

图像传感器是一种将光信号转换为电子信号的设备,图像传感器获得的图像数据在生成数字图像之前,通常需要进行黑电平校准,来确定图像传感器的黑电平,从而获得阴影区域具有全对比和细微细节的数字图像。

现有的黑电平调整方法,对于每一帧图像传感器采集的图像数据,通常是在图像传感器内部进行黑电平调整,例如会将图像数据中的黑像素区域的黑电平求取平均值,得到图像数据的黑电平偏移值,然后根据该黑电平偏移值来对图像数据的有效像素区域进行黑电平调整。但是,现有的黑电平调整方法,在针对同一图像传感器采集的多路图像信号时,当多路图像信号的曝光条件不同的情况下,容易造成图像的黑电平调整不稳定的问题。

发明内容

本申请实施例提供一种相机、黑电平调整方法及装置,以解决现有技术在对多帧图像数据进行黑电平调整时容易出现黑电平调整不稳定的问题。

第一方面,本申请实施例提供一种相机,包括单个的图像传感器和处理芯片,所述图像传感器的输出端与所述处理芯片连接,其中:

所述图像传感器用于,在第一工作模式下根据第一曝光参数生成并向所述处理芯片输出第一图像信号;

所述处理芯片用于,在接收到所述第一图像信号时,根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

所述图像传感器还用于,在第二工作模式下通过多次曝光交替生成并向所述处理芯片输出第二图像信号和第三图像信号,其中,所述第二图像信号根据第二曝光参数生成,所述第三图像信号根据第三曝光参数生成;

所述处理芯片还用于,在接收到所述第二图像信号时,根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号;在接收到所述第三图像信号时,根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号;交替输出所述第二调整信号和第三调整信号。

在一种可能的实现方式中,还包括曝光参数控制单元,其中:

所述曝光参数控制单元用于,在所述第二工作模式下向所述图像传感器交替输出所述第二曝光参数和所述第三曝光参数。

在一种可能的实现方式中,所述第二曝光参数与所述第三曝光参数中至少一个曝光参数不同,所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种,所述曝光增益包括模拟增益,和/或,数字增益。

在一种可能的实现方式中,所述第一调整方式具体为:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号。

在一种可能的实现方式中,所述第二调整方式具体为:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

在一种可能的实现方式中,所述第三调整方式具体为:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

在一种可能的实现方式中,所述处理芯片还用于:

在所述第一工作模式下对所述第一调整信号进行处理,得到并输出第一处理图像;

在所述第二工作模式下,对所述第二调整信号进行处理,得到并输出第二处理图像,对所述第三调整信号进行处理,得到并输出第三处理图像;或者,在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

第二方面,本申请实施例提供一种黑电平调整方法,应用于相机,所述相机包括单个的图像传感器和处理芯片,所述图像传感器的输出端与所述处理芯片连接,所述方法包括:

通过所述图像传感器在第一工作模式下根据第一曝光参数生成第一图像信号,并通过所述处理芯片根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

通过所述图像传感器在第二工作模式下通过多次曝光交替生成第二图像信号和第三图像信号,其中,第二图像信号根据第二曝光参数生成,第三图像信号根据第三曝光参数生成;通过所述处理芯片根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号;通过所述处理芯片根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号;通过所述处理芯片交替输出所述第二调整信号和所述第三调整信号。

在一种可能的实现方式中,所述相机还包括曝光参数控制单元,所述方法还包括:

在所述第二工作模式下通过所述曝光参数控制单元向所述图像传感器交替输出所述第二曝光参数和所述第三曝光参数;

在一种可能的实现方式中,所述通过所述处理芯片根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号,包括:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号

在一种可能的实现方式中,所述通过所述处理芯片根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号,包括:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平值信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

在一种可能的实现方式中,所述通过所述处理芯片根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号,包括:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

在一种可能的实现方式中,所述方法还包括:

通过所述处理芯片在所述第一工作模式下对所述第一调整信号进行处理,得到并输出第一处理图像;

通过所述处理芯片在所述第二工作模式下,对所述第二调整信号进行处理,得到并输出第二处理图像,对所述第三调整信号进行处理,得到并输出第三处理图像;或者,在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

第三方面,本申请实施例提供一种黑电平调整装置,包括:

第一处理模块,用于在图像传感器处于第一工作模式下时,接收第一图像信号,并根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

第二处理模块,用于在所述图像传感器处于第二工作模式下时,交替接收第二图像信号和第三图像信号,在接收到所述第二图像信号时根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号,在接收到所述第三图像信号时根据第三调整方式对所述第三调整信号进行黑电平调整,得到第三调整信号,并交替输出所述第二调整信号和第三调整信号。

在一种可能的实现方式中,所述第一处理模块具体用于:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号。

在一种可能的实现方式中,所述第二处理模块具体用于:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平值信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

在一种可能的实现方式中,所述第二处理模块具体用于:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

在一种可能的实现方式中,还包括第三处理模块,所述第三处理模块用于:

在所述第一工作模式下对所述第一调整信号进行处理,得到并输出第一处理图像;

在所述第二工作模式下,对所述第二调整信号进行处理,得到并输出第二处理图像,对所述第三调整信号进行处理,得到并输出第三处理图像;或者,在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

本申请实施例提供的相机、黑电平调整方法及装置,其中相机包括单个的图像传感器和处理芯片,图像传感器的输出端与处理芯片连接,相机包括两种工作模式,在第一工作模式下,图像传感器根据第一曝光参数生成并向处理芯片输出第一图像信号,处理芯片在接收到所述第一图像信号时,根据第一调整方式对第一图像信号进行黑电平调整,得到第一调整信号;在第二工作模式下,图像传感器根据第二曝光参数生成并向处理芯片输出第二图像信号,根据第三曝光参数生成并向处理芯片输出第三图像信号;处理芯片在接收到第二图像信号时,根据第二调整方式对第二图像信号进行黑电平调整,得到第二调整信号;在接收到第三图像信号时,根据第三调整方式对第三图像信号进行黑电平调整,得到第三调整信号。本申请实施例提供的相机,在不同的条件下可相应调整相机所处的工作模式,当相机处于第二工作模式时,针对图像传感器产生的多帧第二图像信号和第三图像信号,在进行黑电平调整时,首先将第二图像信号和第三图像信号区分开,然后分别针对第二图像信号和第三图像信号根据不同的调整方式来进行黑电平调整处理,避免了现有方案将黑电平调整处理设置在图像传感器中进行,在对图像信号进行黑电平调整时,针对不同曝光参数下的图像信号,分别根据相应的调整方式进行黑电平调整处理,使得多路图像信号分开进行调整,使得图像的黑电平调整更加稳定。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种相机的结构示意图;

图2为本申请实施例提供的图像传感器的靶面示意图;

图3为本申请实施例提供的相机工作原理示意图;

图4为本申请实施例提供的RGBW传感器的感光通道分布方式示意图;

图5为本申请实施例提供的Bayer传感器的感光通道分布方式示意图;

图6为本申请实施例提供的RGB-IR传感器的感光通道分布方式示意图;

图7为本申请实施例提供的RGBW传感器的感应曲线示意图;

图8为本申请又一实施例提供的相机的结构示意图;

图9为本申请实施例提供的第一工作模式下图像传感器的曝光顺序示意图;

图10为本申请实施例提供的第二工作模式下图像传感器的曝光顺序示意图一;

图11为本申请实施例提供的第二工作模式下图像传感器的曝光顺序示意图二;

图12为本申请实施例提供的第一工作模式下的黑电平调整处理示意图;

图13为本申请实施例提供的多个第一图像信号的区分示意图;

图14为本申请实施例提供的第二工作模式下的黑电平调整处理示意图一;

图15为本申请实施例提供的第二工作模式下的黑电平调整处理示意图二;

图16为本申请实施例提供的相机处理示意图一;

图17为本申请实施例提供的相机处理示意图二;

图18为本申请实施例提供的相机处理示意图三;

图19为本申请实施例提供的相机处理示意图四;

图20为本申请实施例提供的黑电平调整方法的流程示意图;

图21为本申请实施例提供的黑电平调整装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

首先对本申请中涉及到的部分名词概念进行解释说明。

黑像素区域:图像传感器中,通常存在一些遮黑的像素,这些像素无法接收到外界光的能量,通常用于黑电平统计。黑像素区域通常也称为暗像元(Optical Black,OB)区域、光学黑体区域、黑行、遮光区域、黑电平区域、黑电平基准像素等。

有效像素区域:图像传感器中,用于正常响应外界光能量的区域。

图1为本申请实施例提供的一种相机的结构示意图,如图1所示,相机10包括图像传感器11和处理芯片12,其中,

所述图像传感器11用于,在第一工作模式下根据第一曝光参数生成并向所述处理芯片输出第一图像信号;

所述处理芯片12用于,在接收到所述第一图像信号时,根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

所述图像传感器11还用于,在第二工作模式下通过多次曝光交替生成并向所述处理芯片输出第二图像信号和第三图像信号,其中,所述第二图像信号根据第二曝光参数生成,所述第三图像信号根据第三曝光参数生成;

所述处理芯片12还用于,在接收到所述第二图像信号时,根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号;在接收到所述第三图像信号时,根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号;交替输出所述第二调整信号和所述第三调整信号。

图像传感器11是一种感光设备,利用靶面进行感光。在图像传感器11的靶面上,一般包括黑像素区域和有效像素区域,且黑像素区域数据和有效像素区域数据能够输出。

图像传感器,支持两种工作模式,能够在两种工作模式间切换。在第一工作模式时,根据第一曝光参数,采集并输出第一图像信号。在第二工作模式时,能够通过多次曝光在一段时间内同时采集并输出第二图像信号和第三图像信号,其中第二图像信号根据第二曝光参数产生,第三图像信号根据第三曝光参数产生。

上述第一图像信号、第二图像信号和第三图像信号中既包含黑像素区域数据,也包含有效像素区域数据。

第二曝光参数和第三曝光参数可以采用相同的曝光参数,也可以采用不同的曝光参数。曝光参数包括且不限于曝光时间、模拟增益、数字增益等。当第二曝光参数与第三曝光参数采用不同曝光参数时,通常是指增益以及曝光时间不同。

图2为本申请实施例提供的图像传感器的靶面示意图,如图2示出了两种较为常见的图像传感器11的靶面上黑像素区域和有效像素区域的分布。

在靶面21上,包括黑像素区域211和有效像素区域212,且靶面21上的黑像素区域211分布在有效像素区域212的四周。在靶面22上,包括黑像素区域221和有效像素区域222,且靶面22上的黑像素区域221分布在有效像素区域222上方。

在本申请实施例中,可通过不同的方法来防止光到达图像传感器11的靶面,使得图像传感器11的对应区域无法感应到光线来实现,而该区域即为图像传感器11的黑像素区域。具体的,可使用不透光的材料,例如金属、挡板等,挡住图像传感器11的靶面中的一行或多行、一列或多列的像素,使得靶面中的一行或多行、一列或多列的像素区域无光线通过,该区域即为黑像素区域,而除去黑像素区域以外的区域即为有效像素区域,有效像素区域可正常感光。

可以理解的是,上述设置黑像素区域的方法仅仅是一种举例,其他可设置图像传感器11靶面的部分区域不感光从而使得图像传感器11形成黑像素区域的方法也能够达到类似的效果。同时,图2中示出的黑像素区域的分布仅仅是一种示意,具体的分布可根据实际需要设定,可设定任意形状大小和任意区域的黑像素区域。

当图像传感器11的靶面上的黑像素区域上没有光线通过时,理论上黑像素区域的像素值应当是0,但是由于部分因素,会导致黑像素区域的黑电平值不为0,此时需要进行黑电平校正。

本申请实施例中的相机,包括两种工作模式,分别是第一工作模式和第二工作模式。图3为本申请实施例提供的相机工作原理示意图,如图3所示,主要包括图像采集单元和黑电平调整单元,其中图像采集单元用于进行图像采集,生成图像信号,图像采集单元除了包括图像传感器外,还可以包括镜头。黑电平调整单元为处理芯片的一部分,用于对图像信号进行黑电平调整。黑电平调整单元是一个包含信号处理算法或程序的逻辑平台,该平台可以是基于X86或ARM架构的计算机,也可以是现场可编程门阵列(Field-ProgrammableGate Array,简称FPGA)逻辑电路。

本申请实施例提供的方案,包括两种工作模式,且支持两种模式的相互和联动切换,其中联动切换是指当图像采集单元处于第一工作模式时,黑电平调整单元切换至相应的第一工作模式;当图像采集单元处于第二工作模式时,黑电平调整单元切换至相应的第二工作模式,即,在工作模式切换时,图像采集单元和黑电平调整单元能够同时切换到相应的工作模式,以协同工作。

图像采集单元在第一工作模式时,能够在某一曝光条件下多次曝光并输出第一图像信号;在第二工作模式时,能够通过分时多次曝光采集并输出两种图像信号。

黑电平调整单元,在第一工作模式时,能够对第一图像信号进行黑电平调整,并输出第一调整信号;在第二工作模式时,黑电平调整单元能够对第二图像信号和第三图像信号分别进行黑电平调整,并输出第二调整信号和第三调整信号。黑电平调整单元通过统计黑像素区域并计算获得图像的黑电平偏移值,从而调整有效像素区域的黑电平,保证图像亮度、色彩等能够真实反映环境状况。

第一工作模式时,图像采集单元采集到第一图像信号,传输给黑电平调整单元进行处理,黑电平调整单元对第一图像信号进行处理,输出第一调整信号;第二工作模式时,图像采集单元采集到第二图像信号和第三图像信号,传输给黑电平调整单元进行处理,黑电平调整单元对第二图像信号和第三图像信号进行处理,输出第二调整信号和第三调整信号。

图像采集单元,主要是指图像传感器,在第二工作模式时,通过多次曝光采集到第二图像信号和第三图像信号。其中,所述第二图像信号根据第二曝光条件产生,所述第三图像信号根据第三曝光条件产生。黑电平调整单元在第一工作模式时,能够对第一图像信号进行黑电平调整处理,黑电平调整单元在第二工作模式时,能够分别对第二图像信号和第三图像信号进行黑电平调整处理。

在第一工作模式下,图像采集单元根据第一曝光参数生成第一图像信号,并发送给处理芯片12中的黑电平调整单元,黑电平调整单元根据第一调整方式对第一图像信号进行黑电平调整,得到第一调整信号。由于图像传感器11的靶面包括黑像素区域和有效像素区域,因此第一图像信号中包括第一图像信号对应的黑像素区域和第一图像信号对应的有效像素区域。第一图像信号可以是一个视频序列中的多个图像信号中的一个,该视频序列中的多个图像信号是在同一曝光条件下由图像传感器11产生的,即对应的曝光参数为第一曝光参数。

在第二工作模式下,图像采集单元根据第二曝光参数生成第二图像信号并发送给处理芯片12中的黑电平调整单元,还根据第三曝光参数生成第三图像信号并发送给处理芯片12中的黑电平调整单元,黑电平调整单元根据第二调整方式对第二图像信号进行黑电平调整,得到第二调整信号,并根据第三调整方式对第三图像信号进行黑电平调整,得到第三调整信号。其中第二图像信号可以属于第二视频序列中的多个图像信号中的一个,第三图像信号可以属于第三视频序列中的多个图像信号中的一个。

黑电平调整通常是设置一个偏移值,然后根据该偏移值来对图像信号进行调整。处理芯片12在收到第一图像信号后,针对每个当前帧第一图像信号,获取当前帧第一图像信号对应的黑像素区域的黑电平和历史帧第一图像信号对应的黑像素区域的黑电平信息。其中,当前帧第一图像信号对应的黑像素区域的黑电平即为当前帧第一图像信号上对应的黑像素区域的每个像素点的黑电平,若第一图像信号有多个感光通道,则需要获取每个感光通道上的黑电平。历史帧第一图像信号是当前帧第一图像信号的前一帧第一图像信号,与当前帧第一图像信号有一定的关联性,例如当前帧第一图像信号与历史帧第一图像信号可以是同一个视频序列中的两帧图像信号。而历史帧第一图像信号对应的黑像素区域的黑电平信息可以是历史帧第一图像信号对应的黑像素区域的黑电平,也可以是历史帧第一图像信号的黑电平偏移量。

然后,在第一工作模式下,第一调整方式可以为,处理芯片12根据当前帧第一图像信号对应的黑像素区域的黑电平和历史帧第一图像信号对应的黑像素区域的黑电平信息,得到当前帧第一图像信号的黑电平偏移量,根据当前帧第一图像信号的黑电平偏移量来对当前帧第一图像信号的有效像素区域进行黑电平调整处理,得到第一调整信号。

在第二工作模式下,处理芯片12会将第二图像信号和第三图像信号分开进行处理。在对第二图像信号处理时,第二调整方式可以为,采用当前帧第二图像信号对应的黑像素区域的黑电平和历史帧第二图像信号对应的黑像素区域的黑电平信息对当前帧第二图像信号进行黑电平调整处理,同样的,在对第三图像信号处理时,第三调整方式可以为,采用当前帧第三图像信号对应的黑像素区域的黑电平和历史帧第三图像信号对应的黑像素区域的黑电平信息对当前帧第三图像信号进行黑电平调整处理。

本申请实施例提供的相机,包括单个的图像传感器和处理芯片,图像传感器的输出端与处理芯片连接,相机包括两种工作模式,在第一工作模式下,图像传感器根据第一曝光参数生成并向处理芯片输出第一图像信号,处理芯片在接收到所述第一图像信号时,根据第一调整方式对第一图像信号进行黑电平调整,得到第一调整信号;在第二工作模式下,图像传感器根据第二曝光参数生成并向处理芯片输出第二图像信号,根据第三曝光参数生成并向处理芯片输出第三图像信号;处理芯片在接收到第二图像信号时,根据第二调整方式对第二图像信号进行黑电平调整,得到第二调整信号;在接收到第三图像信号时,根据第三调整方式对第三图像信号进行黑电平调整,得到第三调整信号。本申请实施例提供的相机,在不同的条件下可相应调整相机所处的工作模式,当相机处于第二工作模式时,针对图像传感器产生的多帧第二图像信号和第三图像信号,在进行黑电平调整时,首先将第二图像信号和第三图像信号区分开,然后分别针对第二图像信号和第三图像信号根据不同的调整方式来进行黑电平调整处理,避免了现有方案将黑电平调整处理设置在图像传感器中进行,在对图像信号进行黑电平调整时,针对不同曝光参数下的图像信号,分别根据相应的调整方式进行黑电平调整处理,使得多路图像信号分开进行调整,使得图像的黑电平调整更加稳定。

下面结合图4,并采用具体的实施例,对该相机的原理和使用方案进行详细说明。

首先对图像传感器进行解释说明。本申请中的图像传感器包括多个感光通道,每个感光通道用于感应可见光波段的光,和/或,感应近红外波段的光。也即是,每个感光通道能感应可见光波段的光,又能感应近红外波段的光,这样,可以保证第一图像信号中具有完整的分辨率,不缺失像素值。

示例性地,图像传感器可以为RGBW传感器、Bayer传感器或RGB-IR传感器,也可以采用其他排列方式的传感器。图4为本申请实施例提供的RGBW传感器的感光通道分布方式示意图,图5为本申请实施例提供的Bayer传感器的感光通道分布方式示意图,图6为本申请实施例提供的RGB-IR传感器的感光通道分布方式示意图,如图4和图5所示,RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图4,Bayer传感器中的R感光通道、G感光通道、B感光通道的分布方式可以参见图5。示例地,图像传感器可以为RGB-IR传感器,其中,RGB-IR传感器中的每个IR感光通道都可以感应近红外波段的光,而不感应可见光波段的光。RGB-IR传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图6。

在另一些实施例中,有些感光通道也可以仅感应近红外波段的光,而不感应可见光波段的光,这样,可以保证第一图像信号中具有完整的分辨率,不缺失像素值。作为一种示例,该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中,R感光通道用于感应红光波段和近红外波段的光,G感光通道用于感应绿光波段和近红外波段的光,B感光通道用于感应蓝光波段和近红外波段的光,IR感光通道用于感应近红外波段的光。

进一步的,图像传感器还可以为RGB传感器,其中,当图像传感器为RGB传感器时,相比于其他图像传感器,如RGB-IR传感器等,RGB传感器采集的RGB信息更完整,RGB-IR传感器有一部分的感光通道采集不到可见光,所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是,图像传感器包括的多个感光通道可以对应多条感应曲线。图7为本申请实施例提供的RGBW传感器的感应曲线示意图,示例性地,参见图7,以图像传感器为RGBW传感器为例,图7中的R曲线代表图像传感器对红光波段的光的感应曲线,G曲线代表图像传感器对绿光波段的光的感应曲线,B曲线代表图像传感器对蓝光波段的光的感应曲线,W曲线代表图像传感器感应全波段的光的感应曲线。

图像传感器在不同的曝光参数下产生不同的图像信号。示例性的,该相机的工作模式可包括两种,分别为第一工作模式和第二工作模式。在第一工作模式下,图像传感器根据第一曝光参数生成多帧第一图像信号,依次发送给处理芯片。在第二工作模式下,图像传感器根据第二曝光参数生成多帧第二图像信号,根据第三曝光参数生成第三图像信号,其中,图像传感器在第二工作模式下,通过多次曝光交替产生第二图像信号和第三图像信号,并向处理芯片交替输出第二图像信号和第三图像信号。处理芯片对第二图像信号和第三图像信号分别进行黑电平调整,交替输出第二调整信号和第三调整信号。

图8为本申请又一实施例提供的相机的结构示意图,如图8所示,相机80包括图像传感器81、处理芯片82、曝光参数控制单元83和补光器84,其中,曝光参数控制单元83用于在第二工作模式下向图像传感器81交替输出第二曝光参数和第三曝光参数,补光器84用于在图像传感器81处于第二工作模式时进行补光。

进一步的,本申请实施例提供的相机还可以包括滤光组件86,滤光组件86包括第一滤光片、第二滤光片和切换部件,第一滤光片使可见光和部分近红外光通过,第一滤光片和所述第二滤光片均与切换部件连接,切换部件用于将第二滤光片切换到图像传感器81的入光侧。

在第二滤光片切换到图像传感器81的入光侧之后,第二滤光片使可见光波段的光通过,阻挡近红外光波段的光,图像传感器81用于通过曝光产生并输出第三图像信号。

在图像传感器81之前,还包括镜头85,在补光器84进行补光时,通过镜头85的光线包括环境光和补光,补光包括可见光补光和近红外补光。

在一些实施例中,补光器84具体用于进行近红外补光,具体的,至少在图像传感器81根据第三曝光参数进行曝光的部分时间段内进行近红外补光。

在另一些实施例中,补光器84具体用于进行可见光补光,具体的,至少在图像传感器81根据第二曝光参数进行曝光的部分时间段内进行可见光补光。

图像传感器81位于滤光组件86的出光侧。在第二工作模式下,图像传感器81用于通过多次曝光产生并输出第二图像信号和第三图像信号。其中,第二图像信号是根据第二曝光参数产生的图像信号,第三图像信号是根据第三曝光参数产生的图像信号。补光器84包括第一补光装置841,第一补光装置841用于进行近红外补光,其中,至少在图像传感器81根据第三曝光参数进行曝光的部分时间段内进行近红外补光。滤光组件86包括第一滤光片,第一滤光片使可见光波段的光和近红外光波段的光通过,其中,第一补光装置841进行近红外光补光时通过第一滤光片的近红外光的强度高于第一补光装置841未进行近红外补光时通过第一滤光片的近红外光的强度。

在本申请实施例中,还可以包括镜头85,此时,滤光组件86可以位于镜头85和图像传感器81之间,且图像传感器81位于滤光组件86的出光侧。或者,镜头85位于滤光组件86与图像传感器81之间,且图像传感器81位于镜头85的出光侧。作为一种示例,第一滤光片可以是滤光薄膜,这样,当滤光组件86位于镜头85和图像传感器81之间时,第一滤光片可以贴在镜头85的出光侧的表面,或者,当镜头85位于滤光组件86与图像传感器81之间时,第一滤光片可以贴在镜头85的入光侧的表面。

需要说明的一点是,补光器84可以位于图像采集单元内,也可以位于图像采集单元的外部。补光器84可以为图像采集单元的一部分,也可以为独立于图像采集单元的一个器件。当补光器84位于图像采集单元的外部时,补光器84可以与图像采集单元进行通信连接,从而可以保证图像采集单元中的图像传感器81的曝光时序与补光器84包括的第一补光装置841的近红外补光时序存在一定的关系,如至少在第三曝光参数的部分曝光时间段内进行近红外补光,在第二曝光参数的曝光时间段内不进行近红外补光。

另外,第一补光装置841为可以发出近红外光的装置,例如近红外补光灯等,第一补光装置841可以以频闪方式进行近红外补光,也可以以类似频闪的其他方式进行近红外补光,本申请实施例对此不做限定。在一些示例中,当第一补光装置841以频闪方式进行近红外补光时,可以通过手动方式来控制第一补光装置841以频闪方式进行近红外补光,也可以通过软件程序或特定设备来控制第一补光装置841以频闪方式进行近红外补光,本申请实施例对此不做限定。其中,第一补光装置841进行近红外补光的时间段可以与第三曝光参数的曝光时间段重合,也可以大于第三曝光参数的曝光时间段或者小于第三曝光参数的曝光时间段,只要在第三曝光参数的整个曝光时间段或者部分曝光时间段内进行近红外补光,而在第二曝光参数的曝光时间段内不进行近红外补光即可。

需要说明的是,第二曝光参数的曝光时间段内不进行近红外补光,对于全局曝光方式来说,第二曝光参数的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段,对于卷帘曝光方式来说,第二曝光参数的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段,但并不局限于此。例如,第二曝光参数的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段,目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像,这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二曝光参数的曝光时间段。

需要说明的另一点是,由于第一补光装置841在对外部场景进行近红外补光时,入射到物体表面的近红外光可能会被物体反射,从而进入到第一滤光片031中。并且由于通常情况下,环境光可以包括可见光和近红外光,且环境光中的近红外光入射到物体表面时也会被物体反射,从而进入到第一滤光片031中。因此,在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置841进行近红外补光时经物体反射进入第一滤光片031的近红外光,在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置841未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是,在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置841发出的且经物体反射后的近红外光,以及环境光中经物体反射后的近红外光,在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。

在一种可能的实现方式中,参见图6,补光器84还可以包括第二补光装置842,第二补光装置842用于进行可见光补光。在一些实施例中,第二补光装置842可以用于以常亮方式进行可见光补光;或者,第二补光装置842可以用于以频闪方式进行可见光补光,其中,至少在第二曝光参数的部分曝光时间段内存在可见光补光,或者,第二补光装置842可以用于以频闪方式进行可见光补光,其中,在第二曝光参数的部分曝光时间段内存在可见光补光。

在一些实施例中,上述多次曝光是指一个帧周期内的多次曝光,也即是,图像传感器81在一个帧周期内进行多次曝光,从而产生并输出至少一帧第二图像信号和至少一帧第三图像信号。例如,1秒内包括25个帧周期,图像传感器81在每个帧周期内进行多次曝光,从而产生至少一帧第二图像信号和至少一帧第三图像信号,将一个帧周期内产生的第二图像信号和第三图像信号称为一组图像信号,这样,25个帧周期内就会产生25组图像信号。其中,第二曝光参数和第三曝光参数可以是一个帧周期内相邻的两次曝光的曝光参数,也可以是一个帧周期内多次曝光中不相邻的两次曝光的曝光参数,本申请实施例对此不做限定。

通过上述设置,在处于白天或光照强度较好的情况下,相机80可处于第一工作模式下,图像传感器81在第一曝光参数下生成第一图像信号,由处理芯片82对第一图像信号进行黑电平调整,得到第一调整信号。

在处于黑夜或其他光照强度较差的情况下,相机80可处于第二工作模式下,图像传感器81在第二曝光参数下生成第二图像信号,在第三曝光参数下生成第三图像信号,其中在第二曝光参数下的部分时间段通过补光器84进行可见光补光,在第三曝光参数下的部分时间段通过补光器84进行近红外补光,来提高极低照度下的成像质量。其中,图像传感器81在第二工作模式下通过多次曝光交替产生并向处理芯片82输出第二图像信号和第三图像信号,处理芯片82在第二工作模式下对第二图像信号和第三图像信号分别进行黑电平调整,交替产生并输出第二调整信号和第三调整信号。

图9为本申请实施例提供的第一工作模式下图像传感器的曝光顺序示意图,如图9所示,在第一工作模式下,图像传感器采用第一曝光参数,产生多帧第一图像信号,然后将多帧第一图像信号发送给处理芯片,处理芯片依次对多帧第一图像信号进行处理。在对多帧第一图像信号进行处理时,对于每一当前帧第一图像信号,处理芯片会根据当前帧第一图像信号对应的黑像素区域的黑电平,和当前帧第一图像信号的前一帧第一图像信号对应的黑像素区域的黑电平信息,来对当前帧第一图像信号的黑电平进行调整处理。

图10为本申请实施例提供的第二工作模式下图像传感器的曝光顺序示意图一,图11为本申请实施例提供的第二工作模式下图像传感器的曝光顺序示意图二,如图10和11所示,在第二工作模式下,图像传感器采用第二曝光参数产生多帧第二图像信号,采用第三曝光参数产生多帧第三图像信号。在图10中,图像传感器在第二曝光参数和第三曝光参数下,交错进行曝光,并交错输出第二图像信号和第三图像信号。在图11中,图像传感器根据第二曝光参数曝光两次,输出两帧第二图像信号,而后根据第三曝光参数曝光,输出一帧第三图像信号,并重复这一曝光过程。

图10和图11中的两种曝光方式仅仅为一种举例,图像传感器也可以采用其他组合方式进行曝光。例如,多次曝光可以包括奇数次曝光和偶数次曝光,这样,第二曝光参数和第三曝光参数对应的曝光可以包括但不限于如下几种方式:

第一种可能的实现方式,第二曝光参数对应的曝光为奇数次曝光中的一次曝光,第三曝光参数对应的曝光为偶数次曝光中的一次曝光。这样,多次曝光可以包括按照奇偶次序排列的第二曝光参数对应的曝光和第三曝光参数对应的曝光。例如,多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二曝光参数对应的曝光,第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第三曝光参数对应的曝光。

第二种可能的实现方式,第二曝光参数对应的曝光为偶数次曝光中的一次曝光,第三曝光参数对应的曝光为奇数次曝光中的一次曝光,这样,多次曝光可以包括按照奇偶次序排列的第二曝光参数对应的曝光和第三曝光参数对应的曝光。例如,多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第三曝光参数对应的曝光,第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二曝光参数对应的曝光。

第三种可能的实现方式,第二曝光参数对应的曝光为指定的奇数次曝光中的一次曝光,第三曝光参数对应的曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光,也即是,第三曝光参数对应的曝光可以为多次曝光中的奇数次曝光,也可以为多次曝光中的偶数次曝光。

第四种可能的实现方式,第二曝光参数对应的曝光为指定的偶数次曝光中的一次曝光,第三曝光参数对应的曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光,也即是,第三曝光参数对应的曝光可以为多次曝光中的奇数次曝光,也可以为多次曝光中的偶数次曝光。

第五种可能的实现方式,第二曝光参数对应的曝光为第一曝光序列中的一次曝光,第三曝光参数对应的曝光为第二曝光序列中的一次曝光。

第六种可能的实现方式,第二曝光参数对应的曝光为第二曝光序列中的一次曝光,第三曝光参数对应的曝光为第一曝光序列中的一次曝光。

其中,上述多次曝光包括多个曝光序列,第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列,每个曝光序列包括N次曝光,该N次曝光包括1次第二曝光参数对应的曝光和N-1次第三曝光参数对应的曝光,或者,该N次曝光包括1次第三曝光参数对应的曝光和N-1次第二曝光参数对应的曝光,N为大于2的正整数。

例如,每个曝光序列包括3次曝光,这3次曝光可以包括1次第二曝光参数对应的曝光和2次第三曝光参数对应的曝光,这样,每个曝光序列的第1次曝光可以为第二曝光参数对应的曝光,第2次和第3次曝光为第三曝光参数对应的曝光。也即是,每个曝光序列可以表示为:第二曝光参数对应的曝光、第三曝光参数对应的曝光、第三曝光参数对应的曝光。或者,这3次曝光可以包括1次第三曝光参数对应的曝光和2次第二曝光参数对应的曝光,这样,每个曝光序列的第1次曝光可以为第三曝光参数对应的曝光,第2次和第3次曝光为第二曝光参数对应的曝光。也即是,每个曝光序列可以表示为:第三曝光参数对应的曝光、第二曝光参数对应的曝光、第二曝光参数对应的曝光。

上述仅提供了六种第二曝光参数对应的曝光和第三曝光参数对应的曝光的可能的实现方式,实际应用中,不限于上述六种可能的实现方式,本申请实施例对此不做限定。

曝光参数指的是采集图像时采用的曝光参数,在图像传感器处于第二工作模式时,第二曝光参数与第三曝光参数中的至少一个曝光参数不同,其中,至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种,曝光增益包括模拟增益,和/或,数字增益。曝光时间是指图像传感器的各个像素点的感光时间,例如,若图像传感器为相机,则曝光时间指的是相机的快门打开到关闭的时间间隔。曝光时间的长短影响进光量的大小,当光线较强时,曝光时间可设置较短,当光线较暗时,可适当延长曝光时间,提高进光量。

增益分为模拟增益和数字增益,模拟增益是指将图像传感器输出的电信号进行放大,数字增益是指完成模数转换后,将得到的数字信号放大。调节增益时,能够调整输出的图像的亮度,增益越大,则图像亮度越高,但同时噪声也会越大,造成颗粒增加,输出画面较模糊。光圈大小也能够控制进光量的大小,光圈较大时进光量较多,反之则进光量较少。

第二曝光参数和第三曝光参数条件中的曝光参数至少有一个不同,其中也可以有一个或多个曝光参数相同。第一曝光参数条件与第二曝光参数条件可以相同也可以不同,第一曝光参数与第三曝光参数可以相同也可以不同。

得到第一图像信号、第二图像信号和第三图像信号后,需要对其进行黑电平调整处理,下面将结合图12-图15对该过程进行说明。

当相机处于第一工作模式时,第一调整方式具体为:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平值信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号。

下面将以图像传感器为RGBW传感器为例、以第一调整方式为例,进行黑电平调整处理的说明,其中,RGBW传感器包括四个感光通道,分别是R感光通道、G感光通道、B感光通道和W感光通道。

图12为本申请实施例提供的第一工作模式下的黑电平调整处理示意图,如图12所示,具体步骤为:

S1:对于输入的当前帧第一图像信号,分别统计各个感光通道对应的黑像素区域的黑电平,获得当前帧第一图像信号的各个感光通道的黑电平统计值。

其中,统计可以采用求平均、求中值、加权平均或类似处理中的一种或多种组合。

S2:从存储器中取出历史帧第一图像信号的各个感光通道的黑电平值,若当前帧第一图像信号为第一帧,则存储器中存放预先设置的黑电平值,其中,历史帧第一图像信号为当前帧第一图像信号的前一帧第一图像信号,当前帧第一图像信号为处理芯片正在处理的第一图像信号。

S3:根据预设条件对当前帧第一图像信号的各个感光通道的黑电平统计值和历史帧第一图像信号的各个感光通道的黑电平值进行混合处理,获得当前帧第一图像信号的各个感光通道的黑电平值,并放入存储器中,供下一帧第一图像信号使用。

其中,预设条件可以是加权系数、选择信号、传感器模拟增益、数字增益、曝光时间、温度、与上一帧的偏差等中的一种或多种组合,混合处理可以是加权平均或选择。

S4:根据第一目标黑电平值和当前帧第一图像信号的各个感光通道的黑电平值,计算当前帧第一图像信号的各个感光通道的黑电平偏移量。

其中,第一目标黑电平值为预设的参数,不小于0,是用于将整体图像信号的黑电平调整至这一目标值,计算当前帧第一图像信号的各个感光通道的黑电平偏移量,可以是用当前帧第一图像信号的各个感光通道的黑电平值与第一目标黑电平值相减。

S5:将当前帧第一图像信号的各个感光通道的黑电平偏移量作用于当前帧第一图像信号,达到修正黑电平偏移的作用。

将当前帧第一图像信号的各个感光通道的黑电平偏移量作用于当前帧第一图像信号,是指将当前帧第一图像信号的黑电平值加上或减去黑电平偏移量。

下面以一个实例进行说明。

首先,对于输入的第一图像信号中的黑像素区域,对RGBW四个通道数据值分别求取均值(也可以先对黑像素区域进行中值滤波等去噪处理后再求均值),获得当前帧第一图像信号的各个感光通道对应的黑电平统计值,其中,当前帧第一图像信号的R感光通道的黑电平统计值为hist_R,当前帧第一图像信号的G感光通道的黑电平统计值为hist_G,当前帧第一图像信号的B感光通道的黑电平统计值为hist_B,当前帧第一图像信号的W感光通道的黑电平统计值为hist_W。

其次,从存储器中取出历史帧第一图像信号的各个感光通道的黑电平值,其中,历史帧第一图像信号的R感光通道的黑电平值为blc_pre_R,历史帧第一图像信号的G感光通道的黑电平值为blc_pre_G,历史帧第一图像信号的B感光通道的黑电平值为blc_pre_B,历史帧第一图像信号的W感光通道的黑电平值为blc_pre_W,若当前帧第一图像信号为第一帧,则存储器中预先设置一组黑电平值。

再次,根据预先配置的权重值weight对当前帧第一图像信号的各个感光通道对应的黑电平统计值和历史帧第一图像信号的各个感光通道的黑电平值进行加权,获得当前帧第一图像信号的各个感光通道的黑电平值,并将当前帧第一图像信号的各个感光通道的黑电平值存入存储器中。

blc_cur_R=(1-weight)*blc_pre_R+weight*hist_R,

blc_cur_G=(1-weight)*blc_pre_G+weight*hist_G,

blc_cur_B=(1-weight)*blc_pre_W+weight*hist_B,

blc_cur_W=(1-weight)*blc_pre_W+weight*hist_W,

其中,blc_cur_R为当前帧第一图像信号的R感光通道的黑电平,blc_cur_G为当前帧第一图像信号的G感光通道的黑电平,blc_cur_B为当前帧第一图像信号的B感光通道的黑电平,blc_cur_W为当前帧第一图像信号的W感光通道的黑电平。

再次,根据第一目标黑电平值dst_R、dst_G、dst_B、dst_W和当前帧第一图像信号的各个感光通道的黑电平值计算当前帧第一图像信号的各个感光通道的黑电平偏移量。

blc_offset_cur_R=blc_cur_R-dst_R,

blc_offset_cur_G=blc_cur_G-dst_G,

blc_offset_cur_B=blc_cur_B-dst_B,

blc_offset_cur_W=blc_cur_W-dst_W,

其中,blc_offset_cur_R为当前帧第一图像信号的R感光通道的黑电平偏移量;

blc_offset_cur_G为当前帧第一图像信号的G感光通道的黑电平偏移量;

blc_offset_cur_B为当前帧第一图像信号的B感光通道的黑电平偏移量;

blc_offset_cur_W为当前帧第一图像信号的W感光通道的黑电平偏移量。

最后,将计算得到的当前帧第一图像信号的各个感光通道的黑电平偏移量作用于当前帧第一图像信号的有效像素区域数据值上,具体方式为用有效像素区域的各个感光通道数据值减去对应感光通道的黑电平偏移量,当结果小于0时,则置为0,得到当前帧第一图像信号对应的第一调整信号。

若相机处于第二工作模式下,则处理芯片需要对第二图像信号和第三图像信号分别进行处理。

首先处理芯片需要将二图像信号和第三图像信号进行区分,图13为本申请实施例提供的第二图像信号和第三图像信号的区分示意图,如图13所示,图像传感器根据第二曝光参数和第三曝光参数下的交替曝光交替产生第二图像信号和第三图像信号,然后处理芯片将图像传感器产生的图像序列进行逻辑区分,得到第二图像序列和第三图像序列,其中,第二图像序列中包括多帧第二图像信号,第三图像序列中包括多帧第三图像信号,然后处理芯片对于第二图像信号和第三图像信号分别进行处理。其中,第二调整方式具体为:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平值信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

第三调整方式具体为:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

其中历史帧第二图像信号的黑电平信息可以为历史帧第二图像信号的黑电平值,也可以为历史帧第二图像信号的黑电平偏移量,下面将针对这两种情况举例说明。

图14为本申请实施例提供的第二工作模式下的黑电平调整处理示意图一,如图14所示,处理芯片对于第二图像信号和第三图像信号的处理过程类似。

例如,对于第二图像信号,首先分别统计当前帧第二图像信号各个感光通道对应的黑像素区域的黑电平,获得当前帧第二图像信号的各个感光通道的黑电平统计值。

其中,统计可以采用求平均、求中值、加权平均或类似处理中的一种或多种组合。

然后,从存储器中取出历史帧第二图像信号的各个感光通道的黑电平值,若当前帧第二图像信号为第一帧,则存储器中存放预先设置的黑电平值。

其次,根据预设条件对当前帧第二图像信号的各个感光通道的黑电平统计值和历史帧第二图像信号的各个感光通道的黑电平值进行混合处理,获得当前帧第二图像信号的各个感光通道的黑电平值,并放入存储器中,供下一帧第二图像信号使用。

其中,预设条件可以是加权系数、选择信号、传感器模拟增益、数字增益、曝光时间、温度、与上一帧的偏差等中的一种或多种组合,混合处理可以是加权平均或选择。

再次,根据第二目标黑电平值和当前帧第二图像信号的各个感光通道的黑电平值,计算当前帧第二图像信号的各个感光通道的黑电平偏移量,第二目标黑电平值为预设的参数,不小于0,是用于将整体图像信号的黑电平调整至这一目标值,计算当前帧第二图像信号的各个感光通道的黑电平偏移量,可以是用当前帧第二图像信号的各个感光通道的黑电平值与第二目标黑电平值相减。

最后,将当前帧第二图像信号的各个感光通道的黑电平偏移量作用于当前帧第二图像信号,达到修正黑电平偏移的作用。

对于第三图像信号的处理过程与此类似,此处不再赘述。需要说明的是,对第二图像信号进行处理时,结合的是当前帧第二图像信号的上一帧第二图像信号对应的黑像素区域的黑电平值以及第二目标黑电平值,对第三图像信号进行处理时,结合的是当前帧第三图像信号的上一帧第三图像信号对应的黑像素区域的黑电平值以及第三目标黑电平值。

第二图像信号对应的黑像素区域的黑电平信息除了可以为第二图像信号的各个感光通道的黑电平值外,还可以是第二图像信号的各个感光通道的黑电平偏移量,对应的,处理芯片的处理过程也会相应的发生改变。

图15为本申请实施例提供的第二工作模式下的黑电平调整处理示意图二,如图15所示,对于第二图像信号,历史帧第二图像信号的黑电平信息为历史帧第二图像信号的黑电平偏移量,处理过程具体包括如下步骤:

首先,对于输入的当前帧第二图像信号的各个感光通道对于的黑像素区域,对RGBW四个通道数据值分别求取中值,获得当前帧第二图像信号的各个感光通道对应的黑电平统计值,其中,当前帧第二图像信号的R感光通道的黑电平统计值为hist_R,当前帧第二图像信号的G感光通道的黑电平统计值为hist_G,当前帧第二图像信号的B感光通道的黑电平统计值为hist_B,当前帧第二图像信号的W感光通道的黑电平统计值为hist_W;

然后,根据第二目标黑电平值dst_R、dst_G、dst_B、dst_W和当前帧第二图像信号的各个感光通道对应的黑电平统计值计算当前帧第二图像信号的各个感光通道的黑电平偏移量;

blc_offset_R=hist_R-dst_R,

blc_offset_G=hist_G-dst_G,

blc_offset_B=hist_B-dst_B,

blc_offset_W=hist_W-dst_W。

其次,从存储器中取出历史帧第二图像信号的各个感光通道的黑电平偏移量blc_offset_pre_R、blc_offset_pre_G、blc_offset_pre_B、blc_offset_pre_W,若当前帧第二图像信号为第一帧,则存储器中预先设置一组黑电平偏移量;

再次,计算当前帧第二图像信号的各个感光通道的黑电平偏移量与上一帧第二图像信号的各个感光通道的黑电平偏移量的差异,得到第二图像信号的各个感光通道的差异偏移量;

dif_offset_R=|blc_offset_R-blc_offset_pre_R|,

dif_offset_G=|blc_offset_G-blc_offset_pre_G|,

dif_offset_B=|blc_offset_B-blc_offset_pre_B|,

dif_offset_W=|blc_offset_W-blc_offset_pre_W|,

max_dif_offset=max(dif_offset_R,dif_offset_G,dif_offset_B,dif_offset_W)

其中,||表示求绝对值,max表示求最大值。

然后,根据当前帧第二图像信号的各个感光通道的差异偏移量和预设差异偏移量阈值dif_thr对黑电平偏移量进行计算,获得当前帧第二图像信号的各个感光通道的黑电平偏移量;

本步骤中,除了通过该方法获取当前帧第二图像信号的各个感光通道的黑电平偏移量,还可以按照模拟增益、数字增益、曝光时间、温度等作为条件进行加权或选择。

最后,将计算得到的当前帧第二图像信号的各个感光通道的黑电平偏移量作用于当前帧第二图像信号的有效像素区域数据值上,具体方式为用当前帧第二图像信号的有效像素区域的各通道数据值减去对应通道的当前帧黑电平偏移量,当结果小于0时,则置为0,得到第二调整信号。

对于第三图像信号可同样采用上述步骤进行处理,其中当前帧第三图像信号的上一帧图像信号为历史帧第三图像信号,在对第三图像信号进行黑电平调整时,相应的第二目标黑电平值需要替换为第三目标黑电平值,通过获取当前帧第三图像信号的各个感光通道对应的黑像素区域的黑电平以及当前帧第三图像信号的上一帧第三图像信号的各个感光通道的黑电平偏移量对当前帧第三图像信号进行黑电平调整处理,此处不再赘述。

根据上述步骤进行黑电平调整后,在第一工作模式下得到第一调整信号,在第二工作模式下得到第二调整信号和第三调整信号。进一步的,处理芯片可以包括黑电平调整单元和第一图像处理单元,其中黑电平调整单元用于将图像信号进行黑电平调整,得到相应的调整信号,第一图像处理单元用于根据相应的调整信号得到相应的处理信号。

图16为本申请实施例提供的相机处理示意图一,如图16所示,当相机处于第一工作模式时,图像传感器采集生成第一图像信号,并将第一图像信号发送给黑电平调整单元,黑电平调整单元对第一图像信号进行处理,生成第一调整信号,并将第一调整信号发送给第一图像处理单元,第一图像处理单元将第一调整信号进行处理,得到第一处理图像,第一图像处理单元对第一调整信号的处理包括但不限于降噪、增益、坏点校正、黑电平校正、色彩校正、亮度映射、锐化等的一个或多个。

当相机处于第二工作模式时,图像传感器采集生成第二图像信号和第三图像信号,并将第二图像信号和第三图像信号发送给黑电平调整单元,黑电平调整单元对第二图像信号进行处理,生成第二调整信号,对第三图像信号进行处理,生成第三调整信号,并将第二调整信号和第三调整信号发送给第一图像处理单元,第一图像处理单元将第二调整信号进行处理,得到第二处理图像,将第三调整信号进行处理,得到第三处理图像,第一图像处理单元对第二和第三调整信号的处理包括但不限于降噪、增益、坏点校正、黑电平校正、色彩校正、亮度映射、锐化等的一个或多个。

所述图像处理单元还用于:

在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

图17为本申请实施例提供的相机处理示意图二,如图17所示,当相机处于第二工作模式时,第一图像处理单元还用于对第二处理图像和第三处理图像进行融合处理,得到处理图像。

图18为本申请实施例提供的相机处理示意图三,如图18所示,进一步的,处理芯片还可以包括第二图像处理单元,当相机处于第一工作模式时,第二图像处理单元用于对第一图像信号进行处理,得到第一处理信号,并将第一处理信号发送给黑电平调整单元,黑电平调整单元用于对第一处理信号进行黑电平调整处理,得到第一调整信号,并将第一调整信号发送给第一图像处理单元,第一图像处理单元用于将第一调整信号处理得到第一处理图像。

当相机处于第二工作模式时,第二图像处理单元用于对第二图像信号进行处理,得到第二处理信号,对第三图像信号进行处理,得到第三处理信号,并将第二处理信号和第三处理信号发送给黑电平调整单元。黑电平调整单元用于对第二处理信号进行黑电平调整处理,得到第二调整信号,对第三处理信号进行黑电平调整处理,得到第三调整信号,并将第二调整信号和第三调整信号发送给第一图像处理单元。第一图像处理单元用于将第二调整信号处理得到第二处理图像,将第三调整信号处理得到第三处理图像。第二图像处理单元对图像信号的处理包括但不限于降噪、增益等的一个或多个。

图19为本申请实施例提供的相机处理示意图四,如图19所示,当相机处于第二工作模式时,第二图像处理单元对第二图像信号进行处理,得到第二处理信号,对第三图像信号进行处理,得到第三处理信号,然后经过黑电平调整单元分别得到第二调整信号和第三调整信号,第一图像处理单元还用于对第二调整信号和第三调整信号进行融合处理,得到处理图像。

本申请实施例提供的相机,包括单个的图像传感器和处理芯片,图像传感器的输出端与处理芯片连接,相机包括两种工作模式,在第一工作模式下,图像传感器根据第一曝光参数生成并向处理芯片输出第一图像信号,处理芯片在接收到所述第一图像信号时,根据第一调整方式对第一图像信号进行黑电平调整,得到第一调整信号;在第二工作模式下,图像传感器根据第二曝光参数生成并向处理芯片输出第二图像信号,根据第三曝光参数生成并向处理芯片输出第三图像信号;处理芯片在接收到第二图像信号时,根据第二调整方式对第二图像信号进行黑电平调整,得到第二调整信号;在接收到第三图像信号时,根据第三调整方式对第三图像信号进行黑电平调整,得到第三调整信号。本申请实施例提供的相机,在不同的条件下可相应调整相机所处的工作模式,当相机处于第一工作模式时,能够根据历史帧第一图像信号的黑电平信息对当前帧第一图像信号进行黑电平调整,当相机处于第二工作模式时,在进行黑电平调整时,首先将第二图像信号和第三图像信号区分开,然后分别针对第二图像信号和第三图像信号根据不同的调整方式来进行黑电平调整处理,其中根据历史帧第二图像信号对当前帧第二图像信号进行黑电平调整,并根据历史帧第三图像信号对当前帧第三图像信号进行黑电平调整,对每一帧图像信号进行处理时,充分利用了前一帧图像信号的黑电平信息,多帧图像信号之间相互关联,从而使得帧与帧之间的图像信号的黑电平调整具备相关性,避免在对多帧图像信号进行黑电平调整时容易出现的图像画面跳跃严重的问题,解决了对多帧图像信号进行黑电平调整时的不稳定性。

图20为本申请实施例提供的黑电平调整方法的流程示意图,该方法应用于相机,所述相机包括单个的图像传感器和处理芯片,所述图像传感器的输出端与所述处理芯片连接,如图20所示,所述方法包括:

S201,通过所述图像传感器在第一工作模式下根据第一曝光参数生成第一图像信号,并通过所述处理芯片根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

S202,通过所述图像传感器在第二工作模式下通过多次曝光交替生成第二图像信号和第三图像信号,其中,第二图像信号根据第二曝光参数生成,第三图像信号根据第三曝光参数生成;通过所述处理芯片根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号;通过所述处理芯片根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号;通过所述处理芯片交替输出所述第二调整信号和所述第三调整信号。

在一种可能的实现方式中,所述相机还包括曝光参数控制单元,所述方法还包括:

在所述第二工作模式下通过所述曝光参数控制单元向所述图像传感器交替输出所述第二曝光参数和所述第三曝光参数。

在一种可能的实现方式中,所述通过所述处理芯片根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号,包括:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号。

在一种可能的实现方式中,所述通过所述处理芯片根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号,包括:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平值信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

在一种可能的实现方式中,所述通过所述处理芯片根据第三调整方式对所述第三图像信号进行黑电平调整,得到第三调整信号,包括:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

在一种可能的实现方式中,所述方法还包括:

通过所述处理芯片在所述第一工作模式下对所述第一调整信号进行处理,得到并输出第一处理图像;

通过所述处理芯片在所述第二工作模式下,对所述第二调整信号进行处理,得到并输出第二处理图像,对所述第三调整信号进行处理,得到并输出第三处理图像;或者,在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

图21为本申请实施例提供的黑电平调整装置的结构示意图,如图21所示,包括第一处理模块211和第二处理模块212,其中:

第一处理模块211用于在图像传感器处于第一工作模式下时,接收第一图像信号,并根据第一调整方式对所述第一图像信号进行黑电平调整,得到第一调整信号;

第二处理模块212用于在所述图像传感器处于第二工作模式下时,交替接收第二图像信号和第三图像信号,在接收到所述第二图像信号时根据第二调整方式对所述第二图像信号进行黑电平调整,得到第二调整信号,在接收到所述第三图像信号时根据第三调整方式对所述第三调整信号进行黑电平调整,得到第三调整信号,并交替输出所述第二调整信号和第三调整信号。

在一种可能的实现方式中,所述第一处理模块211具体用于:

根据接收到的当前帧第一图像信号的黑电平统计值,以及接收到的历史帧第一图像信号的黑电平信息,确定所述当前帧第一图像信号的黑电平值,其中,所述历史帧第一图像信号为所述当前帧第一图像信号的上一帧第一图像信号;

根据所述当前帧第一图像信号的黑电平值和第一目标黑电平值,确定所述当前帧第一图像信号的黑电平偏移量;

根据所述当前帧第一图像信号的黑电平偏移量,对所述当前帧第一图像信号进行黑电平调整,得到所述当前帧第一图像信号对应的第一调整信号。

在一种可能的实现方式中,所述第二处理模块212具体用于:

根据接收到的当前帧第二图像信号的黑电平统计值,以及接收到的历史帧第二图像信号的黑电平值信息,确定所述当前帧第二图像信号的黑电平值,其中,所述历史帧第二图像信号为所述当前帧第二图像信号的上一帧第二图像信号;

根据所述当前帧第二图像信号的黑电平值和第二目标黑电平值,确定所述当前帧第二图像信号的黑电平偏移量;

根据所述当前帧第二图像信号的黑电平偏移量,对所述当前帧第二图像信号进行黑电平调整,得到所述当前帧第二图像信号对应的第二调整信号。

在一种可能的实现方式中,所述第二处理模块212具体用于:

根据接收到的当前帧第三图像信号的黑电平统计值,以及接收到的历史帧第三图像信号的黑电平信息,确定所述当前帧第三图像信号的黑电平值,其中,所述历史帧第三图像信号为所述当前帧第三图像信号的上一帧第三图像信号;

根据所述当前帧第三图像信号的黑电平值和第三目标黑电平值,确定所述当前帧第三图像信号的黑电平偏移量;

根据所述当前帧第三图像信号的黑电平偏移量,对所述当前帧第三图像信号进行黑电平调整,得到所述当前帧第三图像信号对应的第三调整信号。

在一种可能的实现方式中,还包括第三处理模块,所述第三处理模块用于:

在所述第一工作模式下对所述第一调整信号进行处理,得到并输出第一处理图像;

在所述第二工作模式下,对所述第二调整信号进行处理,得到并输出第二处理图像,对所述第三调整信号进行处理,得到并输出第三处理图像;或者,在所述第二工作模式下,对所述第二调整信号和所述第三调整信号进行融合处理,得到并输出处理图像。

本申请实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

37页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:固体摄像元件、摄像装置以及固体摄像元件的控制方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类