具体实施方式

图1示出了根据本发明的示例性实施例的用于处理数字图像的相机系统100。相机系统100包括图像传感器110、图像预处理装置120和图像处理装置130，显示器140和存储介质150连接到该图像处理装置。

图像传感器110可以在实时取景模式下以及在静止捕获模式下操作。在两种模式下，均利用了图像传感器110的整个有源区，并且图像帧由图像传感器110生成并输出到图像预处理装置120。如下文更详细地描述的，为了预览实时取景或静止捕获预览，图像帧由图像预处理装置120进行尺寸缩小以实现高帧速率。然而，对于静止图像捕获，在无尺寸缩小的情况下对图像帧的所有排和列进行处理。

实时取景图像和捕获取景图像显示在显示器140中。显示器140可以包括电子取景器(EVF)，该EVF经由移动行业处理器接口(MIPI)联盟所指定的MIPI显示器串行接口(MIPIDSI)(未示出)连接到图像处理装置130，但是不限于此。显示器140还可以包括经由MIPI也连接到图像处理装置130的数字相机(未示出)的后显示器。

存储介质150是非暂态计算机可读存储介质(例如，固态驱动器(SSD))，但是不限于此。也可以利用任何其他非暂态计算机可读存储介质作为存储介质150。

图2示出了图像预处理装置120的示意性图示。图像预处理装置120包括静止图像处理所需的图像数据接收器210、直接存储器存取(DMA)控制器220、数据接口230和成像器数据接口240。图像数据接收器210被配置成从图像传感器110接收图像帧。图像帧的帧像素分辨率基本上等于图像传感器的传感器像素分辨率。换句话说，图像帧包括图像传感器的有源区的所有传感器像素的图像信息。

数据接口230将图像预处理装置120连接到图像处理装置130中的缓冲存储器250。成像器数据接口240将预处理装置120连接到ISP 260。DMA控制器220与图像数据接收器210、数据接口230和成像器数据接口240进行通信并且被配置成经由数据接口230将图像帧存储到缓冲存储器250、经由数据接口230从缓冲存储器250接收第一图像子帧和第二图像子帧并且经由成像器数据接口240将第一子帧和第二子帧连续发射到ISP 260。

现在参考图3，其示出了根据本发明的示例性实施例的用于处理数字图像的相机系统300的另一个更详细的示意性图示。如图3所示，相机系统300包括图像传感器110连接到的图像预处理装置310以及图像处理装置330。图像处理装置330与图像预处理装置310、显示器140和存储介质150进行通信。

图3所示的相机系统300的示例性实施例中的图像处理装置330具有片上系统(SoC)架构并且集成了处理从图像传感器接收的图像帧以生成可以显示、打印或存储的数字图像所需的所有部件。因此，图像处理装置330包括图像处理器342，该图像处理器可以被实施为例如数字信号处理器(DSP)或图形处理单元(GPU)。图像处理装置330进一步包括第一ISP 338和数据收发器332，该数据收发器被配置成接收和发射要存储在静止图像预缓冲器334中的图像帧。另外，提供图像数据接收器336，该图像数据接收器被配置成接收要通过ISP 338处理的图像子帧。通过ISP 338处理的图像子帧被存储在静止图像后缓冲器340中。提供显示控制器352，该显示控制器执行操作以允许通过图像传感器110捕获的图像帧在整个显示器140上可见。显示控制器352经由显示数据发射器354连接到显示器140。为了以图形图像格式将静止图像帧或以原始图像格式将图像帧存储在存储介质150中，提供了存储控制器356和存储接口358。

图像预处理装置310包括数据收发器312和第一成像器数据发射器314。数据收发器312和数据收发器332形成图像预处理装置310与图像处理装置330之间的数据接口。数据接口312、332可以是高速串行计算机扩展总线标准接口(比如外围部件互连快速(PCIe)标准接口)，但是不限于此。

像数据接口312、332一样，成像器数据发射器314与成像器数据接收器336一起形成图像预处理装置310与图像处理装置330之间的另一个接口(即，成像器数据接口)。数据收发器312和成像器数据发射器314由接收DMA(RX-DMA)控制器316和发射DMA(TX-DMA)控制器318控制。RX-DMA控制器316经由先进先出(FIFO)缓冲器320与成像器数据发射器314进行通信。图像预处理装置310还包括图像数据接收器322和像素处理器324，该像素处理器经由FIFO缓冲器326与TX-DMA控制器318进行通信。

根据图3所示的示例性实施例的第一成像器数据接口314、336和第二成像器数据接口346、348是移动行业处理器接口(MIPI)相机串行接口(CSI)图像数据接口。然而，成像器数据接口不限于MIPI CSI，并且代替地，也可以利用任何其他串行接口。

在图3所示的示例性实施例中，图像预处理装置310被实施为现场可编程门阵列(FPGA)。然而，图像预处理装置310还可以被实施为专用集成电路(ASIC)。

图像预处理装置310进一步包括图像尺寸缩小器328，该图像尺寸缩小器经由FIFO缓冲器344连接到第二成像器数据发射器346，该第二成像器数据发射器与第二成像器数据接收器348一起形成第二成像器数据接口。成像器数据接收器348连接到第二ISP 350。

可以在静止捕获模式下利用成像器数据接口314、336和346、348两者。ISP 338和350在进入静止捕获模式时进行配置并且在实时取景状态与捕获状态之间不改变。静止图像处理由图像预处理装置310、ISP 338和图像处理器342执行。

如上文所讨论的，图像传感器110在不同的模式下(即，在实时取景模式下以及在静止捕获模式下)操作。第一成像器数据接口314、336与ISP 338一起仅在静止图像帧被捕获时使用。仅利用第二成像器数据接口346、348与ISP 348一起用于实时取景和捕获预览。

在两种模式下，均使用了图像传感器的整个有源区。当通过图像预处理装置310的图像数据接收器322从图像传感器110接收图像帧时，通过像素处理器324在两种模式下校正传感器像素。然而，尽管在静止捕获模式下，从图像传感器110读出所有排和列，但在实时取景模式下，可以跳过排以实现高帧速率。例如，在实时取景中，图像传感器110可以输出仅四分之一的排，但是输出所有列。由于成像器数据接口346、348可能仅支持有限的数据速率，因此在像素校正之后，可以通过图像尺寸缩小器328水平地对帧进行4：1尺寸调整以容纳有限的数据速率。实时取景中的图像帧由ISP 350进行处理并且然后不对称地缩放至用于显示器140的正确分辨率。

图像传感器110的典型纵横比是3∶2，而显示器140的典型纵横比是16∶9。例如，如果图像传感器110的纵横比是3∶2并且显示器140的纵横比是16∶9，则可以在显示控制器352处添加黑条，使得从图像传感器110接收的整个图像帧在显示器140上可见。

在静止捕获模式下，图像传感器110的所有排和列被读出。对于静止捕获取景，以与实时取景模式相同的方式由像素处理器324执行像素校正。然而，跳行也由图像尺寸缩小器328完成。因此，在静止捕获模式下经由成像器数据接口346、348发射的图像数据的格式与实时取景模式下的图像数据的格式相同，并且不需要重新配置ISP 350。静止图像捕获帧如其由图像传感器110捕获时那样以比实时取景图像帧低得多的帧速率进行显示。

由于实时取景图像帧和静止图像捕获帧通常具有不同的集成时间，并且捕获可以是闪光灯照明的，因此在流过ISP 350的图像路径与流过ISP 338的图像路径之间可能会发生曝光和白平衡变化。图像统计信息收集在ISP 350中，并且统计数据用于确定ISP 350对实时取景的曝光、白平衡和焦点校正以及ISP 336对静止图像帧的后续处理两者。

成像器数据接口314、336以及ISP 338仅在静止图像帧被捕获时使用。在静止图像捕获期间，全分辨率帧从图像预处理装置经由数据收发器312和332输出到图像处理装置330并存储在静止图像预缓冲器334的存储器区中。当将从图像传感器110捕获的完整的全分辨率图像帧存储在静止图像预缓冲器中时，通过图像处理器342来执行预ISP处理。在预ISP处理完成之后，可以通过存储控制器356以原始图像格式(例如，以数字负片(DNG)格式)将经过预ISP处理的图像帧存储在存储介质150中。

由于ISP 338的处理容量无法容纳整个传感器宽度，因此ISP 338无法处理图像传感器110在静止捕获模式期间生成的整个图像帧，图像帧需要以图像子帧(即，以图像宽度的一半的图块或部分)进行处理。为此目的，通过图像处理器342将图像帧划分成要通过ISP338顺序地处理的第一图像子帧和第二图像子帧。第一图像子帧和第二图像子帧中的每一个具有小于传感器像素分辨率的子帧像素分辨率以及第一图像子帧和第二图像子帧彼此重叠的区域。子帧像素分辨率由ISP 338的处理容量预先确定。此后，通过ISP 338来连续处理第一图像子帧和第二图像子帧。

换句话说，图像数据通过数据接口312、332传送回到图像预处理装置310，在这种情况下，该图像数据通过成像器数据接口314、336流式发射到ISP 338的前端。在处理每个图像子帧时，将其存储在静止图像后缓冲器340中并且重新组装为具有高图像质量的完整图像。

近年来，图像传感器的发展致使图像传感器的可用像素分辨率迅速提高。同时，具有对应处理能力的成本有效ISP的发展已经落伍并且造成了潜在的瓶颈。例如，上述方法显著提高了完整图像的质量，并且还提高了执行数字图像的处理的系统的整体性能，该系统包括无法处理图像传感器110在静止捕获模式期间生成的整个图像帧的ISP。因此，可以降低硬件成本并且可以将瓶颈对ISP的处理能力的影响降到最低。

图像处理器342对静止图像后缓冲器中的图像子帧执行后ISP处理。此时，可以将呈图形图像格式(例如，呈YCbCr标记图像文件格式(TIFF)或呈联合图像专家组(JPEG)格式)的完成的图像帧存储到存储介质150。在将完成的图像帧存储到存储介质150之前，还可以通过JPEG编码器(未示出)对该完成的图像帧进行压缩。

对图像子帧的处理与对图像帧的捕获异步、比对图像帧的捕获稍慢并且可以在图像传感器110返回实时取景模式之后继续作为背景处理。在突发捕获的情况下，每帧最多保存三个文件要花费甚至多得多的时间，因此相对于突发期间的填充率，静止图像预缓冲器334清空得相对较慢。当静止图像预缓冲器已满时，即使用户按住相机的快门按钮，捕获也会被阻止。在清空缓冲器后，可以捕获另外的突发帧。

图4A示出了由图像传感器110生成的图像帧410的图示。虽然图4A示出了图像帧的像素行数(表示像素宽度)大于图像帧的像素列数(表示像素宽度)的帧，宽度与高度之间的任何其他比率都是可能的。在图4A至图4C所示的示例性实施例中，举例来说，在图4A所示的虚线处将图像帧410竖直地划分成第一图像子帧和第二图像子帧。然而，图像帧410的任何其他划分也是可能的。例如，可以将图像帧410水平地划分成三个子帧，还可以将图像帧410进一步竖直地或者以其他方式划分，只要所得子帧的图像子帧分辨率可以由ISP 338处理即可。

图4B示出了通过图像处理器342从图像帧410生成的第一图像子帧420的图示，并且图4C示出了通过图像处理器342从图像帧410生成的第二图像子帧440的图示。如图4B和图4C所示，第一图像子帧和第二图像子帧中的每一个具有第一子帧420和第二子帧440彼此重叠的区域430、450。

现在参考图5(参考图3以及图4A至图4C)，在该图中，示出了展示根据本发明的示例性实施例的包括由相机系统100执行以处理图像帧410的操作的方法500的流程图。方法500开始于步骤510，在该步骤中，从在静止图像模式下操作的图像传感器110接收图像帧410。在520处，将图像帧410划分成第一图像子帧420和第二图像子帧和440，并且在530处，通过ISP 338来连续处理第一图像子帧420和第二图像子帧440。

现在参考图6(继续参考图3以及图4A至图4C)。图6是示出根据本发明的示例性实施例的用于操作相机系统100以生成静止图像帧的方法600的流程图。方法开始于步骤605，在该步骤中，通过像素处理器324来校正图像帧410中的缺陷。方法继续到610，在该步骤处，通过图像预处理装置310的TX-DMA控制器318将校正后的图像帧发射到图3所示的静止图像预缓冲器334。在615处，将图像帧410存储在静止图像预缓冲器334中，并且在620处，通过图像预处理装置310的RX-DMA控制器316经由数据接口312、332接收第一图像子帧420。第一图像子帧420在被发射到图像预处理装置之前由图像处理器342在静止图像预缓冲器中生成。

方法继续到625，在此处，通过RX-DMA控制器316经由成像器数据接口314、336将第一图像子帧420发射到ISP 338，在这种情况下，在630处通过ISP 338对该第一图像子帧进行处理。在635处，通过图像预处理装置310的RX-DMA控制器316从静止图像预缓冲器334接收第二图像子帧440，并且在640处，经由成像器数据接口314、336将第二图像子帧440发射到ISP 338，在这种情况下，在645处通过ISP 338对该第二图像子帧进行处理。方法以650结束，在此处，将通过ISP 338处理之后存储在静止图像后缓冲器340中的经过处理的第一图像子帧420和第二图像子帧440在静止图像后缓冲器340中重新组装为静止图像帧。静止图像后缓冲器340中的重新组装或子帧归并是可配置的，并且重叠区域由ISP 338中确定的图像质量参数和空间分量确定。

ISP 338的处理引擎被配置的方式使得在对图像进行预处理和后处理时的空间分量可以将可能影响子帧处理和最终静止图像帧的图像质量降到最低。

通过图像处理器342对整个图像执行噪声过滤和其他固定模式噪声去除。预处理块调整的方式使得在ISP 338外部执行最少的传感器详细信息(如ADC、基座校正、黑色偏移去除处理等)，以避免依赖于全帧捕获的任何空间伪像。

图7示出了相机系统700的图像预处理装置720的示意性图示。图像预处理装置720包括图像数据接收器210和成像器数据接口240以用于静止图像处理。关于图2已经讨论了图像数据接收器210和数据接口240的配置。

如图7所示，图像预处理装置720不需要DMA控制器和数据接口来将图像帧410存储到缓冲存储器250、从缓冲存储器250接收第一图像子帧420和第二图像子帧440并且将第一子帧和第二子帧连续发射到ISP 260。代替地，在第二示例性实施例中，通过图像预处理装置720经由图像数据接收器210和成像器数据接口240将图像传感器110所生成的图像帧410从图像传感器110发射到预处理器730。预处理器730将图像帧410存储在缓冲存储器250中、从缓冲存储器250接收第一图像子帧420和第二图像子帧430并且将第一子帧和第二子帧连续发射到ISP 260。

图8示出了根据本发明的第三示例性实施例的用于处理数字图像的相机系统800的示意性图示。在此示例性实施例中，图像传感器110直接连接到预处理器730，而无需中间图像预处理装置。因此，在图8所示的相机系统800中，图像处理器110将图像帧410直接发射到预处理器730，该预处理器将图像帧410存储在缓冲存储器250中、从缓冲存储器250接收第一图像子帧420和第二图像子帧430并且将第一子帧和第二子帧连续发射到ISP 260。

现在参考图9，该图示出了根据本发明的第二示例性实施例的用于处理数字图像的相机系统700的详细示意性图示。如图9所示，相机系统包括图像传感器110连接到的图像预处理装置910以及图像处理装置930。图像处理装置930与图像预处理装置910、显示器140和存储介质150进行通信。为了更清楚，省略了与图3中相同的元件的描述。

图9所示的相机系统的第二示例性实施例中的图像处理装置930具有SoC架构并且集成了处理从图像传感器接收的图像帧以生成可以显示、打印或存储的数字图像所需的所有部件。具体地，图像处理装置930包括预处理器932。预处理器932执行操作以允许将图像数据接收器336所接收的图像帧410存储在静止图像预缓冲器334中。另外，预处理器932被配置成从静止图像预缓冲器334接收图像处理器342所生成的第一图像子帧420和第二图像子帧430并且将第一图像子帧420和第二图像子帧430连续发射到ISP 338。因此，预处理器932为第一图像子帧420和第二图像子帧430提供了从静止图像预缓冲器334返回到ISP 1的前端中的数据路径，而没有修改数据。

比如ISP 338等ISP通常是复杂的结构并且允许设置多个操作参数。因此，需要数据路径以允许通过ISP利用不同的参数多次处理测试图像。这允许多次重放同一图像，直到设置了正确的参数为止。由此可以测试ISP和ISP的配置。如果图像处理装置的配置将仅允许ISP从图像传感器接收实时数据，则将无法在SoC中进行这种测试。

图3所示的图像处理装置310不包括静止图像预缓冲器334与ISP 338之间的数据路径。因此，图3所示的示例性实施例中的数据路径由预处理装置310经由数据接口332和312、接收DMA控制器316、FIFO 320、图像数据发射器314和图像数据接收器336创建。

由于在图9所示的示例性实施例中，第一图像子帧420和第二图像子帧430的从静止图像预缓冲器334到ISP 338的数据路径是经由预处理器932提供的，因此在图像预处理装置910中，图像帧410在通过像素处理器324处理之后发射到FIFO 320并且随后经由图像数据发射器314发射到预处理器932。图9中省略了图3所示的示例性实施例中的FIFO 326、DMA控制器318和316以及数据接口312和332。

图10示出了根据本发明的第三示例性实施例的用于处理数字图像的相机系统800的详细示意性图示。在图10中，完全省略了图像处理装置，并且图像传感器110直接连接到图像处理装置1030的图像数据接收器336。在此示例性实施例中，图像传感器110按照图像数据接收器336的通信标准输出图像帧410，并且在图3和图9所示的示例性实施例中由像素处理器324执行的图像数据的校正由ISP 338执行或者被省去。

如图10所示，图像处理装置1030不包括用于经由单独的ISP(比如图3和图9中的ISP 350)进行实时取景的第二数据路径。因此，在图10所示的示例性实施例中，从静止图像后缓冲器340生成取景数据，并且将该取景数据从静止图像后缓冲器340发射到显示控制器352。

根据又另一示例性实施例，还可以省略图9和图10中的预处理器932，并且可以在图像数据接收器336与静止图像预缓冲器334之间以及在静止图像预缓冲器334与ISP 338之间建立直接数据路径(未示出)。

图11示出了根据本发明的第四示例性实施例的用于处理数字图像的相机系统的详细示意性图示。如图11所示，图像处理装置1130包括用于经由ISP 350进行实时取景的第二数据路径。即，图像处理装置1130包括从成像器数据接收器336开始的数据路径，这些数据路径允许将一个图像传感器输入路由到两个或更多个ISP中的任一个。

在图11所示的示例性实施例中，预图像处理器932可能无法在实时取景时对图像帧进行尺寸缩小，或者如上文所讨论的，预处理器932可以完全省略。然而，例如，许多图像传感器允许在水平维度和竖直维度两者上跳过或合并以降低输出分辨率，这允许将图像传感器110直接连接到图像处理装置1130并且经由ISP 350执行实时取景。这种图像传感器也可以连接到图像处理装置1030或上文讨论的其他示例性实施例的任何其他图像处理装置，以提供另外的能力来降低输出分辨率。

应当理解，以上描述是对本发明的示例性实施例的描述，并且在不脱离所附权利要求限定的本发明的精神和范围的情况下，可以对其进行各种改变和修改。