具体实施方式

如在本发明构思的领域中常见的，在功能块、单元和/或模块方面描述并在附图中示出实施例。本领域技术人员将理解，这些块、单元和/或模块通过诸如逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等的电子(或光学)电路物理地实现，其中可以使用基于半导体的制造技术或其他制造技术来形成所述电子(或光学)电路。在块、单元和/或模块由微处理器等实现的情况下，它们可以使用软件(例如，微代码)来编程以执行本文讨论的各种功能，并且可以可选地由固件和/或软件驱动。备选地，每个块、单元和/或模块可以通过专用硬件实现或实现为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和/或模块可以物理地分成两个或更多个交互且分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。

图1是示出了根据发明构思的示例实施例的图像传感器和包括该图像传感器的电子设备的示图。

参照图1，电子设备10可以包括图像传感器100和处理器200。图像传感器100可以将通过光学透镜LW入射的对象的光信号转换为图像数据。图像传感器100可以安装在具有图像或光学感测功能的电子设备中。例如，图像传感器100可以安装在电子设备10中，电子设备10例如为数字静态相机、数字摄像机、智能电话、可穿戴设备、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备等。图像传感器100也可以安装在作为车辆、家具、制造设施、门、各种测量设备等的组件所设置的电子设备10中。例如，处理器200可以是应用处理器和/或图像处理器。因此，在本说明书中，处理器200也可以称为图像处理器200。

根据本发明构思的至少一些示例实施例，图像处理器200可以是或包括以下各项：包括逻辑电路的硬件；执行软件的硬件/软件组合；或其组合。例如，图像处理器更具体地可以包括但不限于以下一项或多项：中央处理单元(CPU)、处理器核、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。根据本发明构思的至少一些示例实施例，图像处理器200可以被具体地构造和/或编程(例如，经由计算机可执行程序代码)以执行和/或控制由图像处理器或图像处理器的元件执行的在本说明书中描述的一些操作或全部操作。

参照图1，图像传感器100可以包括像素阵列110、读出电路120和图像信号处理器130。在示例实施例中，像素阵列110、读出电路120和图像信号处理器130可以一起被具体实现为单个半导体芯片或半导体模块。在示例实施例中，像素阵列110和读出电路120可以一起被具体实现为一个半导体芯片或半导体模块，并且图像信号处理器130可以被具体实现为另一半导体芯片或半导体模块。根据本发明构思的至少一些示例实施例，图像信号处理器130可以是或包括以下各项：包括逻辑电路的硬件；执行软件的硬件/软件组合；或其组合。例如，图像信号处理器130更具体地可以包括但不限于以下一项或多项：中央处理单元(CPU)、处理器核、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。根据本发明构思的至少一些示例实施例，图像信号处理器130可以被具体地构造和/或编程(例如，经由计算机可执行程序代码)以执行和/或控制由信号处理器或信号处理器的元件执行的在本说明书中描述的一些操作或全部操作。

像素阵列110可以具体实现为光电转换元件，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)、或各种光电转换元件。像素阵列110可以包括用于将接收到的光信号(光)转换成电信号的多个像素PX，并且多个像素PX可以布置成矩阵。像素阵列110包括连接到多个像素PX的多个行线和多个列线。

多个像素PX中的每一个包括光学感测元件(或光电转换元件)。光学感测元件的示例可以包括光电二极管、光电晶体管、光电门、钉扎光电二极管、钙钛矿光电二极管和有机光电二极管、有机光导膜等，或者可以应用各种光学感测元件。

多个像素PX可以通过光学感测元件感测光并将感测到的光转换成电信号。多个像素PX中的每一个可以感测特定光谱区域的光。例如，多个像素可以包括用于将红色光谱区域的光转换为电信号的像素(以下称为红色像素)、用于将绿色光谱区域的光转换为电信号的像素(以下称为绿色像素)、以及用于将蓝色光谱区域的光转换成电信号的像素(以下称为蓝色像素)。然而，本发明构思的示例实施例不限于此，并且多个像素PX可以进一步包括白色像素。作为另一示例，多个像素PX可以包括不同颜色的像素(例如，黄色像素、青色像素、品红色像素等)的组合。

可以在多个像素PX上设置用于透射特定光谱区域的光的滤色器阵列，并且可以由多个像素PX上的滤色器确定要由多个像素PX感测的颜色。然而，本发明构思的示例实施例不限于此，并且在特定光学感测元件的一些示例实施例中，可以根据提供给光学感测元件的电信号的电平将特定波段的光转换成电信号。

由多个像素PX中的每个像素的光电转换元件生成的电荷可以累积在浮置扩散节点中，并且在扩散节点中累积的电荷可以通过被转换为电压而被读出。在一些示例实施例中，在浮置扩散节点中累积的电荷被转换成电压的速率可以被称为转换增益。

多个像素PX中的每一个的转换增益可以根据浮置扩散节点的电容而变化。具体地，当浮置扩散节点的电容增大时，转换增益可以减小，并且当浮置扩散节点的电容减小时，转换增益可以增大。可以通过连接到浮置扩散节点的转换增益晶体管(未示出)或电容器(未示出)来改变多个像素PX中的每一个的转换增益。

可以将多个转换增益(例如，高转换增益(HCG)和低转换增益(LCG))施加到多个像素PX。然而，本发明构思不限于此，并且施加到多个像素PX的多个转换增益可以包括三个或更多个转换增益。HCG的值高于LCG的值。

图2是示出了根据发明构思的示例实施例的像素阵列的示图。

参照图2，像素阵列110可以包括多个像素组PG，多个像素组PG中的每个像素组PG包括彼此相邻的两个或更多个像素PX。例如，像素阵列110可以包括多个像素组PG，多个像素组PG中的每个像素组PG包括以2n×2n矩阵(n是正整数)布置的像素PX。同时，本公开不限于图2所示的示例。例如，像素阵列110可以包括多个像素组(PG)，该多个像素组(PG)包括以3N×3N矩阵(N是正整数)布置的像素(PX)。

多个像素组PG是在图像传感器100在执行组合操作的第一模式中操作时应用有根据本发明构思的示例实施例的读出方法的基本单元，并且多个像素组PG可以对应于基于读出信号所生成的图像数据的多个组合区域。像素阵列110可以通过单个读出来输出多个像素组PG中的每一个像素组中包括的像素PX的像素值。在读出期间在一个像素组中包括的像素PX的像素值可以被求和并作为至少一个像素信号输出。

在一些示例实施例中，像素阵列110可以输出与多个像素组PG的多个转换增益相对应的多个像素信号。在示例实施例中，可以将多个像素组PG划分为与多个转换增益相对应的多个子组，并且可以将多个子组中的每个子组中包括的像素PX的像素值求和并作为与多个转换增益相对应的多个像素信号而输出。

例如，当像素组PG包括与高转换增益HCG相对应的第一子组和与低转换增益LCG相对应的第二子组时，像素阵列110可以对第一子组中包括的像素PX的像素值求和并输出第一像素信号，并且对第二子组中包括的像素PX的像素值求和并输出第二像素信号。以下将参考图3和图4对此进行详细描述。

当图像传感器100以第二模式(例如，不执行组合的正常模式)操作时，像素阵列110可以以行为单位读出多个像素PX的多个像素信号。

读出电路120可以从像素阵列110接收像素信号，并将像素信号转换为数字数据，从而生成图像数据(可以称为图像)。为了便于说明，以下将由读出电路120生成的图像数据称为第一图像数据IDT1。

例如，在不执行组合操作的第二模式中，读出电路120可以基于从像素阵列110输出的像素信号来生成包括多个像素PX的像素值在内的第一图像数据IDT1。

作为另一示例，在执行组合操作的第一模式中，读出电路120可以从多个像素组PG接收与多个转换增益相对应的多个像素信号，并基于接收到的多个像素信号，生成与多个转换增益相对应的多个第一图像数据IDT1。例如，读出电路120可以基于从多个像素组PG的第一子组输出的多个第一像素信号，生成与第一转换增益(例如，高转换增益(HCG))相对应的第一图像数据IDT1。读出电路120可以基于从多个像素组PG的第二子组输出的多个第二像素信号，生成与第二转换增益(例如，低转换增益(LCG))相对应的第一图像数据IDT1。

图像信号处理器130可以对从读出电路120输出的第一图像数据IDT1执行图像处理。例如，图像信号处理器130可以对图像数据(例如，第一图像数据IDT1)执行诸如缺陷像素校正、颜色校正和图像质量改善之类的图像处理。

根据本发明构思的示例实施例，在执行组合操作的第一模式中，图像信号处理器130可以对与多个转换增益相对应的多个第一图像数据IDT1进行合成，以生成输出图像数据OIDT。在示例实施例中，图像信号处理器130可以通过以像素组PG为单位对与多个转换增益相对应的多个第一图像数据IDT1进行合成来生成输出图像数据OIDT。以下将参考图5对此进行详细描述。

另外，图像信号处理器130可以将经图像处理的图像数据(例如，输出图像数据OIDT)提供给图像处理器200(例如，应用处理器、电子设备10的主处理器、图形处理器等)。

图3是示出了根据发明构思的示例实施例的像素阵列的像素组的示图。具体地，图3是示出了具有RGBW图案的像素阵列110的像素组PG1、PG2、PG3和PG4的示图。

参照图3，具有RGBW图案的像素阵列110可以包括其中依次设置红色像素R、白色像素W、绿色像素(例如，第一绿色像素Gr)和白色像素W的第一行ROW1和第二行ROW2、以及其中依次没置绿色像素(例如，第二绿色像素Gb)、白色像素W、蓝色像素B和白色像素W的第三行ROW3和第四行ROW4。在RGBW图案中，第一行ROW1至第四行ROW4中的白色像素W可以设置在对角线方向上。

像素阵列110可以包括多个像素组PG1、PG2、PG3和PG4，每个像素组包括四个相邻像素PX。例如，参考图3，像素阵列110可以包括：第一像素组PG1(包括两个红色像素R和两个白色像素W)、第二像素组PG2(包括两个第一绿色像素Gr和两个白色像素W)、第三像素组PG3(包括两个第二绿色像素Gb和两个白色像素W)、以及第四像素组PG4(包括两个蓝色像素B和两个白色像素W)。即，像素组PG1、PG2、PG3和PG4可以包括相同颜色的彩色像素、以及白色像素。

可以将在多个像素组PG1、PG2、PG3和PG4中的每个像素组中包括的像素PX划分为多个子组。在示例实施例中，多个像素组PG1、PG2、PG3和PG4中的每个像素组中包括的多个像素PX可以根据多个像素PX是否是白色像素而被划分为多个子组。多个子组可以对应于多个转换增益。

例如，参考图3，在第一像素组PG1的像素PX中，除了白色像素W之外的红色像素R可以被分组为第一子组，而白色像素W可以被分组为第二子组。在第二像素组PG2的像素PX中，第一绿色像素Gr可以被分组为第一子组，而白色像素W可以被分组为第二子组。在第三像素组PG3的像素PX中，第二绿色像素Gb可以被分组为第一子组，而白色像素W可以被分组为第二子组。在第四像素组PG4的像素PX中，蓝色像素B可以被分组为第一子组，而白色像素W可以被分组为第二子组。多个像素组PG1、PG2、PG3和PG4的第一子组可以对应于第一转换增益(例如，低转换增益(LCG))，并且多个像素组PG1、PG2、PG3和PG4的第二子组可以对应于第二转换增益(例如，高转换增益(HCG))。转换增益的数量可以等于或小于子组的数量。

然而，本发明构思不限于此，并且根据示例实施例，可以根据组的像素PX的位置来划分多个子组。例如，参考图3，位于第一对角线方向上的像素组的像素可以被划分为第一子组，并且位于与第一对角线方向不同的第二对角线方向上的像素可以被划分为第二子组。

像素阵列110可以针对多个像素组PG1、PG2、PG3和PG4通过单个读出来输出第一子组的像素信号和第二子组的像素信号。例如，像素阵列110可以针对第一像素组PG1通过单个读出来输出包括红色像素R在内的第一子组的像素信号和包括白色像素W在内的第二子组的像素信号。

尽管图3示出了像素阵列110包括4×4像素矩阵，但是本发明构思不限于此，并且像素阵列110可以包括M×N像素矩阵(M和N是正整数)。替代地，像素阵列110可以具有各种图案以及RGBW图案。例如，像素阵列110可以具有其中设置了黄色像素Y而不是白色像素W的RGBY图案。

图4是用于说明根据本发明构思的示例实施例的在组合操作期间的读出操作的示图。具体地，图4是用于说明图3的像素阵列110的关于像素组PG1、PG2、PG3和PG4的读出操作的示图。

参照图4，当图像传感器100在执行组合操作的第一模式下操作时，多个像素组PG1、PG2、PG3和PG4可以以子组为单位输出像素信号。在示例实施例中，在读出过程中，同一子组中包括的像素PX的像素值可以被求和并作为一个像素信号输出。例如，参考图4，在读出过程中，第一像素组PG1的第一子组中包括的红色像素R的像素值可以被求和并作为第一像素信号输出，并且第一像素组PG1的第二子组中包括的白色像素W的像素值可以被求和并作为第二像素信号输出。

在一些示例实施例中，在读出过程中，可以将与子组相对应的转换增益施加到子组中包括的像素PX。例如，参考图4，当第一像素组PG1的第一子组对应于第一转换增益(例如，低转换增益)时，可以从第一子组中包括的红色像素R输出施加有低转换增益的第一像素信号。当第一像素组PG1的第二子组对应于第二转换增益(例如，高转换增益)时，可以从第二子组中包括的白色像素W输出施加有高转换增益的第二像素信号。

如上所述，当图像传感器100执行组合操作时，可以通过单个读出从一个像素组输出与多个转换增益相对应的多个像素信号。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的多个像素信号来生成与多个转换增益相对应的多个第一图像数据IDT1_CG1和IDT1_CG2。在示例实施例中，读出电路120可以从多个像素组PG1、PG2、PG3和PG4的第一子组接收与第一转换增益相对应的第一像素信号，并基于接收到的第一像素信号来生成与第一转换增益相对应的第一图像数据IDT1_CG1。

例如，参考图4，读出电路120可以从第一像素组PG1的第一子组中包括的红色像素R接收第一像素信号，并且基于接收到的第一像素信号来计算与第一像素组PG1相对应的第一像素值R1。读出电路120可以从第二像素组PG2的第一子组中包括的第一绿色像素Gr接收第一像素信号，并且基于接收到的第一像素信号来计算与第二像素组PG2相对应的第一像素值Gr1。读出电路120可以从第三像素组PG3的第一子组中包括的第二绿色像素Gb接收第一像素信号，并且基于接收到的第一像素信号来计算与第三像素组PG3相对应的第一像素值Gb1。读出电路120可以从第四像素组PG4的第一子组中包括的蓝色像素B接收第一像素信号，并且基于接收到的第一像素信号来计算与第四像素组PG4相对应的第一像素值B1。读出电路120可以基于与多个像素组PG1、PG2、PG3和PG4相对应的计算出的第一像素值R1、Gr1、Gb1和B1来生成与第一转换增益相对应的第一图像数据IDT1_CG1。

读出电路120可以从多个像素组PG1、PG2、PG3和PG4的第二子组接收与第二转换增益相对应的第二像素信号，并基于接收到的第二像素信号来生成与第二转换增益相对应的第一图像数据IDT1_CG2。

例如，参考图4，读出电路120可以从第一像素组PG1的第二子组中包括的白色像素W接收第二像素信号，并且基于接收到的第二像素信号来计算与第一像素组PG1相对应的第二像素值W1。读出电路120可以从第二像素组PG2的第二子组中包括的白色像素W接收第二像素信号，并且基于接收到的第二像素信号来计算与第二像素组PG2相对应的第二像素值W2。读出电路120可以从第三像素组PG3的第二子组中包括的白色像素W接收第二像素信号，并且基于接收到的第二像素信号来计算与第三像素组PG3相对应的第二像素值W3。读出电路120可以从第四像素组PG4的第二子组中包括的白色像素W接收第二像素信号，并且基于接收到的第二像素信号来计算与第四像素组PG4相对应的第二像素值W4。此后，读出电路120可以基于与多个像素组PG1、PG2、PG3和PG4相对应的计算出的第二像素值W1、W2、W3和W4来生成与第二转换增益相对应的第一图像数据IDT1_CG2。

图5是用于说明根据本发明构思的示例实施例的生成合成图像数据的方法的示图。具体地，图5是用于说明生成输出图像数据OIDT的方法的示图，该输出图像数据OIDT是通过对多个第一图像数据IDT1_CG1和IDT1_CG2进行合成而获得的合成图像数据。

参照图5，读出电路120可以将与多个转换增益相对应的多个第一图像数据IDT1_CG1和IDT1_CG2发送到图像信号处理器130。图像信号处理器130可以通过以像素组为单位对多个第一图像数据IDT1_CG1和IDT1_CG2进行合成来生成输出图像数据ODIT。

例如，图像信号处理器130可以通过对与第一像素组PG1相对应的多个第一图像数据IDT1_CG1和IDT1_CG2的第一像素值R1和第二像素值R2进行合并来计算第三像素值R2。图像信号处理器130可以通过对与第二像素组PG2相对应的多个第一图像数据IDT1_CG1和IDT1_CG2的第一像素值Gr1和第二像素值W2进行合并来计算第三像素值Gr2。图像信号处理器130可以通过对与第三像素组PG3相对应的多个第一图像数据IDT1_CG1和IDT1_CG2的第一像素值Gb1和第二像素值W3进行合并来计算第三像素值Gb2。图像信号处理器130可以通过对与第四像素组PG4相对应的多个第一图像数据IDT1_CG1和IDT1_CG2的第一像素值B1和第二像素值W4进行合并来计算第三像素值B2。图像信号处理器130可以基于与多个像素组PG1、PG2、PG3和PG4相对应的计算出的第三像素值R2、Gr2、Gb2和B2来生成输出图像数据OIDT。

如上所述，根据本发明构思的示例实施例的图像传感器100可以通过单个读出来生成与多个转换增益相对应的多个图像数据，以维持高帧率并生成颜色范围丰富的图像。

尽管以上参考图3至图5描述了像素阵列110具有RGBW图案，但是本发明构思不限于此。例如，本发明构思也可应用于其中像素阵列110具有与RGBW图案不同的图案的示例实施例。以下将参照图6至图8B描述根据本发明构思的示例实施例的像素阵列110具有不同图案的情况。

图6至图8B是用于说明根据像素阵列的图案类型生成合成图像数据的方法的示图。以下将描述图6至图8B，其中省略了与图3至图5中的部分相同的部分的描述。

首先，图6是用于说明当像素阵列110a具有TETRA图案时生成合成图像数据的方法的示图。参照图6，像素阵列110a可以具有四图案，其中包括以2×2矩阵布置的红色像素R在内的红色像素组PG1、包括以2×2矩阵布置的第一绿色像素Gr在内的第一绿色像素组PG2、包括以2×2矩阵布置的第二绿色像素Gb在内的第二绿色像素组PG3、以及包括以2×2矩阵布置的蓝色像素B在内的蓝色像素组PG4被重复布置。

可以将像素阵列110a的像素组PG1、PG2、PG3和PG4中的每个像素组中包括的像素PX划分为多个子组。在示例实施例中，可以根据像素组中的像素PX的位置来划分多个子组。例如，参考图7，在像素组中，可以将位于第一对角线方向上的像素(例如，位于像素组的左上侧和右下侧的像素)分组为第一子组，并且可以将位于与第一对角线方向不同的第二对角线方向上的像素(例如，位于像素组的右上侧和左下侧的像素)分组为第二子组。

在像素阵列110a中，可以将第一转换增益施加到第一子组中包括的像素PX，并且可以将第二转换增益施加到第二子组中包括的像素PX。像素阵列110可以针对多个像素组PG1、PG2、PG3和PG4通过单个读出来输出第一子组的像素信号和第二子组的像素信号。

例如，像素阵列110a可以针对第一像素组PG1通过单个读出来输出包括位于第一对角线方向上的红色像素R在内的第一子组的第一像素信号、和包括位于第二对角线方向上的红色像素R在内的第二子组的第二像素信号。像素阵列110a可以通过以上方法输出其他像素组PG2、PG3和PG4的像素信号。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第一像素信号来生成与第一转换增益相对应的第一图像数据IDT1_CG1。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第一像素信号所生成的第一像素值R1、Gr1、Gb1和B1，生成与第一转换增益相对应的第一图像数据IDT1_CG1。

另外，读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第二像素信号来生成与第二转换增益相对应的第一图像数据IDT1_CG2。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第二像素信号所生成的第二像素值R2、Gr2、Gb2和B2，生成与第二转换增益相对应的第一图像数据IDT1_CG2。

图像信号处理器130可以通过以像素组为单位对第一图像数据IDT1_CG1和IDT1_CG2进行合成来生成输出图像数据ODIT。例如，图像信号处理器130可以通过以多个像素组PG1、PG2、PG3和PG4为单位对第一图像数据IDT1_CG1和IDT1_CG2进行合成来生成包括第三像素值R3、Gr3、Gb3和B3的输出图像数据OIDT。

图7是用于说明当像素阵列110b具有NONA图案时生成合成图像数据的方法的示图。参照图6，像素阵列110a可以具有NONA图案，其中包括以3×3矩阵布置的红色像素R在内的红色像素组PG1、包括以3×3矩阵布置的第一绿色像素Gr在内的第一绿色像素组PG2、包括以3×3矩阵布置的第二绿色像素Gb在内的第二绿色像素组PG3、以及包括以3×3矩阵布置的蓝色像素B在内的蓝色像素组PG4被重复布置。

可以将像素阵列110b的像素组PG1、PG2、PG3和PG4中的每个像素组中包括的像素PX划分为多个子组。在示例实施例中，可以根据像素组中的像素PX的位置来划分多个子组。

例如，参考图7，在像素组中，可以将位于第一列中的像素划分为第一子组，可以将位于第二列中的像素划分为第二子组，并且可以将位于第三列中的像素划分为第三子组。然而，本发明构思不限于此，并且例如，在像素组中，可以将位于第一行中的像素划分为第一子组，可以将位于第二行中的像素划分为第二子组，并且可以将位于第三行中的像素划分为第三子组。

在像素阵列110b中，可以将第一转换增益施加到第一子组中包括的像素PX，可以将第二转换增益施加到第二子组中包括的像素PX，并且可以将第三转换增益施加到第三子组中包括的像素PX。第一转换增益至第三转换增益可以相同或彼此不同。像素阵列110可以针对多个像素组PG1、PG2、PG3和PG4通过单个读出来输出第一子组、第二子组和第三子组的像素信号。

例如，像素阵列110b可以输出包括位于第一列中的红色像素R在内的第一子组的第一像素信号、包括位于第二列中的红色像素R在内的第二子组的第二像素信号、以及包括位于第三列中的红色像素R在内的第三子组的第三像素信号。像素阵列110b可以通过以上方法输出其他像素组PG2、PG3和PG4的像素信号。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第一像素信号来生成与第一转换增益相对应的第一图像数据IDT1_CG1。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第一像素信号所生成的第一像素值R1、Gr1、Gb1和B1，生成与第一转换增益相对应的第一图像数据IDT1_CG1。

另外，读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第二像素信号来生成与第二转换增益相对应的第一图像数据IDT1_CG2。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第二像素信号所生成的第二像素值R2、Gr2、Gb2和B2，生成与第二转换增益相对应的第一图像数据IDT1_CG2。

另外，读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第三像素信号来生成与第三转换增益相对应的第一图像数据IDT1_CG3。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第三像素信号所生成的第三像素值R3、Gr3、Gb3和B3，生成与第三转换增益相对应的第一图像数据IDT1_CG3。

图像信号处理器130可以通过以像素组为单位对第一图像数据IDT1_CG1、IDT1_CG2和IDT1_CG3进行合成来生成输出图像数据ODIT。在示例实施例中，图像信号处理器130可以通过以多个像素组PG1、PG2、PG3和PG4为单位对第一图像数据IDT1_CG1、IDT1_CG2和IDT1_CG3进行合成来生成包括第四像素值R4、Gr4、Gb4和B4的输出图像数据OIDT。

例如，图像信号处理器1130可以基于与第一像素组PG1相对应的第一图像数据IDT1_CG1、IDT1_CG2和IDT1_CG3的像素值R1、R2和R3来计算与第一像素组PG1相对应的第四像素值R4。以这种方式，图像信号处理器130可以计算与其他像素组PG2、PG3和PG4相对应的第四像素值Gr4、Gb4和B4。此后，图像信号处理器130可以基于第四像素值R4、Gr4、Gb4和B4来生成输出图像数据OIDT。

图8A和图8B是用于说明当像素阵列110c具有HEXADECA图案时生成合成图像数据的方法的示图。参照图6，像素阵列110a可以具有HEXADECA图案，其中包括以4×4矩阵布置的红色像素R在内的红色像素组PG1、包括以4×4矩阵布置的第一绿色像素Gr在内的第一绿色像素组PG2、包括以4×4矩阵布置的第二绿色像素Gb在内的第二绿色像素组PG3、以及包括以4×4矩阵布置的蓝色像素B在内的蓝色像素组PG4被重复布置。

可以将像素阵列110c的多个像素组PG1、PG2、PG3和PG4中的每个像素组中包括的像素PX划分为多个子组。在示例实施例中，可以根据像素组中的像素PX的位置来划分多个子组。

例如，参考图8A，多个像素组PG1、PG2、PG3和PG4中的每一个像素组可以被划分为四个子组。具体地，在包括在多个像素组PG1、PG2、PG3和PG4中的像素中，左上四个像素可以被分组为第一子组，右上四个像素可以被分组为第二子组，左下四个像素可以被分组为第三子组，并且右下四个像素可以被分组为第四子组。然而，本发明构思不限于此，并且例如，在像素组中，位于第一行(第一列)中的像素可以被分组为第一子组，位于第二行(第二列)中的像素可以被分组为第二子组，位于第三行(第三列)中的像素可以被分组为第三子组，并且位于第四行(第四列)中的像素可以被分组为第四子组。

在像素阵列110c中，可以将第一转换增益施加到第一子组中包括的像素PX，可以将第二转换增益施加到第二子组中包括的像素PX，可以将第三转换增益施加到第三子组中包括的像素PX，并且可以将第四转换增益施加到第四子组中包括的像素PX。第一转换增益至第四转换增益可以相同或彼此不同。像素阵列110c可以针对多个像素组PG1、PG2、PG3和PG4通过单个读出来输出第一子组、第二子组、第三子组和第四子组的像素信号。

例如，参考图8A，像素阵列110c可以针对第一像素组PG1通过单个读出来输出包括左上红色像素R在内的第一子组的第一像素信号、包括右上红色像素R在内的第二子组的第二像素信号、包括左下红色像素R在内的第三子组的第三像素信号、以及包括右下红色像素R在内的第四子组的第四像素信号。像素阵列110c可以通过以上方法输出其他像素组PG2、PG3和PG4的像素信号。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第一像素信号来生成与第一转换增益相对应的第一图像数据IDT1_CG1。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第一子组的第一像素信号所生成的第一像素值R1、Gr1、Gb1和B1，生成与第一转换增益相对应的第一图像数据IDT1_CG1。

另外，读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第二像素信号来生成与第二转换增益相对应的第二图像数据IDT1_CG2。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第二子组的第二像素信号所生成的第二像素值R2、Gr2、Gb2和B2，生成与第二转换增益相对应的第一图像数据IDT1_CG2。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第三像素信号来生成与第三转换增益相对应的第一图像数据IDT1_CG3。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第三子组的第三像素信号所生成的第三像素值R3、Gr3、Gb3和B3，生成与第三转换增益相对应的第一图像数据IDT1_CG3。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第四像素信号来生成与第四转换增益相对应的第一图像数据IDT1_CG4。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第四子组的第四像素信号所生成的第四像素值R4、Gr4、Gb4和B4，生成与第四转换增益相对应的第一图像数据IDT1_CG4。

图像信号处理器130可以通过以像素组为单位对第一图像数据IDT1_CG1、IDT1_CG2、IDT1_CG3和IDT1_CG4进行合成来生成输出图像数据OD不。在示例实施例中，图像信号处理器130可以通过以多个像素组PG1、PG2、PG3和PG4为单位对第一图像数据IDT1_CG1、IDT1_CG2、IDT1_CG3和IDT1_CG4进行合成来生成包括第五像素值R5、Gr5、Gb5和B5的输出图像数据0IDT。

例如，图像信号处理器130可以基于与第一像素组PG1相对应的第一图像数据IDT1_CG1、IDT1_CG2、IDT1_CG3和IDT1_CG4的像素值R1、R2、R3和R4来计算与第一像素组PG1相对应的第五像素值R5。以这种方式，图像信号处理器130可以计算与其他像素组PG2、PG3和PG4相对应的第五像素值Gr5、Gb5和B5。此后，图像信号处理器130可以基于第五像素值Gr5、Gb5和B5来生成输出图像数据OIDT。

例如，参考图8A，多个像素组PG1、PG2、PG3和PG4中的每一个像素组可以被划分为两个子组。具体地，在包括在多个像素组PG1、PG2、PG3和PG4中的每一个像素组中的像素之中，八个上部像素可以被分组为第一子组，并且八个下部像素可以被分组为第二子组。然而，本发明构思不限于此，并且例如，在像素组中，左部像素可以被分组为第一子组，而右部像素可以被分组为第二子组。

在像素阵列110c中，可以将第一转换增益施加到第一子组中包括的像素PX，并且可以将第二转换增益施加到第二子组中包括的像素PX。第一转换增益和第二转换增益可以相同或彼此不同。像素阵列110可以针对多个像素组PG1、PG2、PG3和PG4通过单个读出来输出第一子组的像素信号和第二子组的像素信号。

例如，参考图8B，像素阵列110a可以针对第一像素组PG1通过单个读出来输出包括上部红色像素R在内的第一子组的第一像素信号和包括下部红色像素R在内的第二子组的第二像素信号。像素阵列110c可以通过以上方法输出其他像素组PG2、PG3和PG4的像素信号。

读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第一像素信号来生成与第一转换增益相对应的第一图像数据IDT1_CG1。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第一子组的第一像素信号所生成的第一像素值R1、Gr1、Gb1和B1，生成与第一转换增益相对应的第一图像数据TDT1_CG1。

另外，读出电路120可以基于多个像素组PG1、PG2、PG3和PG4的第二像素信号来生成与第二转换增益相对应的第二图像数据IDT1_CG2。例如，读出电路120可以根据基于多个像素组PG1、PG2、PG3和PG4的第二子组的第二像素信号所生成的第二像素值R2、Gr2、Gb2和B2，生成与第二转换增益相对应的第一图像数据IDT1_CG2。

图像信号处理器130可以通过以像素组为单位对第一图像数据IDT1_CG1和IDT1_CG2进行合成来生成输出图像数据OD不。在示例实施例中，图像信号处理器130可以通过以多个像素组PG1、PG2、PG3和PG4为单位对第一图像数据IDT1_CG1和IDT1_CG2进行合成来生成包括第三像素值R3、Gr3、Gb3和B3的输出图像数据OIDT。

例如，参考图8B，图像信号处理器130可以基于与第一像素组PG1相对应的第一图像数据IDT1_CG1和IDT1_CG2的像素值R1和R2来计算与第一像素组PG1相对应的第三像素值R3。以这种方式，图像信号处理器130可以计算与其他像素组PG2、PG3和PG4相对应的第三像素值Gr3、Gb3和B3。此外，图像信号处理器130可以基于第三像素值R3、Gr3、Gb3和B3来生成输出图像数据OIDT。

图9和图10是示出了根据本发明构思的示例实施例的生成多帧高动态范围(HDR)图像数据的方法的示图。尽管为了便于说明，假设像素阵列110具有RGBW图案，但是本发明构思不限于此，并且以下描述可以基本上应用于其中像素阵列110具有RGBY图案、TETRA图案、NONA图案或HEXADECA图案的示例实施例。以下将描述图9和图10，其中省略了与图3至图8中的部分相同的部分的描述。

参照图9，图1的电子设备10可以通过以上参考图3至图8所描述的方法针对多个帧部分中的每一个生成多个合成图像数据(例如，图5的输出图像数据)。电子设备10可以通过对多个生成的合成图像数据进行合成来生成多帧HDR图像。

在示例实施例中，图像传感器100可以通过以上参照图3至图8描述的方法在与第一曝光相对应的第一帧部分tFRAME1中生成与第一增益相对应的第一图像数据IDT1_CG1和与第二转换增益相对应的第一图像数据IDT1_CG2。图像传感器100的图像信号处理器130可以通过以上参照图3至图8描述的方法对与第一帧部分tFRAME1相对应的第一图像数据IDT1_CG1和IDT1_CG2进行合并来生成第一输出图像数据OIDT1。

图像传感器100可以通过以上参照图3至图8描述的方法在与第二曝光相对应的第二帧部分tFRAME2中生成与第一增益相对应的第二图像数据IDT2_CG1和与第二转换增益相对应的第二图像数据IDT2_CG2。第二曝光可以具有与第一曝光不同的曝光时段。图像传感器100的图像信号处理器130可以通过以上参照图3至图8描述的方法对与第二帧部分tFRAME2相对应的第二图像数据IDT2_CG1和IDT2_CG2进行合并来生成第二输出图像数据OIDT2。

参照图10，图像信号处理器130可以将第一输出图像数据OIDT1和第二输出图像数据OIDT2提供给处理器200。处理器200可以通过以像素组为单位对第一输出图像数据OIDT1和第二输出图像数据OIDT2进行合并来生成合成图像数据IDT_HDR。

例如，处理器200可以基于与第一像素组相对应的第一输出图像数据OIDT1和第二输出图像数据OIDT2的像素值R2和R4，计算合成图像数据IDT_HDR的第一像素值R5。例如，处理器200可以基于与其他像素组相对应的第一输出图像数据OIDT1和第二输出图像数据OIDT2的像素值，计算合成图像数据IDT_HDR的其他像素值Gr5、Gb5和B5。

如上所述，根据本发明构思的示例实施例的电子设备10可以通过上述方法使用与多个帧部分中的每个帧部分相对应的多个输出图像数据来生成多帧HDR图像数据，从而显著地增加颜色范围。

尽管以上参考图9和图10描述了电子设备10通过使用与两个帧部分相对应的两个输出图像数据来生成多帧HDR图像数据，但是本发明构思不限于此，并且可以使用与三个或更多个帧部分相对应的三个输出图像数据来生成多帧HDR图像数据。

图11是根据本发明构思的示例实施例的图像传感器的操作方法的流程图。具体地，图11是图1的图像传感器100的操作方法的流程图。

参照图11，图像传感器100可以从包括在像素阵列中的多个像素组中的每个像素组通过单个读出来输出与施加有第一转换增益的第一像素相对应的第一像素信号(S110)。具体地，图像传感器100可以通过对多个像素组中的每个像素组的第一像素的第一像素值求和来输出第一像素信号。

接下来，图像传感器100可以从包括在像素阵列中的多个像素组中的每个像素组通过单个读出来输出与施加有第二转换增益的第二像素相对应的第二像素信号(S120)。具体地，图像传感器100可以通过对多个像素组中的每个像素组的第二像素的第二像素值求和来输出第二像素信号。可以通过单个读出来同时执行S110和S120。

图像传感器100可以基于多个像素组的第一像素信号来生成第一图像数据(S130)。图像传感器100可以基于多个像素组的第二像素信号来生成第二图像数据(S140)。此后，图像传感器100可以通过以像素组为单位对第一图像数据和第二图像数据进行合并来生成输出图像数据(S150)。

图12是示出了根据发明构思的示例实施例的电子设备的示图。

参照图12，电子设备1000可以包括图像传感器1100、应用处理器1200、显示器1300、存储器1400、存储设备1500、用户接1600和无线收发机1700。图12的图像传感器1100可以对应于图1的图像传感器100，并且图14的应用处理器1200可以对应于图1的处理器200。将省略与图1中的部分相同的部分的描述。

应用处理器1200可以控制电子设备1000的整体操作，并且可以以用于驱动应用程序、操作系统等的片上系统(SoC)的形式来提供。

存储器1400可以存储将由应用处理器1200处理或执行的程序和/或数据。存储设备1500可以被具体实现为诸如NAND闪存或电阻式存储器等的非易失性存储设备，并且可以例如以存储卡(MMC、eMMC、SD或微型SD)等形式被提供。存储设备1500可以存储与用于控制应用处理器1200和/或程序的图像处理操作的执行算法有关的数据，并且当执行图像处理操作时，可以将数据和/或程序加载到存储器1400。

用户接口1600可以具体实现为能够接收用户输入的各种类型的设备，例如键盘、窗帘键面板(curtain key panel)、触摸面板、指纹传感器或麦克风。用户接口1600可以接收用户输入，并将与接收到的用户输入相对应的信号提供给应用处理器1200。无线收发机1700可以包括调制解调器1710、收发机1720和天线1730。

图13是示出了根据发明构思的示例实施例的电子设备的一部分的示图。图14是示出了根据本发明构思的示例实施例的相机模块的具体配置的示图。具体地，图13是示出了作为图12的电子设备1000的一部分的电子设备2000的示图，并且图14是示出了图13的相机模块2100b的具体配置的示图。

参照图13，电子设备2000可以包括多相机模块2100、应用处理器2200和存储器2300。存储器2300可以执行与图12的存储器1400相同的功能，因此将省略对存储器2300中与存储器1400的部分相同的部分的描述。

电子设备2000可以通过使用CMOS图像传感器来捕获和/或存储对象的图像，并且可以被具体实现为移动电话、平板计算机或便携式电子设备。便携式电子设备可以包括膝上型计算机、移动电话、智能电话、平板PC、可穿戴设备等。

多相机模块2100可以包括第一相机模块2100a、第二相机模块2100b和第三相机模块2100c。多相机模块2100可以执行与图1的图像传感器100相同的功能。尽管图13示出了多相机模块2100包括三个相机模块2100a至2100c，但是本发明构思不限于此，并且多相机模块2100中可以包括各种数量的相机模块。

以下将参照图14更详细地描述相机模块2100b的配置，但是以下描述也可以适用于根据示例实施例的其他相机模块2100a和2100b。

参照图14，相机模块2100b可以包括棱镜2105、光路折叠元件(OPFE)2110、致动器2130、图像感测设备2140和存储器2150。

棱镜2105可以改变从外部入射的光L的路径，该外部包括光反射材料的反射面2107。

在示例实施例中，棱镜2105可以将在第一方向X上入射的光的路径改变为垂直于第一方向X的第二方向Y。另外，棱镜2105可以通过使光反射材料的反射面2107在方向A上绕中心轴2106旋转或在方向B上绕中心轴2106旋转，使在第一方向X上入射的光L的路径改变为垂直于第一方向X的第二方向Y。在一些示例实施例中，OPFE 2110可以在与第一方向X和第二方向Y垂直的第三方向Z上移动。

OPFE 2110可以包括例如m组光学透镜(这里，m是自然数)。m组透镜可以在第二方向Y上移动以改变相机模块2100b的光学变焦比。

致动器2130可以将OPFE 2110或光学透镜(在下文中称为光学透镜)移动到某个位置。例如，为了准确感测，致动器2130可以调节光学透镜的位置，使得图像传感器2142位于光学透镜的焦距处。

图像感测设备2140可以包括图像传感器2142、控制逻辑器件2144和存储器2146。图像传感器2142可以通过使用通过光学透镜提供的光L来感测要感测的对象的图像。图14的图像传感器2142在功能上可以与图1的图像传感器100相似，因此将省略其冗余描述。控制逻辑器件2144可以控制第二相机模块2100b的整体操作。

存储器2146可以存储操作第二相机模块2100b所必需的信息，例如校准数据2147。校准数据2147可以包括第二相机模块2100b通过使用从外部提供的光L来生成图像数据所必需的信息。校准数据2147可以包括例如关于旋转度、焦距、光轴等的信息。当第二相机模块2100b为焦距根据光学透镜的位置而变化的多状态相机的形式时，校准数据2147可以包括光学透镜的每个位置(或每个状态)的焦距值、以及与自动对焦有关的信息。

存储器2150可以存储通过图像传感器2142感测到的图像数据。存储器2150可以设置在图像感测设备2140的外部，并且可以与图像感测设备2140的传感器芯片堆叠在一起。在示例实施例中，存储器2150可以具体实现为电可擦除可编程只读存储器(EEPROM)，但是示例实施例不限于此。

参照图13和图14，在示例实施例中，多个相机模块2100a、2100b和2100c中的每一个可以包括致动器2130。因此，根据多个相机模块2100a、2100b和2100c中的致动器1130的操作，多个相机模块2100a、2100b和2100c可以包括相同或不同的校准数据2147。

在示例实施例中，多个相机模块2100a、2100b和2100c中的相机模块(例如，第二相机模块2100b)可以是包括棱镜2105和OPFE 2110在内的折叠透镜型相机模块，并且其他相机模块(例如，相机模块2100a和2100b)可以是不包括棱镜2105和OPFE 2110的竖直相机模块，但是示例实施例不限于此。

在示例实施例中，多个相机模块2100a、2100b和2100c中的相机模块(例如，第三相机模块2100c)可以是例如通过使用红外线(IR)提取深度信息的竖直深度相机。在一些示例实施例中，应用处理器2200可以通过对从深度相机提供的图像数据和从另一相机模块(例如，第一相机模块2100a或第二相机模块2100b)提供的图像数据进行合并来生成三维(3D)深度图像。

在示例实施例中，多个相机模块2100a、2100b和2100c中的至少两个相机模块(例如，第一相机模块2100a和第二相机模块2100b)可以具有不同的视场(FOV)(不同的视角)。在一些示例实施例中，例如，多个相机模块2100a、2100b和2100c中的至少两个相机模块(例如，相机模块2100a和2100b)可以包括不同的光学透镜，但是示例实施例不限于此。例如，多个相机模块2100a、2100b和2100c中的第一相机模块2100a的FOV可以小于第二相机模块2100b和第三相机模块2100c的FOV。然而，示例实施例不限于此，并且多相机模块2100可以进一步包括具有比最初使用的相机模块2100a、2100b和2100c的FOV大的FOV的相机模块。

在一些示例实施例中，多个相机模块2100a、2100b和2100c的视角可以彼此不同。在一些示例实施例中，包括在多个相机模块2100a、2100b和2100c中的光学透镜可以彼此不同，但是示例实施例不限于此。

在一些示例实施例中，多个相机模块2100a、2100b和2100c可以被布置为彼此物理分离。即，一个图像传感器2142的感测区域未被多个相机模块2100a、2100b和2100c划分和使用，但是图像传感器1142可以独立地设置在多个相机模块2100a、2100b和2100c中的每一个中。

应用处理器2200可以包括多个子处理器2210a、2210b和2210c、相机模块控制器2230、存储器控制器2400和内部存储器2500。应用处理器1200可以与多个相机模块2100a、2100b和2100c分离。例如，应用处理器2200和多个相机模块2100a、2100b和2100c可以是彼此分离的半导体芯片。

可以通过彼此分离的图像信号线ISLa、ISLb和ISLc将由相机模块2100a生成的图像数据、由相机模块2100b生成的图像数据以及由相机模块2100c生成的图像数据提供给与其对应的子处理器2210a、2210b和2210c。可以例如基于移动工业处理器接口(MIPI)使用相机串行接口(CSI)来发送这样的图像数据，但是示例实施例不限于此。

在示例实施例中，一个子处理器可以被布置为对应于多个相机模块。例如，与附图中所示的不同，第一子处理器2210a和第三子处理器2210b可以不彼此分离，而是可以被集成在一起作为一个子处理器，并且从相机模块2100a和2100c提供的图像数据可以由选择器(例如，复用器)等来选择，并被提供给子处理器。

子处理器2210a、2210b和2210c可以对接收到的图像数据执行图像处理，并将处理后的图像数据输出到图像生成器2220。

相机模块控制器2230可以向相机模块2100a、2100b和2100c提供控制信号。由相机模块控制器2230生成的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc被提供给相机模块2100a、2100b和2100c。

已经由此描述了本发明构思的示例实施例，将显而易见的是，可以以多种方式对其进行修改。不应将这些变化视为脱离本发明构思的示例实施例的预期的精神和范围，并且对于本领域技术人员显而易见的是，所有这些修改旨在包括在所附权利要求的范围内。