阅读说明：本技术 图像传感器和包括其的电子设备、以及图像缩放处理方法 (Image sensor, electronic device including the same, and image scaling processing method ) 是由 郑溢允 李济硕 于 2019-06-05 设计创作，主要内容包括：图像传感器可以包括：具有以拜耳模式排列的N×M合并像素阵列的像素阵列,每个合并像素包括相同颜色的单位像素的k*l矩阵,其中k和l是大于2的整数；以及图像信号处理器,用于根据普通模式或放大模式处理由像素阵列输出的信号。在放大模式中,可以重新拼接来自像素阵列的信号,使得对应于单位像素的信号排列在相同颜色的单位像素的p*q矩阵中,其中p是小于k的非负整数,q是小于l的非负整数,p*q矩阵以拜耳模式排列。(The image sensor may include: a pixel array having an N × M binning pixel array arranged in a bayer pattern, each binning pixel comprising a k × l matrix of unit pixels of the same color, where k and l are integers greater than 2; and an image signal processor for processing the signals output by the pixel array according to a normal mode or an amplification mode. In the amplification mode, signals from the pixel array may be re-tiled such that signals corresponding to unit pixels are arranged in a p × q matrix of unit pixels of the same color, where p is a non-negative integer less than k and q is a non-negative integer less than l, the p × q matrix being arranged in a bayer pattern.)

图像传感器和包括其的电子设备、以及图像缩放处理方法

相关申请的交叉引用

2018年8月29日在韩国知识产权局提交的题为“图像传感器和包括图像传感器的电子设备、以及图像缩放处理方法”的韩国专利申请No.10-2018-0101965通过引用整体并入本文。

技术领域

与示例实施例一致的装置和方法涉及能够电子地实现放大和缩小的图像传感器、包括图像传感器的电子设备、以及图像缩放处理方法。

背景技术

包括图像传感器的电子设备(例如，数码相机、智能电话和便携式摄像机)提供放大和缩小功能。为了实现缩放功能，可以使用图像信号处理(ISP)、透镜或单独的放大和缩小图像传感器。然而，使用ISP仅允许以降低的图像质量实现放大功能，而使用透镜或单独的图像传感器昂贵且不紧凑。

发明内容

根据示例实施例，图像传感器可以包括像素阵列，所述像素阵列具有以拜耳模式排列的N×M合并像素阵列，每个合并像素包括相同颜色的单位像素的k*l矩阵，其中k和l是大于2的整数；以及图像信号处理器，用于根据普通模式或放大模式处理由像素阵列输出的信号。在放大模式中，可以重新拼接(remosaic)来自像素阵列的信号，使得对应于单位像素的信号排列在相同颜色的单位像素的p*q矩阵中，其中p是小于k的非负整数，q是小于l的非负整数，p*q矩阵以拜耳模式排列。

根据示例实施例，电子设备可以包括像素阵列，所述像素阵列具有以拜耳模式排列的N×M合并像素阵列，每个合并像素包括相同颜色的单位像素的k*l矩阵，其中k和l是大于2的整数，信号处理器根据普通模式或放大模式处理由合并像素阵列输出的信号；以及重新拼接处理器。在放大模式中，重新拼接处理器用于重新拼接像素阵列，使得对应于单位像素的信号排列在相同颜色的单位像素的p*q矩阵中，其中p是小于k的非负整数，q是小于l的非负整数，p*q矩阵以拜耳模式排列。

根据示例实施例，一种包括像素阵列的图像传感器的图像缩放处理的方法可以包括：驱动像素阵列中的多个合并像素以生成全分辨率图像；根据普通模式或放大模式处理由具有以拜耳模式排列的N×M合并像素阵列的像素阵列输出的信号，每个合并像素包括相同颜色的单位像素的k*l矩阵，其中k和l是大于2的整数；以及，在放大模式中，重新拼接来自像素阵列的信号，使得对应于单位像素的信号排列在相同颜色的单位像素的p*q矩阵中，其中p是小于k的非负整数，p是小于l的非负整数，p*q矩阵以拜耳模式排列。

根据示例实施例，提供了一种包括像素阵列、信号处理器和信号输出单元的图像传感器的图像缩放处理方法。驱动设置在像素阵列中的多个合并像素以生成全分辨率图像。裁剪全分辨率图像的一部分以生成普通模式图像或放大模式图像。信号处理器将普通模式图像或放大模式图像重新拼接。将重新拼接的普通模式图像或放大模式图像输出到电子设备的主机芯片。

根据示例实施例，提供了一种包括像素阵列、信号处理器和信号输出单元的图像传感器的图像缩放处理方法。驱动设置在像素阵列中的多个合并像素以生成全分辨率图像。裁剪全分辨率图像的一部分以生成缩小模式图像。信号处理器将缩小模式图像合成(bin)。信号输出单元将合成的缩小模式图像输出到电子设备的主机芯片。

根据示例实施例，提供了一种包括图像传感器的电子设备的图像缩放处理方法。驱动设置在像素阵列中的多个合并像素以生成全分辨率图像。裁剪全分辨率图像的一部分以生成普通模式图像或放大模式图像。普通模式图像或放大模式图像被输出到电子设备的主机芯片。主机芯片将普通模式图像或放大模式图像重新拼接。

根据示例实施例，一种包括像素阵列的图像传感器的图像缩放处理的方法可以包括：驱动像素阵列中的多个合并像素以生成全分辨率图像；根据普通模式或放大模式裁剪全分辨率图像的一部分；根据缩小模式合成(bin)全分辨率图像；根据普通模式、放大模式或缩小模式生成图像信号，其中图像信号具有与普通模式、放大模式和缩小模式相同的分辨率。

根据示例实施例，提供了一种包括像素阵列、定时生成器、信号处理器和信号输出单元的图像传感器。多个合并像素设置在像素阵列中，并且多个合并像素中的全部或一些被驱动以生成普通模式图像、放大模式图像或缩小模式图像。定时生成器基于从用户界面输入的缩放模式来驱动多个合并像素中的每一个。信号处理器对普通模式图像或放大模式图像进行重新拼接或者对缩小模式图像进行合成。信号输出单元将拼接的或合成的图像输出到电子设备的主机芯片。

附图说明

通过参考附图详细描述示例性实施例，特征对于本领域技术人员将变得显而易见，其中：

图1A是根据示例实施例的包括图像传感器的电子设备的示图。

图1B图示了根据示例实施例的包括图像传感器的电子设备的示图。

图2A图示了根据示例实施例的图像传感器的信号处理器的示图。

图2B图示了根据示例实施例的信号处理器的示图。

图2C图示了根据示例实施例的主机芯片的示图。

图2D图示了根据示例实施例的图2C的主机芯片的图像处理器的示图。

图3A图示了示出图像传感器的像素阵列的示图。

图3B图示了一个单位像素的电路图。

图4图示了由图像传感器获取的全分辨率图像。

图5A图示了通过基于中心裁剪全分辨率图像的一部分而生成的普通模式图像。

图5B图示了通过基于角裁剪全分辨率图像的一部分来生成普通模式图像的操作。

图6A图示了通过基于中心裁剪全分辨率图像的一部分而生成的放大模式图像。

图6B图示了通过基于角裁剪全分辨率图像的一部分来生成放大模式图像的操作。

图7图示了缩小模式图像。

图8A图示了16合并像素模式(16-merged pixel patterns)的示例。

图8B图示了4合并像素模式的示例。

图8C图示了拜耳像素模式的示例。

图8D示出了9合并像素模式的示例。

图8E示出了N×M合并像素模式的示例。

图9A图示了利用4合并像素模式重拼接16合并像素模式的示例。

图9B图示了利用拜耳像素模式重拼接4合并像素模式的示例。

图9C图示了利用16合并像素模式重新拼接4合并像素模式的示例。

图10图示了通过利用拜耳像素模式重拼接4合并像素模式来放大图像的示例。

图11A和11B图示了通过将4合并像素模式合成为1/2N×1/2M拜耳像素模式来缩小图像的示例。

图12图示了其中具有N×M合并像素结构的图像传感器生成普通模式、放大模式和缩小模式图像的示例。

图13图示了其中具有N×M合并像素结构的图像传感器在不增加图像文件的大小的情况下放大图像一次、两次和四次的示例。

具体实施方式

在下文中，将参考附图描述根据本示例实施例的图像传感器、包括图像传感器的电子设备以及图像缩放处理方法。

图1A是根据示例实施例的包括图像传感器的电子设备的示图。图1B是根据示例实施例的包括图像传感器的电子设备的示图。图2A是图像传感器的信号处理器的示图。图3A是示出图像传感器的像素阵列的示图。图3B是一个单位像素的电路图。

参考图1A、2A、3A和3B，根据示例实施例的电子设备10可以包括图像传感器100、用户界面210和主机芯片220。图像传感器100可以包括定时生成器110、像素阵列120、信号处理器130、存储器140和信号输出单元150。信号处理器130可以包括第一图像信号处理器(ISP)131、重新拼接处理器132、第二ISP 133、缩减器(downscaler)134、第三ISP 135和输出接口136。

根据示例实施例的电子设备10可以是包括用户界面210和主机芯片220的设备，并且具有显示和通信功能。例如，电子设备10可以是智能手机、平板个人计算机(PC)、移动电话、可穿戴设备(例如智能手表)、电子书、笔记本电脑、上网本、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动医疗仪器、数码相机等中的任何一种。。

如图3A所示，像素阵列120可以包括多个单位像素121。多个单位像素121可以布置成二维(2D)阵列。作为示例，像素阵列120可以被布置使得N(N是大于或等于1的整数)个单位像素121在垂直方向上排列并且M(M是大于或等于1的整数)个单位像素121在水平方向上排列。

像素阵列120可以以芯片形式形成，并且包括用于各个单位像素121和读出电路(参见图3B)的信号输入和输出的多个互连(参见图3B)。多个单位像素121中的每一个可以包括滤色器(color filter)(例如，红色滤色器、蓝色滤色器、绿色滤色器等)。反映人类视觉的特征，所有单位像素的25％可以包括红色滤色器，25％可以包括蓝色滤色器，50％可以包括绿色滤色器。互补金属氧化物半导体(CMOS)图像传感器(CIS)可以应用于像素阵列120。包括相同滤色器的单位像素121可以彼此相邻，从而构成像素阵列120。

作为示例，像素阵列120可以包括16合并像素模式，在每个像素模式中，具有相同滤色器的16个单位像素121以4×4矩阵排列。换句话说，包括相同滤色器的16个单位像素可以构成一个16合并像素。不同的16合并像素可以彼此垂直和水平相邻，从而构成像素阵列120。

作为示例，像素阵列120可以包括4合并像素模式，在每个像素模式中，具有相同滤色器的4个单位像素121以2×2矩阵排列。换句话说，包括相同滤色器的4个单位像素可以构成一个4合并像素。不同的4合并像素可以彼此垂直和水平相邻，从而构成像素阵列120。

由电子设备10生成的图像的分辨率可以根据单位像素121的数量而变化。作为示例，像素阵列120可以包括例如在行方向上水平布置的4,000个单位像素121，以及例如在列方向上垂直排列的3,000个单位像素121。在这种情况下，像素阵列120可以生成具有12百万像素(MP)(4,000×3,000)的分辨率的图像。作为示例，像素阵列120可以包括水平布置的8,000个单位像素121和垂直布置的6,000个单位像素121。在这种情况下，像素阵列120可以生成具有48MP(8,000×6,000)的分辨率的图像。作为示例，像素阵列120可以包括水平布置的12,000个单位像素121和垂直布置的9,000个单位像素121。在这种情况下，像素阵列120可以生成具有108MP(12,000×9,000)的分辨率的图像。

如图3B所示，多个单位像素121中的每一个可以包括光电二极管PD，即，包括多个晶体管TX、RX、DX和SX以及多个互连的光敏元件和读出电路。读出电路可以驱动光电二极管PD并读取由光电二极管PD生成的图像信号。读出电路可以包括传输晶体管TX、驱动晶体管DX、选择晶体管SX和复位晶体管RX。

由光电二极管PD生成的光电荷可以通过传输晶体管TX输出到第一节点N1(例如，浮动扩散节点)。例如，当传输控制信号TG处于第一电平(例如，高电平)时，可以导通传输晶体管TX。当传输晶体管TX导通时，光电二极管PD生成的光电荷可以通过传输晶体管TX输出到第一节点N1。

例如，驱动晶体管DX可以用作源极跟随器缓冲放大器。驱动晶体管DX可以放大与存储在第一节点N1中的电荷对应的信号。

例如，响应于选择信号SEL，可以导通选择晶体管SX。当选择晶体管SX导通时，由驱动晶体管DX放大的信号可以被传输到列线COL。

例如，可以响应于复位信号RS导通复位晶体管RX。当复位晶体管RX导通时，存储在第一节点N1中的电荷可以被放电。图3B图示了包括一个光电二极管PD和四个MOS晶体管TX、RS、DX和SX的单位像素121。或者，每个单位像素121可以包括一个光电二极管PD和三个或更少的MOS晶体管。又或者，每个单位像素121可以包括一个光电二极管PD和五个或更多个MOS晶体管。

参考图2B至图2D，可以在设备10的其他组件中不同地配置图2A中所示的信号处理器130的组件。

如图2B所示，与图2A中的信号处理器130相反，信号处理器130a可以包括第一ISP331和输出接口136。然后如图2C所示，主机芯片220a可以提供附加处理，例如，可以包括信号输入单元222和图像处理器230。

如图2D所示，主机芯片220a中的图像处理器230可以包括输入接口231、第二ISP13、重新拼接处理器132和缩减器134。信号处理器130a可以将从N×M个16合并像素输出的第一图像转换成数据信号，并经由图1的信号输出单元150将数据信号发送到主机芯片220a。图像处理器230可以经由输入接口231接收数据信号，输入接口231将输入数据信号转换为从N×M个16合并像素输出的第一图像。输入接口231可以将第一图像发送到第二ISP133。

参考图1B，根据示例实施例的电子设备10'可以包括图像传感器100、用户界面210和主机芯片220。电子设备10'可以另外包括照度传感器160。照度传感器160可以将照度值输出到信号处理器130和用户界面210。照度传感器160可以与图像传感器100分离或者是图像传感器100的一部分。

图4示出了由图像传感器获取的全分辨率图像。

参考图1A和图4，用户可以通过电子设备10的用户界面210选择缩放模式。用户界面210可以根据用户的缩放模式选择将缩放模式信号发送到图像传感器100。图像传感器100可以基于输入的缩放模式根据普通模式、放大模式或缩小模式生成图像。

参考图1A和图4，照度传感器160是用于测量光量的传感器，并且可以在电阻值根据入射在其上的光量而改变时感测图像传感器100的环境照度。照度传感器160可以根据感测的照度生成照度值，并将生成的照度值发送到用户界面210和信号处理器130。

用户界面210可以使用照度值自动选择普通模式、放大模式或缩小模式，用户界面210可以基于从照度传感器160输入的照度值生成普通模式信号、放大模式信号或缩小模式信号。用户界面210可以将生成的普通模式信号、放大模式信号或缩小模式信号发送到图像传感器100。信号处理器130可以基于输入的普通模式信号、放大模式信号或缩小模式信号生成普通模式图像、放大模式图像或缩小模式图像。

如图1A所示，可以通过用户界面210将根据用户的选择的缩放模式信号发送到图像传感器100。如图1B所示，基于照度传感器160的照度值的缩放模式信号可以被发送到图像传感器100。可以采用两种机制，例如，在电子设备10'中，用户界面210可以覆盖(override)由照度传感器160自动设定的模式信号。

普通模式图像的生成

图5A示出了通过基于中心裁剪全分辨率图像的一部分而生成的普通模式图像。图5B示出了通过基于角裁剪全分辨率图像的一部分来生成普通模式图像的操作。

参考图1A至5B，定时生成器110可以生成用于驱动像素阵列120的驱动信号(例如，水平参考信号、垂直参考信号、水平扫描参考信号、垂直扫描参考信号和场信号)。定时生成器110可以将所生成的驱动信号提供给像素阵列120的每个单位像素121。可以从用户界面210向图像传感器100输入普通模式信号。定时生成器110可以基于输入的普通模式信号驱动像素阵列120的所有单位像素。

如图4所示，图像传感器100可以裁剪通过驱动像素阵列120的所有单位像素而生成的全分辨率图像的一部分。图像传感器100可以输出通过按原样驱动像素阵列120的所有单位像素而生成的全分辨率图像。图像传感器100可以通过裁剪全分辨率图像的全部或一部分来生成普通模式图像。

作为示例，定时生成器110可以生成普通模式图像，其中与像素阵列120的所有单位像素中的普通模式相对应的第一单位像素输出信号。定时生成器110可以停止作为对应于普通模式的第一单位像素以外的像素阵列120的所有单位像素的第二单位像素输出信号。换句话说，在输入用于图像的缩放模式信号之前，图像传感器100可以驱动所有单位像素，并且电子设备10可以在屏幕上显示全分辨率图像。当输入普通模式信号时，图像传感器100可以生成普通模式图像，其中第一单位像素输出信号。图像传感器100可以停止除了与普通模式信号对应的第一单位像素之外的第二单位像素的信号输出。

作为示例，定时生成器110可以基于输入的普通模式信号驱动像素阵列120的所有单位像素。当像素阵列120的所有单位像素输出信号时，可以生成全分辨率图像。随后，由像素阵列120生成的全分辨率图像可以被发送到信号处理器130。信号处理器130可以通过裁剪全分辨率图像的一部分来生成普通模式图像。

由于图像传感器100通过裁剪全分辨率图像的一部分来生成普通模式图像，因此与全分辨率图像相比，可以减小普通模式图像的体积(即，数据大小)。图像传感器100可以通过基于特定点裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。换句话说，可以基于从所有单位像素的1/2到1/16输出的图像信号生成普通模式图像。

例如，如图5A所示，图像传感器100可以通过基于全分辨率图像的中心裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。换句话说，图像传感器100可以通过基于像素阵列120的中心使所有单位像素的1/2至1/16输出信号来生成普通模式图像。

例如，如图5B所示，图像传感器100可以通过基于全分辨率图像的左上角a裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。换句话说，图像传感器100可以通过基于像素阵列120的左上角a使所有单位像素的1/2至1/16输出信号来生成普通模式图像。

除此之外，图像传感器100可以通过基于全分辨率图像的右上角b裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。除此之外，图像传感器100可以通过基于全分辨率图像的左下角c裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。除此之外，图像传感器100可以通过基于全分辨率图像的右下角d裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。

例如，图像传感器100可以通过基于除全分辨率图像的中心(即，像素阵列120的中心)和四个角a、b、c和d之外的特定点裁剪对应于全分辨率图像的1/2至1/16的区域来生成普通模式图像。

放大模式图像的生成

图6A示出了通过基于中心裁剪全分辨率图像的一部分而生成的放大模式图像。图6B示出了通过基于角裁剪全分辨率图像的一部分来生成放大模式图像的操作。

参考图1A至图4和图6A以及图6B，放大模式信号可以从用户界面210输入到图像传感器100。定时生成器110可以基于输入的放大模式信号驱动像素阵列120的所有单位像素。如图4所示，图像传感器100可以裁剪通过驱动像素阵列120的所有单位像素而生成的全分辨率图像的一部分。图像传感器100可以通过裁剪全分辨率图像的一部分来生成放大模式图像。图像传感器100可以通过在全分辨率图像中裁剪比普通模式图像更小的区域(例如，普通模式图像的1/2至1/4区域)来生成放大模式图像。

作为示例，定时生成器110可以通过使与像素阵列120的所有单位像素中的放大模式相对应的第一单位像素输出信号来生成放大模式图像。定时生成器110可以停止第二单位像素的信号输出，所述第二单位像素是像素阵列120的除了与放大模式对应的第一单位像素之外的所有单位像素。换句话说，在输入图像的缩放模式信号之前，图像传感器100可以驱动所有单位像素，并且电子设备10可以在屏幕上显示全分辨率图像。当输入放大模式信号时，图像传感器100可以通过使第一单位像素输出信号来生成放大模式图像。图像传感器100可以停止第二单位像素的除了与放大模式信号对应的第一单位像素之外的信号输出。

作为示例，定时生成器110可以基于输入的放大模式信号驱动像素阵列120的所有单位像素。像素阵列120的所有单位像素输出信号，使得可以生成全分辨率图像。随后，由像素阵列120生成的全分辨率图像可以被发送到信号处理器130。信号处理器130可以通过裁剪全分辨率图像的一部分来生成放大模式图像。

由于图像传感器100通过裁剪全分辨率图像的一部分来生成放大模式图像，因此与全分辨率图像相比，可以减小放大模式图像的体积(即，数据大小)。图像传感器100可以通过基于特定点裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。换句话说，可以基于从所有单位像素的1/4到1/64输出的图像信号生成放大模式图像。

例如，如图6A所示，图像传感器100可以通过基于全分辨率图像的中心裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。换句话说，图像传感器100可以通过基于像素阵列120的中心使所有单位像素的1/4至1/64输出信号来生成放大模式图像。

例如，如图6B所示，图像传感器100可以通过基于全分辨率图像的左上角a裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。换句话说，图像传感器100可以通过基于像素阵列120的左上角a使所有单位像素的1/4至1/64输出信号来生成放大模式图像。

除此之外，图像传感器100可以通过基于全分辨率图像的右上角b裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。除此之外，图像传感器100可以通过基于全分辨率图像的左下角c裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。除此之外，图像传感器100可以通过基于全分辨率图像的右下角d裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。

例如，图像传感器100可以通过基于除了全分辨率图像的中心(即像素阵列120的中心)和四个角a、b、c和d之外的特定点裁剪对应于全分辨率图像的1/4至1/64的区域来生成放大模式图像。

缩小模式图像的生成

图7示出了缩小模式图像。

参考图1A至图4和图7，缩小模式信号可以从用户界面210输入到图像传感器100。定时生成器110可以基于输入的缩小模式信号驱动像素阵列120的所有单位像素。如图4所示，图像传感器100可以基于通过驱动像素阵列120的所有单位像素而生成的全分辨率图像来生成缩小模式图像。

作为示例，定时生成器110可以基于输入缩小模式信号驱动像素阵列120的所有单位像素。定时生成器110可以通过使像素阵列120的所有单位像素输出信号来生成缩小模式图像。

当像素阵列120的所有单位像素输出信号时，可以生成全分辨率图像。随后，由像素阵列120生成的全分辨率图像可以被发送到信号处理器130。信号处理器130可以通过全分辨率图像的信号处理生成缩小模式图像。当将全分辨率图按原样应用于缩小模式图像时，数据量可能增加。信号处理器130可以通过信号处理来减小缩小模式图像的数据大小。信号处理器130可以通过信号输出单元150将体积已经减小的缩小模式图像发送到主机芯片220。

可选择地，全分辨率图像数据可在由第一ISP 131处理之后从信号处理器130a输出到主机芯片220a。

图4示出了图像传感器100以与全分辨率图像相同的缩放级别生成缩小模式图像。除此之外，图像传感器100可以以全分辨率图像的1/2到1倍的缩放级别生成缩小模式图像。

当图像传感器100以全分辨率图像的1/2到1倍的缩放级别生成缩小模式图像时，定时生成器110可以基于输入的缩小模式信号驱动像素阵列120的所有单位像素。图像传感器100可以裁剪通过驱动像素阵列120的所有单位像素而生成的全分辨率图像的一部分。图像传感器100可以通过使用整体或通过裁剪全分辨率图像的一部分来生成缩小模式图像。

作为示例，定时生成器110可以通过使与像素阵列120的所有单位像素中的缩小模式相对应的第一单位像素输出信号来生成缩小模式图像。定时生成器110可以停止第二单位像素的信号输出，所述第二单位像素是像素阵列120的除了与缩小模式对应的第一单位像素之外的所有单位像素。

作为示例，定时生成器110可以基于输入缩小模式信号来驱动像素阵列120的所有单位像素。使像素阵列120的所有单位像素输出信号，使得可以生成全分辨率图像。随后，由像素阵列120生成的全分辨率图像可以被发送到信号处理器130。信号处理器130可以通过裁剪对应于全分辨率图像的1/2到1的区域来生成缩小模式图像。图像传感器100可以通过基于特定点裁剪对应于全分辨率图像的1/2到1的区域来生成缩小模式图像。换句话说，最大可以基于从所有单位像素输出的图像信号生成缩小模式图像。至少可以基于从所有单位像素的一半输出的图像信号生成缩小模式图像。

图像传感器100可以基于像素阵列120的中心生成缩小模式图像。除此之外，图像传感器100可以基于像素阵列120的左角、右上角、左下角或右下角生成缩小模式图像。除此之外，图像传感器100可以基于除了像素阵列120的中心和四个角a、b、c和d之外的特定点生成缩小模式图像。

图8A图示了16合并像素模式的示例。

参考图3A和图8A，像素阵列120中的多个单位像素121中的每一个可以包括红色滤色器、蓝色滤色器或绿色滤色器。包括相同滤色器的16个单位像素可以以N×M矩阵(例如，4×4矩阵)排列，以构成一个N×M合并像素(例如，16合并像素)。在像素阵列120中，包括红色滤色器的第一16合并像素16R、包括蓝色滤色器的第二16合并像素16B、以及包括绿色滤色器的第三16合并像素16G比率为1：1：2。包括蓝色滤色器的第二16合并像素16B可以与包括红色滤色器的第一16合并像素16R对角。包括绿色滤色器的第三16合并像素16G可以在包括红色滤色器的第一16合并像素16R的上侧、下侧、左侧和右侧。包括16R红色滤色器的第一16合并像素可以与包括蓝色滤色器的第二16合并像素16B对角。包括绿色滤色器的第三16合并像素16G可以在包括蓝色滤色器的第二16合并像素16B的上侧、下侧、左侧和右侧。包括红色滤色器的第一16合并像素16R可以在包括绿色滤色器的第三16合并像素16G的上侧和下侧。包括蓝色滤色器的第二16合并像素16B可以在包括绿色滤色器的第三16合并像素16G的左侧和右侧。

图8B图示了4合并像素模式的示例。

参考图3A和8B，像素阵列120中的多个单位像素121中的每一个可以包括红色滤色器、蓝色滤色器或绿色滤色器。包括相同滤色器的像素可以以N×M矩阵(例如，4个单位像素的2×2矩阵)排列，以构成一个N×M合并像素(例如，4合并像素)。在像素阵列120中，包括红色滤色器的第一4合并像素4R、包括蓝色滤色器的第二4合并像素4B、以及包括绿色滤色器的第三4合并像素4G比例为1：1：2。包括蓝色滤色器的第二4合并像素4B可以与包括红色滤色器的第一4合并像素4R对角。包括绿色滤色器的第三4合并像素4G可以在包括红色滤色器的第一4合并像素4R的上侧、下侧、左侧和右侧。包括红色滤色器的第一4合并像素4R可以与包括蓝色滤色器的第二4合并像素4B对角。包括绿色滤色器的第三4合并像素4G可以在包括蓝色滤色器的第二4合并像素4B的上侧、下侧、左侧和右侧。包括红色滤色器的第一4合并像素4R可以在包括绿色滤色器的第三4合并像素4G的上侧和下侧。包括蓝色滤色器的第二4合并像素4B可以在包括绿色滤色器的第三4合并像素4G的左侧和右侧。

图8C图示了拜耳像素模式的示例。

参考图3A和图8C，像素阵列120中的多个单位像素121中的每一个可以包括红色滤色器、蓝色滤色器或绿色滤色器。包括红色滤色器的第一单位像素、包括蓝色滤色器的第二单位像素和包括绿色滤色器的第三单位像素可以是1：1：2的比率。包括蓝色滤色器的第二单位像素可以与包括红色滤色器的第一单位像素成对角。包括绿色滤色器的第三单位像素可以在包括红色滤色器的第一单位像素的上侧、下侧、左侧和右侧。包括红色滤色器的第一单位像素可以与包括蓝色滤色器的第二单位像素成对角。包括绿色滤色器的第三单位像素可以在包括蓝色滤色器的第二单位像素的上侧、下侧、左侧和右侧。包括红色滤色器的第一单位像素可以在包括绿色滤色器的第三单位像素的左侧和右侧。包括蓝色滤色器的第二单位像素可以在包括绿色滤色器的第三单位像素的上侧和下侧。

图像传感器100可以将图像发送到主机芯片220、220a，或者电子设备10可以将图像发送到另一电子设备。当要传输的图像的分辨率增加时，数据量增加，并且每秒帧数(FPS)减少。假设发送1,024×1,024个图像，则发送每个图像3兆字节(MB)的数据。当发送图8C中所示的基于拜耳像素模式的1,024×1,024个图像数据时，发送每个图像1MB的数据。换句话说，当发送基于拜耳像素模式的图像数据时的FPS可能比不使用拜耳像素模式时的FPS大三倍。

图8D示出了9合并像素模式的示例。

参考图3A和图8D，像素阵列120中的多个单位像素121中的每一个可以包括红色滤色器、蓝色滤色器或绿色滤色器。包括相同滤色器的像素可以以N×M矩阵(例如，9个单位像素的3×3矩阵)排列，以构成一个N×M合并像素(例如，9合并像素)。在像素阵列120中，包括红色滤色器的第一9合并像素9R、包括蓝色滤色器的第二9合并像素9B和包括绿色滤色器的第三9合并像素9G可以以1：1：2的比例布置。

图8E示出了N×M合并像素模式的示例。

参考图3A和图8E，像素阵列120中的多个单位像素121中的每一个可以包括红色滤色器、蓝色滤色器或绿色滤色器。包括相同滤色器的像素可以以N×M矩阵(例如，12个单位像素的3×4矩阵)排列，以构成一个N×M合并像素(例如，12合并像素)。图8A、8B和8D示出了合并像素，其中单位像素以4×4、2×2和3×3矩阵排列。然而，合并像素不限于此，并且如图8E所示，沿水平方向排列的像素的数量可以与沿垂直方向排列的像素的数量不同。在像素阵列120中，包括红色滤色器的第一12合并像素12R、包括蓝色滤色器的第二12合并像素12B和包括绿色滤色器的第三12合并像素12G可以以1：1：2的比例布置。

图9A示出了利用4合并像素模式重拼接16合并像素模式的示例。

参考图1A至图2D和图9A，信号处理器130可以包括第一ISP 131、重新拼接处理器132、第二ISP 133、缩减器134、第三ISP 135和输出接口136，或者信号处理器130a可以包括第一ISP131和输出接口136，而主机芯片220a中的图像处理器230可以包括重新拼接处理器132、第二ISP133、缩减器134和第三ISP135。

信号处理器130或130a可以从N×M16合并像素接收第一图像输出。第一ISP131可以对输入的第一图像执行自动暗电平补偿(auto dark level compensation，ADLC)。第一ISP131可以对输入的第一图像执行坏像素校正。第一ISP131可以对输入的第一图像执行镜头阴影校正。第一ISP131可以将经过ADLC、坏像素校正和镜头阴影校正的第一图像发送到重新拼接处理器132或主机芯片220a，主机芯片220a将已经通过第二ISP133的第一图像提供给图像处理器230中的重新拼接处理器132。

重新拼接处理器132可以通过重新拼接第一图像将基于N×M16合并像素的第一图像转换为从2N×2M4合并像素输出的第二图像(例如，4合并像素图像)。换句话说，重新拼接处理器132可以重新拼接从16合并像素输出的第一图像，使得第一图像可以被转换为从4合并像素输出的第二图像(例如，4合并像素图像)。尽管像素阵列120在物理上由16合并像素模式组成，但是重新拼接处理器132可以通过重新拼接处理将16合并像素模式的图像转换为4合并像素模式的图像。

作为示例，重新拼接处理器132可以通过重新拼接第一图像一次将从N×M16合并像素输出的第一图像转换为从2N×2M4合并像素输出的第二图像(例如，4合并像素图像)。重新拼接处理器132可以将第二图像(例如，4合并像素图像)发送到第二ISP 133，所述第二图像是通过重新拼接处理转换成从2N×2M 4合并像素输出的图像。由于重新拼接处理器132通过将第一图像重新拼接一次，将16合并像素的第一图像转换为4合并像素的第二图像，因此可以将图像放大两次而不降低分辨率。

作为示例，重新拼接处理器132可以通过重新拼接第一图像两次将从N×M16合并像素输出的第一图像转换为从4N×4M拜耳像素输出的第三图像(例如，单像素图像)。重新拼接处理器132可以将第三图像(例如，单像素图像)发送到第二ISP 133，所述第三图像是通过重新拼接处理转换成从4N×4M拜耳像素的输出的图像。由于重新拼接处理器132通过将第一图像重新拼接两次，将16合并像素的第一图像转换为单个像素的第三图像，因此可以将图像放大四次而不降低分辨率。

图9B示出了利用拜耳像素模式重拼接4合并像素模式的示例。

参考图1A、1B、2A、2D和9B，重新拼接处理器132可以通过重新拼接第一图像将基于N×M 4合并像素的第一图像转换为从2N×2M拜耳像素输出的第二图像(例如，单像素图像)。换句话说，重新拼接处理器132可以重新拼接从4合并像素输出的第一图像，使得第一图像可以被转换为从单个像素输出的第二图像(例如，单像素图像)。尽管像素阵列120在物理上由4合并像素模式组成，但是重新拼接处理器132可以通过重新拼接处理将4合并像素模式的图像转换为拜耳像素模式的图像。

重新拼接处理器132可以将第二图像(例如，单像素图像)发送到第二ISP 133，所述第二图像是通过重新拼接处理转换成的2N×2M拜耳像素输出的图像。或者，第二ISP 133可以从第一ISP 131接收经过ADLC、坏像素校正和镜头阴影校正的第一图像，进一步校正第一图像，并将第一图像提供给重新拼接处理器132，重新拼接处理器132然后将第二图像发送到第三ISP 135。由于重新拼接处理器132通过将第一图像重新拼接一次将第一图像(例如，4合并像素图像)转换为拜耳像素的第二图像，因此可以将图像放大两次而不降低分辨率。

图9C示出了利用16合并像素模式重拼接4合并像素模式的示例。

参考图1A、1B、2A、2D和9C，重新拼接处理器132可以通过重新拼接第一图像将基于N×M 4合并像素的第一图像转换为从1/2N×1/2M16合并像素(例如，16合并像素图像)输出的第二图像。换句话说，重新拼接处理器132可以重新拼接从4合并像素输出的第一图像，例如，每个合并像素包括相同颜色的k*l矩阵，使得第一图像可以转换为从16合并像素输出的第二图像(例如，16合并像素图像)，例如，每个合并像素包括相同颜色的k²*l²矩阵。尽管像素阵列120在物理上由4合并像素模式组成，但是重新拼接处理器132可以通过重新拼接处理将4合并像素模式的图像转换为16合并像素模式的图像。

重新拼接处理器132可以将第二图像(例如，16合并像素图像)发送到第二ISP133，所述第二图像是通过重新拼接处理转换成从1/2N×1/2M16合并像素输出的图像。或者，第二ISP 133可以从第一ISP 131接收经过ADLC、坏像素校正和镜头阴影校正的第一图像，进一步校正第一图像，并将第一图像提供给重新拼接处理器132，重新拼接处理器132然后将第二图像发送到第三ISP135。由于重新拼接处理器132通过重新拼接第一图像一次而将第一图像(例如，4合并像素图像)转换为16合并像素的第二图像，，因此图像可以缩小1/2倍而不降低分辨率。

返回参考图1A、1B、2A和2D，第二ISP 133或第三ISP 135可以对输入的第二图像(例如，4合并像素图像)执行坏像素校正、镜头阴影校正和噪声消除。第二ISP 133或第三ISP 135可以对输入的第三图像(例如，单像素图像)执行坏像素校正、镜头阴影校正和噪声消除。第二ISP 133或第三ISP 135可以执行坏像素校正、镜头阴影校正和噪声消除中的至少一个。第二ISP 133或第三ISP 135可以直接地或通过缩减器134将已经经历了坏像素校正、镜头阴影校正和噪声消除中的至少一个的第二图像或第三图像发送到第三ISP 135，或者发送到显示设备和/或通信模块。

当普通模式图像被输出到主机芯片220或者通过重新拼接处理获得的放大模式图像被输出到主机芯片220时，从第二ISP 133输出的图像可以被输入到第三ISP 135而不是通过缩减器134或者从第三ISP 135输出的图像可以被直接输出到显示设备和/或通信模块，例如，不通过缩减器134。可以将图像输入到缩减器134以便进行缩小，并且可以通过缩减器134的操作缩小图像。缩减器134可以通过抽取(decimate)图像来减小输入图像的数据量。当主机芯片220、220a将图像发送到另一电子设备时，缩减器134的抽取(decimation)可以增加图像数据被发送到主机芯片220的速率和/或增加FPS。缩减器134可以将抽取的图像发送到第三ISP 135，或者可以通过缩减器134输出来自第三ISP 135的信号。

第三ISP135可以执行尚未由第二ISP133执行的图像处理。作为示例，当由第二ISP133已经执行了坏像素校正时，第三ISP135可以执行镜头阴影校正和噪声消除。作为示例，当已经由第二ISP 133执行了坏像素校正和镜头阴影校正时，第三ISP 135可以执行噪声消除。作为示例，当已经由第二ISP 133执行了镜头阴影校正和噪声消除时，第三ISP 135可以执行坏像素校正。作为示例，当已经由第二ISP 133执行了镜头阴影校正时，第三ISP135可以执行坏像素校正和噪声消除。除此之外，第三ISP 135和第二ISP 133可以执行相同的图像处理。

第三ISP135可以将经历了坏像素校正、镜头阴影校正和噪声消除中的至少一个的图像发送到输出接口136。输出接口136可以将输入图像转换为适合于传输的数据信号，并且将转换的数据信号发送到信号输出单元150。信号输出单元150可以将从输出接口136输入的数据信号发送到主机芯片220。转换的数据信号可以被发送到主机芯片220，并且还可以由信号处理器130存储在存储器140中。或者，第三ISP135可以直接地或通过缩减器134输出到显示设备和/或通信模块。

主机芯片220、220a可以将从图像传感器100输入的数据信号转换为图像并通过显示器显示图像。主机芯片220、220a可以通过通信模块将从图像传感器100输入的数据信号发送到另一电子设备。

主机芯片220、220a可以将从图像传感器100输入的数据信号存储在单独的存储器中。主机芯片220、220a可以加载存储在存储器140中的数据信号，并通过显示器显示数据信号，或者通过通信模块将数据信号发送到另一电子设备。

图10示出了通过利用拜耳像素模式重新拼接4合并像素模式来放大图像的示例。

参考图1A、1B、2A、2D和10所示，像素阵列120可以由4合并像素组成，在每个4合并像素中，包括相同滤色器的4个单位像素彼此相邻地设置。像素阵列120可以通过裁剪全分辨率图像的一部分来生成具有N/2×M/2的分辨率的第一图像(例如，4合并像素图像)。第一图像(例如，4合并像素图像)可以是普通模式图像或放大模式图像。由像素阵列120生成的第一图像(例如，4合并像素图像)可以被发送到信号处理器130或130a。

第一ISP131可以对输入的第一图像(例如，4合并像素图像)执行ADLC、坏像素校正和镜头阴影校正中的至少一个。第一ISP131可以将已经过图像处理的第一图像(例如，4合并像素图像)发送到重新拼接处理器132。

重新拼接处理器132可以通过重新拼接第一图像将具有N/2×M/2的分辨率的第一图像(例如，4合并像素的第一图像)转换为具有N×M的分辨率的拜耳像素的第二图像(例如，单像素图像)。由于重新拼接处理器132通过将第一图像重新拼接一次将第一图像(例如，4合并像素图像)转换为拜耳像素的第二图像(例如，单像素图像)，因此可以放大图像两次而不降低分辨率。已经由重新拼接处理器132放大两次的图像可以通过第二ISP 133、第三ISP 135、输出接口136和信号输出单元150处理并被发送到主机芯片220。可选地，已经由第一ISP 131和第二ISP133处理的图像可以由重新拼接处理器132放大两次，由第三ISP135处理，并输出到显示设备或通信模块。

图11A和11B示出了通过将4合并像素模式合成为1/2N×1/2M拜耳像素模式来缩小图像的示例。

参考图1A、1B、11A和11B，像素阵列120可以由N×M合并像素(例如，4合并像素)组成，在每个合并像素中，包括相同滤色器的N×M(例如，4)单位像素彼此相邻。像素阵列120可以通过裁剪全分辨率图像的一部分来生成具有N×M分辨率的第一图像(例如，4合并像素图像)。第一图像(例如，4合并像素图像)可以是普通模式图像或缩小模式图像。由像素阵列120生成的第一图像(例如，4合并像素图像)可以被发送到信号处理器130或130a。

第一ISP131可以对输入的第一图像(例如，4合并像素图像)执行ADLC、坏像素校正和镜头阴影校正中的至少一个。第一ISP131可以将经过图像处理的第一图像(例如，4合并像素图像)发送到重新拼接处理器132。

重新拼接处理器132可以通过合成第一图像将具有N×M分辨率的第一图像(例如，4合并像素的第一图像)转换为具有1/2N×1/2M分辨率的拜耳像素的第二图像(例如，单像素图像)。在N×M合并像素(例如，4合并像素)的布置结构中，包括红色滤色器的红色像素、包括蓝色滤色器的蓝色像素和包括绿色滤色器的绿色像素的比率可以是1：1：2。

作为示例，重新拼接处理器132可以从四个相邻的红色合并像素(4合并像素)提取红色图像数据。重新拼接处理器132可以将提取的四块(piece)红色图像数据合并为单个红色图像。重新拼接处理器132可以从四个相邻的蓝色合并像素(4合并像素)提取蓝色图像数据。重新拼接处理器132可以将提取的四块蓝色图像数据合并为单个蓝色图像。重新拼接处理器132可以从四个相邻的绿色合并像素(4合并像素)提取绿色图像数据。重新拼接处理器132可以将提取的四块绿色图像数据合并为单个绿色图像。

重新拼接处理器132可以从四个相邻的4合并像素中的每一个提取红色图像数据，并将提取的四块红色图像数据合并为一块红色数据。以相同的方式，重新拼接处理器132可以从四个相邻的4合并像素中的每一个提取蓝色图像数据，并将提取的四块蓝色图像数据合并为一块蓝色数据。以相同的方式，重新拼接处理器132可以从四个相邻的4合并像素中的每一个提取绿色图像数据，并将提取的四块绿色图像数据合并为一块绿色数据。

由于重新拼接处理器132通过合成第一图像一次将第一图像(例如，4合并像素图像)转换为拜耳像素的第二图像(例如，单像素图像)，因此图像可以被缩小1/2倍而不降低分辨率。已经由重新拼接处理器132缩小1/2倍的图像可以通过第二ISP 133、缩减器134、第三ISP 135、输出接口136和信号输出单元150处理并被发送到主机芯片220。

可选地，可以将已经通过第一ISP 131处理的图像提供给主机芯片220a。然后，可以由第二ISP 133处理图像，然后可以由图像处理器230中的重新拼接处理器132缩小1/2倍，然后由第三ISP 135处理并输出到显示设备或通过缩减器134输出到通信模块。

图12示出了具有4合并像素结构的图像传感器生成普通模式、放大模式和缩小模式图像的示例。参考图1A、1B和12，像素阵列120可以由N×M合并像素组成，在每个合并像素中，包括相同滤色器的N×M单位像素彼此相邻地设置。

作为示例，像素阵列120可以包括对应于12MP(4,000×3,000)的分辨率的N×M合并像素。当驱动像素阵列120的所有合并像素以生成全分辨率图像时，可以生成12MP图像。

作为示例，像素阵列120可以包括对应于48MP的分辨率的N×M合并像素。当驱动像素阵列120的所有合并像素以生成全分辨率图像时，可以生成48MP图像。

合并像素可以具有任何期望的分辨率。例如，像素阵列120可以包括对应于3MP、6MP、24MP、48MP、96MP、108MP、1200MP、2400MP、4800MP或9600MP的分辨率的N×M合并像素。当驱动像素阵列120的所有合并像素以生成全分辨率图像时，可以生成3MP、6MP、24MP、48MP、96MP、108MP、1200MP、2400MP、4800MP、9600MP等图像。

普通模式图像的生成

例如，像素阵列120可以通过基于全分辨率图像的中心裁剪48MP的全分辨率图像的1/4来生成12MP的普通模式图像。在像素阵列120的所有4合并像素中，可以驱动基于中心的4合并像素中的1/4以生成12MP的普通模式图像。

例如，像素阵列120可以将48MP的全分辨率图像发送到信号处理器130或130a。信号处理器130可以通过基于中心裁剪48MP的全分辨率图像的1/4来生成12MP的普通模式图像。

例如，像素阵列120可以将48MP的全分辨率图像发送到信号处理器130或130a。信号处理器130可以基于中心裁剪48MP的全分辨率图像的1/4。信号处理器130或130a可以通过重新排列裁剪图像以对应于所有像素来生成48MP的普通模式图像。

放大模式图像的生成

例如，像素阵列120可以通过基于全分辨率图像的中心裁剪48M的全分辨率图像的1/16来生成放大模式图像。在像素阵列120的所有N×M合并像素中，可以驱动基于中心的1/16合并像素以生成放大模式图像。

例如，像素阵列120可以将48MP的全分辨率图像发送到信号处理器130。信号处理器130可以通过基于中心裁剪1/16的48MP的全分辨率图像来生成3MP(2,000×1,500)的放大模式图像。

重新拼接处理器132可以通过将放大模式图像重新拼接，将3MP的放大模式图像转换为12MP的拜耳像素图像(例如，单像素图像)，例如，具有每个包括相同颜色的k*l矩阵的合并像素的12MP图像，可以被重新拼接为具有包括具有相同颜色的p*q矩阵的像素的3MP图像，其中p是小于k的非负整数，q是小于1的非负整数，p*q矩阵以拜耳模式排列。由于重新拼接处理器132通过重新拼接放大模式图像一次将3MP的放大模式图像转换为12MP的拜耳像素图像(例如，单像素图像)，因此可以放大图像两次而不降低分辨率。已经由重新拼接处理器132放大两次的图像可以通过第二ISP 133、第三ISP 135、输出接口136和信号输出单元150处理，并且被发送到主机芯片220。

例如，像素阵列120可以将48MP的全分辨率图像发送到信号处理器130或130a。信号处理器130或130a可以基于中心裁剪1/16的48MP的全分辨率图像。信号处理器130或130a可以通过重新排列裁剪图像以对应于所有像素来生成48MP的普通模式图像。首先，重新拼接处理器132可以通过重新拼接放大模式图像来将3MP图像的放大模式图像转换为12MP的拜耳像素图像(例如，单个像素图像)。其次，重新拼接处理器132可以通过重新拼接12MP的拜耳像素图像来将12MP图像的拜耳像素图像转换为48MP的拜耳像素图像(例如，单个像素图像)。例如，48MP图像可以具有包括具有相同颜色的r*s矩阵的像素，其中r是小于p的非负整数，并且s是小于q的非负整数，r*s矩阵是以拜耳模式排列的。以这种方式，可以将图像放大两到四倍而不降低分辨率。由重新拼接处理器132放大两到四倍的图像可以通过第二ISP133、第三ISP 135、输出接口136和信号输出单元150处理，并发送到主机芯片220。

可选地，可以将图像处理器230中的由重新拼接处理器132放大两到四倍的图像输出到显示器或通信模块。

缩小模式图像的生成

例如，像素阵列120可以通过驱动像素阵列120的所有N×M合并像素来生成48MP的缩小模式图像。缩小模式图像可以与像素阵列120的全分辨率图像相同。由于48MP的缩小模式图像具有大的数据大小，因此可能难以发送数据。

例如，重新拼接处理器132可以通过合成缩小模式图像来缩小1/2的48MP的缩小模式图像。由重新拼接处理器132进行的合成可以将缩小模式图像的数据大小减小到与普通模式图像的(12MP)相同的水平。

例如，缩减器134可以抽取48MP的缩小模式图像。缩减器134可以将缩小模式图像的数据大小减小到与普通模式图像的(12MP)相同的水平。数据大小不限于此，并且信号处理器130或图像处理器230可以在不减小尺寸的情况下输出48MP的缩小模式图像。

信号处理器130可以将缩小模式图像缩小1/2倍而不降低分辨率。已经由重新拼接处理器132缩小1/2的图像可以通过第二ISP 133、第三ISP 135、输出接口136和信号输出单元150处理并发送到主机芯片220。

可选地，已经通过第一ISP 131和第二ISP133处理的图像可以由图像处理器230中的重新拼接处理器132缩小1/2，然后由第三ISP 135处理并直接地或通过缩减器134输出到显示设备或通信模块。

如图12所示，图像传感器100和电子设备10可以根据通过用户界面210输入的缩放模式信号生成普通模式图像、放大模式图像或缩小模式图像。图像传感器100和电子设备10可以在没有普通模式镜头、放大模式镜头和缩小模式镜头的情况下生成普通模式图像、放大模式图像或缩小模式图像。图像传感器100和电子设备10可以在不降低分辨率的情况下生成普通模式图像、放大模式图像或缩小模式图像。

作为示例，图像传感器100和电子设备10可以从48MP的全分辨率图像生成具有与12MP相同数据大小的普通模式图像、放大模式图像或缩小模式图像。作为示例，图像传感器100和电子设备10可以从48MP的全分辨率图像生成与48MP具有相同数据大小的普通模式图像、放大模式图像或缩小模式图像。因此，无论模式如何，所有显示的图像可以具有相同的分辨率。

图13示出了其中具有N×M合并像素结构的图像传感器在不增加图像文件的大小的情况下放大图像一倍、两倍和四倍的示例。参考图1A、1B、2和13所示，像素阵列120可以由N×M合并像素(例如，16合并像素)组成，在每个合并像素中，包括相同滤色器的N×M单位像素彼此相邻。

作为示例，像素阵列120可以包括对应于108MP的分辨率的16合并像素。当驱动像素阵列120的所有16合并像素以生成全分辨率图像时，可以生成108MP图像。

普通模式图像的生成

像素阵列120可以将108MP的全分辨率图像发送到信号处理器130。信号处理器130可以通过将108MP的全分辨率图像的像素合并为像素数量的1/16来生成6.75MP的普通模式图像。数据大小不限于此，并且信号处理器130可以在不改变108MP的全分辨率图像的大小的情况下生成108MP的普通模式图像。

信号处理器130可以使用第一ISP 131对全分辨率图像执行图像处理，然后通过将全分辨率图像的像素合并为像素数量的1/16来生成普通模式图像。信号处理器130可以使用第二ISP 133和第三ISP 135对其像素已合并为像素数量的1/16的普通模式图像执行图像处理，并将处理后的普通模式图像发送到输出接口136。输出接口136可以将普通模式图像转换为适合于传输的数据信号，并将转换后的数据信号发送到信号输出单元150。信号输出单元150可以将从输出接口136输入的数据信号发送到主机芯片220。转换的数据信号可以被发送到主机芯片220，并且还可以由信号处理器130存储在存储器140中。

可选地，信号处理器130a可以使用第一ISP 131对全分辨率图像执行图像处理，然后通过将全分辨率图像的像素合并为像素数量的1/16来生成普通模式图像，并将其输出到主机芯片220a。图像处理器230可以使用第二ISP 133和第三ISP 135对其像素已合并为像素数量的1/16的普通模式图像执行图像处理，并且可以将处理后的普通模式数据信号发送到显示装置或通讯模块。

2x放大模式图像的生成

像素阵列120可以通过基于全分辨率图像的中心裁剪108MP的全分辨率图像的1/4来生成放大模式图像。在像素阵列120的所有16合并像素中，可以驱动基于中心的16合并像素中的1/4以生成放大模式图像。随后，信号处理器130可以生成2x放大模式图像。重新拼接处理器132可以通过重新拼接放大模式图像来将放大模式图像转换为4合并像素图像。结果，可以从108MP的全分辨率图像生成16合并像素的放大模式图像。随后，可以通过将16合并像素的放大模式图像转换为4合并像素图像来生成6.75MP的2x放大模式图像。数据大小不限于此，并且信号处理器130可以生成108MP的2x放大模式图像，而不改变108MP的全分辨率图像的大小。

可以通过基于全分辨率图像的中心裁剪108MP的全分辨率图像的1/4，然后由第一ISP 131进行图像处理来生成放大模式图像。之后，重新拼接处理器132可以重新拼接放大模式图像。随后，已经重新拼接的2x放大模式图像可以由第二ISP 133和第三ISP 135进行图像处理并且被发送到输出接口136。输出接口136可以将处理后的2x放大模式图像转换适合于传输的数据信号并将转换后的数据信号发送到信号输出单元150。信号输出单元150可以将从输出接口136输入的数据信号发送到主机芯片220。转换后的数据信号可以被发送到主机芯片220，也可以由信号处理器130存储在存储器140中。

可选地，可以将信号处理器130a的第一ISP 131的输出提供给主机芯片220a。图像处理器230可以使用第二ISP 133、重新拼接处理器132和第三ISP 135生成2x放大模式图像，并且将2x放大模式数据信号发送到显示设备或通信模块。

4x放大模式图像的生成

像素阵列120可以通过基于全分辨率图像的中心裁剪108MP的全分辨率图像的1/16来生成放大模式图像。在像素阵列120的所有16合并像素中，可以驱动基于中心的16合并像素中的1/16以生成放大模式图像。随后，信号处理器130可以生成2x放大模式图像。重新拼接处理器132可以通过对放大模式图像进行重新拼接来将放大模式图像转换为拜耳像素图像(单像素图像)。结果，可以从108MP的全分辨率图像生成16合并像素的放大模式图像。随后，通过将16合并像素的放大模式图像转换为拜耳像素图像(单个像素图像)，可以生成6.75MP的4倍放大模式图像。数据大小不限于此，并且信号处理器130可以生成108MP的4x放大模式图像而不改变108MP的全分辨率图像的大小。

可以通过基于全分辨率图像的中心裁剪108MP的全分辨率图像的1/16，然后由第一ISP 131进行图像处理来生成放大模式图像。之后，重新拼接处理器132可以重新拼接放大模式图像。随后，已经重新拼接的4x放大模式图像可以由第二ISP 133和第三ISP 135进行图像处理并且被发送到输出接口136。输出接口136可以将处理后的4x放大模式图像转换为适合于传输的数据信号并将转换后的数据信号发送到信号输出单元150。信号输出单元150可以将从输出接口136输入的数据信号发送到主机芯片220。转换后的数据信号可以被发送到主机芯片220，也可以由信号处理器130存储在存储器140中。

可选地，可以将信号处理器130a的第一ISP 131的输出提供给主机芯片220a。图像处理器230可以使用第二ISP 133、重新拼接处理器133和第三ISP 135生成4x放大模式图像，并且将4x放大模式数据信号发送到显示设备或通信模块。

如图13所示，图像传感器100和电子设备10或10'可以根据通过用户界面210或照度传感器160输入的缩放模式信号生成普通模式图像或放大模式图像。图像传感器100和电子设备10或10'可以在没有普通模式镜头和放大模式镜头的情况下生成普通模式图像或放大模式图像。图像传感器100和电子设备10或10'可以在不降低分辨率的情况下生成普通模式图像或放大模式图像。图像传感器100和电子设备10或10'可以从108MP的全分辨率图像生成与6.75MP具有相同数据大小的普通模式图像、2x放大模式图像或4x放大模式图像。

可以在功能块、单元、模块和/或方法方面描述并在附图中示出实施例。本领域技术人员将理解，这些块、单元、模块和/或方法在物理上由电子(或光学)电路实现，所述电路诸如逻辑电路、分立元件、微处理器、硬连线电路、存储元件、布线连接等，其可以使用基于半导体的制造技术或其他制造技术形成。在由微处理器或类似物实现的块、单元、模块和/或方法的情况下，它们可以使用软件(例如，微代码)来编程以执行本发明所讨论的各种功能，并且可以可选地由固件和/或软件驱动。或者，每个块、单元、模块和/或方法可以由专用硬件实现，或者作为执行某些功能的专用硬件和处理器(例如，一个或多个编程的微处理器和相关电路)的组合来执行其他功能。而且，在不脱离本公开的范围的情况下，实施例的每个块、单元和/或模块可以在物理上分成两个或更多个交互和离散的块、单元和/或模块。此外，在不脱离本公开的范围的情况下，实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。

根据示例实施例，可以生成根据通过用户界面输入的缩放模式信号的普通模式图像或放大模式图像。根据示例实施例，可以在没有普通模式镜头和放大模式镜头的情况下生成普通模式图像或放大模式图像。根据示例实施例，可以生成普通模式图像或放大模式图像而不降低分辨率。

根据示例实施例，可以生成具有相同数据大小的普通模式图像、双倍放大模式图像或四倍放大模式图像。

根据示例实施例，可以生成具有相同数据大小的普通模式图像、放大模式图像或缩小模式图像。

示例实施例涉及提供能够实现放大和缩小而不采用透镜(例如，电子地实现的)、图像传感器的驱动方法和包括图像传感器的电子设备的图像传感器。另外，示例实施例旨在提供一种能够实现放大和缩小而不采用多个图像传感器的图像传感器(例如，使用单个图像传感器)、驱动图像传感器的方法和包括图像传感器的电子设备。此外，示例实施例涉及提供能够在不降低分辨率的情况下实现放大和缩小的图像传感器、驱动图像传感器的方法以及包括图像传感器的电子设备。

本文已经公开了示例实施例，并且虽然采用了特定术语，但是它们仅以一般性和描述性意义来使用和说明，而不是出于限制的目的。在某些情况下，如本领域普通技术人员在提交本申请时显而易见的，结合特定实施例描述的特征、特性和/或元件可以单独使用或与结合其他实施例描述的特征、特性和/或元件组合使用，除非另外特别指出。因此，本领域技术人员将理解，在不脱离所附权利要求中阐述的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。