具体实施方式

下面将参照附图更详细地描述本发明的各种示例。然而，本发明可以以其它实施例、形式及其变型来实现，并且因此不应被解释为限于本文所阐述的实施例。相反，提供所述实施例是为了使本发明彻底和完整，并且将本发明完全传达给本发明所属领域的技术人员。在整个说明书中，对“实施例”、“另一实施例”等的引用不一定意味着仅一个实施例，并且对任何这样的短语的不同引用不一定是指相同的(一个或多个)实施例。

应当理解，尽管术语“第一”、“第二”、“第三”等在这里可以用于标识各种元件，但是这些元件不受这些术语限制。这些术语用于将一个元件与另外具有相同或相似名称的另一元件区分开。因此，在一个示例中的第一元件可以在另一示例中被称为第二或第三元件，而不指示元件本身的任何改变。

附图不一定按比例绘制，并且在一些情况下，比例可能被夸大以便清楚地示出实施例的特征。当元件被称为连接或耦联到另一元件时，应当理解，前者可以直接连接或耦联到后者，或者经由一个或多个中间元件电连接或耦联到后者。两个元件之间的通信，无论是直接连接/耦联还是间接连接/耦联，可以是有线或无线的，除非上下文另有指示。此外，还将理解，当元件被称为在两个元件“之间”时，它可以是两个元件之间的唯一元件，或者也可以存在一个或多个中间元件。

本文所用的术语仅是为了描述特定实施例的目的，而不是要限制本发明。

如本文所用，单数形式旨在包括复数形式，并且反之亦然，除非上下文另有明确说明。除非另有说明或从上下文中可以清楚地看出涉及单数形式，否则本申请和所附权利要求中使用的冠词'一个'和'一种'一般应被解释为是指'一个或多个'。

还应当理解，术语“包括”、“包含”和“含有”在本说明书中使用时，表示存在所述元件，并且不排除存在或添加一个或多个其它元件。如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。

除非另有定义，否则本文所用的包括技术和科学术语的所有术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。还应当理解，诸如在常用词典中定义的那些术语应当被解释为具有与它们在本发明的上下文和相关领域中的含义一致的含义，并且不应当以理想化或过于正式的意义来解释，除非在此明确地如此定义。

在以下描述中，阐述了许多具体细节以便提供对本发明的透彻理解。本发明可以在没有这些具体细节中的一些或全部具体细节的情况下实施。在其它情况下，没有详细描述公知的过程结构和/或过程，以免不必要地使本发明难以理解。

还应注意，在一些情况下，如相关领域的技术人员将明白，结合一个实施例描述的特征或元件可单独使用或与另一实施例的其它特征或元件组合使用，除非另外明确指示。

参照附图详细描述本发明的实施例。

图1是示出根据本发明的实施例的图像感测装置10的框图。

参照图1，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。

图像感测装置10可以实现在任何合适的电子装置中，例如个人计算机(PC)或可接收并处理图像数据的移动计算装置。

更具体地说，图像感测装置10可以实现在膝上型计算机、移动电话、智能电话、平板计算机、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字摄像机、便携式多媒体播放器(PMP)、移动因特网装置(MID)、可穿戴计算机、物联网(IoT)或万物联网(IoE)中。

图像传感器100可以包含像素阵列200和网格增益计算电路300。

像素阵列200可以包括多个像素。在此，像素可以表示任何适当格式或色彩空间的像素数据，例如RGB、YUV或YCbCr，但是本发明不限于这些数据格式。

网格增益计算电路300可以将虚拟网格点设置到内网格点和外网格点的外部区域，该外部区域在校准操作期间沿着与像素阵列对应的网格区域的边界定位，该内网格点位于内部靠近外网格点的内部区域中。网格增益计算电路300可以基于虚拟网格点的增益和内网格点的增益来计算外网格点的增益。

可以如图3至图7中所示配置和操作的网格增益计算电路300可以被实现为图1中所示的网格增益计算电路300。

以下参考图3至图7详细描述网格计算电路300的详细配置和操作。

图像信号处理器400可以实现在集成电路、片上系统(SoC)或移动应用处理器中。图像信号处理器400可以处理图像传感器300的输出信号。也就是说，图像信号处理器400可以接收并处理从图像传感器100中的网格增益计算电路300输出的图像输出信号。

更具体地，图像信号处理器400可以从对应于像素数据的拜耳图案生成RGB图像数据。例如，图像信号处理器400可以处理拜耳图案，使得图像数据显示在显示器中，且可以将经处理的图像数据传送到接口。

在本发明的实施例中，图像传感器100和图像信号处理器400中的每个可以被实现为芯片或多芯片封装(MCP)。在本发明的另一实施例中，图像传感器100和图像信号处理器400可以被实现为单个芯片。

图2是示出根据本发明另一实施例的图像感测装置10的框图。

参照图2，图像感测装置10可以包括图像传感器100和图像信号处理器(ISP)400。

可以如图3至图7中所示配置和操作的网格增益计算电路300可以被实现为图2中所示的网格增益计算电路300。

在图2的实施例中，网格增益计算电路300是在图像信号处理器400中而不是在如图1的实施例中的图像传感器100中实现的，除此之外，图2中的图像感测装置10的结构和操作与图1中的图像感测装置10的结构和操作基本相同。因此，在此省略在图2中的图像感测装置10的进一步描述。

以下，将参考图3至图6描述图2中的网格增益计算电路300。

图3是示出根据本发明的实施例的网格增益计算电路300的框图。图4是示出由图3中所示的虚拟网格点设置部件320设置的虚拟网格点的图。图5是示出图4中所示的虚拟网格点的展开图。图6是示出使用图4中所示的虚拟网格点的外网格点的增益计算的图。

参照图3，网格增益计算电路300可以包括区域设置部件310、虚拟网格点设置部件320和增益计算部件330。

区域设置部件310可以设置对应于像素阵列的网格区域。在本发明的实施例中，示出并解释了具有16M ROI 1024大小的网格区域。

参照图4，内网格区域包括6个内区，每个内区具有正方形形状(即1024×1024)。由于内网格区域包括6个1024×1024尺寸的区域，所以可以在对内网格区域的内点进行插值计算期间，在没有额外的计算负担的情况下执行插值计算。

外网格点P1、P2和P3表示位于网格区域的边界上的点。有四组外网格点P1、P2和P3，分别定义网格区域的四个拐角。用于每组外网格点P1、P2和P3的内网格点P4与外网格点相邻。基于对应的外网格点P1、P2和P3以及对应的内网格点P4，虚拟网格点P1'、P2'和P3'被虚拟地设置到每组外网格点P1、P2和P3的外部部分。

网格区域具有4个拐角区域，由对应的外网格点组限定。每个拐角区域具有相同的长方形尺寸(即792×724)。由于4个拐角区域具有相同的长方形尺寸，所以执行附加的计算逻辑以对网格区域的拐角区域的点进行插值计算。此外，网格区域的尺寸不限于16MROI1024；相反，网格区域可以是任何合适的尺寸。在这种情况下，外网格点区域将是不同的，这又将改变计算逻辑。

为了解决上述问题，在本发明的实施例中，虚拟网格点P1'、P2'和P3'可以被设置成使得相对于具有多个1024×1024区域的内网格区域形成4个相同尺寸的拐角区域(即792×724区域)。

参考图5，虚拟网格点设置部件320可以基于外网格点P1、P2和P3以及内网格点P4，将虚拟网格点设置到外网格点P1、P2和P3的外部区域。外网格点P1、P2和P3位于网格区域的边界上。内网格点P4位于与外网格点P1、P2和P3相邻的内部区域中。图5示出网格区域的一个拐角的布置；然而，虚拟网格设置部件320以相同的方式关于网格区域的四个拐角中的每个拐角设置虚拟网格点。

在一些实施例中，两个垂直相邻的内网格点P4之间的距离可以被设置为与垂直方向虚拟网格点P2'和对应的内网格点P4之间的距离相同。两个水平相邻的内网格点P4之间的距离可以被设置为与水平方向虚拟网格点P3'和对应的内网格点P4之间的距离相同。

在此，关于外网格点P1、P2和P3以及内网格点P4的外部划分点可以被设置为虚拟网格点P1'、P2'和P3'中的每个虚拟网格点。

更具体地，关于外网格点P3和内网格点P4的水平方向外部划分点可以被设置为水平方向虚拟网格点，如等式1中所表示的。

[等式1]

在等式1中，'n'表示内网格点P4和水平方向虚拟网格点P3'之间的距离，并且'm'表示水平方向虚拟网格点P3'和水平方向外网格点P3之间的距离。

此外，如等式2中所表示的，关于外网格点P2和内网格点P4的垂直方向外部划分点可以被设置为垂直方向虚拟网格点P2'。

[等式2]

在等式2中，'n'表示内网格点P4和垂直方向虚拟网格点P2'之间的距离，并且'k'表示垂直方向虚拟网格点P2'和垂直方向外网格点P2之间的距离。

此外，如等式3中所示，在外网格点P2外部的并且沿着由P2和外网格点P1定义的线的水平方向外部划分点可以被设置为临时虚拟网格点P12。

[等式3]

在等式3中，'n'表示内网格点P4和水平方向虚拟网格点P3'之间的距离，并且'm'表示水平方向虚拟网格点P3'和水平方向外网格点P3之间的距离。

而且，如等式4中所示，关于水平方向虚拟网格点P3'和临时虚拟网格点P12的垂直方向外部划分点可以被设置为拐角方向虚拟网格点P1'。

[等式4]

在等式4中，'n'表示内网格点P4和水平方向虚拟网格点P3'之间的距离，并且'k'表示垂直方向虚拟网格点P2'和垂直方向外网格点P2之间的距离。

参考图6，增益计算部件330可以基于内网格点P4的增益和由虚拟网格点设置部件320设置的虚拟网格点P1'、P2'和P3'的增益来计算外网格点P1、P2和P3的增益，如下面紧接阐述的等式5中所表示的。

[等式5]

在等式5中，'gain(x，y)'表示拐角方向外网格点P1的增益，'gain(x₁，y₁)'表示拐角方向虚拟网格点P1'的增益，'gain(x₂，y₂)'表示垂直方向虚拟网格点P2'的增益，'gain(x₃，y₃)表示水平方向虚拟网格点P3'的增益，'gain(x₄，y₄)表示内网格点P4的增益，'dx₁'表示拐角方向外网格点P1和临时虚拟网格点P12之间的水平距离，'dx₂'表示垂直方向外网格点P2和拐角方向外网格点P1之间的水平距离，'dy₁'表示所述垂直方向虚拟网格点P2'和所述拐角方向外网格点P1之间的垂直距离，并且'dy₂'表示所述水平方向外网格点P3和所述拐角方向外网格点P1之间的垂直距离。

由于外网格点P1、P2和P3的增益由等式5计算，所以在校准操作期间可以有效地获取增益表，而不考虑网格区域的尺寸。

下面，将参考图7描述根据本发明的实施例的图像感测装置的操作方法。

图7是示出根据本发明的实施例的图像感测装置(例如，图2中的图像感测装置10)的操作的流程图。

参照图7，图像感测装置的操作方法可以包括网格区域设置操作S1000、虚拟网格点设置操作S2000和外网格点增益计算操作S3000。

在操作S1000，可以在校准操作期间设置与像素阵列对应的网格区域。

如图4中所示，网格区域可以具有16M的ROI 1024尺寸。

即，图4中的网格区域可以具有带有6个区域(每个大小为1024×1024)的内网格区域，以及具有带有4个区域(每个大小为792×724)的外拐角网格区域。

在操作S2000，基于外网格点P1、P2和P3以及位于网格区域的内部区域中的内网格点P4，可以将虚拟外网格点P1'、P2'和P3'设置到外网格点P1、P2和P3的外部区域。外网格点P1、P2和P3位于网格区域的边界上。内网格点P4与外网格点P1、P2和P3相邻。

虚拟网格点P1'、P2'和P3'可以分别关于外网格点P1、P2和P3在外部被设置。

虚拟网格点P1'、P2'和P3'可以被设置为，使得两个垂直相邻的内网格点P4之间的距离可以被设置为与垂直方向虚拟网格点P2'和对应的内网格点P4之间的距离相同。两个水平相邻的内网格点P4之间的距离可以被设置为与水平方向虚拟网格点P3'和对应的内网格点P4之间的距离相同。

参照图5，在一个实施例中，外网格点P1、P2和P3中的水平方向外网格点P3与内网格点P4之间的水平方向外部划分点可以被设置为水平方向虚拟网格点，如等式1中所表示的。

在一个实施例中，外网格点P1、P2和P3中的垂直方向外网格点P2与内网格点P4之间的垂直方向外部划分点可以被设置为垂直方向虚拟网格点P2'，如等式2中所表示的。

在一个实施例中，外网格点P1、P2和P3中的拐角方向外网格点P1与垂直方向外网格点P2之间的水平方向外部划分点可以被设置为临时虚拟网格点P12，如等式3中所表示的。

在一个实施例中，水平方向虚拟网格点P3'和临时虚拟网格点P12之间的垂直方向外部划分点可以被设置为拐角方向虚拟网格点P1'，如等式4中所表示的。

在操作S3000，可以使用内网格点的增益P4和虚拟网格点P1'、P2'和P3'的增益来计算拐角方向外网格点P1的增益。

参考图6，在一个实施例中，可以使用垂直方向虚拟网格点P2'的增益、水平方向虚拟网格点P3'的增益、拐角方向虚拟网格点P1'的增益和内网格点P4的增益来计算拐角方向外网格点P1的增益，如等式5中所表示的。

在此，垂直方向虚拟网格点P2'的增益、水平方向虚拟网格点P3'的增益和拐角方向虚拟网格点P1'的增益中的每个虚拟网格点的增益可以与内网格点P4的增益相同。

在下文中，将参考图8详细描述被配置成实现根据本发明的实施例的图像感测装置的系统。

图8示出根据本发明的实施例的被配置成实现图像感测装置的系统。

在各种实施例中，图8的系统可以是各种类型的计算装置中的任何一种计算装置，包括但不限于：个人计算机系统、台式计算机、膝上型计算机或笔记本计算机、大型计算机系统、手持式计算装置、蜂窝电话、智能电话、移动电话、工作站、网络计算机、消费者装置、应用服务器、存储装置、智能显示器、诸如交换机、调制解调器、路由器等外围装置、或一般地任何类型的计算装置。根据一个实施例，图8的系统可以是片上系统(SoC)。顾名思义，SoC1000的部件可以被集成到单个半导体衬底上作为集成电路“芯片”。在一些实施例中，部件可以在系统中的两个或更多个分立芯片上实现。以下描述是在SoC 1000的上下文中进行的，SoC是一种示例实施方案。

在所示的实施例中，SoC 1000的部件包括中央处理单元(CPU)复合体1020、片上外围部件1040A-1040B(更简单地说，“外围装置”)、存储器控制器(MC)1030、通信结构1010和图像信号处理器400。SoC 1000也可以耦联到附加的部件，例如存储器1800和图像传感器100。部件1020、1030、1040A-1040B和400可以全部耦联到通信结构1010。存储器控制器1030可以在使用期间耦联到存储器1800，并且外围装置1040B可以在使用期间耦联到外部接口1900。另外，图像信号处理器400可以在使用期间耦联到图像传感器100。

外围部件1040A-1040B可以是SoC 1000中的任何一组附加硬件功能。例如，外围部件1040A-1040B可以包括被配置成在一个或多个显示装置上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器、定标器、旋转器、混合器等。

在一些实施例中，图像信号处理器400可以是被配置成处理来自图像传感器100(或其它图像传感器)的图像捕获数据的另一视频外围部件的一部分。图像信号处理器400和图像传感器100可以被配置成实现图1到图7中所展示的图像传感器400和图像传感器100。

外围部件1040A-1040B还可以包括音频外围部件，诸如麦克风、扬声器、到麦克风和扬声器的接口、音频处理器、数字信号处理器、混频器等。外围部件1040A-1040B(例如，外围部件1040B)可以包括外围接口控制器，该外围接口控制器用于SoC 1000外部的各种接口1900，包括诸如通用串行总线(USB)、包括PCI Express(PCIe)的外围部件互连(PCI)、串行和并行端口等的接口。外围部件1040A-1040B还可以包括诸如媒体访问控制器(MAC)之类的联网外围部件。通常，根据各种实施例，可以包括任何一组硬件。

CPU复合体1020可以包括用作SoC 1000的CPU的一个或多个处理器(P)1024。(一个或多个)处理器1024可以执行系统的主控制软件，例如操作系统。通常，由CPU执行的软件可以控制系统的其它部件以实现系统的期望功能。处理器1024也可以执行其它软件，例如应用程序。应用程序可以提供用户功能并且可以依赖于操作系统来进行较低级别的装置控制。因此，处理器1024也可以被称为应用处理器。CPU复合体1020也可以包括其它硬件，例如L2高速缓存1022和/或到系统的其它部件的接口(例如到通信结构1010的接口)。

通常，处理器可以包括被配置成执行在由处理器实现的指令集架构中定义的指令的任何电路和/或微代码。指令和由(一个或多个)处理器响应于执行指令而操作的数据通常可以存储在存储器1800中，尽管某些指令也可以被定义以用于对外围部件的直接处理器访问。处理器可以包括在具有其它部件(如片上系统(SoC 1000))或其它集成级别的集成电路上实现的处理器核心。处理器也可以包括分立的微处理器、处理器核心和/或集成到多芯片模块实施方案中的微处理器、实现为多个集成电路的处理器等。

存储器控制器1030通常可以包括用于从SoC 1000的其它部件接收存储器操作以及用于访问存储器1800以完成存储器操作的电路系统。存储器控制器1030可以被配置成访问任何类型的存储器1800。例如，存储器1800可以是静态随机存取存储器(SRAM)，或动态RAM(DRAM)，例如包括双倍数据速率(DDR、DDR2、DDR3等)DRAM的同步DRAM(SDRAM)。DDR DRAM的低功率版本/移动版本可以被支持(例如，LPDDR、mDDR等)。存储器控制器1030可以包括用于存储器操作的队列，用于对操作进行排序(并且可能重新排序)并且将操作呈现给存储器1800。存储器控制器1030可以进一步包括数据缓冲器，以存储等待写入存储器的写入数据和等待返回到存储器操作源的读取数据。在一些实施例中，存储器控制器1030可以包括存储器高速缓存以存储最近访问的存储器数据。在SoC实施方案中，如果预期不久将再次访问，则存储器高速缓存可以通过避免从存储器1800重新访问数据来减少SoC中的功耗。在一些情况下，存储器高速缓存也可以称为系统高速缓存，与诸如L2高速缓存1022之类的专用高速缓存或处理器1024中的仅服务某些部件的高速缓存相反。另外，在一些实施例中，系统高速缓存不需要位于存储器控制器1030内。

在一个实施例中，存储器1800可以与SoC 1000一起被封装在芯片上芯片或封装上封装配置中。SoC 1000和存储器1800的多芯片模块配置也可以被使用。这样的配置可以比到系统中的其它部件(例如到端点)的传输相对更安全(在数据可观测性方面)。因此，受保护的数据可以未加密地驻留在存储器1800中，而受保护的数据可以被加密以用于SoC 1000和外部端点之间的交换。

通信结构1010可以是用于在SoC 1000的部件之间进行通信的任何通信互连和协议。通信结构1010可以是基于总线的，包括共享总线配置、交叉开关配置和具有网桥的分级总线。通信结构1010也可以是基于分组的，并且可以是具有网桥、交叉开关、点对点或其它互连的分级结构。

注意，SoC 1000的部件的数量(以及CPU复合体1020内的子部件的数量)可以随实施例而变化。每个部件/子部件可以多于或少于图8中所示的数量。

在一些实施例中，本文描述的方法可以由计算机程序产品或软件实现。在一些实施例中，非暂时性计算机可读存储介质可以具有存储于其上的指令，所述指令可以用于对计算机系统(或其它电子装置)进行编程以执行本文描述的技术中的一些或全部技术。计算机可读存储介质可以包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁存储介质(例如，软盘)；光存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪存；电的或其它类型的适于存储程序指令的介质。此外，可以使用光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)来传送程序指令。

如上所述，根据本发明的实施例的网格计算电路、图像感测装置及其操作方法可以减少校准计算误差，这由此实现：在位于网格区域的边界中的外网格点的外部区域上设置虚拟网格点，基于虚拟网格点的增益和内网格点的增益计算外网格点的增益，并且存储增益表。

具体地，本发明的实施例中的网格增益计算电路、图像感测装置及其操作方法可以在不进行附加计算的情况下实现存储的增益表，而不考虑像素阵列的尺寸。

尽管在具体实施例的上下文中示出和描述了本发明，但是对于本领域技术人员来说，根据本公开内容，在不背离如所附权利要求中限定的本发明的精神和范围的情况下，可以进行各种改变和修改是显而易见的。本发明包括所有这些变化和修改，只要它们落入权利要求的范围内即可。