具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。

然而，本发明的技术理念不限于将要描述的一些实施例，而是可以以各种不同的形式来实现，并且在本发明的技术理念的范围内，一个或多个构成元件可以在实施例之间选择性地组合和替换。

另外，除非明确定义和描述，否则本领域普通技术人员一般性地理解在本发明的实施例中使用的术语(包括技术术语和科学术语)。可以将其解释为通常使用的术语的含义，例如在词典中定义的术语可以考虑在相关技术的上下文中的含义来解释。

另外，在本发明的实施例中使用的术语用于描述实施例，而不是旨在限制本发明。

在本说明书中，除非在措辞中明确说明，否则单数形式可以包括复数形式，并且当描述为“A和(与)B和C中的至少一个(或多个)”时，将A、B和C结合。其可能包含所有可能组合中的一个或多个。

另外，诸如第一、第二、A、B、(a)和(b)的术语可以用于描述本发明的实施例的构成元件。

这些术语仅用于将部件与其他部件区分开，而不由术语限制部件的性质、顺序或次序。

并且，当一个部件被描述为“连接”、“耦接”或“接触”到另一个部件时，该部件不仅直接连接、耦接或接触到另一个部件，而且该部件也由于元件之间的又一部件被“连接”、“耦接”或“接触”到另一部件。

另外，当描述为形成或设置在每个部件的“顶部(上部)或底部(下部)”中时，顶部(上部)或底部(下部)包括两个部件彼此直接接触的情况、以及一个或多个其他部件形成或设置在两个部件之间的情况。另外，当表述为“顶部(上部)或底部(下部)”时，其含义不仅可以包括基于一个部件的向上方向，而且可以包括基于一个部件的向下方向。

图1是根据本发明的实施例的相机装置的框图。

参考图1，相机装置100包括光输出单元110、透镜单元120、图像传感器130以及图像处理单元140。

光输出单元110产生输出光信号，然后将该信号照射到物体。在这种情况下，光输出单元110可以以脉冲波或连续波的形式产生并输出该输出光信号。连续波可以是正弦波或方波的形式。通过以脉冲波或连续波的形式产生输出光信号，相机装置100可以检测从光输出单元110输出的输出光信号与从物体反射之后输入到相机装置100的输入光信号之间的相位差。在本说明书中，输出光可以是从光输出单元110输出并输入到物体的光，输入光可以是从光输出单元110输出、到达物体并从物体反射然后输入到相机装置100的光。从物体的角度来看，输出光可以是入射光，并且输入光可以是反射光。

光输出单元110在预定的曝光时间将产生的输出光信号照射到物体。在此，曝光时间是指一帧时段。当产生多个帧时，重复设定的曝光时间。例如，当相机装置100以20FPS拍摄物体时，曝光时间为1/20[秒]。另外，当产生100帧时，曝光时间可以重复100次。

光输出单元110可以产生具有不同频率的多个输出光信号。光输出单元110可以顺序地多次产生具有不同频率的多个输出光信号。可替代地，光输出单元110可以同时产生具有不同频率的多个输出光信号。

图2是示出输出光信号的频率的图。根据本发明的实施例，可以控制光输出单元110在曝光时间的前半部分产生具有频率f₁的输出光信号，并且在曝光时间的另一半部分期间产生具有频率f₂的输出光信号，如图2所示。

根据另一实施例，光输出单元110可以控制多个发光二极管中的数个发光二极管以产生具有频率f₁的输出光信号，并且控制其余的发光二极管以产生具有频率f₂的输出光信号。

为此，光输出单元110可以包括产生光的光源112和调制光的光调制器114。

首先，光源112产生光。由光源112产生的光可以是具有770nm至3000nm的波长的红外线，或者是具有380nm至770nm的波长的可见光。光源112可以使用发光二极管(LED)，并且可以具有多个发光二极管以预定图案布置的形式。另外，光源112可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112可以是VCSEL(垂直腔表面发射激光器)。VCSEL是将电信号转换成光信号的激光二极管之一，并且可以使用约800至1000nm(例如约850nm或约940nm)的波长。

光源112以预定的时间间隔重复闪烁(开/关)从而以脉冲波或连续波的形式产生输出光信号。预定时间间隔可以是输出光信号的频率。光源的闪烁可以由光调制器114控制。

光调制器114控制光源112的闪烁，使得光源112以连续波或脉冲波的形式产生输出光信号。光调制器114可以通过频率调制或脉冲调制来控制光源112以连续波或脉冲波的形式产生输出光信号。

另一方面，透镜单元120会聚从物体反射的输入光信号，并将其传输到图像传感器130。

图像传感器130通过使用通过透镜单元120会聚的输入光信号来产生电信号。

图像传感器130可以与光输出单元110的闪烁时段同步地吸收输入光信号。更详细地，图像传感器130可以吸收从光输出单元110输出的输出光信号的同相和异相的每一个相位的光。即，图像传感器130可以多次执行在光源接通时吸收入射光信号的步骤以及在光源关闭时吸收入射光信号的步骤。

接下来，图像传感器130可以通过使用具有不同相位差的多个基准信号来产生与每个基准信号相对应的电信号。基准信号的频率可以被设定为等于从光输出单元110输出的输出光信号的频率。因此，当光输出单元110产生具有多个频率的输出光信号时，图像传感器130使用多个基准信号产生电信号，其中每个基准信号对应于每个频率。电信号可以包括关于与每个基准信号相对应的电荷量或电压量的信息。

图3是示出根据本发明的实施例的用于产生电信号的处理的图。

如图3所示，根据本发明的实施例，可以具有四个基准信号(C₁至C₄)。每个基准信号(C₁至C₄)可以具有与输出光信号相同的频率，但是可以彼此具有90度的相位差。四个基准信号中的一个(C₁)可以具有与输出光信号相同的相位。输入光信号的相位延迟了输出光信号入射到物体上并反射回来的距离。图像传感器130分别混合输入光信号和每个基准信号。然后，图像传感器130可以对每个基准信号产生与图3的阴影部分相对应的电信号。

在另一实施例中，当在曝光时间内以多个频率产生输出光信号时，图像传感器130根据该多个频率吸收输入光信号。例如，假设以频率f₁和f₂产生输出光信号，则多个基准信号具有90度的相位差。然后，由于入射光信号也具有频率f₁和f₂，因此可以利用频率为f₁的输入光信号和与之相对应的四个基准信号来产生四个电信号。另外，可以利用频率为f₂的输入光信号和与之相对应的四个基准信号来产生四个电信号。因此，可以产生总共八个电信号。

图像传感器130可以被配置成多个像素以网格形式布置的结构。图像传感器130可以是CMOS(互补金属氧化物半导体)图像传感器，或者可以是CCD(电荷耦合器件)图像传感器。另外，图像传感器130可以包括ToF传感器，该ToF传感器接收从物体反射的红外光并且使用时间差或相位差来测量距离。

图4是示出根据本发明实施例的图像传感器的图。例如，在具有如图4所示的320×240的分辨率的图像传感器130的情况下，76800个像素以网格形式布置。在这种情况下，如图4的阴影部分所示，可以在多个像素之间形成恒定间隔。在本发明的实施例中，一个像素被描述为包括与像素相邻的预定间隔。

根据本发明的实施例，每个像素132可以包括具有第一光电二极管和第一晶体管的第一光接收单元132-1、以及具有第二光电二极管和第二晶体管的第二光接收单元132-2。

第一光接收单元132-1以与输出光的波形相同的相位接收输入光信号。即，当光源接通时，第一光电二极管接通以吸收输入光信号。当光源关闭时，第一光电二极管关闭以停止吸收输入光。第一光电二极管将吸收的输入光信号转换为电流并将其传输到第一晶体管。第一晶体管将接收到的电流转换成电信号并将其输出。

第二光接收单元132-2以与输出光的波形相反的相位接收输入光信号。即，当光源接通时，第二光电二极管关闭以吸收输入光信号。当光源关闭时，第二光电二极管接通以停止吸收输入光。第二光电二极管将吸收的输入光信号转换为电流，并将其传输到第二晶体管。第二晶体管将接收到的电流转换成电信号。

因此，第一光接收单元132-1可以被称为同相接收单元，第二光接收单元132-2可以被称为异相接收单元。以这种方式，当第一光接收单元132-1和第二光接收单元132-2以时间差被激活时，根据到物体的距离，接收光的量存在差异。例如，当物体位于相机装置100的正前方时(即，当距离为0时)，从照明单元110输出光之后从物体反射花费的时间为0，因此，光源的闪烁时段本身是光接收时段。因此，仅第一光接收单元132-1接收光，而第二光接收单元132-2不接收光。作为另一示例，如果物体位于距相机装置100预定距离的位置，则由于从光输出单元110输出光之后从物体反射花费时间，所以光源的闪烁时段与光接收时段不同。因此，第一光接收单元132-1和第二光接收单元132-2接收的光量上产生差异。即，可以使用输入到第一光接收单元132-1和第二光接收单元132-2的光量之间的差来计算物体的距离。返回参照图1，图像处理单元140使用从图像传感器130接收的电信号来计算输出光与输入光之间的相位差，并且使用该相位差来计算物体与相机装置100之间的距离。

具体而言，图像处理单元140可以使用关于电信号的电荷量的信息来计算输出光与输入光之间的相位差。

如上所述，可以针对输出光信号的每个频率产生四个电信号。因此，图像处理单元140可以使用下式1来计算输出光信号与输入光信号之间的相位差(t_d)。

【式1】

其中，Q₁至Q₄是四个电信号中的每一个电信号的电荷量。Q₁是与输出光信号同相的基准信号所对应的电信号的电荷。Q₂是与相位比输出光信号迟滞180度的基准信号相对应的电信号的电荷。Q₃是与相位比输出光信号迟滞90度的基准信号所对应的电信号的电荷。Q₄是与相位比输出光信号迟滞270度的基准信号所对应的电信号的电荷。

然后，图像处理单元140可以通过使用输出光信号与输入光信号之间的相位差来计算物体与相机装置100之间的距离。在这种情况下，图像处理单元140可以使用下式2来计算物体与相机装置100之间的距离(d)。

【式2】

其中，c是光速，f是输出光的频率。

根据本发明的实施例，可以从相机装置100获得ToF IR图像和深度图像。因此，根据本发明的实施例的相机装置可以被称为ToF相机装置或ToF相机模块。

在这点上更详细地，如图5所示，可以从根据本发明实施例的相机装置100获得四个相位的原始图像。这里，四个相位可以是0°、90°、180°和270°，并且针对每个相位的原始图像可以是由针对每个相位的数字化像素值组成的图像，并且可以与相位图像和相位IR图像混合。

如果通过使用式3来使用和计算图5的四个相位图像，可以获得图6的ToF IR图像的振幅图像。

【式3】

其中，Raw(x₀)可以是由传感器在相位0°接收的针对每个像素的数据值，Raw(x₉₀)可以是由传感器在相位90°接收的针对每个像素的数据值，Raw(x₁₈₀)可以是由传感器在相位180°接收的针对每个像素的数据值，Raw(x₂₇₀)可以是由传感器在相位270°接收的针对每个像素的数据值。

可替代地，如果使用式4来使用并计算图5的四个相位，则可以获得作为另一个ToFIR图像的强度图像。

【式4】

强度＝|Raw(x₉₀)-Raw(x₂₇₀)|+|Raw(x₁₈₀)-Raw(x₀)|

其中，Raw(x₀)可以是由传感器在相位0°接收的针对每个像素的数据值，Raw(x₉₀)可以是由传感器在相位90°接收的针对每个像素的数据值，Raw(x₁₈₀)可以是由传感器在相位180°接收的针对每个像素的数据值，Raw(x₂₇₀)可以是由传感器在相位270°接收的针对每个像素的数据值。

如上所述，ToF IR图像是通过将四个相位图像中的两个彼此相减的处理而生成的图像，并且在该处理中，可以去除背景光。因此，仅从光源输出的波长带中的信号保留在ToFIR图像中，从而提高了物体的IR灵敏度并且显著降低了噪声。

在本说明书中，ToF IR图像可以指振幅图像或强度图像，并且强度图像可以与置信度图像共同使用。如图6所示，ToF IR图像可以是灰色图像。

另一方面，如果使用式5和式6来使用并计算图5的四个相位图像，则也可以获得图7的深度图像。

【式5】

【式6】

另一方面，在本发明的实施例中，为了提高深度图像的分辨率，使用了超分辨率(SR)技术。SR技术是用于从多个低分辨率图像中获得高分辨率图像的技术，并且该SR技术的数学模型可以表示为式7。

【式7】

y_K＝D_KB_KM_Kx+n_K

其中，1≤k≤p，p是低分辨率图像的数量，y_k是低分辨率图像(＝[y_k,1，y_k,₂，...，y_k,M]^T，其中M＝N1*N2)，D_k是下采样矩阵，B_k是光学模糊矩阵，M_k是图像变形矩阵，x是高分辨率图像(＝[x₁，x₂，...，x_N]^T，其中N＝L₁N₁*L₂N₂)，n_k代表噪声。即，根据SR技术，其是通过将估计的分辨率劣化元素的反函数应用于y_k来估计x的技术。SR技术可以大体分为统计方案和多帧方案，并且多帧方案可以大体分为空分方案和时分方案。当使用SR技术获取深度图像时，由于不存在式1中的M_k的反函数，因此可以尝试统计方案。然而，在统计方案的情况下，由于需要迭代计算处理，因此具有效率低的问题。

为了应用SR技术来提取深度图，图像处理单元140使用从图像传感器130接收的电信号来生成多个低分辨率子帧，然后，使用多个低分辨率子帧来提取多个低分辨率深度图。另外，可以通过重构多个低分辨率深度图的像素值来提取高分辨率深度图。

在此，高分辨率是表示比低分辨率更高的分辨率的相对含义。

在此，子帧可以指在任何曝光时间由与任何基准信号相对应的电信号产生的图像数据。例如，当在第一曝光时间由八个基准信号产生电信号时，即，在一个图像帧中，可以产生八个子帧，并且可以进一步产生一个起始帧。在本说明书中，子帧可以与图像数据、子帧图像数据等共同使用。

可替代地，为了将根据本发明实施例的SR技术应用于提取深度图，图像处理单元140可以使用从图像传感器130接收的电信号来生成多个低分辨率子帧，然后，通过重构多个低分辨率子帧的像素值来生成多个高分辨率子帧。并且，可以通过使用高分辨率子帧来提取高分辨率深度图。

为此，可以使用像素移动技术。即，在使用像素移动技术针对每个子帧获取移动子像素的若干图像数据之后，可以通过对每个子帧应用SR技术来获得多个高分辨率子帧图像数据，并且可以通过使用获得的数据提取具有高分辨率的深度图像。

另一方面，当根据本发明的实施例的相机装置100被应用于需要高质量图像捕获的应用时，例如，当被应用于需要精确图像的应用(诸如生物特征认证等)时，或当被应用于需要用户仅使用一只手来操纵相机装置100并拍摄的应用时，还需要用于防止或校正由于手抖引起的图像抖动的技术。用于防止或校正图像模糊的技术可以称为OIS(光学图像稳定器)技术。在OIS技术中，当光轴被称为Z轴时，可以通过使相机装置100中的结构部件(例如透镜)沿垂直于光轴的X轴和Y轴方向移动，来防止或校正图像的抖动。

为了使相机装置100具有SR功能和OIS功能，根据本发明实施例的相机装置100可以进一步包括用于移动内部结构的驱动单元。

图8是根据本发明实施例的相机装置的框图，图9是根据本发明实施例的相机装置的侧视图，图10是根据本发明实施例的相机装置的一部分的剖视图，图11是根据本发明另一实施例的相机装置的一部分的剖视图。在此，为了便于描述，省略与图1至图7相同内容的重复描述。

参照图8，根据本发明实施例的相机装置100还包括第一驱动单元150和第二驱动单元160。

参照图8至图11，图像传感器单元130可以设置在印刷电路板900上，并且图像处理单元140可以在印刷电路板900中实现。透射部分(Tx)(即光输出单元110)可以在印刷电路板900上设置在接收部分(Rx)的一侧上。

参照图10至图11，图10至图11是相机装置100的接收部分(Rx)的剖视图，透镜单元120包括IR(红外)滤光器122、设置在IR滤光器上的多个固体透镜124、以及设置在多个固体透镜124上或设置在多个固体透镜124之间的多个液体透镜126。将液体透镜126-1设置在多个固体透镜124上的方法称为追加到其上方法，并且将液体透镜126-2设置在多个固体透镜124之间的方法称为追加到其中方法。在追加到其上方法的情况下，液体透镜126-1可以由透镜单元120外部的成形器(未示出)支撑并且可以倾斜。

液体透镜126可以是图12所示的膜型液体透镜或者图13所示的Y透镜型液体透镜，而不限于此，其可以是形状根据所施加的电压而变化的可变透镜。例如，如图12所示，液体透镜126可以是在膜中填充有液体的形式，并且根据施加到围绕液体填充膜1000的边缘的环1002上的电压，液体填充膜的形状可以是凸形的、平坦的或凹形的。作为另一示例，如图13所示，液体透镜126可以包括具有不同性质的两种类型的液体(例如，导电液体和非导电液体)，并且在两种液体之间可以形成界面1100，并且界面的曲率和斜率可以根据所施加的电压而改变。

多个固体透镜124和液体透镜126可以相对于中心轴对准以形成光学系统。在此，中心轴可以与光学系统的光轴相同，并且在本说明书中可以称为Z轴。

透镜单元120可以进一步包括镜筒128，并且可以在镜筒128的内部设置能够容纳透镜的至少一部分的空间。镜筒128可以旋转地联接至一个或多个透镜，但是这是示例性的，并且可以以其他方式耦接，例如使用粘合剂(例如，诸如环氧树脂的粘合剂树脂)的方法。

透镜保持器(未示出)可以耦接至镜筒128以支撑镜筒128，并且可以耦接至其上安装有图像传感器130的印刷电路板(未示出)。可以通过透镜保持器(未示出)在镜筒126的下方形成可以附接IR滤光器122的空间。可以在透镜保持器的内周面上形成螺旋图案，并且类似地，可以将透镜保持器旋转地耦接到在外周面上形成有螺旋图案的镜筒128。然而，这是示例性的，并且透镜保持器和镜筒128可以通过粘合剂耦接，或者可以将透镜保持器和镜筒128一体地形成。

然而，该示例性图示仅是示例，并且透镜单元120的镜筒和透镜保持器可以由能够会聚入射到相机装置100的输入光信号并将其传输到图像传感器单元130的各种结构组成。

根据本发明的实施例，第一驱动单元150控制IR滤光器122或图像传感器130的运动，并且第二驱动单元160控制液体透镜126的曲率。这里，第一驱动单元150可以包括直接或间接连接到IR滤光器122或图像传感器130的致动器，该致动器可以包括MEMS(微机电系统)、VCM(音圈电机)以及压电元件中的至少一个。另外，第二驱动单元160直接或间接地连接到液体透镜126，并且第二驱动单元160可以通过将电压直接施加于液体透镜126或控制施加于液体透镜126的电压来控制液体透镜126的曲率。

输入光信号的光路可以由第一驱动单元150和第二驱动单元160中的一个根据预定规则多次移动，并且输入光信号的光路可以由第一驱动单元150和第二驱动单元160中的另一个根据预定控制信息来移动。

当根据预定规则多次移动输入光信号的光路时，可以使用移动的光路执行SR功能。另外，当根据预定的控制信息移动输入光信号的光路时，可以使用移动的光路执行OIS功能。例如，预定控制信息可以包括从相机装置100的运动信息、姿势信息等提取的用于OIS的控制信息。

在下文中，将首先描述由第一驱动单元150执行SR功能并且由第二驱动单元160执行OIS功能的实施例。

如上所述，根据本发明实施例的相机装置100可以使用像素移动技术来执行SR技术。

对于像素移动，第一驱动单元150可以移动IR滤光器122或图像传感器130的倾斜度。即，第一驱动单元150可以使IR滤光器122或图像传感器130倾斜以相对于XY平面具有预定倾斜度，XY平面是垂直于光轴(Z轴)的平面。因此，第一驱动单元150可以以图像传感器130的子像素为单位改变输入光信号中的至少一者的光路。这里，子像素可以是大于0像素且小于1像素的单位。

第一驱动单元150改变用于图像帧的输入光信号中的至少一者的光路。如上所述，可以在每一个曝光时间生成一个图像帧。因此，当一个曝光时间结束时，第一驱动单元150改变输出光信号或输入光信号中的至少一者的光路。

第一驱动单元150基于图像传感器130的将输出光信号或输入光信号中的至少一者的光路改变子像素单位。此时，第一驱动单元150基于当前光路在上下左右方向中的一个方向上改变输入光信号中的至少一者的光路。

图14是示出通过第一驱动单元改变输入光信号的光路的图。

在图14的(a)中，由实线表示的部分表示输入光信号的当前光路，由虚线表示的部分表示改变的光路。当与当前光路相对应的曝光时间结束时，第一驱动单元150可以如虚线所示改变输入光信号的光路。然后，输入光信号的光路从当前光路移动子像素。例如，如图14的(a)所示，当第一驱动单元150使当前光路向右移动0.173度时，入射在图像传感器130上的输入光信号可以向右移动0.5个像素(子像素)。

根据本发明的实施例，第一驱动单元150可以从基准位置顺时针改变输入光信号的光路。例如，如图14的(b)所示，在第一曝光时间结束之后，第一驱动单元150基于图像传感器130在第二曝光时间中使输入光信号的光路向右移动0.5个像素。另外，第一驱动单元150基于图像传感器130在第三曝光时间中使输入光信号的光路向下移动0.5个像素。另外，第一驱动单元150基于图像传感器130在第四曝光时间内使输入光信号的光路向左移动0.5个像素。另外，第一驱动单元150基于图像传感器130在第五曝光时间中使输入光信号的光路向上移动0.5个像素。即，第一驱动单元150可以在四个曝光时段使输入光信号的光路移动到初始位置。当使输出光信号的光路移动时，可以以相同的方式应用，并且将省略其详细描述。另外，光路的变化模式是顺时针方向只是一个例子，也可以是逆时针方向。

另一方面，子像素可以大于0像素并且小于1像素。例如，子像素可以具有0.5像素的尺寸，或者可以具有1/3像素的尺寸。子像素的尺寸可以由本领域技术人员改变。

图15和图16是示出根据本发明的实施例的SR技术的图。

参照图15，图像处理单元140可以使用在同一帧(即在同一曝光时间)中生成的多个低分辨率子帧来提取多个低分辨率深度图。另外，图像处理单元140可以通过重构多个低分辨率深度图的像素值来提取高分辨率深度图。这里，与多个低分辨率深度图相对应的输出光信号或输入光信号的光路可以彼此不同。

例如，图像处理单元140可以使用多个电信号来生成低分辨率子帧1-1至4-8。低分辨率子帧1-1至1-8是在第一曝光时间中生成的低分辨率子帧。低分辨率子帧2-1至2-8是在第二曝光时间中生成的低分辨率子帧。低分辨率子帧3-1至3-8是在第三曝光时间中生成的低分辨率子帧。低分辨率子帧4-1至4-8是在第四曝光时间中生成的低分辨率子帧。然后，图像处理单元140通过将深度图提取技术应用于在每个曝光时间中生成的多个低分辨率子帧来提取低分辨率深度图LRD-1至LRD-4。低分辨率深度图LRD-1是使用子帧1-1至1-8提取的低分辨率深度图。低分辨率深度图LRD-2是使用子帧2-1至2-8提取的低分辨率深度图。低分辨率深度图LRD-3是使用子帧3-1至3-8提取的低分辨率深度图。低分辨率深度图LRD-4是使用子帧4-1至4-8提取的低分辨率深度图。另外，图像处理单元140重构低分辨率深度图LRD-1至LRD-4的像素值以提取高分辨率深度图HRD。

可替代地，如上所述，图像处理单元140可以通过重构与相同的基准信号相对应的多个子帧的像素值来生成高分辨率子帧。在这种情况下，多个子帧具有与对应的输出光信号或输入光信号的光路不同的光路。另外，图像处理单元140可以通过使用多个高分辨率子帧来提取高分辨率深度图。

例如，在图16中，图像控制器150使用多个电信号生成低分辨率子帧1-1至4-8。低分辨率子帧1-1至1-8是在第一曝光时间中生成的低分辨率子帧。低分辨率子帧2-1至2-8是在第二曝光时间中生成的低分辨率子帧。低分辨率子帧3-1至3-8是在第三曝光时间中生成的低分辨率子帧。低分辨率子帧4-1至4-8是在第四曝光时间中生成的低分辨率子帧。这里，低分辨率子帧1-1、2-1、3-1和4-1对应于相同的基准信号C1，但是对应于不同的光路。然后，图像处理单元140可以通过重构低分辨率子帧1-1、2-1、3-1和4-1的像素值来生成高分辨率子帧H-1。当通过像素值重构生成高分辨率子帧H-1至H-8时，图像控制器可以通过将深度图提取技术应用于高分辨率子帧H-1至H-8来提取高分辨率深度图HRD。

图17是示出根据本发明的实施例的像素值移动处理的图。

这里，假设通过使用四个4×4的低分辨率图像来生成一个8×8高分辨率图像。在这种情况下，高分辨率像素网格具有与高分辨率图像的像素相同的8×8像素。在此，低分辨率图像可以指包括低分辨率子帧和低分辨率深度图，而高分辨率图像可以指高分辨率子帧和高分辨率深度图。

在图17中，第一低分辨率图像至第四低分辨率图像是通过使光路移动0.5像素的子像素单位而拍摄的图像。图像处理单元140基于光路未移动的第一低分辨率图像，根据光路的移动方向来移动第二低分辨率图像至第四低分辨率图像的像素值，以重构高分辨率图像。

具体地，第二低分辨率图像是从第一低分辨率图像向右移动该子像素的图像。因此，第二低分辨率图像的像素(B)向第一低分辨率图像的每个像素(A)的右侧移动。

第三低分辨率图像是从第二低分辨率图像向下移动该子像素的图像。因此，第三低分辨率图像的像素(C)向第二低分辨率图像的每个像素(B)的下方移动。

第四低分辨率图像是从第三低分辨率图像向左移动该子像素的图像。因此，第四低分辨率图像的像素(D)向第三低分辨率图像的像素(C)的左侧移动。

当第一低分辨率图像至第四低分辨率图像的所有像素值在高分辨率像素网格中被重构时，生成具有比低分辨率图像的分辨率高4倍的分辨率的高分辨率图像帧。

另一方面，图像处理单元140可以将权重施加到移动的像素值。在这种情况下，可以根据子像素的大小或光路的移动方向来不同地设定权重，并且可以针对每个低分辨率图像来不同地设定权重。

根据一个实施例，第一驱动单元150通过控制IR滤光器或图像传感器的倾斜来使输入光信号移动，因此，可以获得移动子像素的数据。

图18至图19是示出根据IR滤光器的倾斜控制在图像传感器上输入的图像帧的移动效果的图。图19示出了在IR滤光器的厚度为0.21mm并且IR的折射率为1.5的条件下相对于倾斜角的移动距离的模拟结果。

参照图18和下式8，IR滤光器122的斜率(θ₁)和移动距离可以具有以下关系。

【式8】

其中，θ₂可如式9中所示。

【式9】

另外，θ₁是IR滤光器122的斜率(即倾斜角)，n_g是IR滤光器122的折射率，d是IR滤光器122的厚度。例如，参照式8至9，IR滤光器122可以倾斜约5°至6°以使在图像传感器上输入的图像帧移动7μm。此时，IR滤光器122的垂直位移可以为大约175μm至210μm。

在本发明的实施例中，第一驱动单元150可以根据预定规则多次移动输入光信号的光路。例如，根据预定规则，第一驱动单元150可以在第一时段中使输入光信号的光路在第一方向上移动大于图像传感器单元130的0像素并且小于1像素的子像素单位，然后，在第二时段中在垂直于第一方向的第二方向上移动该子像素单位，然后，在第三时段中在垂直于第二方向的第三方向上移动该子像素单位，然后，在第四时段中在垂直于第三方向的第四方向上移动该子像素单位，可以重复该处理。在本说明书中，子像素可以表示大于0像素且小于1像素的单位。在本说明书中，第一时段、第二时段、第三时段和第四时段中的每个时段中在第一方向、第二方向、第三方向和第四方向中的每个方向上的移动度可以表示为子像素移动值或移动值。例如，当一个像素包括4个2×2的子像素并且被移动一个子像素单位时，移动值可以表示为1个子像素或0.5个像素。

在本发明的实施例中，图像处理单元140可以通过重构利用超分辨率技术从在第一时段中提取的数据获得的第一图像、从在第二时段中提取的数据获得的第二图像、从在第三时段中提取的数据获得的第三图像以及从在第四时段中提取的数据获得的第四图像，来获得一个深度图。在此，第一时段、第二时段、第三时段和第四时段可以与第一曝光时间、第二曝光时间、第三曝光时间和第四曝光时间共同使用，并且第一图像、第二图像、第三图像和第四图像中的每一个可以与上述的低分辨率子帧和低分辨率图像共同使用。

为此，第一驱动单元150可以控制IR滤光器122或图像传感器130相对于垂直于光轴(Z)的平面(XY平面)以预定角度规律地倾斜。

返回参照图8至图13，第二驱动单元160可以通过使用用于OIS(光学图像稳定)的控制信息来控制液体透镜126的曲率。例如，当存在相机装置100的抖动时，入射光信号的光路可能相对于光轴扭曲。在这种情况下，相机装置100可以通过安装在其中的各种传感器(未示出)来检测相机装置100的运动信息或姿势信息，并通过使用检测到的运动信息或姿势信息来提取用于OIS的控制信息。另外，第二驱动单元160可以通过使用用于OIS的控制信息来控制液体透镜126的曲率，因此，入射光信号的光路可以被移动为与光轴平行。例如，如图13所示，为了OIS，液体透镜126的界面1100可以向左或向右倾斜。

这样，当第一驱动单元150执行SR功能并且第二驱动单元160执行OIS功能时，可以根据预先设定的预定规则自动地驱动第一驱动单元150，并且可以根据反馈信息或控制信息来驱动第二驱动单元160。

另一方面，在本发明的另一个实施例中，第一驱动单元150可以执行OIS功能，并且第二驱动单元160可以执行SR功能。

即，第一驱动单元150可以根据从相机装置100的运动信息或姿势信息中提取的用于OIS的控制信息来驱动，因此可以进行控制以使IR滤光器122或图像传感器130在垂直于光轴(Z轴)的方向(即X轴和Y轴方向)上移动。另外，第二驱动单元160可以控制液体透镜126的界面的形状或曲率使其根据预定规则改变。

如上所述，由于根据本发明实施例的相机装置可以同时执行SR功能和OIS功能，因此可以获得具有高分辨率和高质量的深度图。特别地，由于通过单独的驱动单元执行SR功能和OIS功能，所以可以更精确地执行SR功能和OIS功能中的每一个。

另一方面，根据本发明实施例的相机装置100可以进一步执行AF(自动对焦)功能。为此，第二驱动单元160可以进一步根据用于AF的控制信息来移动输入光信号的光路。例如，第二驱动单元160可以根据用于AF的控制信息控制液体透镜126的界面使其在Z轴方向上凸起或下凹。用于AF的功能可以与SR功能或OIS功能一起执行。例如，当第二驱动单元160执行SR功能时，第二驱动单元160可以控制液体透镜126的界面使其根据预定规则自动地改变，同时根据用于AF的控制信息在Z轴方向上进一步向前或向后移动。另外，当第二驱动单元160执行OIS功能时，第二驱动单元160可以根据用于OIS的控制信息控制液体透镜126的界面使其沿X轴方向和Y轴方向倾斜，同时根据用于AF的控制信息在Z轴方向上进一步向前或向后移动。

尽管以上已经描述了实施例，但是这些仅是示例，并且不限制本发明，并且本发明所属领域的普通技术人员将理解，可以在不背离本实施例的本质特征的范围内进行以上未示出的各种修改和应用。例如，可以修改和实施在实施例中具体示出的每个部件。并且，与这些修改和应用有关的差异应被解释为被包括在所附权利要求书中限定的本发明的范围内。

[附图标记的说明]

100：相机装置 110：光输出单元

120：透镜单元 130：图像传感器

140：图像处理单元