具体实施方式

在下文中，将参考附图详细描述本发明的示例性实施例。

然而，本发明的技术思想不限于将要描述的一些实施例，而是可以以各种不同的形式来实现，并且在本发明的技术思想的范围内，一个或多个组件可以在实施例之间选择性地组合和替换。

另外，除非明确定义和描述，否则在本发明的实施例中使用的术语(包括技术术语和科学术语)可以具有可以被本领域的普通技术人员通常理解的含义，并且诸如词典中定义的术语等常用术语可以在考虑其在相关技术背景下的含义的情况下进行理解。

另外，在本发明的实施例中使用的术语用于描述实施例，而不是意图限制本发明。

在本说明书中，除非在短语中明确说明，否则单数形式也可以包括复数形式，并且当描述为“A和B或A、B和C中的至少一个(或多于一个)”时，可以包括可以通过A、B和C组合的所有组合中的一个或多个。

另外，诸如第一、第二、A、B、(a)和(b)之类的术语可以用来描述本发明的实施例的组件。

这些术语仅为了将一个组件与其它组件区分开，并且组件的本质、次序或顺序不受术语限制。

此外，在将一个组件描述为“连接”、“耦接”或“联接”到另一个组件时，该组件可以直接连接、耦接或联接到另一个组件，并且组件可以通过位于该组件与该另一个组件之间的又一个组件而“连接”、“耦接”或“联接”到该另一个组件。

此外，将组件描述为形成或设置在另一个组件“上方(上面)或下方(下面)”的情况不仅包括两个组件彼此直接接触的情况，还包括一个或多个其他组件形成或设置在这两个组件之间的情况。另外，表达为“上方(上面)或下方(下面)”的情况不仅可以包括基于一个组件向上方向的含义，还可以包括基于一个组件向下方向的含义。

首先，将参考图1描述根据本发明的实施例的相机的配置。

图1是根据本发明的实施例的相机的框图。

如图1所示，根据本发明的实施例的相机100包括发光模块110、光接收模块120和控制模块130。

首先，发光模块110根据设置的控制模式输出输出光。发光模块110可以包括光源和光调制器，以输出输出光。

光源产生光。由光源产生的光可以是具有770至3000nm的波长的红外线，或者是具有380至770nm的波长的可见光。光源可以通过发光二极管(LED)来实现，并且可以以根据预定图案布置多个发光二极管的形式来实现。另外，光源可以包括有机发光二极管(OLED)或激光二极管(LD)。光源以预定的时间间隔重复闪烁(开/关)，从而以脉冲波或连续波的形式输出输出光。多个发光二极管中的所有发光二极管可以以相同的时间间隔重复闪烁。另外，多个发光二极管中的所有发光二极管可以在一部分曝光时间内以不同的时间间隔重复闪烁。另外，在多个发光二极管中，第一组发光二极管和第二组发光二极管可以以不同的时间间隔重复闪烁。

光调制器根据控制模式来控制光源的闪烁。光调制器可以控制光源的闪烁，使得根据控制模式的具有调制频率的输出光通过频率调制、脉冲调制等输出。此外，光调制器可以根据控制模式控制光源的闪烁以在曝光时间期间输出输出光。

接下来，光接收模块120根据控制模式接收与输出光相对应的输入光。光接收模块120可以包括透镜单元和图像传感器单元，以接收输入光。

透镜单元会聚输入光，并将会聚的光传递到图像传感器单元。为此，透镜单元可以包括透镜、透镜镜筒、透镜保持架和IR滤光器。

可以设置多个透镜或者可以设置一个透镜。当设置多个透镜时，相应的透镜可以基于中心轴对准以形成光学系统。在此，中心轴可以与光学系统的光轴相同。

透镜镜筒可以耦接到透镜保持架，并且可以具有用于将透镜容纳在其中的空间。透镜镜筒可以旋转地耦接到一个透镜或多个透镜。然而，这是示例性的，透镜镜筒可以以不同的方式(例如，使用粘合剂(例如，诸如环氧树脂之类的粘合剂树脂)的方法)耦接到一个透镜或多个透镜。

透镜保持架可以耦接到透镜镜筒以支撑透镜镜筒，并且可以耦接到其上安装有图像传感器的印刷电路板。透镜保持架可以在透镜镜筒下方具有空间，在该空间中，可以附接IR滤光器。螺旋图案形成在透镜保持架的内周表面上，并且透镜保持架可以旋转地耦接到透镜镜筒，该透镜镜筒类似地具有形成在外周表面上的螺旋图案。然而，这是示例性的，透镜保持架和透镜镜筒可以通过粘合剂彼此耦接，或者透镜保持架和透镜镜筒可以彼此一体地形成。

透镜保持架可分为上保持架和下保持架，该上保持架耦接到透镜镜筒，该下保持架耦接到其上安装有图像传感器的印刷电路板，并且上保持架和下保持架可彼此一体地形成或可以以分开的结构形成，然后彼此紧固或耦接。在这种情况下，上保持架的直径可以形成为小于下保持架的直径。在本说明书中，透镜保持架可以是壳体。

图像传感器单元吸收会聚的输入光，以生成电信号。

图像传感器单元可以与光源的闪烁周期同步地吸收输入光。具体地，图像传感器单元可以吸收与输出光同相和异相的输入光。即，图像传感器单元可以重复地执行在打开光源时吸收输入光的步骤和在关闭光源时吸收输入光的步骤。

图像传感器单元可以使用具有不同相位差的多个参考信号来生成与每个参考信号相对应的电信号。参考信号的频率可以被设置为等于输出光的频率。因此，当以多个频率输出输出光时，图像传感器单元使用与相应的频率相对应的多个参考信号来生成电信号。电信号可以包括关于与每个参考信号相对应的电荷或电压的量的信息。

根据本发明的实施例，可以存在四个参考信号C₁至C₄。参考信号C₁至C₄中的每一个可以具有与输出光相同的频率，并且可以彼此具有90°的相位差。四个参考信号中的一个C₁可以具有与输出光相同的相位。输入光的相位被延迟一定距离，该距离是在输出光入射到对象上之后输出光被反射并返回的距离。图像传感器单元可以将输入光和每个参考信号混合以为每个参考信号生成电信号。

在另一实施例中，当输出光在曝光时间期间以多个频率生成时，图像传感器单元根据多个频率吸收输入光。例如，假设以频率f₁和f₂生成输出光，并且多个参考信号具有90°的相位差。然后，由于输入光也具有频率f₁和f₂，因此可以通过具有频率f₁的输入光和与该输入光相对应的四个参考信号来生成四个电信号。另外，可以通过具有频率f₂的输入光和与该输入光相对应的四个参考信号来生成四个电信号。因此，可以总共生成8个电信号。

图像传感器单元可以被实现为其中多个光电二极管以网格形状布置的图像传感器。图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器，或者可以是电荷耦合器件(CCD)图像传感器。

同时，发光模块110和光接收模块120可以在相机中实现为多个。例如，当根据本发明实施例的相机被包括在智能电话中时，第一发光模块110和与其对应的第一光接收模块120可以设置在智能电话的前表面上，第二发光模块110和与其对应的第二光接收模块120可以设置在智能电话的后表面上。

接下来，控制模块130基于输入光检测对象的存在和与对象的距离中的至少一个。具体地，控制模块130可以通过深度图来检测对象的存在和与对象的距离中的至少一个，该深度图通过输入光生成。例如，控制模块130可以通过与输入光相对应的电信号来生成深度图。当输出光以连续波的形式输出时，可以使用下面的等式1来检测与对象的距离。

[等式1]

在此，f表示输出光的频率，c表示光的速度，φ表示输出光与对应的输入光之间的相位差。

另外，输出光和对应的输入光之间的相位差可以通过下面的等式2来计算。

[等式2]

在此，τ表示飞行时间。Q₁至Q₄中的每一个是四个电信号中的每一个的充电电荷量。Q₁是对应于与入射光信号同相的参考信号的电信号的电荷量。Q₂是与相位比入射光信号慢180°的参考信号相对应的电信号的电荷量。Q₃是与相位比入射光信号慢90°的参考信号相对应的电信号的电荷量。Q₄是与相位比入射光信号慢270°的参考信号相对应的电信号的电荷量。

控制模块130根据对象的存在和与对象的距离中的至少一个的检测结果来重置控制模式。

具体地，当检测到对象的存在时，控制模块130将设置的第一控制模式重置为第二控制模式。同时，当没有检测到对象的存在时，控制模块130执行重置，从而维持设置的第一控制模式。

可替代地，当检测到对象的存在并且与对象的距离大于或等于阈值时，执行重置，使得维持设置的第三控制模式。此外，当检测到对象的存在并且与对象的距离大于或等于阈值时，控制模块130可以执行重置，使得设置的第三控制模式改变为第四控制模式。同时，如果未检测到对象的存在，则控制模块130执行重置，使得设置的第三控制模式改变为第五控制模式。

控制模块130根据重置的控制模式来控制发光模块110的输出和光接收模块120的输入。

控制模块130基于根据重置的控制模式输入的输入光来生成对象的深度图。生成深度图的过程与通过以上等式描述的过程相同，因此将省略其详细描述。

同时，当基于从对象反射的第三输入光或第五输入光生成深度图时，控制模块130可以通过超分辨率方法生成具有比基于第四输入光的深度图更高分辨率的深度图。

例如，当基于第四输入光的深度图具有QVGA(320x240)级别的分辨率时，基于第三输入光或第五输入光的深度图可以具有VGA(640x480)级别的分辨率。

超分辨率方法，即，超分辨率(SR)技术，是一种用于从多个低分辨率图像中获得高分辨率图像的技术，并且该SR技术的数学模型可以表示为下面的等式3。

[等式3]

y_k＝D_kB_kM_kx+n_k

在此，1≤k≤p，p表示低分辨率图像的数量，y_k表示低分辨率图像(＝[y_k,1,y_k,2,…,y_k,M]^T，其中M＝N₁*N₂)，D_k表示下采样矩阵，B_k表示光学模糊矩阵，M_k是图像翘曲矩阵(warping matrix)，x表示高分辨率图像(＝[x₁,x₂,…,x_N]^T，其中N＝L₁N₁*L₂N₂)，n_k表示噪音。即，根据SR技术，它是指通过将估计的分辨率劣化元素的逆函数应用于y_k来估计x的技术。SR技术可以大体分为统计方法和多帧方法，并且多帧方法可以大体分为空间划分方法和时分方法。

控制模块130可以将对象的深度图发送到连接的应用。另外，控制模块130可以通过对象的深度图来检测对象的尺寸，并且将检测到的尺寸信息发送到连接的应用。

图2是示出根据本发明的实施例的相机控制方法的第一示例的流程图。

参照图2，当输入相机操作信号时，发光模块根据设置的第一控制模式输出第一输出光(S205)。

然后，光接收模块120根据设置的第一控制模式接收与第一输出光相对应的第一输入光(S210)。

接下来，控制模块130基于第一输入光来检测对象的存在(S215)。

当检测到对象的存在时，控制模块130执行重置，使得设置的第一控制模式改变为第二控制模式(S220)。

然后，根据重置的第二控制模式，发光模块110输出第二输出光，并且光接收模块120接收从对象反射的第二输入光(S225)。

然后，控制模块130基于第二输入光生成对象的深度图(S230)。

同时，当未检测到对象的存在时，在执行重置以维持第一控制模式之后，其从步骤S205再次进行，并且当在重复预定次数仍未检测到对象时，可以执行终止。

图3是示出根据本发明的实施例的相机控制方法的第二示例的流程图。

当输入相机操作信号时，发光模块110根据预设的第三控制模式输出第三输出光(S305)。

然后，光接收模块120根据设置的第三控制模式接收与第三输出光相对应的第三输入光(S310)。

接下来，控制模块130基于第三输入光来检测对象的存在(S315)。

当检测到对象的存在时，控制模块130基于第三输入光来计算与对象的距离，并且将计算出的与对象的距离与阈值进行比较(S320)。

在这种情况下，当与对象的距离大于或等于阈值时，控制模块130执行重置，从而维持第三控制模式(S325)。然后，根据重置的第三控制模式，发光模块110将第三输出光输出到对象，并且光接收模块120接收从对象反射的第三输入光(S330)。

当与对象的距离小于阈值时，控制模块130执行重置，以使设置的第三控制模式改变为第四控制模式(S335)。然后，根据重置的第四控制模式，发光模块110将第四输出光输出到对象，并且光接收模块120接收从对象反射的第四输入光(S340)。

同时，当未检测到对象时，控制模块130执行重置，使得预设的第三控制模式改变为第五控制模式(S345)。然后，根据重置的第五控制模式，发光模块110将第五输出光输出到对象，并且光接收模块120接收从对象反射的第五输入光(S350)。

然后，控制模块130基于第三输入光至第五输入光中的任何一个来生成对象的深度图(S355)。生成深度图的过程与通过以上等式描述的过程相同，因此将省略其详细描述。同时，当基于从对象反射的第三输入光或第五输入光生成深度图时，控制模块130可以通过超分辨率方法生成深度图，该深度图具有比基于从对象反射的第四输入光的深度图的分辨率更高的分辨率。

此外，控制模块130可以基于生成的深度图的深度信息来计算对象的尺寸(S360)，并且将对象的尺寸发送至连接的应用(S365)。在这种情况下，连接的应用可以是输入了步骤S305的相机操作信号的应用。

图4是示出根据本发明的实施例的相机控制方法的第三示例的流程图。

根据图4所示的相机控制方法，图3所示的相机控制方法和图4所示的相机控制方法可以一起实现。

参照图4，当控制模块130接收到相机操作信号时(S405)，确定相机操作信号的类型(S410)。在这种情况下，控制模块130可以根据相机操作信号的类型来操作第一发光模块110和第一光接收模块120，或者可以操作第二发光模块110和第二光接收模块120。

具体地，当输入的相机操作信号是第一相机操作信号时，控制模块130可以操作第一发光模块110和第一光接收模块120。然后，控制模块130根据图2所示的相机控制方法执行相机控制。例如，当用户通过按钮输入或用于3D脸部识别的动作输入来输入第一相机操作信号时，控制模块130可以操作第一发光模块110和第一光接收模块120，以根据图2的步骤S205至S230执行相机控制。

同时，当输入的相机操作信号是第二相机操作信号时，控制模块130可以操作第二发光模块110和第二光接收模块120。然后，控制模块130根据图3所示的相机控制方法执行相机控制。例如，当用户通过应用输入第二相机操作信号以检测对象的尺寸时，控制模块130可以操作第二发光模块110和第二光接收模块120以根据步骤S305至S365执行相机控制。

上面参考图2和图3描述了步骤S205至S230和步骤305至S355，因此，将省略其详细描述。

图5是用于描述根据本发明实施例的控制模式的图。

参考图5，根据本发明实施例的控制模式可以包括第一控制模式至第五控制模式，可以对第一控制模式和第二控制模式进行分组，并且可以对第三控制模式至第五控制模式进行分组。

具体地，可以根据相机操作信号根据第一控制模式和第二控制模式中的一个来控制根据本发明实施例的相机。

第一控制模式可以是用于搜索对象的控制模式，第二控制模式可以是用于精确地测量对象的控制模式。例如，在面部识别的情况下，第一控制模式可以是用于检测面部(对象)的存在的控制模式，第二控制模式可以是用于生成面部(对象)的深度图的控制模式。

如下表1是示出第一控制模式和第二控制模式的特性的表。

[表1]

如表1所示，在第一控制模式和第二控制模式下，发光模块110的曝光时间、以及光接收模块120的帧率和激活像素的数量中的至少一个可以不同地设置。此外，其效果也不同。具体地，第一控制模式下的发光模块110的曝光时间可以设置为短于第二控制模式的曝光时间。例如，第一控制模式的曝光时间可以设置为短于0.1ms，并且第二控制模式的曝光时间可以设置为长于0.7ms。

第一控制模式下的光接收模块120的帧率可以设置为小于第二控制模式的帧率。例如，第一控制模式的帧率可以被设置为1fps，并且第二控制模式的帧率可以被设置为大于15fps。特别地，由于第一控制模式用于检测对象的存在，所以光接收模块120的帧率可以被设置为1fps，从而仅生成一个帧。

第一控制模式下的光接收模块120的激活像素的数量可以被设置为小于在第二控制模式下的光接收模块120的激活像素的数量。即，第一控制模式下的光接收模块120的视角可以设置为小于第二控制模式下的光接收模块120的视角。例如，在第一控制模式下，112x86个像素可以被激活，并且光接收模块120的视角可以被设置为40°，而在第二控制模式下，224x172个像素可以被激活，并且光接收模块120的视角可以被设置为80°。

当根据第一控制模式操作根据本发明的实施例的相机时，深度精度低于第二控制模式的深度精度，但是可以用较少的功率来测量位于较远距离处的对象。即，在以少量功率检测到对象的存在之后，当确定对象存在时，根据第二控制模式执行精确的拍摄，因此，可以减少相机的功耗。

接下来，可以根据根据相机操作信号根据第三控制模式至第五控制模式中的任何一种来控制根据本发明实施例的相机。

如下表2是示出第三控制模式至第五控制模式的特性的表。

[表2]

如表2所示，在第三控制模式至第五控制模式中，可以不同地设置发光模块110的曝光时间和调制频率中的至少一个。第四控制模式下的发光模块110的曝光时间可以设置为小于第三控制模式和第五控制模式下的曝光时间。例如，第四控制模式的曝光时间可以设置为小于1.5ms，并且第三控制模式和第五控制模式的曝光时间可以设置为大于1.5ms。第四控制模式是用于拍摄位于诸如1m之内的短距离处的对象的控制模式，因此，即使当曝光时间短于第三控制模式和第五控制模式的曝光时间时，光接收模块120也可以确保足以生成深度图的光量。

在第三控制模式中，调制频率被设置为第一频率，第四控制模式被设置为其调制频率大于第一频率的第二频率，并且在第五控制模式中，调制频率可以被设置为第一频率和第二频率(即，两个频率)的组合。例如，在第三控制模式下可以将调制频率设置为60MHz，在第四控制模式下可以将调制频率设置为80MHz，在第五控制模式下可以将调制频率设置为60MHz和80MHz。

如表2所示，根据本发明实施例的相机通过第三控制模式至第五控制模式根据与对象的距离来不同地控制发光模块110和光接收模块120。即，由于通过根据与对象的距离而优化的控制模块130来操作相机，因此可以减少相机的功耗。

图6是用于描述根据本发明实施例的第五控制模式的图。

图6示出了组合两个调制频率的过程。例如，假定第一频率为60MHz，第二频率为80MHz。

根据输出光的频率确定可以测量对象的最大距离，可以通过根据60MHz的第一频率的输出光来测量位于1.8657m的最大距离处的对象，可以通过根据80MHz的第二频率的输出光来测量位于2.4876m的最大距离处的对象。以这种方式，随着频率增加，可以测量对象的最大距离也增加。然而，为了增加频率，需要快速地控制发光模块110的闪烁周期，因此，功耗增加。

因此，在根据本发明实施例的第五控制模式中，可以通过同时输出第一频率和第二频率来增加对象的测量距离。

如图6所示，当同时输出根据第一频率的输出光和根据第二频率的输出光时，第一频率和第二频率形成具有不同周期的波形，并且可能出现两个频率的一部分相位彼此重叠。以此方式，当同时输出两个频率时，两个频率的相位彼此重叠的部分可以被视为一个周期。即，当同时输出60MHz和80MHz的频率时，可以认为是频率为240MHz的一个输出光。在这种情况下，与输出具有240MHz的频率的输出光相比，可以大大降低功耗。

图7是用于描述根据本发明的实施例的优化的相机操作的图。

图7示出了用于描述根据图3所示的相机控制方法的相机操作的示例。如图7所示，当拍摄小尺寸的对象(例如，(a)至(c)中所示的戒指、螺栓和食物)时，用户在将相机放置在靠近对象的位置之后进行拍摄。在这种情况下，控制模块130基于关于根据第三控制模式的对象的存在和与对象的距离的信息，通过根据第四控制模式拍摄对象来生成深度图。

当拍摄相对较大的对象(例如，(d)和(e)中所示的沙发或窗帘)时，用户在将相机放置在等于或大于与对象的一定距离的位置之后进行拍摄。在这种情况下，控制模块130通过根据第三控制模式拍摄对象来生成深度图。

同时，如(f)所示，当进行室内定位拍摄时，用户在将相机放置在远离对象的位置之后进行拍摄。在这种情况下，控制模块130基于关于根据第三控制模式的对象的存在的信息，通过根据第五控制模式拍摄对象来生成深度图。