阅读说明：本技术 用户信号处理方法及执行该方法的装置 (User signal processing method and device for executing same ) 是由 金勇局 赵成来 金勇振 金峻世 于 2017-12-12 设计创作，主要内容包括：本发明涉及一种用户信号处理方法及执行该方法的装置。用户信号处理方法能够包括：影像处理装置从被定义的多个用户信号中识别用户信号的步骤；以及影像处理装置根据与用户信号相对应的控制信号来控制全向影像处理装置的步骤,多个用户信号中的每个上述用户信号分别与多个不同的手图像中的每个手图像相对应。(The invention relates to a user signal processing method and a device for executing the method. The user signal processing method can include: a step in which the image processing device identifies a user signal from a plurality of defined user signals; and a step in which the video processing device controls the omnidirectional video processing device in accordance with a control signal corresponding to a user signal, each of the plurality of user signals corresponding to each of a plurality of different hand images.)

用户信号处理方法及执行该方法的装置

技术领域

本发明涉及用户信号处理方法及执行该方法的装置。更加详细地，涉及影像处理装置识别用户信号并根据用户信号进行操作，从而更加方便地控制影像处理装置的方法及装置。

背景技术

全向(omnidirectional)影像系统是指基于特定视点而记录全方位(360度)的影像信息的影像系统。与现有的影像系统相比，因获得非常宽的视角(field-of-view)的影像，近来，在计算机视觉、移动机器人等研究领域及监视系统、虚拟现实系统、变焦(PTZ：pan-tilt-zoom)摄像机、视频会议等实用领域等，其应用的幅度逐渐变广。

使用各种方法，以用于获得全向影像。例如，基于满足单视点(single viewpoint)的光轴(optical-axis)而旋转一个摄像机并接合所获得的影像而生成全向影像。或者也能够使用将多台摄像机排列为环形结构而组合在各个摄像机中获得的影像的方法。用户使用用于获得各种全向影像的全向影像处理装置(或全向影像处理摄像机,360度摄像机)而生成全向影像。

当基于全向影像处理装置来拍摄全向影像时，需要一种通过更加快速地控制全向影像处理装置来方便地拍摄全向影像的方法。

发明内容

技术问题

本发明的目的在于，解决上述所有问题。

并且，本发明的另一目的在于，向影像处理装置提供用户信号，并根据用户信号来更加方便地控制影像处理装置。

并且，本发明的另一目的在于，通过用户装置实时确认被拍摄的全向影像，并且更加方便地控制对全向影像的拍摄。

技术方案

旨在达到上述目的的本发明的代表性构成如下。

根据本发明的一个方式，用户信号处理方法能够包括：影像处理装置从被定义的多个用户信号中识别用户信号的步骤；上述影像处理装置根据与上述用户信号相对应的控制信号来控制全向影像处理装置的步骤，上述多个用户信号中的每个用户信号分别与多个不同的手图像中的每个手图像相对应。

根据本发明的另一个方式，影像处理装置，其用于处理用户信号，上述影像处理装置的特征在于，能够包括:通信部，用于与外部装置进行通信；处理器，可操作地与上述通信部相连接，上述处理器配置为从被定义的多个用户信号中识别用户信号，并根据与上述用户信号相对应的控制信号控制全向影像处理装置，多个上述用户信号中的每个上述用户信号分别与多个不同的手图像中的每个手图像相对应。

发明效果

根据本发明，向影像处理装置提供用户信号，并根据用户信号来更加方便地控制影像处理装置。

另外，通过用户装置实时确认被拍摄的全向影像，并且更加方便地控制对全向影像的拍摄。

附图说明

图1为显示本发明的实施例的全向影像处理装置的概念图。

图2为显示本发明的实施例的位于全向影像处理装置的多个影像拍摄部的特性的概念图。

图3为显示本发明的实施例的多个影像拍摄部的成像线的概念图。

图4为显示本发明的实施例的多个影像拍摄部的成像线的概念图。

图5为示出本发明实施例的影像拍摄方法的概念图。

图6为示出本发明实施例的影像拍摄方法的概念图。

图7为示出本发明实施例的影像拍摄方法的概念图。

图8为示出本发明实施例的影像拍摄方法的概念图。

图9为示出本发明实施例的用于确认全向影像的方法的概念图。

图10为示出本发明实施例的基于用户装置的全向影像处理装置的控制的概念图。

具体实施方式

在对本发明进行具体说明时，参照将本发明实施的特定的实施例作为例示而显示的附图。对该实施例进行具体说明，以使本领域技术人员能够充分对本发明进行实施。本发明的各种实施例相互不同但不存在相互排它性需求。例如，本说明书中记载的特定形状、结构及特性不脱离本发明的思想与范围，并能够由一实施例变更为其它实施例而实现。并且，各个实施例内的个别结构要素的位置或配置也未脱离本发明的思想与范围的情况，并能够进行变更。因此，下面所述的说明并不具有限定的意义，本发明的范围包括权利要求范围的权利要求项所请求的范围及与其同等的所有范围。在附图中类似的参照符号在各个方面显示相同或类似的构成要素。

下面，参照附图对本发明的几个优选的实施例进行具体说明，以使本发明所属领域技术人员能够容易实施本发明。

以下，本发明实施例的影像处理装置可包括全向影像处理装置。全向影像处理装置可包括可拍摄全向(或360度影像)的全向摄像头(360度摄像头)。

并且，以下，本发明的实施例中所公开的影像信息、视频信息可包含全向影像(或360度影像)。

图1为显示本发明的实施例的全向影像处理装置的概念图。

图1中公开全向影像处理装置的结构。

参照图1，全向影像处理装置100为可穿戴结构，为与戴在用户的颈部的项链类似的形状。全向影像处理装置100如图1所示，也能够为一面开放的项链的形状，也能够为一面未开放的项链的形状。下面，在本发明的实施例中，假设全向影像处理装置100为一面开放的U字形状。该U字形状的全向影像处理装置100为以可穿戴设备(wearable device)形状戴在用户的颈部而拍摄全向影像。

在本发明的实施例中，为便于说明，假设全向影像处理装置100为项链形状(或者一面开放的项链形状、U字形状)，而戴在用户的颈部的情况。但，全向影像处理装置100也并非为简单戴在用户的颈部的形状。例如，全向影像处理装置100以能够挂卡/附着的各种形状，设置于用户的不同的身体部位或外部物体(或者个体)/设备/结构等，由此，也能够获得全向影像。

用户将作为可穿戴设备实现的全向影像处理装置100戴在颈部，并在双手自由的状态下，获得用于生成全向影像的多个影像。

全向影像处理装置100包括多个影像拍摄部。多个影像拍摄部分别以特定间距(或预定的间距)而设置在全向影像处理装置，由此，分别对视角/成像线的影像个别成像。多个影像拍摄部各自的位置也能够固定于全向影像处理装置100，但多个影像拍摄部能够分别移动，且多个影像拍摄部各自的位置也能够进行变更。

例如，全向影像处理装置100可包括三个影像拍摄部，三个影像拍摄部按一定的视角(field of view)(例如，120度～180度)对全向影像进行成像。三个影像拍摄部为第一影像拍摄部110、第二影像拍摄部120、第三影像拍摄部130。

下面，为了便于说明，公开有三个影像拍摄部包含于全向影像处理装置100的结构。但，并非三个而也能够为多个(例如，2、4、5、6个等)影像拍摄部包含于全向影像处理装置100，对全向影像进行成像，该形状也包含于本发明的权利要求范围。

第一影像拍摄部110、第二影像拍摄部120及第三影像拍摄部130根据视角而拍摄影像。在相同的时间资源上，通过第一影像拍摄部110而生成第一影像，通过第二影像拍摄部120而生成第二影像，通过第三影像拍摄部130而生成第三影像。第一影像拍摄部110、第二影像拍摄部120、第三影像拍摄部130各自的视角为120度，在第一影像、第二影像及第三影像中存在重叠的成像区域。之后，通过全向影像处理装置100拼接/补正在相同的时间资源上所成像的第一影像及第二影像及第三影像，从而生成全向影像。对多个影像的拼接及/或补正顺序也能够在全向影像处理装置本身执行，也能够基于能够与全向影像处理装置100通信的用户设备(智能手机)执行。即，对所生成的多个影像的增加的影像处理顺序也能够通过全向影像处理装置100及/或其它影像处理设备(智能手机、个人电脑等)执行。

下面，具体显示全向影像处理装置的具体特征及全向影像生成方法。

图2为显示本发明的实施例的位于全向影像处理装置的多个影像拍摄部的特性的概念图。

在图2中，公开位于U字型的全向影像处理装置的多个影像拍摄部的特征。图2中影像拍摄部的位置为示例性的。多个影像拍摄部分别位于全向影像处理装置上的不同位置，以对用于生成全向影像的多个影像进行拍摄。

在图2的上端显示有全向影像处理装置的后部。

包含在全向影像处理装置的第一影像拍摄部210及第二影像拍摄部220位于在全向影像处理装置上存在曲率的弯曲的部分。具体地，对于用户将全向影像处理装置作为可穿戴设备而挂于颈部的情况，在与颈部的后部位接触并弯曲的区域设置第一影像拍摄部210及第二影像拍摄部220。例如，基于U字型的全向影像处理装置的最大曲率支点(例如，U字型的中间部分)而将第一影像拍摄部210及第二影像拍摄部220设置在一定距离上。

第一影像拍摄部210对以用户的视线(line of sight)方向为基准时包含后面左侧死角区域的区域进行拍摄。第二影像拍摄部220对以用户的视线为基准时包含后面右侧死角区域的区域进行拍摄。具体地，第一影像拍摄部210具有第一视角，执行与第一视角相应的区域的成像。第二影像拍摄部220具有第二视角，执行与第二视角相应的区域的成像。例如，第一视角及第二视角为120～180度。

对于执行通过第一影像拍摄部210及第二影像拍摄部220的成像时，生成通过第一视角与第二视角而重叠的第一重叠区域215。之后，以基于重叠区域的拼接为基础而生成全向影像。

图2的下端表示全向影像处理装置的前部。

在全向影像处理装置的前面设置有第三影像拍摄部230。具体地，第三影像拍摄部230设置在全向影像处理装置的末端部(U字型的端(末端)部分)。对于用户将全向影像处理装置作为可穿戴设备挂于颈部的情况，U字型的全向影像处理装置的末端部分位于用户的前面方向(用户的视线注视的方向)。全向影像处理装置包括：第一末端部与第二末端部，第三影像拍摄部230设置在第一末端部与第二末端部中一个末端部。

第三影像拍摄部230以与用户的视线的方向相同的方向执行拍摄而执行对与用户的视线相应的区域的成像。

具体地，第三影像拍摄部230具有第三视角，执行对与第三视角相应的区域的成像。例如，第三视角为120度～180度。对于执行通过第三影像拍摄部230的成像的情况，因第一影像拍摄部210的第一视角与第三影像拍摄部230的第三视角而产生第二重叠区域225。对于执行通过第三影像拍摄部230的成像的情况，因第二影像拍摄部220的第二视角与第三影像拍摄部230的第三视角而产生第三重叠区域235。

对于在挂于颈部的可穿戴设备的结构上，全向影像处理装置挂于颈部的情况，第一影像拍摄部210、第二影像拍摄部220基于地面而相对地处于高于第三影像拍摄部230的地方。并且，第三影像拍摄部230位于一侧末端部。

在现有的全向影像处理装置中，位于相同高度的多个影像拍摄部具有一定的角度，而本发明的实施例的全向影像处理装置的多个影像拍摄部之间的角度不同，且所处的高度也各不相同。因此，分别通过多个影像拍摄部生成的多个影像的第一重叠区域215、第二重叠区域225及第三重叠区域235的大小/形状相互不同。

之后，以通过基于第一重叠区域215/第二重叠区域225/第三重叠区域235的第一影像拍摄部210、第二影像拍摄部220及第三影像拍摄部230而分别生成的第一影像、第二影像及第三影像的影像处理次序(拼接/补正等)为基础而生成全向影像。

第一视角、第二视角、第三视角的大小也能够被相同地设定，但也能够进行相互不同地设定，并包含于该实施例及本发明的权利要求范围内。

图3为显示本发明的实施例的多个影像拍摄部的成像线的概念图。

图3中，显示设置于全向影像处理装置的多个影像拍摄部各自的成像线。对于假设将地面与X轴与Z轴构成的XZ平面平行的情况，成像线被定义为在由X轴/Y轴/Z轴呈现的空间上，垂直通过包含于全向影像处理装置的多个影像拍摄部各自的透镜的中央的线。

现有的全向影像处理装置将多个影像拍摄部按一定的角度(例如，120度)设置在相同的高度上。对于该情况，包含于现有的全向影像处理装置的多个影像拍摄部的多个成像线是指与地面(或XZ平面)平行，且在多个成像线之间为具有一定的角度(例如，120度)的多个线。

本发明的实施例的全向影像处理装置如上所述，多个影像拍摄部的高度(或多个影像拍摄部的实现的位置)及多个影像拍摄部之间的角度(或成像线之间构成的角度)在拍摄时相互不同。因此，本发明实施例的全向影像处理装置的成像线的特性与现有的全向影像处理装置的成像线的特性存在差异。

图3中例示的多个影像拍摄部各自的成像线用于显示因可穿戴设备的特性而造成的多个影像拍摄部各自的成像线之间的特性(例如，高度，角度)的差异。并且，图3中显现的成像线为不存在因佩戴全向影像处理装置的用户的移动，或为在全向影像处理装置特定状态下固定的情况的成像线。

图3的上端公开第一影像拍摄部310及第二影像拍摄部320的成像线。

第一影像拍摄部310及第二影像拍摄部320设置在比第三影像拍摄部330相对高的位置。假设佩戴全向影像处理装置的用户的所处的方向为Y轴方向的情况，在挂于颈部的可穿戴设备的结构上，在全向影像处理装置上，相对地提升具有第一影像拍摄部310及第二影像拍摄部320所处的曲率的部分(U字中的曲线/中央部分)，并第三影像拍摄部330所处的腿部分(U字中末端部分)相对下移。

例如，第一影像拍摄部310的第一成像线315与XZ平面平行，而在Y轴的坐标a中，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。

第二影像拍摄部320的第二成像线325与XZ平面平行，而在Y轴的支点a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。

参照图3的下端，第三影像拍摄部330的第三成像线335与XZ平面平行，而在Y轴的坐标b上，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。b为小于a的值。第三影像拍摄部330的第三成像线335与XZ平面平行，注视与用户的视线相同地前面(例如，与XY平面垂直的方向)。

即，第一成像线315及第二成像线325以Y轴为基准而具有相同的高度，第三成像线335以Y轴为基准而处于比第一成像线及第二成像线相对低的位置。在图3中公开的第一成像线315、第二成像线325及第三成像线335为具有相互不同特性的成像线的一个例示，定义各种成像线，并成像全向影像。

图4为显示本发明的实施例的多个影像拍摄部的成像线的概念图。

在图4中，公开与图3不同的多个影像拍摄部的成像线。同样地，在图4中，假设地面与X轴和Z轴构成的XZ平面平行。

图4的上端为第一影像拍摄部410及第二影像拍摄部420的成像线。

第一影像拍摄部410及第二影像拍摄部420处于相对地高于第三影像拍摄部430的位置。同样地，对于假定用户所处的方向为Y轴方向的情况，挂于颈部的可穿戴设备的结构上的全向影像处理装置以相对提升具有第一影像拍摄部410及第二影像拍摄部420所处的曲率的部分(U字中曲线部分)，且第三影像拍摄部430所处的腿的部分(U字中末端部分)相对下移的形式而拍摄影像。

例如，第一影像拍摄部410的第一成像线415与XZ平面平行，而Y轴的坐标a上，与X轴成第1角度、与Y轴成第2角度、与Z轴成第3角度。

第二影像拍摄部420的第二成像线425与XZ平面平行，而在Y轴的坐标a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。

图4的下端公开第三影像拍摄部430的成像线。

第三影像拍摄部430的第三成像线435未与XZ平面平行，将Y轴的坐标b作为起始点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

第三影像拍摄部430位于全向影像处理装置的末端部，由此，成像线未与XZ平面平行，并与XZ平面具有一定角度(例如，0～30度)。

即，第一成像线415及第二成像线425基于Y轴而具有相同的高度，第三成像线435基于Y轴而处于相对地低于第一成像线415及第二成像线425位置。并且，第一成像线415及第二成像线425与XZ平面平行，但第三成像线435未与XZ平面平行。

作为本发明的另一实施例，例如，第一影像拍摄部的第一成像线与XZ平面构成第1’角度，并将Y轴的坐标a作为起始点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，第二影像拍摄部的第二成像线与XZ平面构成第1’角度，将Y轴的坐标a作为起始点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。第三影像拍摄部的第三成像线与XZ平面构成第2’角度，将Y轴的坐标b作为起始点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

根据本发明的又一实施例，第一影像拍摄部的第一成像线与XZ平面构成第1’角度，将Y轴的坐标a作为起始点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，第二影像拍摄部的第二成像线与XZ平面构成第2’角度，将Y轴的坐标a作为起始点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。第三影像拍摄部的第三成像线与XZ平面构成第3’角度，将Y轴的坐标b作为起始点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

即，多个影像拍摄部各自的成像线与在现有的相同的Y轴支点上，具有与地面相同的角度的影像处理设备不同，本发明的实施例的全向影像处理装置的多个影像拍摄部各自的成像线处于相互不同的Y轴支点上，并与地面(或XZ平面)之间具有相互不同的角度。

根据本发明的实施例，公开如下方法：将全向影像处理装置作为可穿戴装置来挂在脖子上的用户提供用户信号(例如，手指手势、语音信号等)，全向影像处理装置通过识别用户信号来对全向影像拍摄进行控制。

对于用户信号的识别及处理可由从全向影像处理装置或者，全向影像处理装置接收与用户信号有关的信息来进行处理的单独的外部装置执行。以下，能够用术语“影像处理装置”来表示用于对用户信号进行识别及处理的装置。影像处理装置可包括全向影像处理装置和/或外部装置。

用于处理影像中的用户信号的影像处理装置可包括：通信部，用于与外部装置进行通信；以及处理器，可操作地(operatively)与通信部相连接。处理器可以执行以下在本发明中将要后述的用户信号的识别及处理。

并且，以下，为了便于说明，本发明的实施例中公开全向影像处理装置对用户信号进行识别并处理的方法，但本发明还可以是用于对并非为全向影像的普通影像中的用户信号进行识别并处理的方法，这种实施例也包含在本发明的权利中。

图5为示出本发明实施例的影像拍摄方法的概念图。

图5中公开全向影像处理装置识别用户信号，并根据用户信号进行操作的方法。

参照图5，全向影像处理装置可以识别用户信号(步骤S500)。

当用户信号为包含在被拍摄的全向影像中的影像信号时，可以确认全向影像中是否包含用户信号。或者，当用户信号为语音信号时，可以确认被输入的语音信号中是否包含用户信号。用户信号可以被预先定义，或者可以基于用户的设置或者，全向影像处理装置的学习来定义。

全向影像处理装置可以确认用户信号是否包含在全向影像(或输入信号)中，以识别用户信号。

例如，当用户信号为用户的手部信号时，全向影像处理装置可以判断全向影像中是否存在用户的手图像。当全向影像中存在用户的手图像时，可以识别手图像。在此情况下，可在全向影像中仅将拍摄距离(影像拍摄部与对象之间的距离)为临界距离以下的手图像识别为用户信号，基于被存储的用户的手的特征来识别是否是用户的手，并且仅在用户的手图像的情况下识别为用户信号。

当用户信号为用户的语音信号时，全向影像处理装置可以判断被输入的声音信号中是否存在用户的语音信号。当声音信号中存在用户的语音信号时，可以识别用户的语音信号。

为了基于用户信号来控制全向影像处理装置，可以定义与全向影像处理装置的控制操作匹配的基准用户信号。可以确定与全向影像处理装置的控制操作匹配的基准用户信号与用户信号之间的相似度。仅在基准用户信号与经识别的用户信号之间的相似度为临界百分比以上的情况下，可以基于用户信号来进行全向影像处理装置的控制操作。

例如，可以确定基准用户信号的影像与用户信号的影像之间的相似度。通过判断基准用户信号的影像的特点与用户信号的影像的特点之间的相似度，从而在基准用户信号的影像与待判断用户信号的影像之间的相似度为临界百分比以上的情况下，可以识别为用户信号与基准用户信号相对应。

或者，根据本发明的实施例，可在全向影像处理装置中实现能够对以全向影像处理装置的位置为基准位于临界距离以下的对象进行感测的传感器。当传感器感测到位于临界距离以下的对象时，全向影像处理装置可从省电模式转换为活动模式来接收用户信号。例如，当佩戴全向影像处理装置的用户伸出手时，可通过识别手来使全向影像处理装置从省电模式转换为活动模式，在活动模式下，影像拍摄部可通过驱动来拍摄用户的手的影像。

全向影像处理装置可以基于经识别的用户信号进行控制操作(步骤S510)。

全向影像处理装置可从被定义的多个用户信号中确定当前手的形状为哪个用户的信号，并可根据经确定的用户信号来进行操作。例如，用户信号可以是由用户的手形成的方形，这种用户信号可以与全向影像处理装置的对方形内的中心对象进行跟踪拍摄的操作相匹配。

具体地，当识别为用户信号与基准用户信号相对应时，可以执行与基准用户信号影像相对应的全向影像处理装置的操作。

换言之，影像处理装置可从被定义的多个用户信号中识别用户信号，影像处理装置根据与用户信号相对应的控制信号来控制全向影像处理装置。多个用户信号中的每个用户信号可以与多个不同的手图像中的每个手图像对应。

用户信号可以对应于多个上述不同的手图像中的与待识别手图像匹配的一个手图像，待识别手图像可包含在由全向影像处理装置拍摄的全向影像中。

待识别手图像可以是特定全向影像中的对象的手图像，与待识别手图像相对应的控制信号指示针对对象的跟踪拍摄或针对对象的静止影像的拍摄。

或者，待识别手图像可以是被定义为停止或恢复全向影像的拍摄的手图像，与待识别手图像相对应的控制信号指示上述停止或恢复全向影像的拍摄。

或者，待识别手图像可以是被定义为改变全向影像的拍摄视场角的手图像，与待识别手图像相对应的控制信号可以控制拍摄视场角。

或者，待识别手图像可以是用于在全向影像中剪切(crop)规定区域的影像，与待识别手图像相对应的控制信号可以指示针对对象的跟踪拍摄或针对对象的静止影像的拍摄。在此情况下，待识别手图像可通过手指在全向影像中指示剪切位置(水平方向/垂直方向)，并基于被指示的剪切位置来剪切全向影像中的规定区域。例如，可在第一侧利用右手的拇指和食指来指示需要进行影像剪切的水平区域及垂直区域，并在第二侧利用左手的拇指和食指来指示需要进行影像剪切的水平区域及垂直区域。手指的种类可以自由设置。

右手食指指示第一水平轴，左手食指指示第二水平轴，左手拇指指示第一垂直轴，右手拇指指示第二垂直轴，可从全向影像中剪切由4个轴(或者，轴的延长线)形成的四角形内的影像。右手的手指和左手的手指不接触，可以通过扩大或缩小水平区域、垂直区域来调节被剪切的区域的大小。

即，可通过生成与拍摄用户的手的待识别手图像相对应的控制信号来剪切全向影像中的特定影像。对手图像(或者，手指的方向)进行分析，可通过分析手指的方向来确定被剪切的影像区域。

用于剪切这种影像的方法为一个例示，可根据用户的设置识别用户的多种手形状，并对影像进行剪切。以下，具体公开用户信号及基于用户信号来进行的全向影像处理装置的操作。

图6为示出本发明实施例的影像拍摄方法的概念图。

图6中公开基于对用户信号的识别来拍摄影像的方法。

参照图6，全向影像处理装置可以对佩戴全向影像处理装置的用户的用户信号(例如，用户的特定手势)进行识别并拍摄全向影像。

例如，用户可用手指定待拍摄区域。以下，所公开的用户的手势为一个例示，除了所公开的用户的手势之外，还可以使用多种手势。

用户可用两只手的拇指及食指在空间上生成方形来指示所要通过默认拍摄设置和其他拍摄设置拍摄的特定对象(以下，目标对象600)。默认拍摄设置可以是用于全向影像拍摄装置拍摄全向影像的基本设置。

例如，全向影像处理装置从被拍摄的影像中识别基于两只手来形成的方形，并聚焦在位于经识别的方形内的中心区域的目标对象600来拍摄对象。并且，全向影像处理装置可从被拍摄的影像中识别基于两只手来形成的方形，并基于缩放功能对位于经识别的方形内的中心区域的目标对象600进行更加详细的拍摄。可根据方形前进或后退来确定缩放程度。或者，全向影像处理装置也可通过对基于两只手形成的方形拍摄静止影像来提供静止影像信息。

即，全向影像处理装置可提供通过单独设置目标对象600来拍摄的全向影像或单独生成包含目标对象600的影像信息来提供给用户。

全向影像处理装置可通过跟踪目标对象来进行拍摄。被指示的对象或全向影像处理装置可以移动。全向影像处理装置可跟踪目标对象600并利用单独的拍摄设置来拍摄对目标对象600。

并且，根据本发明的实施例，用户也可通过用户信号指示多个目标对象600。当基于用户信号来指示多个目标对象600时，可基于单独的拍摄设置对多个目标对象600分别进行拍摄。

当所要停止拍摄目标对象600时，用户可以生成用于指示停止拍摄目标对象600的用户信号(例如，目标对象拍摄停止信号)，全向影像处理装置通过识别用户信号来停止拍摄目标对象600，并将拍摄设置重新转换为默认拍摄设置来进行拍摄。

并且，根据本发明的实施例，可以基于用户信号来指示停止拍摄全向影像和恢复拍摄全向影像。

具体地，可以生成用于指示停止拍摄全向影像的用户信号(停止拍摄信号)，当由全向影像处理装置生成停止拍摄信号时，可以停止对全向影像的拍摄操作。

或者，可以生成用于指示恢复拍摄全向影像的用户信号(恢复拍摄信号)，当由全向影像处理装置生成恢复拍摄信号时，可以重新进行对全向影像的拍摄操作。

用户可通过停止拍摄信号和恢复拍摄信号来防止不必要的拍摄。

图7为示出本发明实施例的影像拍摄方法的概念图。

图7中公开基于对用户信号的识别来拍摄影像的方法。

参照图7，全向影像处理装置可以对佩戴全向影像处理装置的用户的用户信号(例如，用户的特定手势)进行识别并拍摄全向影像。

用户可以用手来调整全向影像的视场角。例如，用户可以基于对垂直方向的视场角的调整来进行垂直方向视场角700内的必要的拍摄。

具体地，用户可通过沿着垂直方向以规定角度展开双臂的动作、将手的拇指和食指沿着垂直方向以规定角度展开的动作或用手指沿着规定方向画圆的动作等来调整全向影像的垂直方向视场角700。例如，手的拇指与食指之间的角度相对越大，则拍摄视场角可以越增大，手的拇指与食指之间的角度相对越小，则拍摄视场角可以越减小。

例如，当仅需要拍摄与垂直方向上的90度相应的区域时，可以进行将手的拇指和食指沿着垂直方向以规定角度张开或仅画出圆的1/4的动作。全向影像处理装置将这种用户动作识别为用于调整垂直方向视场角700的用户信号，从而可调整由全向拍摄装置拍摄的影像的垂直方向视场角700。

并且，根据本发明的实施例，用户可以基于对水平方向视场角750的调整来仅进行对必要的水平方向视场角750内的拍摄。当第一影像拍摄部基于第一视场角、第二影像拍摄部基于第二视场角、第三影像拍摄部基于第三视场角进行拍摄时，用户可通过将双臂沿着水平方向以规定角度展开的动作或将手的拇指和食指沿着水平方向以规定角度张开的动作来调整全向影像的水平方向视场角750。或者，也可通过用手指画出圆的一部分的动作来调整全向影像的水平方向视场角750。

例如，当所要仅拍摄与水平方向上的180度相应的区域时，可以进行将手的拇指和食指沿着水平方向以规定角度张开或画出半圆的动作。全向影像处理装置将这种用户动作识别为用于调整水平方向视场角750的用户信号，从而可通过调整由全向拍摄装置拍摄的影像的水平方向视场角750来拍摄水平方向。在此情况下，可在包含在全向影像处理装置中的多个影像拍摄部中，仅一部分影像拍摄部进行操作。例如，可在第一影像拍摄部、第二影像拍摄部及第三影像拍摄部中只有第一影像拍摄部、第二影像拍摄部进行操作来拍摄影像。

并且，根据本发明的实施例，也可设置为根据水平方向视场角750具有不同的垂直方向视场角700。例如，也可设置为根据水平方向视场角具有不同的垂直方向视场角，如由第一影像拍摄部拍摄的影像的垂直方向视场角为a度，由第二影像拍摄部拍摄的影像的垂直方向视场角为b度，由第三影像拍摄部拍摄的影像的垂直方向视场角为c度等。

并且，根据本发明的实施例，用户也可用手来调整全向影像的画质。例如，用户也可调整全向影像的画质以生成高画质的全向影像。例如，用户可以基于用户信号来生成用于生成高画质的全向影像的高画质全向影像生成信号。相反，用户可生成用于生成低画质的全向影像的低画质全向影像生成信号作为用户信号。

全向影像处理装置可通过识别高画质全向影像生成信号和低画质全向影像生成信号来调整全向影像的画质。

图6及图7中公开的用户信号为一个例示，可以为了控制全向影像处理装置而使用其他多种用户信号。

并且，图6及图7中假设用户信号为用户的手部信号的情况，但语音信号等其他格式的用户信号也可用于全向影像处理装置的控制。

图8为示出本发明实施例的影像拍摄方法的概念图。

图8中公开基于对用户信号的识别来拍摄影像的方法。尤其，图8中假设用户信号为语音信号的情况。

参照图8，可以识别语音信号(步骤S800)。

用户可通过生成语音信号来控制全向影像处理装置。用户可将与所要拍摄的对象有关的信息作为语音信息来传递到全向影像处理装置。例如，当所要将骑自行车的人作为目标对象来进行拍摄时，用户可以生成“拍摄自行车”的语音信号。并且可向全向影像处理装置传递由用户生成的语音。

可从全向影像中搜索与语音信号相对应的对象(步骤S810)。

当用户生成“拍摄自行车”的语音信号时，全向影像处理装置可以基于与语音信号有关的信息来从被拍摄的全向影像中搜索自行车。可以获得自行车模板影像信息，并可从全向影像中作为自行车来搜索到与自行车模板影像信息相似度高的对象。当从全向影像中搜索到自行车时，可将搜索到的自行车设置为目标对象，并对目标对象进行拍摄。

当从全向影像中搜索到多个自行车或难以搜索自行车时，全向影像处理装置可以请求与目标对象有关的附加信息。全向影像处理装置可以基于声音信号、文本信号、振动信号等来通知用户未特定目标对象，并请求用于特定目标对象的附加信息。

例如，用户为了将特定的自行车特定为目标对象，可作为语音信息来提供自行车的方向、自行车的颜色等附加语音信息。若未基于用户信号来特定目标对象，则可以基于这种附加语音信息来特定全向影像中的目标对象。

如前所述，用户也可基于语音信息来特定多个目标对象，从而基于默认拍摄设置和其他拍摄设置值来对多个目标对象进行拍摄。

全向影像处理装置可将全向影像中的对象与背景分离，可通过针对对象进行基于影像的学习来获得与对象的名称有关的信息，可以基于用户的语音信息来特定目标对象。基于语音的对象的语音也可以不由全向影像处理装置进行，而是由与全向影像处理装置相连接的影像处理服务器进行。

以同样的方式，对水平视场角的调整，对垂直视场角的调整，停止/恢复拍摄全向影像等也可以基于语音信号来进行。可以定义与这种控制操作匹配的语音信号，并且可通过比较被定义的语音信号和被输入的语音信号来控制全向影像处理装置。

图9为示出本发明实施例的用于确认全向影像的方法的概念图。

图9中公开用于使用户实时确认被拍摄的全向影像和基于用户信号的全向影像的变化的方法。

参照图9，可向用户装置传输由全向影像处理装置拍摄的全向影像信息。用户装置可以是用户的智能手机等装置。

参照图9的上端，用户装置接收全向影像信息，并通过用户装置的显示器输出当前被拍摄的全向影像900。用户装置的画面上输出与特定水平方向视场角有关的影像信息，根据由用户输入的输入信号进行360度旋转并提供全向影像900。用户的输入信号可以是用于将画面侧向翻页的触摸信号。或者，根据用户装置的旋转来将输出到用户装置的全向影像900进行转换来提供。

参照图9的下端，用户装置的显示器画面分为用于第一影像拍摄部的第一画面910、用于第二影像拍摄部的第二画面920、用于第三影像拍摄部的第三画面930，第一画面910、第二画面920、第三画面930可分别根据由用户输入的输入信号来旋转并提供影像信息。例如，在被分割的第一画面910上输入“侧向翻页”的触摸信号，可根据被输入的触摸信号来转换被输出的第一画面910。

如前所述，用户可以基于用户信号来控制全向影像处理装置的操作，根据被控制的全向影像处理装置的操作，也可改变被拍摄的全向影像。用户可通过用户装置来确认是否基于用户信号来拍摄影像。

例如，当用户通过进行用于指示目标对象的动作来生成用户信号时，全向影像处理装置能够以与默认拍摄设置不同的设置来拍摄目标对象。

用户装置可通过输出用于识别由用户指示的目标对象的识别影像来指示目标对象，用户可通过用户装置的显示器来确认被指示的目标对象。并且，可通过用户装置的显示器来提供根据基于用户信号的目标对象的指示而改变的拍摄画面。通过这种方法，用户可以基于用户信号直接确认是否拍摄由用户指示的目标对象。

再例如，当用户生成用于改变水平视场角或垂直视场角的用户信号时，全向影像处理装置可通过改变水平视场角或垂直视场角来拍摄全向影像。用户装置可通过其显示器向用户传递与变化的水平视场角或垂直视场角有关的信息，根据变化的水平视场角或垂直视场角，向用户装置传递被拍摄的全向影像，从而可使用户根据变化的水平视场角或垂直视场角来确认被拍摄的全向影像。

通过这种方式，用户可通过用户装置的显示器来确认是否识别用户信号，并可接收根据用户信号而改变的全向影像信息。

图10为示出本发明实施例的基于用户装置的全向影像处理装置的控制的概念图。

图10中公开相反地用于将由用户装置生成的控制信息向全向影像处理装置传递的方法。

参照图10，在用户装置可以设置有用于控制全向影像处理装置的应用程序，用户可通过用户装置控制全向影像处理装置。

如前所述，用户装置接收全向影像信息，并可通过用户装置的显示器输出当前被拍摄的全向影像信息。用户装置的画面上输出与特定水平方向的视场角有关的影像信息，可根据由用户输入的输入信号进行360度旋转并提供影像信息。或者，可将用户装置的显示器画面分为用于第一影像拍摄部的第一画面、用于第二影像拍摄部的第二画面、用于第三影像拍摄部的第三画面，并使第一画面、第二画面、第三画面分别根据由用户输入的输入信号来进行旋转并提供影像信息。

用户也可通过用户装置输入用户信号。

例如，用户可通过用户装置的画面基于触摸来指示目标对象1000，可向全向影像处理装置传递与由用户装置指示的目标对象1000有关的信息。全向影像处理装置可以跟踪拍摄由用户装置指示的目标对象1000。当用户基于触摸来指示目标对象1000时，生成用于指示目标对象1000的附加影像(例如，用于指示目标对象1000的箭头)，并且可以确认是否通过附加影像准确地指示出目标对象1000。

又例如，用户可通过用户装置的画面调整水平方向视场角1040及垂直方向视场角1020。用户装置的画面被分割，并可向用户提供由各个影像拍摄部拍摄的影像信息。用户可以通过在各个画面上沿着水平方向放置2个手指并张开或收拢2个手指的动作来调节水平方向视场角1040，并且可以通过在各个画面沿着垂直方向放置2个手指并张开或收拢的动作来调节垂直方向视场角1020。

可通过放置2个手指并张开或收拢的动作来向用户装置的画面提供与水平方向视场角1040有关的信息、与垂直方向视场角1020有关的信息。例如，可在用户装置的画面上输出与水平方向视场角1040有关的数值、与垂直方向视场角1020有关的数值。

向全向影像处理装置传递通过用户装置输入的信号，全向影像处理装置可根据从用户装置接收的信号来控制水平方向视场角1040、垂直方向视场角1020。

这种方式为一个例示，可通过其他多种方式基于通过用户装置产生的用户信号来控制全向影像处理装置的操作。

以上说明的根据本发明的实施例能够以通过各种计算机构成要素而能够执行的程序指令的方式具体实现并记录于计算机可读记录介质中。上述计算机可读记录介质能够将程序指令、数据文件、数据结构等单独或组合而包括。记录于上述计算机可读记录介质的程序指令可以是为本发明而专门设计并构成的程序指令，或者可以是计算机软件领域的技术人员所公知而能够使用的程序指令。在计算机可读记录介质的例子中包括如硬盘、软盘以及磁带那样的磁介质、如CD-ROM和DVD那样的光学记录介质、如光磁软盘(flopticaldisk)那样的磁光介质(magneto-optical medium)以及如ROM、RAM、快闪存储器等那样的存储并执行程序指令地专门构成的硬件设备。在程序指令的例子中不仅包括诸如由编译器生成的机器语言代码还包括使用编译器等而通过计算机能够执行的高级语言代码。硬件设备能够变更为一个以上的软件模块以执行根据本发明的处理，反之亦然。

以上虽然通过诸如具体构成要素等的特定事项和有限的实施例以及附图说明了本发明，但这只是为了有助于更全面地理解本发明而提供而已，本发明并不限定于上述实施例，本领域技术人员能够通过这些记载进行各种修改和变更。

因此，本发明的思想不由上面所说明的实施例限定，不仅是所附的权利要求书，与该权利要求书等同或由此等价地变更的所有范围均属于本发明的思想的范畴。