阅读说明：本技术 信息处理装置、信息处理方法以及程序 (Information processing apparatus, information processing method, and program ) 是由 唯野隆一 山本洋司 中川祥 小曾根卓义 于 2018-03-05 设计创作，主要内容包括：本发明的目的是使得能够对作为通过拍摄非中心投影图像而获得的运动图像的图像数据容易地进行反映失真校正和抖动校正的再现和编辑。为此,本信息处理装置配备有：失真校正处理单元,所述失真校正处理单元进行用于将作为通过拍摄非中心投影图像而获得的运动图像的图像数据转换成中心投影图像的失真校正处理；和抖动校正处理单元,所述抖动校正处理单元对于被实施了失真校正处理的图像数据,利用图像拍摄设备的姿态数据进行用于减少图像数据中出现的图像抖动的抖动校正处理。更具体来说,在失真校正之后进行抖动校正。(An object of the present invention is to enable reproduction and editing reflecting distortion correction and shake correction to be easily performed on image data as a moving image obtained by shooting a non-center projection image. To this end, the information processing apparatus is provided with: a distortion correction processing unit that performs distortion correction processing for converting image data, which is a moving image obtained by shooting a non-center projection image, into a center projection image; and a shake correction processing unit that performs, for the image data to which the distortion correction processing has been applied, shake correction processing for reducing image shake occurring in the image data using the attitude data of the image capturing apparatus. More specifically, the shake correction is performed after the distortion correction.)

信息处理装置、信息处理方法以及程序

技术领域

本技术涉及适合于对作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据进行再现和编辑的信息处理装置、信息处理方法以及程序。

背景技术

已知一种利用例如鱼眼透镜来捕捉比通常的中心投影透镜宽的视野的成像设备。另外，已知通过利用鱼眼透镜来捕捉图像，捕捉所谓的天球图像。

以下专利文献1公开一种在记录时，记录倾角的信息，以致能够对以这种方式捕捉的运动图像数据进行校正的捕捉设备。

引文列表

专利文献

专利文献1：日本专利申请公开No.2016-149752

发明内容

本发明要解决的技术问题

例如，考虑再现或编辑通过拍摄运动图像而获得的图像数据，该运动图像是通过使用鱼眼透镜拍摄诸如非中心投影方式的图像之类的广角图像而获得的。

在此情况下，尽管设想对诸如基于鱼眼图像的运动图像之类的图像数据进行校正，但是用户往往难以知道应当进行什么校正。

例如，预期对作为运动图像的图像数据进行模糊校正，或者对在二维显示通过鱼眼透镜拍摄的图像时出现的失真(鱼眼失真)进行校正，并且期望提供用户能够容易地给出校正指示的环境。

因此，本技术的一个目的是提供用户能够容易地给出用于作为失真校正或模糊校正的适当校正的指示的环境。

解决问题的技术方案

根据本技术的信息处理装置包括：失真校正处理单元，所述失真校正处理单元进行用于将广角图像数据转换成中心投影方式的图像数据的失真校正处理；和模糊校正处理单元，所述模糊校正处理单元对于要通过失真校正处理来处理的图像数据，基于成像装置的姿态数据进行图像数据的模糊校正处理。

例如，以作为利用鱼眼透镜等拍摄的非中心投影方式的图像的运动图像的广角图像数据为对象。然后，对要经受失真校正处理的图像数据进行模糊校正。

可以考虑根据本技术的上述信息处理装置包括控制单元，所述控制单元控制所述失真校正处理单元的失真校正处理的开/关和所述模糊校正处理单元的模糊校正处理的开/关。

可以对该图像数据打开/关闭失真校正处理和模糊校正处理。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元控制所述失真校正处理单元的失真校正处理的开/关和所述模糊校正处理单元的模糊校正处理的开/关。

在正在再现图像数据时，即，当正在进行运动图像再现时，进行失真校正和模糊校正中的每一个，或者停止校正处理。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元使得能够操作失真校正操作器，以及根据失真校正操作器的操作信息控制失真校正处理的开/关。

在图像数据的再现显示时，例如，在画面上显示失真校正操作器，使得用户可以操作。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元使能模糊校正操作器的操作，以及根据模糊校正操作器的操作信息控制模糊校正处理的开/关。

在图像数据的再现显示时，例如，在画面上显示模糊校正操作器，使得用户可以操作。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元彼此独立地使能失真校正操作器和模糊校正操作器的操作，根据失真校正操作器的操作信息控制失真校正处理的开/关，以及根据模糊校正操作器的操作信息控制模糊校正处理的开/关。

在图像数据的再现显示时，例如，在画面上显示失真校正操作器和模糊校正操作器两者，使得用户可以任意操作它们中的每一个。

可以考虑，根据本技术的上述信息处理装置包括重力方向校正处理单元，所述重力方向校正处理单元利用与图像数据对应的成像装置的姿态数据进行重力方向校正处理，所述重力方向校正处理用于当在图像数据的再现显示期间改变了视场时在显示的图像中保持重力方向不变，以及所述控制单元控制所述重力方向校正处理单元的重力方向校正处理的开/关。

在图像数据的再现显示时，可以根据用户操作改变视场。在此情况下，如果通过用户操作改变了视场，那么显示图像中的重力方向可能与显示图像的下方不一致。因此，在显示图像中保持重力方向不变。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元使能重力方向校正操作器的操作，以及根据重力方向校正操作器的操作信息控制重力方向校正处理的开/关。

在图像数据的再现显示时，例如，在画面上显示模糊校正操作器，使得用户可以操作。

可以考虑，在根据本技术的上述信息处理装置中，在图像数据的再现显示时，所述控制单元彼此独立地使能失真校正操作器、模糊校正操作器以及重力方向校正操作器的操作，根据失真校正操作器的操作信息控制失真校正处理的开/关，根据模糊校正操作器的操作信息控制模糊校正处理的开/关，以及根据重力方向校正操作器的操作信息控制重力方向校正处理的开/关。

在图像数据的再现显示时，例如，在画面上显示失真校正操作器、模糊校正操作器以及重力方向校正操作器中的每一个，使得用户可以任意操作它们中的每一个。

可以考虑，在根据本技术的上述信息处理装置中，控制单元对要通过失真校正处理来处理的图像数据进行重力方向校正处理。

换句话说，对被实施了失真校正处理的图像数据执行重力方向校正。

可以考虑，在根据本技术的上述信息处理装置中，对于作为通过拍摄非中心投影方式的图像而获得的运动图像的原始图像数据，所述控制单元进行生成被实施了所述失真校正处理单元的失真校正处理和所述模糊校正处理单元的模糊校正处理中的一者或两者的图像数据的控制，并使所述图像数据被记录在记录介质上。

换句话说，对于作为非中心投影类型的图像的运动图像的原始图像数据，生成作为进行了失真校正处理和模糊校正处理中的一者或两者的运动图像的新图像数据，并记录该图像数据。

可以考虑，在根据本技术的上述信息处理装置中，所述控制单元根据与在所述原始图像数据的再现显示时是否进行了所述失真校正处理和所述模糊校正处理有关的信息，设定在记录时所述失真校正处理和所述模糊校正处理的开/关。

在所述原始图像数据的再现时，通过用户的指示打开/关闭每种校正。根据在再现时的用户设定(是否进行了每种校正)来设定是否进行记录时的校正。

可以考虑，所述控制单元基于表示对原始图像数据进行所述失真校正处理的区间和进行所述模糊校正处理的区间的信息，控制在记录时所述失真校正处理和所述模糊校正处理的开/关。

例如，添加标记信息，以表示在再现原始图像数据时进行失真校正或模糊校正的区间。在记录时，利用该标记信息进行校正的开/关控制。

根据本技术的信息处理方法是其中信息处理装置执行以下过程的信息处理方法：进行将作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据转换成中心投影方式的图像的失真校正处理的过程；和对于要通过失真校正处理来处理的图像数据，利用成像装置的姿态数据进行减少图像数据中出现的图像模糊的模糊校正处理的过程。

结果，当再现或编辑时，可以确认对失真校正后的图像进行了模糊校正的状态。

根据本技术的程序是使信息处理装置执行上述方法的过程的程序。

本发明的效果

根据本技术，可以向用户提供其中在再现或编辑作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据时能够容易地确认进行了失真校正和模糊校正的状态的环境。特别地，通过对失真校正后的图像数据进行模糊校正，可以以能够容易查看的状态提供模糊校正后的运动图像。

注意，在此描述的效果未必受到限制，可以实现本公开中描述的效果中的任意效果。

附图说明

图1是按照本技术的一个实施例的成像设备的透视图。

图2是成像设备的侧视图。

图3是表示盖子部分被取下的状态的透视图。

图4是说明光学系统的视角的视图。

图5是表示处于放置在胸部的状态的成像设备的视图。

图6是成像设备的透视图。

图7是阳型连接器和阴型连接器的透视图。

图8是表示在相对于阴型连接器旋转时，***阳型连接器的状态的示意图。

图9是说明当功能按钮被按下时，施加于连接器的力的视图。

图10是表示处于从颈部悬挂的状态的成像设备的视图。

图11是表示成像设备的重心位置的视图。

图12是表示设置有透镜盖的成像设备的示意图。

图13是表示其中壳体被水平拉长的例子的透视图。

图14是表示其中只在外壳的上部处设置麦克风的例子的透视图。

图15是表示其中在带子的连接器部分中，设置振动单元的例子的说明图。

图16是表示成像设备的另一种形式的说明图。

图17是表示带子的连接器部分的另一例子的视图。

图18是操作状态的状态转移图。

图19是成像设备的功能方框图。

图20是成像设备与外部设备之间的通信的说明图。

图21是信息处理设备的硬件构成的说明图。

图22是姿态数据和图像校正处理的说明图。

图23是姿态数据和图像校正处理的说明图。

图24是说明对于照度的曝光调整和增益调整的曲线图。

图25是自动曝光控制的流程图。

图26是麦克风的方框图。

图27是麦克风的另一方框图。

图28是成像设备的另一种形式的功能方框图。

图29是表示相机单元和检测单元的控制的例子的流程图。

图30是与姿态数据的检测和存储相关的定时图。

图31是说明图像数据与姿态数据之间的对应关系的流程图。

图32是成像设备的另一种形式的功能方框图。

图33是表示相机单元和检测单元的控制的例子的流程图。

图34是与姿态数据的检测和存储相关的定时图。

图35是表示来自发光单元的光照射到范围外区域的状态的视图。

图36是一个实施例的信息处理设备的应用画面的说明图。

图37是一个实施例的信息处理设备的应用画面的说明图。

图38是一个实施例的图像数据的模糊校正的说明图。

图39是一个实施例的图像的重力方向校正的说明图。

图40是一个实施例的图像数据再现时的显示例子的说明图。

图41是一个实施例的图像数据再现时的显示例子的说明图。

图42是一个实施例的信息处理设备的功能构成的方框图。

图43是一个实施例的图像校正处理单元的功能构成的方框图。

图44是一个实施例的鱼眼图像与虚拟球面之间的对应关系的说明图。

图45是一个实施例的输出图像与虚拟球面之间的对应关系的说明图。

图46是一个实施例的输出坐标平面的旋转以及透视投影的说明图。

图47是一个实施例的输入图像和输出图像的说明图。

图48是一个实施例的重力方向校正的说明图。

图49是一个实施例的再现处理的流程图。

图50是一个实施例的再现处理的流程图。

图51是一个实施例的记录处理的流程图。

图52是一个实施例的记录处理的另一个例子的流程图。

图53是示意表示手术室系统的总体构成的示图。

图54是表示集中操作面板上的操作画面的显示例子的视图。

图55是表示手术室系统被应用于的手术的状态的例子的示图。

图56是表示图55中所示的相机头和CCU的功能构成的例子的方框图。

具体实施方式

下面参考附图，按照以下顺序说明实施例。

<1.成像设备的构成>

<2.操作状态的转移>

<3.成像设备的内部构成例子I>

<4.信息处理设备的构成>

<5.姿态数据>

<6.曝光调整>

<7.麦克风>

<8.成像设备的内部构成例子II>

<9.成像设备的内部构成例子III>

<10.信息处理设备中的再现/编辑画面>

<11.再现时的图像校正处理>

<12.信息处理设备的功能构成>

<13.信息处理设备的处理例子>

<14.信息处理设备的总结>

<15.应用例>

<16.本技术>

<1.成像设备的构成>

注意，在下面的说明中，成像设备的成像者侧被描述为后方，而被摄对象侧被描述为前方。然后，描述从相机的成像者看的左右方向。此外，重力方向被描述成垂直方向。此外，与重力方向正交的方向被称为水平方向。

如图1和2中所示，成像设备1包括其中容纳各种部件的箱状壳体2、包括附接到壳体2的各种透镜的光学系统3，以及附接到壳体2的带子4。

壳体2具有包括前表面部分5、后表面部分6(背面部分)、左右侧面部分7和7、上表面部分8和下表面部分9的大体矩形的箱子形状。壳体2在上下方向的宽度大于左右方向的宽度。注意，上表面部分8和下表面部分9是在壳体2从成像人员(用户)的颈部悬挂的状态下定义的。换句话说，由于是在图1和2中所示的状态(换句话说，悬挂的状态)下在上部的表面，因此称为上表面部分8。对下表面部分9来说类似。

前表面部分5包括作为在水平上方稍微倾斜的平面部分的上部5a，和作为从上部5a的下端向下延续并且在水平以下倾斜约30°的平面并附接有光学系统3的下部5b。

后表面部分6的一部分是滑动式盖子部分6a(参见图3)。

从成像人员看的壳体2的右侧面部分7设置有用于进行运动图像捕捉操作的运动图像按钮10，和用于进行延时运动图像捕捉操作的延时按钮11。延时按钮11设置在运动图像按钮10的下方。

壳体2的上表面部分8设置有用于进行各种功能的功能按钮12。在各个按钮被按下的情况下的成像设备1的操作和功能将在后面说明。

在壳体2中，设置在左右侧面部分7和7的操作器仅仅是运动图像按钮10和延时按钮11，并且这两个操作器都设置在右侧面部分7。换句话说，在左侧面部分7上未设置操作器。

一般认为当操作设置在右侧面部分7的运动图像按钮10或延时按钮11时，用户在把手指放置在左侧面部分7上的时候按下右边按钮。然后，如果在左侧也存在按钮，那么用户可能意外按下左侧的按钮。

另一方面，在本实施例的成像设备1中，由于在左侧面部分7不设置操作器，因此可以防止上述误操作的发生。特别地，在对作业期间的状况成像的情况等下，通过防止误操作，易于在不看手的情况下按下各个操作器，以致不会影响操作效率，并且可以容易地维持更好的成像状态。

在壳体2的上表面部分8上，左右彼此分离地设置用于附接带子4的附接部分13和13。附接部分13是例如朝向上表面部分8，U形开口的。

在壳体2的垂直方向上的中央部分处，跨右侧面部分7、前表面部分5的上部5a和左侧面部分7地设置通知单元14。通知单元14具有发光，以向成像人员及周围的人通知成像设备的状态等的功能，例如，包括诸如发光二极管(LED)之类的光源、光源的驱动电路和用于漫射光的盖板透镜。

从壳体2的左侧面部分7的上端到下端，下表面部分9的左端到右端，和右侧面部分7的下端到中央部分，设置用于容纳连接器缆线15的容纳凹槽16。

连接器缆线15例如在左侧面部分7的上端处从壳体2的内部拉出到外部，在图1中所示的状态下，跨越左侧面部分7、下表面部分9和右侧面部分7地容纳在容纳凹槽16中。连接器缆线15用于把成像设备1捕捉的图像数据等发送给外部终端等。

连接器缆线例如是通用串行总线(USB)缆线等。

在壳体2的内部，布置用于捕捉由光学系统3形成的图像的成像基板17用于进行与成像设备1相关的各种处理的控制基板18，和用于向各个单元供给驱动电压的电池19(参见图2)。

成像基板17包括成像元件、***电路等。

通过滑动盖子部分6a，可以取出电池19。

另外，在壳体2的内部，适当地布置用于***卡式存储介质的卡槽(未图示)、用于振动成像设备1的振动单元20、用于音频输入(记录)的麦克风(后面说明)等。此外，无线通信按钮37也布置在壳体2中。例如，通过滑动盖子部分6a，露出无线通信按钮37，从而可以按下无线通信按钮37(参见图3)。

光学系统3包括最靠近被摄对象布置的鱼眼透镜21，和其他透镜组(未图示)。注意，鱼眼透镜21是利用除作为普通投影方式的中心投影方式以外的方式，形成图像的光学系统的例子。除中心投影方式以外的方式的例子例如包括等距投影方式、等立体角投影方式、正射投影方式和立体投影方式等。

图4A是成像设备1的侧视图，图4B是大体从上方表示成像设备1的视图。在各个图中，包括在光学系统3中的鱼眼透镜21的视角用点划线表示。如图所示，鱼眼透镜21的视角为180°或更大，例如220°。

在本实施例的成像设备1中，如图4B中所示，壳体2的左右方向的宽度小于上下方向的宽度。因而，仅仅通过向前方突出地设置光学系统3，防止在左右方向的视角反映壳体2。

结果，可通过充分发挥具有宽视角的鱼眼透镜21等的光学系统3的性能，进行成像。

此外，如图4A中所示，在后表面部分6沿着重力方向(垂直方向)的状态下，鱼眼透镜21的光轴J是相对于被摄对象，在水平方向以下倾斜的直线。具体地，光学系统3附接到在水平以下倾斜近似30°的前表面部分5的下部5b，光学系统3是以致下部5b的表面的方向和光学系统的光轴J平行地附接的。从而，防止在鱼眼透镜21的视角，反映壳体2的上部。

结果，可通过利用鱼眼透镜21的宽视角，进行宽范围成像。

注意，尽管图4A等中所示的后表面部分6为平面，不过，后表面部分6可以是非平面的。例如，后表面部分6可部分包括曲面，或者具有波状形状。即使是这样的后表面部分6，在后表面部分6沿着重力方向的状态下，鱼眼透镜21的光轴J也是相对于被摄对象，在水平方向以下倾斜的直线。

图5A是表示普通人胸部相对于水平方向的定向的图。假定垂直平面与直立状态的人的胸部形成的角度为θ1，则壳体2的后表面部分6与前表面部分5的下部5b之间的角度优选为θ1。结果，在后表面部分6放置在成像人员的直立胸部部分的状态下，光学系统3的光轴J大体朝向前方。因而，可以捕捉与成像人员的视野大致相同的图像，能够拍摄到如同通过捕捉的图像来共享成像人员的体验那样具有临场感的捕捉图像。

下面给出具体例子。

假定女性的胸部厚度W1的平均值为220.7，颈点高度与***高度之差T1的平均值为195.7，则θ1＝arctan((W1/2)/T1)成立，从而θ1为29.4°。在这样的具体例子中，光学系统3附接到如本实施例中一样，前表面部分5的在水平以下倾斜约30°的下部5b，以致在通过从颈部悬挂而使用的情况下，成像设备1处于良好的姿态。

此外，在这个例子中，考虑到个体之间的差异(3σ)，W1的差异被设定为156.50702～284.893，T1的差异被设定为187.2749～204.1251。这种情况下，θ1的差异为22.7°～34.9°。注意，σ表示标准偏差。

此外，将考虑其中成像设备1的前方180°(图5B中用阴影指示的范围R)被设定为成像范围的情况。

假定鱼眼透镜的视角为φ，鱼眼透镜的视角的裕度M可用下式表示。

M＝(φ-π)/2

例如，在φ＝220°的情况下，M为20°。换句话说，在放置在胸部的成像设备1的光学系统的光轴J在垂直方向的状态下，鱼眼透镜的上方侧裕度和下方侧裕度均为20°。

在这样的状态下，为了覆盖阴影指示的范围R作为成像范围，要求与后表面部分6正交的线H与光学系统3的光轴J之间的角度α(换句话说，光轴J的倾角)被设定为等于或大于(θ1-(φ-π)/2)，并且等于或小于(θ1+(φ-π)/2)。

假定胸部与垂直平面之间的角度θ1为30°，视角φ为220°，则角度α为10°～50°。通过满足该条件，对于具有平均胸部倾角的成像人员来说，可以毫无困难地捕捉在成像人员前方180°范围的图像。

换句话说，成像设备1被构成为以致在简单地悬挂壳体2的状态下，光学系统3的光轴J大致面向下方30°，当壳体2被放置在成像人员的胸部时，光轴J大致面向前方(大体水平)。

注意，在壳体2被放置在胸部的状态下使用的情况下，由于振动单元20设置在壳体2的内部，因此振动单元20的振动可被传递到成像人员的胸部。换句话说，可以使各种通知功能有效地工作。

注意，通常，在成像设备1中，当在捕捉图像期间，使设置在壳体2中的振动单元20振动时，在捕捉的图像中可能出现模糊。于是，考虑通常不进行振动壳体2的处理。然而，由于按照本实施例的成像设备1被构成为能够在捕捉的图像的再现之时，进行如后所述的用于模糊校正的处理，因此在捕捉图像期间，可以振动壳体2。

带子4具有两个绳线部分22和22。阳型连接器23附接到绳线部分22之一的一端，在另一端设置有环状被附接单元24。

阴型连接器25附接到另一个绳线部分22的一端，在另一端设置有被附接单元24。

通过把阳型连接器23***并附接到阴型连接器25，使两个绳线部分22和22耦接。随后，每个绳线部分22的被附接单元24被附接到壳体2的附接部分13和13，以致带子4和壳体2的上表面部分8形成环状部分26(参见图6)。

环状部分26例如是比人的颈部大的环形形状，和比人的头围小的环形形状。结果，当成像人员低头时，可以防止带子4从头上脱落，以致可以防止成像设备1的损害等。随后，由于可在成像人员采取各种姿势的状态下，***并附接成像设备1，因此可以在各种状况下进行成像。

阳型连接器23和阴型连接器25是利用磁力***和附接的。这点将参考图7具体说明。

阳型连接器23包括圆柱形底座部分27，和从底座部分27轴向突出的椭圆形突出部分28。底座部分27在轴向的一端是绳线部分22附接到的附接面27a(参见图8)。椭圆形突出部分28具有与轴向正交的椭圆形截面形状，在中央部分形成磁体安装孔29。磁体30被***磁体安装孔29中。

阴型连接器25包括筒状部分31，和设置在筒状部分31内的隔板32。筒状部分31的一端是绳线部分22附接到的附接端31a，另一端是开口端31b。隔板32包括具有与阳型连接器23的椭圆形突出部分28的截面形状大体相同的形状(椭圆形)的椭圆面部分32a。此外，隔板32的在椭圆面部分32a之外的部分是斜面部分32b。斜面部分32b包括在接近外周侧时接近开口端31b的斜面，所述斜面起引导部分33的作用。

磁体34附接在隔板32和附接端31a之间。磁体30和磁体34被附接成以致在阳型连接器23被***并附接到阴型连接器25时相互吸引。

下面参考图8，说明引导部分33的功能。注意，图8示意表示阳型连接器23和阴型连接器25的轮廓。

图8A表示在阳型连接器23被***并附接到阴型连接器25之前的状态。从该状态将阳型连接器23***阴型连接器25中，直到椭圆形突出部分28接触作为引导部分33的斜面部分32b为止的状态是图8B中所示的状态。

此外，为了把阳型连接器23***阴型连接器25中，必须向任意一个方向旋转阳型连接器23。由于阳型连接器23的椭圆形突出部分28的截面形状不是完美的圆形，而是椭圆形，因此通过旋转，使椭圆形突出部分28在引导部分33和33之间向后移动。

图8C表示从图8B中所示的状态，使阳型连接器23旋转约45°的状态。图8D表示从图8B中所示的状态，使阳型连接器23旋转约90°的状态。

最后，如图8D中所示，椭圆形突出部分28的顶端面和椭圆面部分32a相互紧密接触，从而完成阳型连接器23与阴型连接器25的***和附接。这种状态下，阳型连接器23的磁体30与阴型连接器25的磁体34相互吸引，以确保阳型连接器23与阴型连接器25的良好耦接状态。

此外，由于阳型连接器23和阴型连接器25是利用磁体耦接的，因此用于耦接/分离两个连接器的复杂结构是不必要的，以致可以降低成本，并且可以简化制造过程。此外，由于这可以利用简单的结构来实现，因此不易发生两个连接器的损坏等，可以实现组件的寿命提高。

由于阳型连接器23的椭圆形突出部分28不是完美的圆形，此外，阴型连接器25的椭圆面部分32a的外侧部分是斜面部分32b，因此在把阳型连接器23***并附接到阴型连接器25的状态下，阳型连接器23不会相对于阴型连接器25旋转。

因而，不会发生绳线部分22的扭转，从而保持适当的状态。此外，在成像设备1的穿戴状态下，防止由绳线部分22形成的环状部分26变小，从而可防止给穿戴者带来颈部不适感。

此外，如上所述，由于环状部分26是比人的头围小的环形形状，因此当安装成像设备1时，用户在环状部分26被打开的状态下拿着阳型连接器23和阴型连接器25，并在颈后连接它们。此时，由于通过图8A-8D的过程，可容易地形成环状部分26，因此可以极为顺畅地进行所述安装。

下面参考图9，说明在把带子4挂在颈部的时候，按下设置在壳体2的上表面部分8的功能按钮12的情况。

图9A和9B是简单表示阳型连接器23和阴型连接器25的示意图。

在阳型连接器23被***并附接到阴型连接器25的状态下，在椭圆形突出部分28与筒状部分31的内表面(或引导部分33)之间，形成间隙d1。

当在图9A中所示的状态下，按下功能按钮12时，通过带子4向阳型连接器23施加向下的力F。通过这个力F，使阳型连接器23相对于阴型连接器25倾斜角度θ2(参见图9B)。注意，θ2由间隙d1和阴型连接器25的筒状部分31的深度L决定。

图9C表示在利用力F，从阴型连接器25的磁体34，拉开阳型连接器23的磁体30的方向上施加多大的力。

在从磁体34拉开磁体30的方向上施加的力F1为F×sin(θ2)。

假定作用在磁体30和磁体34之间的引力为F3，当条件F1>F3被满足时，阳型连接器23从阴型连接器25被拉开，从而解除带子4的环状状态。

例如，当这样形成间隙d1和深度L，以致sin(θ2)约为0.1时，在条件F×sin(θ2)>F3被满足的情况下，两个磁体被分开。换句话说，该条件是当使F为F3的10倍或更大的力时。因而，在用比作用于两块磁体之间的引力F3的十倍小的力按下功能按钮12的情况下，带子4的环状状态得以维持，成像设备1不必从颈部脱落。

这样，通过适当地设定间隙d1和深度L，即使在没有保持悬挂在颈部的成像设备1的情况下，按下功能按钮12，带子4的阳型连接器23和阴型连接器25也不会分离，从而成像设备1不会掉落。换句话说，按下功能按钮12的操作变得容易，可确保用于成像的各种操作的可操作性。

此外，由于可以在不用手保持壳体2的情况下，按下功能按钮12，因此可以在不接触设置在光学系统3中的各种透镜的情况下按下功能按钮12，以致可以防止透镜被划伤或者沾上污物。此外，可以防止手等反映在图像数据中。

此外，通过适当地设定间隙D1和深度L，即使当由于壳体2及布置在其中的组件的重量而向带子4的阳型连接器23和阴型连接器25施加负荷时，连接器也不易脱离，从而防止成像设备1脱落。类似地，即使在由于成像人员的操作而对连接器部分施加负荷的情况下，成像设备1也难以脱落。

顺便提及，光学系统3的光轴J可被构成为在简单悬挂成像设备1的壳体2的状态下，大致面向前方。例如，不仅在把后表面部分6放置在成像人员的胸部的状态下，而且在其他状态下也使用成像设备1。具体地，如图10中所示，可以考虑在成像人员弯腰的状态下使用成像设备的情况。

在图10中所示的状态下，成像设备1由悬挂在颈部的带子4悬挂。本实施例的成像设备1可被构成为以致即使在成像设备1由带子4悬挂的状态下，光学系统3的光轴J也大体面向前方。

这点将参考图11具体说明。

成像设备1的大致重心位置由包括在成像设备1中的各个部件之中重量较大的部件决定。例如，在包含在成像设备1中的电池19和光学系统3是重量较大的部件的情况下，大致重心位置由这些部件的布置位置决定。

此外，在悬挂在颈部的状态下的成像设备1的姿态(壳体2的姿态)是这样的，以致附接带子4的位置(附接部分13)和重心位置在垂直方向上对齐。图11用单点划线表示成像设备1的重心位置G与带子4的附接部分13之间的位置关系。如图所示，重心位置G相对于附接部分13(或者被附接单元24)位于垂直方向上。

成像设备1的各个部分被布置成以致在重心位置G和附接部分13在垂直方向上对齐的状态下，光学系统3的光轴J在水平方向上。

换句话说，当成像设备1的姿态被设定成以致光学系统3的光轴J在水平方向上时，重量较大的部件(光学系统3)被布置在带子4的附接位置(被附接单元24与附接部分13的接触位置)的前方侧，重量较大的部件(电池)被布置在该附接位置的后方侧。

结果，在用带子4悬挂成像设备1的状态下，光学系统3的光轴J大致朝向前方。换句话说，即使当成像人员采取弯腰姿态时，也可以在不用手支持成像设备1的情况下，捕捉成像人员的水平方向前方的图像。

此外，即使成像人员交替采取弯腰姿态和直立姿态，成像设备1的光学系统3的上下方向的变化也被减小，以致可以捕捉模糊较少的捕捉图像。

成像设备1包括用于音频输入的麦克风35。

例如，沿着前表面部分5的上部5a的上端，左右分离地设置两个麦克风35，和沿着前表面部分5的下部5b的下端，左右分离地设置两个麦克风35(参见图1和12)。

成像设备1在壳体2的内部，还包括作为姿态数据生成单元的三轴陀螺传感器(后面说明)和三轴加速度传感器(后面说明)。姿态数据是指示成像设备1的姿态的数据，用于如后所述的各种校正。

三轴陀螺传感器和三轴加速度传感器可以在任何地方，只要它们附接于包含在成像设备1中的刚性体。

此外，设置用于覆盖包含在成像设备1中的光学系统3的前端部分(换句话说从壳体2露出的鱼眼透镜21的一部分)的透镜盖36。

透镜盖36例如是滑动式透镜盖，被构成为可在用于露出鱼眼透镜21，以便在必要时使成像成为可能的“开放位置”(参见图12A)和用于覆盖鱼眼透镜21的全部或一部分的“保护位置”(参见图12C)之间移动。注意，图12B表示其中透镜盖36正从开放位置移动到保护位置的状态。

通过把透镜盖36附接到光学系统3，可以防止在非成像时不小心触摸透镜而损坏透镜。

此外，通过在非成像时，用透镜盖36覆盖光学系统3，可以向周围通知非成像状态。

注意，在当成像设备1处于成像状态时，把透镜盖36从开放位置移动到保护位置的情况下，成像可被停止或者暂时停止。此外，除了停止或暂时停止成像之外，还可以停止向成像基板18等的电压供给。

结果，可以抑制成像设备1的电力消耗，可以延长成像时间。此外，通过抑制电力消耗，还可以使安装在成像设备1中的电池19较小。

此外，通过停止电压供给，可以延长各个部件的寿命。

注意，可以考虑成像设备1的各种形状。尽管上面说明了纵向较长的形状的例子，不过如图13中所示，成像设备可以横向较长。换句话说，在其形状在横向方向被拉长的壳体2中，设置与图1类似的各个部分的构成。

在这种形状的情况下，当在成像设备1放置在成像人员的胸部的状态下沿左右方向摇摆壳体2时，确保在胸部的后表面部分6的良好放置状态，防止壳体2超过成像人员在左右方向的抖动地摇摆。

注意，随着壳体2的横向宽度增大，更易于针对横向抖动，维持良好的放置状态，不过可取的是在鱼眼透镜21的视角中，不反映壳体2的左右两端。

通过使壳体2具有横向较长的形状，以致壳体2的左右两端不进入鱼眼透镜21的视角，可以提供抗横向抖动的成像设备1，同时最大限度地利用鱼眼透镜21的视角。

此外，可以不同地考虑麦克风35的数量。可以设置多个麦克风35来收集立体声，或者可以用一个麦克风35收集单声道声音。

对于一个或多个麦克风35的布置，可以考虑各种布置。例如，除了如图6中所示，分别设置在壳体2的上部和下部之外，还可以如图14中所示，只在壳体2的上部设置麦克风35。

此外，尽管未图示，不过，麦克风35可以只设置在壳体2的下部。

此外，麦克风35可以设置在带子4的绳线部分22中、阳型连接器23中、或者阴型连接器25中。

此外，作为麦克风25，可以使用采用骨传导系统的麦克风35。

此外，至于振动单元20的布置和数量，可以考虑各种例子。

在上面的例子中，尽管表示了其中振动单元20设置在壳体2中的例子，不过，振动单元20可以设置在带子4中。例如，振动单元20可被设置到带子4的绳线部分22、阳型连接器23或阴型连接器25。

图15表示其中振动单元20设置到阳型连接器23和阴型连接器25的一些例子。

在图15A中所示的例子中，振动单元20只设置在阳型连接器23中，而在图15B中所示的例子中，振动单元20只设置在阴型连接器25中。

通过把振动单元20设置在一个连接器中，可以利用振动单元20，高效地通知成像人员，同时减少组件的数量和降低成本。

在图15C中所示的例子中，在阳型连接器23和阴型连接器25双方上，设置振动单元20和20。通过在两个连接器中设置振动单元20，可以利用强振动，向成像人员发出可靠的通知。此外，通过设置两个振动单元20和20，可以增加通知模式。例如，可以使用只振动设置在阳型连接器23中的振动单元20的通知模式、只振动设置在阴型连接器25中的振动单元20的通知模式、交替振动两个振动单元20和20的通知模式等。因而，通过向每个振动单元20给予不同的通知信息，可以使用振动单元20通知多个信息。

注意，成像设备1是通过将带子4挂在颈部，以致连接器部分接触成像人员的颈部来使用的。因而，如在各个图中所示，通过把振动单元20设置在连接器部分中，可以把振动传递给成像人员的颈部，以致可以可靠地发出通知，并且成像人员易于注意到所述通知。

下面说明其中包括光学系统和检测单元131的附接单元500附接到另外的相机设备501的例子。注意，包含在附接单元500中的光学系统3可以是用于补充包含在相机设备501中的光学系统的一部分透镜等。例如，相机设备501是智能电话机，附接单元500包括用于补充智能电话机的光学系统的鱼眼透镜21等。换句话说，通过结合附接单元500的光学系统和相机设备501的光学系统，可以获得期望的图像。

图16表示其中附接单元500附接到作为相机设备501的智能电话机的例子。包含在附接单元500中的光学系统包括鱼眼透镜。

即使成像设备1包括这样的相机设备501和附接单元500，也可以获得上述各种效果。

图17是表示连接器部分的另一个例子的视图。

阳型连接器23包括***阴型连接器25中的***部分，和除所述***部分外的非***部分，在非***部分的端部，可以形成法兰形握持部分23a。

在把阳型连接器23***并附接到阴型连接器25的情况下，手指钩住握持部分23a，以致手指不会滑向比握持部分23a更靠近阴型连接器25侧。

这防止手指被夹在阳型连接器23和阴型连接器25之间。

此外，在从阴型连接器25拆下阳型连接器23的情况下，通过将手指钩住握持部分23a，可以减小拆除所需的力。换句话说，易于拆除。

<2.操作状态的转变>

图18中表示成像设备1的操作状态的转变的例子。

状态ST1指示成像设备1处于“电源关闭状态”或“待机状态”。

这种情况下，待机状态指的是利用诸如无线保真(Wi-Fi，注册商标)之类的通信方法，可以与外部设备进行无线通信的状态。例如，在建立与诸如便携式终端之类的外部设备的无线通信的状态下，成像人员可通过外部设备的操作，进行与上述运动图像按钮10、延时按钮11和功能按钮12对应的操作。

例如，通过按下上面所述的无线通信按钮37，进行电源关闭状态和待机状态之间的切换。为了防止误操作，无线通信按钮37不设置在例如壳体2的外周面上，而是设置在当遮蔽电池19的容纳部分的盖子部分6a被打开时，使操作成为可能的壳体2的内部。

在状态ST1，当运动图像按钮10被按下时，状态转变成设定为状态ST2的“运动图像捕捉状态”。运动图像捕捉状态是以预定帧速率，捕捉由光学系统3形成的图像，从而生成/保存运动图像数据的状态。在该状态下，例如，当通知单元14点亮成红色时，进行向周围的成像状态的通知。

当在状态ST1下按下延时按钮11时，状态转变成设定为状态ST3的“延时运动图像存储状态”。在延时运动图像存储状态下，从捕获的连续帧中间歇地提取出有效帧，从而生成并保存运动图像数据(快进运动图像)。这种状态下，例如，当通知单元14点亮成蓝色时，进行向周围的成像状态的通知。

注意，通过交替转变延时运动图像存储状态和电源关闭状态，可以生成作为延时运动图像的运动图像数据。具体地，例如，在每隔3秒捕捉构成延时运动图像的各个静止图像的情况下，在捕捉一个静止图像之后，成像设备1可被转变成电源关闭状态，直到下一个成像定时到来为止。或者，可以进行使成像元件转变成睡眠模式的处理，或者使信号处理单元(数字信号处理器(DSP)等)转变成低电力消耗模式的处理。

结果，在生成延时运动图像数据时，可以降低成像设备1消耗的电力，以致可以延长成像时间。

此外，成像设备1生成的运动图像数据与通常的运动图像数据相同，在编辑运动图像数据时，可在进行所述编辑的另外的信息处理设备上，从所述运动图像数据进行作为分量的静止图像数据的间除，以生成延时运动图像。

结果，在状态ST2下生成/存储运动图像数据的成像设备1的处理与在状态ST3下生成/存储延时运动图像数据的成像设备1的处理大体相同，以致处理可被简化。

当在状态ST2的运动图像捕捉状态下，按下功能按钮12时，状态转变成设定为状态ST4的“标记记录状态”。在标记记录状态下，记录用于稍后的运动图像编辑的编辑点。例如，可以从在运动图像编辑之时，记录标记的场景再现运动图像数据，删除以记录标记的部分为基础的运动图像数据，等等。

在标记记录状态下，记录标记之后，成像设备1自动转变成状态ST2的运动图像捕捉状态。

在状态ST3的延时运动图像存储状态下，当按下功能按钮12时，状态转变成设定为状态ST6的“静止图像捕捉状态”。在静止图像捕捉状态下，捕捉由光学系统3形成的图像，并保存为静止图像数据。

在静止图像捕捉状态下，保存静止图像之后，成像设备1自动转变成状态ST3的延时运动图像存储状态。

注意，在状态ST3下，按下功能按钮12的情况下，状态可不转变成状态ST6，而是转变成状态ST4。换句话说，可以在紧接之前或之后进行的延时运动图像的帧中记录标记。

此外，可以基于按下功能按钮12的操作模式，切换这些转变。例如，在短时间按下功能按钮12的情况下，状态可以从状态ST3转变成状态ST6，而在长时间按下功能按钮12的情况下，状态可以从状态ST3转变成状态ST4。

或者，可以按照在预定时间内，按下功能按钮12的次数，切换转变目的地状态。

在状态ST1下，当按下功能按钮12时，状态转变成设定为状态ST5的“静止图像捕捉状态”。在静止图像捕捉状态下，捕捉由光学系统3形成的图像，并保存为静止图像数据。

在静止图像捕捉状态下，保存静止图像之后，成像设备1自动转变成状态ST1。

注意，在设定为状态ST5和状态ST6的静止图像捕捉状态下，在保存静止图像数据的定时，可以从设置在壳体2中的音频输出单元，输出电子快门声音等。这使周围的人知道已捕捉了静止图像。

此外，代替声音输出，例如通过使通知单元14闪烁，可以进行通知。当然，可以同时进行声音输出和通知单元14的点亮。

通过进行与各种状态相应的通知，可以防止在被摄者未意识到的情况下捕捉图像。

通知单元14进行与各种上述状态相应的通知，不过可以发出其他状态的通知。例如，在包含在成像设备1中的电池19的消耗较大，从而剩余的工作时间较短的状态下，例如，通知单元14可以闪烁红色，以通知电池容量的减少。

结果，成像人员可以认识到电池电量减少，可以采取诸如克制操作之类的措施，以便延长成像时间。

此外，为了通知未***卡式存储介质，可以使通知单元14交替点亮红色和蓝色。

注意，为了同时通知状态ST1～ST6的状态，以及电池容量的减少，可以部分分离跨右侧面部分7、前表面部分5的上部5a和左侧面部分7设置的通知单元14，以致提供多种通知功能。例如，可以使设置在左右侧面部分7的通知单元14的一部分闪烁红色，以通知电池容量的减少，可以使设置在前表面部分5的信息单元5a中的通知单元14的一部分闪烁红色，以通知成像设备1处于状态ST1。

除此之外，可以时序地划分多种通知功能。具体地，在持续3秒通知电池容量的减少之后，可以持续3秒发出成像设备1处于哪种状态的通知。

此外，如上所述，在成像设备1中，可以有选择地进行作为包括预定帧速率的各帧的运动图像的图像数据生成(状态ST2下的运动图像捕捉)，和作为以预定帧速率将间歇帧作为有效帧的间歇运动图像的图像数据生成(状态ST3下的延时运动图像存储)。

换句话说，在行动之时，成像人员可以选择运动图像和间歇运动图像(延时运动图像)的记录。

此外，延时运动图像可减少较长时间的运动图像中的数据量，或者使得可以享受延时运动图像的独特视频效果。

<3.成像设备的内部构成例子I>

下面参考图19，说明成像设备1的内部构成例子。

如图19中所示，成像设备1包括光学系统3、成像元件单元112、光学系统驱动单元113、音频输入单元114、音频处理单元115、操作单元116、存储单元117、通信单元118、信号处理单元121、控制单元122、检测单元125、电源单元128、振动单元20和通知单元14。

首先，作为利用透镜光学系统捕捉图像，并生成图像数据的成像单元，设置光学系统3、成像元件单元112和信号处理单元121。

光学系统3被配置成具有鱼眼透镜21、聚焦透镜、聚光透镜等。此外，还可考虑设置变焦透镜和光圈机构。来自被摄对象的光由光学系统3会聚在成像元件单元112上。

鱼眼透镜21利用除中心投影外的投影(例如，等距投影)收集光，并把光引导到下一级的成像元件单元112。注意，鱼眼透镜21的投影方式不限于等距投影，只要不同于中心投影即可。例如，可以是正射投影或等角投影。

此外，利用鱼眼透镜21捕捉的图像包含在所谓的广角图像的类别中。

成像元件单元112具有诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的成像元件，和***电路系统。

成像元件单元112对利用成像元件中的光电转换获得的电信号，进行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，还进行模/数(A/D)转换处理。随后，作为数字数据的成像信号被输出给在下一级的信号处理单元121。

成像信号包括利用成像元件的阵列获得的排列成二维网格的多个像素，包括通过鱼眼透镜21入射的作为被摄对象图像的圆形鱼眼图像。

光学系统驱动单元113基于控制单元122的控制，驱动光学系统3中的聚焦透镜，以进行聚焦操作。

此外，在光学系统3设置有光圈机构或变焦透镜的情况下，光学系统驱动单元113基于控制单元122的控制，驱动光学系统3中的光圈机构，以便进行曝光调整，或者在一些情况下，驱动变焦透镜，以便进行变焦操作。

信号处理单元121由例如DSP等构成为图像处理处理器。信号处理单元121对来自成像元件单元112的数字信号(捕捉的图像信号)进行各种信号处理。

例如，信号处理单元121对捕捉的图像信号，进行噪声消除处理、色彩校正处理、边缘增强处理、分辨率转换处理、编解码器处理等。

在本实施例的情况下，成像设备1通常进行作为运动图像或延时运动图像的运动图像捕捉，从而信号处理单元121发挥作为从成像元件单元112的输出，生成作为运动图像的图像数据的图像数据生成单元100的功能。

作为音频输入单元114，设置上面说明的一个或多个麦克风35。麦克风35收集的音频信号在音频处理单元115中经历诸如放大、均衡、AD转换之类的处理，随后作为数字音频数据被提供给信号处理单元121。

数据音频数据在信号生成单元121中经历必要的处理，比如数字滤波处理、噪声消除、编码等，并被记录为伴随图像数据的音频数据。

控制单元122包括微计算机(运算处理单元)，所述微计算机包括中央处理器(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、闪存等。

CPU执行保存在ROM、闪存等中的程序，以便集成地控制整个成像设备1。

RAM用作CPU的各种数据处理的工作区，用于数据、程序等的临时存储。

ROM和闪存(非易失性存储器)用于保存供CPU控制各个部件的操作系统(OS)、诸如图像文件之类的内容文件、用于各种操作的应用程序、固件等。

这样的控制单元122关于信号处理单元121中的各种信号处理指令、与成像人员的操作相应的成像操作、存储单元117中的存储和再现操作、诸如聚焦/曝光调整之类的相机操作、通过通信单元118与外部设备的通信操作等，控制各个必要单元的操作。

此外，控制单元122通过向信号处理单元121发出指令，将信号处理后的图像数据输出给存储单元117或通信单元118。

此外，在本实施例中，控制单元122基于来自检测单元125的检测信息，进行用于生成指示成像设备1的姿态的姿态数据的处理。特别地，姿态数据是对应于由信号处理单元121生成的图像数据(运动图像)的各帧生成的。即，控制单元122发挥作为在与图像数据的各帧对应的定时，生成成像设备1的壳体的姿态数据的姿态数据生成单元101的功能。通过生成对应于图像数据的各帧的姿态数据，可以实现诸如如后所述的模糊校正之类的各种校正。

注意，信号处理单元121和控制单元122可被集成为单片微型计算机120等。

存储单元117基于控制单元122的控制，把作为由信号处理单元121(图像数据生成单元100)生成的运动图像、延时运动图像或静止图像的图像数据保存在存储介质中。存储介质可以是可拆卸的，比如存储器卡、光盘、磁带等，或者可以是固定式硬盘驱动器(HDD)、半导体存储器模块等。

此外，在存储单元117中可以设置编码器或解码器，以进行图像数据的压缩编码和解压缩解码，编码的数据可被记录在存储介质上。

此外，存储单元117还把控制单元122(姿态数据生成单元101)生成的姿态数据保存在存储介质中。

这样的存储单元117是把图像数据和姿态数据输出给存储介质的数据输出单元的一个方面。

换句话说，通过把图像数据和姿态数据保存在存储介质中，例如，各个数据可被递送给外部设备。因而，外部设备可以进行诸如编辑处理之类的各种处理(细节在后面说明)。于是，不需要在成像设备1的存储区域中，设置用于由成像设备1进行这些处理的程序区域，从而可以减小存储区域。

通信单元118基于控制单元122的控制，进行与外部设备(未图示)的有线或无线通信。换句话说，进行向外部设备的图像数据和姿态数据的发送、来自外部设备的控制数据的接收，等等。

例如，在控制单元122的控制下，通信单元118进行把保存在存储单元117中的图像数据和姿态数据发送给外部设备的处理。结果，成像设备1把图像数据和姿态数据输出给外部设备(未图示)，以致外部设备可利用姿态数据，处理作为捕捉的运动图像的图像数据。

此外，如上所述，还可利用无线通信等，接收来自外部设备的与运动图像按钮10、延时按钮11和功能按钮12对应的操作。

例如，如图20A中所示，通信单元118可利用无线通信，把图像数据和姿态数据发送给作为外部设备的信息处理设备150。作为无线通信，例如，可以考虑进行利用诸如Wi-Fi或蓝牙之类的无线通信标准等的通信方式的通信。

此外，例如，如图20B中所示，通信单元118可利用有线通信，把图像数据和姿态数据发送给信息处理设备150。作为有线通信，例如，可以考虑利用诸如USB缆线之类的连接器缆线15的通信。

此外，通信单元118可以作为网络通信单元，通过诸如因特网、家庭网或局域网(LAN)之类的各种网络进行通信，从而往来于网络上的服务器、终端等发送和接收各种数据。

这样的通信单元118是把图像数据和姿态数据输出给外部设备的数据输出单元的一个方面。

换句话说，可以把图像数据和姿态数据提供给外部设备。

因而，诸如编辑处理之类的各种处理(细节在后面说明)可由外部设备进行，从而不需要在成像设备1的存储区域中，设置用于进行这些处理的程序区域，以致可以减小存储区域。

注意，在图像数据和姿态数据被发送给信息处理设备150的情况下，所述发送不仅可以通过通信单元118进行，而且可以通过如图20C中所示，存储单元117把图像数据和姿态数据保存于其中的诸如存储器卡162之类的存储介质进行。

图19中的操作单元116综合地表示输入成像人员的操作的输入功能。换句话说，上面说明的运动图像按钮10、延时按钮11、功能按钮12和无线通信按钮37的操作器被集体表示成操作单元116。

这些操作的操作信息被提供给控制单元122。控制单元122按照操作信息，进行为进行上述操作转变所必需的控制。

检测单元125综合地表示各种传感器。具体地，设置用于检测成像设备1的姿态，以及例如相机抖动的陀螺传感器126、用于检测成像设备1的移动加速度和重力方向的加速度传感器127等。陀螺传感器126是检测x、y和z轴方向的所谓的角速度的三轴传感器。加速度传感器127也是检测x、y和z轴方向的加速度的三轴传感器。

此外，尽管未图示，不过检测单元125可具备检测用于曝光调整等的外部照度的照度传感器、测量被摄对象距离的距离测量传感器，等等。

传感器单元125的各个传感器都把检测信号发送给控制单元122。控制单元30可利用检测单元125检测的信息，进行各种控制。

特别地，如上所述，控制单元122通过利用作为姿态数据生成单元101的功能，基于陀螺传感器126和加速度传感器127的检测信号，进行生成姿态数据的处理。

振动单元20包括构成所谓的振动器的振动片及其驱动系统，在控制单元122的控制下，产生振动。

在本实施例的情况下，振动单元20振动，以警告剩余的电池电量。

如上所述，通知单元14包括在壳体2上发光的LED、LED驱动电路和盖板透镜，在控制单元122的控制下发光。

例如，通过在运动图像捕捉操作期间发光，向周围的人通知在进行运动图像捕捉。

电源单元128利用电池7作为电压源，产生必要的电压，并向各个单元供给工作电源Vcc。

在本实施例中，控制单元122检测电池7的电压，以监视电池的剩余电量。结果，例如，当电池剩余电量减少时，进行振动单元20的振动，以向成像人员通知电池剩余电量不足。

<4.信息处理设备的构成>

下面，如图20中所示，说明从成像设备1接收图像数据和姿态数据的信息处理设备150的构成。信息处理设备150例如由如图21中所示的硬件构成实现。

信息处理设备150包括中央处理器(CPU)151、只读存储器(ROM)152和随机存取存储器(RAM)153，如图21中所示。

CPU 151按照保存在ROM 152中的程序，或者从存储单元159载入RAM 153的程序，进行各种处理。此外，RAM 153还适当地保存为CPU 151执行各种处理所必需的数据等。

CPU 151、ROM 152和RAM 153通过总线154互连。输入和输出接口155也连接到总线154。

包括比如液晶面板或有机电致发光(EL)面板的显示器156、包括比如键盘和鼠标的输入单元157、扬声器158、包括比如硬盘驱动器(HDD)的存储单元159或者通信单元160等可连接到输入和输出接口155。

显示器156可以与信息处理设备150集成或者分离。例如，进行捕捉的图像或者如后所述的校正处理后的图像的显示。

输入单元157意味使用信息处理设备150的用户所使用的输入设备。

通信单元160进行通过包括因特网的网络的通信处理，和与周边各个单元中的设备的通信。通信单元160至少可以进行与成像设备1的通信单元118的有线或无线通信。

驱动器161根据需要连接到输入和输出接口155，安装存储器卡162，从存储器卡162读取的计算机程序根据需要安装在存储单元159中，或者在CPU 151中处理的数据被保存在存储器卡162中。

当然，驱动器161可以是用于诸如磁盘、光盘和磁光盘之类的可拆卸存储介质的记录和再现驱动器。

在这样的硬件构成中，可以进行作为实施例的信息处理设备150的各种处理(后面说明)。具体地，进行利用从成像设备1获取的图像数据和姿态数据的图像再现和图像数据编辑处理。

这些处理由CPU 151启动的软件实现。构成所述软件的程序下载自网络，或者读取自可拆卸存储介质，并安装在图21的信息处理设备150中。或者，程序可被预先保存在作为存储单元159的HDD等中。随后，当程序在CPU 151中被启动时，表现信息处理设备150的各种功能。

注意，信息处理设备150不限于具有如图21中所示的硬件构成的单一信息处理设备150，可以将多个信息处理设备系统化。所述多个信息处理设备可以通过LAN等系统化，或者可以通过使用Internet等的虚拟专用网(VPN)等远程定位。所述多个信息处理设备可包括可通过云计算服务使用的信息处理设备。

此外，信息处理设备150可被实现成诸如桌上型或笔记本型之类的个人计算机，或者诸如平板终端或智能电话机之类的便携式终端。

通过具有如图21中所示的构成，诸如图像编辑设备、记录和再现设备和电视接收机之类的各种电子设备可以起信息处理设备150的作用。

<5.姿态数据>

下面参考图22和23，说明由成像设备1的控制单元122生成的姿态数据。

姿态数据是指示成像设备1的壳体2的姿态的数据，由包含在控制单元122中的姿态数据生成单元101生成。姿态数据例如是陀螺传感器126测量的角速度数据、加速度传感器127测量的加速度数据等。

图22是表示由成像设备1的控制单元122生成的姿态数据，以及由收到姿态数据的外部信息处理设备150进行的用于图像校正的各种处理的图。

对于作为其中多帧是连续的运动图像的图像数据，对应于各个帧时段地生成姿态数据。

图22表示连续的2帧的时段，一帧作为帧(0)，下一帧作为帧(1)。在各帧中，对从陀螺传感器126获取的3轴的检测信号采样，以获取此时的角速度数据ωx0、ωy0和ωz0。

注意，尽管未图示，不过，类似地对加速度传感器127的3轴的检测信号采样，以获取此时的加速度数据ax0、ay0和az0。

控制单元122生成角速度数据ωx0、ωy0和ωz0，以及加速度数据ax0、ay0和az0，作为一个采样时刻的姿态数据。

控制单元122在预定的采样定时，生成这样的姿态数据。

生成的姿态数据被提供给存储单元117，连同图像数据一起被保存。随后，使姿态数据与图像数据关联，并通过通信单元118或存储介质，被输出给外部信息处理设备150。

信息处理设备150利用从成像设备1获取的姿态数据，进行图像数据的模糊校正、重力方向校正等。对于差异，如图22中所示对姿态数据进行各种处理，以获取必要的姿态信息。用于图像校正的处理例如包括差分值计算处理、陀螺传感器126的采样间隔的更新处理、四元数的范数标准化处理等。

注意，控制单元122可计算这种差分值和范数标准化值，把这些值包含在姿态数据中，并把它们传送给信息处理设备150。

这里，控制单元122例如对于捕捉中的图像数据的一个帧时段，在一个或多个采样定时生成姿态数据。

例如，可以考虑以每个帧时段一次的速率，进行姿态数据生成。此外，为了获取指示更精确的姿态变化的信息，也可以考虑如图22中所示，以一个帧时段中多次的速率，进行姿态数据生成。

注意，图22中的曝光时段和非曝光时段指示由成像元件单元112的成像像素的电子快门速度决定的成像元件的曝光时段和非曝光时段。

由预定帧频决定的各帧的时段可被分成曝光时段和非曝光时段，曝光时段是向成像元件单元112曝露通过光学系统3的光的时间，随着电子快门速度而变动。由于帧时段恒定，因此曝光时段越长，非曝光时段越短，而曝光时段越短，非曝光时段越长。

在图22的例子中，对于陀螺传感器126的检测信号的采样率被设定为频率比帧速率高的速率，从而在一个帧时段中，进行多次姿态数据生成。

注意，姿态数据生成是以恒定周期进行的，与曝光时段和非曝光时段无关。

如上所述，控制单元122(姿态数据生成单元101)在图像数据生成单元100生成的图像数据的一个帧时段中，多次生成姿态数据。通过以频率比帧同步信号(垂直同步信号)高的采样率，对与姿态相关的传感器检测数据采样，从而生成姿态数据，姿态数据是还指示一个帧时段中的姿态变化的信息。

例如，还可以检测帧时段内的姿态变化，以致可以利用还可以用于所谓的滚转(rolling)失真校正的姿态数据。

注意，由于通过每隔预定时间，累积姿态差异，可以获取关于从初始状态起的位移量的信息，因此即使在非曝光时段中，也在各个采样定时进行姿态数据生成。

成像设备1获取的图像数据是鱼眼图像。在鱼眼图像中，通过改变虚拟球面上的切出位置来进行模糊校正，但是为此，使切出位置沿与模糊的方向和量相反的方向移位。

这种情况下，需要基于某个姿态(例如，基于成像开始时的姿态的成像方向)的成像设备1的绝对姿态信息。为此，必须累积在各个定时获取的姿态数据(角度变化的信息)。

考虑到这一点，当考虑与比帧速率高的采样率对应的姿态数据生成时，如果姿态数据生成在非曝光时段中被暂停，那么出现不能生成姿态位移的定时。这使作为绝对位置的姿态信息不准确。于是，即使姿态数据生成与运动图像帧同步，姿态数据生成也是按照预定的采样率进行的，而不受包括电子快门速度的帧操作的影响，这使得能够总是正确地计算用于模糊校正的位置信息。

作为另一个例子，将参考图23，说明在进行用于生成间歇帧运动图像的延时运动图像捕捉的情况下的姿态数据的生成。

当捕捉延时运动图像时，以相对于帧速率足够长的间隔生成图像数据。换句话说，该图像数据是利用间歇帧生成的运动图像数据。

在图23的例子中，表示了作为待成像的帧的帧(0)～帧(N)。例如，帧(0)和帧(N)表示有效帧(记录成图像数据的帧)，而帧(1)～帧(N-1)表示不包含在图像数据中的无效帧。

例如，在其中相对于30帧/秒(fps)的帧速率，***约3秒的间隔的延时运动图像拍摄中，从确定为有效帧的帧(0)的初始成像，经确定为无效帧的帧(1)～帧(89)，到作为下一个有效帧的帧(90)，进行成像。帧(90)的下一个有效帧是帧(180)。

包含并记录在作为延时运动图像的图像数据中的帧仅仅是有效帧，这种情况下，帧(0)、帧(90)、帧(180)、…。

如图23中所示，在各个有效帧时段和无效帧时段中，通过陀螺传感器126的检测信号的采样而进行的角速度数据的获取是连续的。此外，尽管图示被省略，不过，通过加速度传感器127的检测信号的采样而进行的加速度数据的获取也是连续的。此外，在各个时刻，进行姿态数据生成。

换句话说，在图像数据生成单元100通过延时成像，生成图像数据，作为间歇帧运动图像的情况下，姿态数据生成单元101在任意有效帧时段和无效帧时段中，生成姿态数据。

通过在无效帧时段中也进行姿态数据生成，不仅在有效帧时段/无效帧时段中，而且在各个时刻累积姿态差异，从而获取可准确地确定从初始姿态的位移量的信息。

注意，陀螺传感器126的采样率可被认为对于有效帧和无效帧相同，不过这不是必须的。例如，无效帧的时段可以是低采样率。

换句话说，在信号处理单元121(图像数据生成单元100)进行作为间歇帧运动图像的图像数据生成的情况下，控制单元122(姿态数据生成单元100)可把一个帧时段中的姿态数据的生成次数设定成与有效帧时段中的次数相比，无效帧时段中的次数较小。

通过以高于帧速率的速率，对陀螺传感器或加速度传感器的检测信息采样来生成姿态数据的目的是为了应对滚转失真。如果存在行间隔尽可能少(在一个帧时段中尽可能多)的姿态数据，那么可以高精度地校正滚转失真。

另一方面，除非考虑滚转失真校正，否则每帧的相机姿态检测对于相当于每帧一次或几次的姿态数据来说已经足够。在延时运动图像的情况下，未使用的帧时段的姿态数据自然不用于滚转失真。于是，通过降低无效帧时段中的采样率，可以降低相机侧的电力消耗，以及减少姿态数据的数据量。

注意，在生成对应于一帧的至少一个姿态数据的条件被满足的情况下，无效帧时段的采样率至少与帧同步信号(垂直同步信号)相同。

按照本实施例的成像设备1通过利用鱼眼透镜作为非中心投影方式的光学系统3，通过光学系统3进行半天球图像、全天球图像等的运动图像捕捉。这种情况下，如上所述，输出与运动图像的各帧对应的壳体2的姿态数据，或者与陀螺传感器126的各个采样定时对应的壳体2的姿态数据。如上所述，通过获取与各帧对应的定时的姿态数据，可以对于作为运动图像的图像数据，进行利用姿态数据的处理。

此外，成像设备1包括作为数据输出单元的存储单元117和通信单元118。

存储单元117把图像数据和姿态数据保存在存储介质中。例如，利用内置卡介质等，可以连同图像数据一起地保存姿态数据。此外，通信单元118也能够把图像数据和姿态数据发送给外部设备(信息处理设备150)。

换句话说，图像数据生成单元100生成的图像数据和姿态数据生成单元101生成的姿态数据通过有线或无线通信处理，被输出给外部设备。或者，利用诸如存储器卡162之类的存储介质，可以传递所述图像数据和姿态数据。

结果，外部设备(信息处理设备150)可以连同图像数据一起地获取姿态数据，稍后外部设备可以利用姿态数据，处理作为运动图像的图像数据。

在本实施例，姿态数据生成单元101从三轴陀螺传感器126的检测信息，获取各个时刻的角速度变化，并生成基于此的姿态数据。

此外，姿态数据生成单元101按照三轴加速度传感器127的检测信息，获取各个时刻的相对于重力方向的姿态变化，和由于移动而施加于成像设备1的主体(壳体2或布置在壳体2内部及外部的各个单元)的加速度的大小，并生成基于此的姿态数据。

结果，成像设备1的精细的姿态状态可被设定为指示每帧的信息。

注意，施加于成像设备1的主体的加速度的值可以是关于成像设备1的主体的剧烈运动的信息，可以是用于实现重力方向的估计的可靠性的信息，可以是如后所述的重力方向的校正的可执行性的判断材料。

此外，在本实施例中，姿态数据可包括角速度数据和加速度数据之一，而不是这两者。此外，姿态数据可以是一个或两个轴的角速度数据或加速度数据。

此外，在图22和23中，尽管作为陀螺传感器126和加速度传感器127的检测信号获取的角速度数据和加速度数据本身被视为姿态数据，不过，通过使角速度数据和加速度数据经历用于图像校正的各种处理而获取的数据可以用作姿态数据。

<6.曝光调整>

在本实施例的成像设备1中，上述姿态数据用于曝光控制。这里，将说明其中作为曝光控制，进行电子快门速度的调整和AGC处理的增益调整的例子。

这点将参考图24具体说明。

图24A和24B表示曝光控制特性。各个图的横轴是照度，纵轴是电子快门的曝光时间和AGC增益。

在照度十分大的情况下，换句话说，在照度Ix大于照度阈值th1的情况下，曝光时间被设定为调整范围内的最短的最小值Smin，并且AGC处理的增益被设定为调整范围内的最小值Gmin。

另一方面，在光量不足的情况下，通过增大电子快门的曝光时间，或者增大AGC处理的增益，进行曝光调整。然而，由于就噪声等而论，增大对于来自成像元件的输出信号的增益的曝光调整是不利的，因此优先考虑电子快门控制。

在本实施例的情况下，首先，在姿态数据的变化较小的情况下，利用图24A的特性，进行曝光调整。

在照度Ix大于照度阈值th2，并且等于或小于照度阈值th1的情况下，按照照度Ix增大曝光时间。此时，AGC处理的增益保持在最小值Gmin。

用于曝光调整的曝光时间的最大值为“Smax1”。假定当照度Ix为照度阈值th2时，曝光时间达到最大值Smax1。

这种情况下，不利用快门速度控制，而是利用AGC增益，进行与照度的进一步降低的对应。

在照度Ix大于照度阈值th3，并且等于或小于照度阈值th2的情况下，在把曝光时间保持在最大值Smax1的时候，变更AGC处理的增益。换句话说，按照照度Ix，增大AGC处理的增益。

用于曝光调整的AGC增益的最大值被设定为“Gmax”。假定当照度Ix为照度阈值th3时，AGC增益达到最大值Gmax。

当照度Ix等于或小于照度阈值th3时，曝光时间被设定为最大值Smax1，并且AGC增益被设定为最大值Gmax。

另一方面，图24B是其中姿态数据的变化较大的情况的例子。具体地，例如，在单位时间的姿态数据的变化量等于或大于阈值的情况下，判定姿态数据的变化较大。这种情况下，利用图24B的特性，进行曝光调整。

与图24A相比，曝光时间的最大值Smax1被变更为最大值Smax2。此外，用于确定进行增益控制的时段的照度阈值th2和th3被变更为照度阈值th2'和th3'。

在照度Ix大于照度阈值th1的情况下，曝光时间被设定为最大值Smin，AGC处理的增益被设定为最小值Gmin。

在照度Ix大于照度阈值th2'(>照度阈值th2)，并且等于或小于照度阈值th1的情况下，在把AGC处理的增益保持在Gmin的时候，按照照度Ix调整曝光时间。

在照度Ix大于照度阈值th3'(>照度阈值th3)，并且等于或小于照度阈值th2'的情况下，在把曝光时间保持在Smax2(<Smax1)的时候，按照照度Ix调整AGC处理的增益。

在照度Ix等于或小于照度阈值th3'的情况下，曝光时间被设定为最大值Smax2，并且AGC增益被设定为最大值Gmax。

注意，尽管在图24B的例子的指示AGC处理的实线中，最大值Gmax与图24A的最大值Gmax水平相同，不过，增益最大值可被增大为最大值Gmax'，如单点划线所示。此外，相应地，照度阈值th3'被设定为照度阈值th3″。在图24B的情况下，除非对于曝光时间的最大值Smax1被变更为最大值Smax2，增大增益最大值，否则暗场景中的总增益降低，结果导致较暗的图像。

注意，作为调整范围的曝光时间的最大值Smax1被降低到最大值Smax2，为此，通过把照度阈值th2'增大到大于照度阈值th2，利用增益调整进行对应，这意味与在姿态数据的变化较小的情况下相比，用于提高捕捉图像的明度的曝光时间的增大更保守。

考虑到由AGC增益的增大而引起的噪声缺陷，以及由曝光时间长而引起的模糊的影响，设定曝光时间的最大值Smax2值以及照度阈值th3'和th2'。

图25中表示了如图24A和24B中所示的调整电子快门速度和增益的具体处理。

在自动曝光控制中，控制单元122首先在步骤S101，进行第一控制设定处理。在第一控制设定处理中，使用照度阈值th1、照度阈值th2和照度阈值th3作为照度Ix的判定阈值。此外，在第一控制设定处理中，电子快门控制的最大值被设定为“Smax1”。结果，利用与姿态数据的变化(姿态变化)较小的情况对应的如图24A中所示的控制特性，进行自动曝光调整。

随后，在步骤S102，控制单元122判定自动曝光控制是否开启。在自动曝光控制关闭的情况下，图25中所示的一系列处理终止。

另一方面，在自动曝光控制开启的情况下，控制单元122进行后续步骤S103的姿态变化量计算处理。例如，可以从由诸如陀螺传感器126或加速度传感器127之类的检测单元125测量的姿态数据，计算姿态变化量。

之后，在步骤S104，控制单元122判定姿态变化趋势是否已改变。姿态变化趋势可能大也可能小，在姿态数据的变化量大于阈值的情况下，判定“姿态变化较大”，而在姿态数据的变化量等于或小于阈值的情况下，判定“姿态变化较小”。随后，在前一姿态变化的趋势是“姿态变化较大”，并且从在前一步骤S103中获取的姿态变化量起本次的姿态变化的趋势是“姿态变化较小”的情况下，判定姿态变化的趋势已改变。类似地，在姿态变化的趋势从“姿态变化较小”变为“姿态变化较大”的情况下，判定姿态变化的趋势也已改变。

在姿态变化的趋势未改变的情况下，控制单元122返回步骤S102的处理。

另一方面，在姿态变化的趋势已改变的情况下，控制单元122在后续步骤S105，判定姿态变化是否已从较小变为较大。

在姿态变化已从较小变为较大的情况下，控制单元122在步骤S106，进行第二控制设定处理。

在第二控制设定处理中，照度阈值th1、照度阈值th2’和照度阈值th3’用作照度Ix的判定阈值。此外，在第二控制设定处理中，电子快门控制的曝光时间的最大值被设定为“Smax2”。结果，以与其中姿态变化较大的情况对应的图24B中所示的控制特性，进行自动曝光调整。

另一方面，在姿态变化的趋势由大变小的情况下，控制单元122在步骤S107，进行第一控制设定处理。步骤S107的处理内容与步骤S101的处理内容类似。

进行了步骤S106或步骤S107的控制单元122返回步骤S102的处理。

如参考图24和25所述，在本实施例的成像设备1中，作为曝光调整，进行控制成像元件单元112中的曝光时间的电子快门速度控制，基于陀螺传感器126或加速度传感器127的检测信息，在第一范围(Smin～Smax1)和其中与第一范围相比，最长曝光时间被设定成较短的第二范围(Smin～Smax2)之间，切换电子快门速度控制的曝光时间的调整范围。

在本实施例的情况下，以等于或大于帧速率的采样率，生成姿态数据，通过在成像期间，始终检查陀螺传感器126或加速度传感器127的检测信息，可以知道姿态的运动的大小。

在姿态的运动较大的情况下，曝光时间越长，图像模糊的可能性越大。于是，在姿态的运动较大的情况下，通过在第二范围中进行曝光调整，抑制模糊的发生。

<7.麦克风>

在成像设备1中，麦克风35布置在壳体2的内部，在壳体2的外周面上，形成用于在与麦克风35对应的位置处接收音频的孔。

图26A、图26B和图27中，表示了音频输入单元114和音频处理单元115的方框图的例子。

图26A表示在如图14中所示，在壳体2的上部，左右分开地设置两个麦克风35和35的情况下的构成例子。

设置在左上部的麦克风被称为麦克风35L，设置在右上部的麦克风被称为麦克风35R。音频输入单元114具备一对麦克风35R和35L。

从设置在壳体2的左上部的麦克风35L输入的模拟音频信号由麦克风放大器38L放大，由滤波器39L限制频带，随后由A/D转换器40L数字化，随后作为左声道的音频数据AL，被输入下一级的信号处理单元121。

类似地，从设置在壳体2的右上部的麦克风35R输入的模拟音频信号通过麦克风放大器38R、滤波器39R和A/D转换器40R，作为右声道的音频数据AR，被输入信号处理单元121。

通过在成像设备1中，设置如图26A中所示构成的麦克风35和35，生成诸如具有立体声音频数据的运动图像之类的图像数据。

通过把麦克风35和35布置在壳体2的上方，易于拾取从壳体2的上方输入的成像人员的音频等。结果，例如，可以提供对于捕捉说明性运动图像等的成像人员来说，便利性高的成像设备1。

图26B是可在其中如图1中所示，在壳体2的上部，左右分开地设置两个麦克风35和35，并且在壳体2的下部，左右分开地设置两个麦克风35和35的情况下构成的例子。

设置在壳体2的左上部的麦克风被称为麦克风35TL，设置在右上部的麦克风被称为麦克风35TR，设置在壳体2的左下部的麦克风被称为麦克风35BL，而设置在右下部的麦克风被称为麦克风35BR。

从设置在壳体2的左上部的麦克风35TL输入的模拟音频信号通过麦克风放大器38TL、滤波器39TL和A/D转换器40TL，被输入减法器42L1。

另一方面，从设置在壳体2的左下部的麦克风35BL输入的模拟音频信号通过麦克风放大器38BL、滤波器39BL和A/D转换器40BL，被输入减法器42L1。

减法器42L1从输入自麦克风35TL的音频信号中，减去输入自麦克风35BL的音频信号。例如，提取从壳体2的上部输入的成像人员等的音频的一部分。另一方面，由于从远方发出的音频通过上部的麦克风35TL和下部的麦克风35BL中的每一个，是作为大体相同的音频信号输出的，以致该音频被减法器42L1消除，几乎没有残留。换句话说，在减法器42L1中，提取输入下部的麦克风和上部的麦克风的音频信号之间的差分。

减法器42L1提取的差分信号由乘法器43L乘以系数K。注意系数K是0～1之间的值，例如为0.5。

下一级中的减法器42L2从输入自上部麦克风35TL的音频信号中，减去相乘后的差分信号。结果，从减法器42L2输出的信号使上部麦克风35TL与下部麦克风35BL之间的差分减小。该信号作为左声道的音频数据AL，被输入下一级的信号处理单元121。

同样对于从设置在壳体2的右上部的麦克风35TR输入的模拟音频信号，和从设置在壳体2的右下部的麦克风35BR输入的模拟音频信号，提取的上部麦克风和下部麦克风的输入信号之间的差分也类似地被减小，作为结果的信号作为右声道的音频数据AR，被输入下一级的信号处理单元121。

换句话说，在图26B的构成中，例如，假定A/D转换器40TL的输出为AS1，A/D转换器40BL的输出为AS2，则左声道的音频数据AL可以被表示成

AL＝AS1-(AS1-AS2)×K。

类似地，假定A/D转换器40TR的输出为AS3，A/D转换器40BR的输出为AS4，则右声道的音频数据AR可以被表示成

AR＝AS3-(AS3-AS4)×K。

通过采用图26B中所示的构成，例如，诸如成像人员的音频之类的上下麦克风之间的差分较大的音频输入信号被衰减。

因而，例如，可以消除只大音量地记录成像人员的语音，使得难以听到周围音频的可能性。

图27中表示可在其中如图1中所示，在壳体2的上部和下部两者设置麦克风35的情况下构成的另一个例子。

由于利用设置在左上部的麦克风35TL和设置在左下部的麦克风356BL的音频信号，从减法器42L2输出的信号与图26B的类似，因此省略冗余的说明。

在图27中所示的例子中，进一步进行处理，以只将设置在左上部的麦克风35TL的高频分量加入通过减小上下麦克风的输入信号之间的差分而获得的信号(换句话说，减法器42L2的输出信号)中。具体地，使通过麦克风放大器38TL、滤波器39TL和A/D转换器40TL的麦克风35TL的信号进一步通过高通滤波器(HPF)41L，以提取高频分量，加法器44L相加该高频分量和前一减法器42L2的输出信号，并把结果输入下一级的信号处理单元121。

换句话说，在图27的构成中，例如，假定A/D转换器40TL的输出为AS1，A/D转换器40BL的输出为AS2，而HPF 41L的输出为AS5，则左声道的音频数据AL可以被表示成

AL＝AS1-(AS1-AS2)×K+AS5。

类似地，假定A/D转换器40TR的输出为AS3，A/D转换器40BR的输出为AS4，而HPF41R的输出为AS6，则右声道的音频数据AR可以被表示成

AR＝AS3-(AS3-AS4)×K+AS6。

例如，考虑如图5A中所示的使用模式。这种情况下，尽管成像人员(穿戴者)的语音被直接输入设置在壳体2的上部中的麦克风35TL和35TR，不过通过周围的反射物等，成像人员的语音可能被输入设置在下部的麦克风35BL和35BR。

周围的反射材料可包括可能吸收高频分量的成像人员穿着的衣服等。

在从下部的麦克风输入的音频信号的高频分量被衰减的情况下，按照图26B中所示的构成，上部和下部麦克风之间的高频分量的差分变大，并且高频分量被减法器42L2和42R2截断。

按照图27中所示的构成，由于利用加法器44L和44R，再次增加高频分量，因此，可以把易于听见的音频信号输入下一级的信号处理单元121中。

注意，对于设置在右上部的麦克风35TR和设置在右下部的麦克风35BR，利用麦克风放大器38TR和38BR、滤波器39TR和39BR、A/D转换器40TR和40BR、减法器42R1和42R2、乘法器43R、加法器44R和HPF 41R，进行类似的处理，不过详细说明被省略。

注意，尽管图26A、26B和27中所示的每种构成都对应于成像设备1的立体声音频输入，不过也可以应用单声道音频输入的构成。

<8.成像设备的内部构成例子II>

如上所述，本实施例的成像设备1生成与图像数据对应的姿态数据。在图19的构成的情况下，由于控制单元122可管理图像数据生成和姿态数据生成，因此可利用控制单元122的内部处理(例如，帧时间代码与姿态数据的关联等)，进行图像数据的帧与姿态数据的关联。然而，也可以考虑其中控制图像数据生成的控制单元和生成姿态数据的控制单元由独立的微计算机等执行的构成。于是，在这种情况下，还假定不把与帧的对应信息添加到从成像设备1输出的姿态数据中。

这种情况下，在从成像设备1收到图像数据和姿态数据的信息处理设备150中，下面说明用于使姿态数据能够与帧关联的例证构成，作为成像设备的内部构成例子II。这是用于在信息处理设备150获取图像数据和姿态数据时，能够根据各项数据本身使作为运动图像的图像数据与姿态数据关联的构成例子。

图28表示成像设备1的内部构成例子II的方框图。

图28中所示的成像设备1包括相机单元130和检测单元131。在图19中所示的各个组件之中，相机单元130不包括检测单元125。此外，控制单元122不具有作为姿态数据生成单元101的功能。

另一方面，检测单元131包括具有陀螺传感器126和加速度传感器127的检测单元125。此外，检测单元131还包括具有作为姿态数据生成单元101的功能的控制单元132、操作单元133和存储单元134。

控制单元132利用作为姿态数据生成单元101的功能，基于来自检测单元125的检测信息，进行生成指示成像设备1的姿态的姿态数据的处理。

此外，检测单元131包括发光单元129。发光单元129例如具有LED及其发光驱动电路，并按照控制单元132的指令，进行用于使图像数据与姿态数据同步的发光操作。发光单元129起基于触发，进行关联图像数据与姿态数据的通知的通知单元的作用。

例如，LED设置在相机单元130的镜筒中，发光单元129被构成为以致LED的发光影响成像元件单元112所捕捉的一部分图像数据。具体地，LED的发光被配置成影响成像元件单元112的成像信号。或者，利用LED的发光，使整个帧图像处于高亮度状态。

这种情况下，成像元件单元112起检测来自发光单元的通知的检测器的作用。

注意，发光单元129中的LED的发光例如是与相机单元130的成像开始定时异步地进行的。因而，例如，成像人员对于相机单元130进行开始成像的操作，随后对于检测单元131，进行开始姿态数据的生成的操作。结果，发光单元129发光，成像元件单元112生成包括基于所述发光的亮度的像素的帧数据。结果，通过搜索图像数据的帧，可以指定在姿态数据的生成开始定时成像的帧。

检测单元131与相机单元130异步工作，但是控制单元132例如生成用于以频率与图像数据的帧速率相同的速率进行采样的定时信号，并对陀螺传感器126和加速度传感器127的检测信息采样，以生成姿态数据。

因而，以一个姿态数据对应于相机单元130捕捉的图像数据的一帧的比率，生成姿态数据。

注意，相机单元130的操作单元116包括供用户指令成像开始的按钮(运动图像按钮10等)等，检测单元131的操作单元133包括供用户指令姿态数据生成开始的按钮等。

控制单元132的姿态数据生成单元101生成的姿态数据被发送给存储单元117，并被酌情发送给相机单元130的通信单元118。姿态数据连同图像数据一起被发送给例如作为外部设备的信息处理设备150。换句话说，通信单元118是作为数据输出单元的一种模式。

具体地，下面参考图29，说明相机单元130和检测单元131的操作。

关于相机单元130的控制的流程图的例子是图29A。相机单元130的控制单元122在步骤S201，判定是否检测到成像开始触发。例如，当成像人员按下运动图像按钮10、延时按钮11等时，检测到成像开始触发。在未检测到成像开始触发的情况下，控制单元122再次执行步骤S201。

注意，成像开始触发可通过除用户的运动图像按钮10或延时按钮11的操作以外的方式生成，比如定时器控制，远程控制，或者通过某种检测的自动成像开始控制。

在检测到成像开始触发的情况下，控制单元122在步骤S202，进行开始成像的控制，然后在随后的步骤S203，进行开始捕捉的图像数据的存储的控制。结果，作为运动图像的图像数据被保存在存储单元117中。

在步骤S204，控制单元122判定是否检测到终止触发。进行步骤S204的处理，继续在前一步骤中开始的图像数据的生成和存储，直到控制单元122检测到终止触发为止。

在图18中的模式转变的例子中，运动图像存储中的运动图像按钮10或延时按钮11的操作成为终止触发。当然，可以考虑终止触发生成的其他例子，比如预定的时间流逝、远程控制、通过某种检测的自动成像和记录的终止控制，等等。

检测到终止触发的控制单元122在步骤S205进行成像停止控制，随后在步骤S206，进行停止图像数据的存储的控制。

通过控制单元122进行图29A中所示的一系列的处理，例如，利用成像人员的操作，进行成像以及图像数据的存储。

关于检测单元131的控制的流程图的例子是图29B。检测单元131的控制单元132在步骤S301，判定是否检测到开始操作。这种情况下的开始操作是对于操作单元133上的用于开始姿态数据生成的按钮的用户操作。

在未检测到开始操作的情况下，控制单元132再次进行步骤S301的处理。

在检测到开始操作的情况下，控制单元132在步骤S302，开始检测信号的获取。检测信号是从作为检测单元125的陀螺传感器126或加速度传感器127输出的与姿态相关的检测信号。

随后，在步骤S303，控制单元132开始姿态数据的生成和姿态数据的存储。

步骤S302中的检测信号的获取(采样)和步骤S303中的姿态数据生成是基于频率与相机单元130使用的垂直同步信号相同的定时信号进行的。

换句话说，控制单元132生成频率与垂直同步信号相同，并且异步的定时信号，并基于该定时信号，获取检测信号。此外，控制单元132从检测信号生成姿态数据，并把数据保存在存储单元134中。因而，例如，对应于利用相机单元130捕捉的运动图像的一帧，保存一个姿态数据。

此外，控制单元132在步骤S304，使发光单元129与如上所述的获取检测信号，并生成姿态数据的处理的开始大体同时地发光。结果，在利用相机单元130捕捉的图像数据中的对应于该定时的帧中，形成具有基于所述发光的高亮度的部分。

注意，尽管为了便于说明而表示成步骤S302～S304，不过，发光控制和用于姿态数据生成的检测信号获取的开始可以在处理之前或之后进行，只要它们大体是同时进行的即可。此外，即使存在一些时滞，只要时间差是固定的就足够了。只需要稍后使图像数据中的受LED发光影响的帧与指示此时的成像设备1的姿态的姿态数据关联即可。

控制单元132在步骤S305，判定是否检测到终止触发。进行步骤S305的处理，直到检测到终止触发为止。

在检测到通过成像人员的操作等，终止姿态数据的存储的触发的情况下，控制单元132在步骤S306，终止姿态数据的生成和存储，随后在步骤S307，停止检测信号的获取。

通过控制单元132进行图29B中所示的一系列的处理，进行与诸如运动图像之类的图像数据对应的姿态数据的存储。

图30中表示成像操作和检测单元131的操作的具体定时图。

通过上述处理，例如，如图30中所示，进行发光单元129的发光和姿态数据生成。换句话说，假定在相机单元侧进行各帧的成像和记录时，在某个定时TS进行开始操作。相应地进行步骤S302、S303和S304。即，进行发光单元129的LED发光，并且开始姿态数据生成/存储，之后，以与帧周期相同的周期继续姿态数据生成/存储。

具体地，当成像人员按下成像设备1的运动图像按钮10时，成像设备1处于“运动图像捕捉状态”，通过重复曝光时段和非曝光时段，连续地进行作为图像数据的各帧的生成/存储。在该状态下，当成像人员进行用于开始成像设备1的检测单元131的姿态数据的获取的操作时，按照操作定时，进行一次发光单元129的发光，并在与所述发光大体相同的定时，开始姿态数据的检测和存储。

在图28中所示的构成中，由于发光单元129的发光是与相机单元130的成像操作异步地进行的，因此如图30中所示，在包括图像数据帧的曝光时段和非曝光时段的哪个定时发光每次都不同。在图30中所示的例子中，发光是在曝光时段中进行的。此外，发光时段被设定成比非曝光时段长。这是为了通过持续比非曝光时段长的时间发光，确保至少在一部分的曝光时段中进行发光，因为各帧的曝光时段与发光定时是异步的。此外，即使在非曝光时段最长的情况下，换句话说，电子快门速度最短的情况下，为了确保发光单元129在曝光时段中发光，可以持续比非曝光时段的最大时间长度长的时间发光。

然而，理想的是发光单元129的发光时段是在一个帧时段内的时间。这是因为如果长时间发光，那么受所述发光影响的帧的数量增大。

检测单元131的姿态数据生成单元101按照发光单元129的发光，检测和存储姿态数据。姿态数据的检测及存储的定时也是与各帧的曝光时段和非曝光时段异步地进行的，以致在一些情况下，在非曝光时段中进行姿态数据的检测和存储，或者在一些情况下，跨两帧地进行一次的检测和存储。

在其中进行以上操作的图28的构成例子的情况下，成像设备1也利用鱼眼透镜作为非中心投影方式的光学系统3，通过光学系统3进行进行半天球图像、全天球图像等的运动图像捕捉。这种情况下，相机单元130和检测单元131进行上述图29A和29B的处理，以致输出与运动图像的各帧对应的壳体2的姿态数据。

通过获取与各帧对应的定时的姿态数据，稍后可对作为运动图像的图像数据进行利用姿态数据的处理。

特别地，姿态数据生成单元101在姿态数据的生成开始定时，在图像数据的各帧中进行形成用于先导帧识别的信息的处理，以致从图像数据可以知道在作为运动图像的图像数据中，哪个时刻的帧已被用作开始姿态数据生成的基准。结果，在已获取图像数据和姿态数据的设备中，可以指定与先导姿态数据对应的运动图像帧。

随后，作为用于先导帧识别的信息形成的例子，设置发射使成像元件单元112曝光的光的发光单元129，姿态数据生成单元101使发光单元129发光，以使得在图像数据中的在发光定时捕捉的帧中，形成由所述发光所致的亮度的像素数据，作为用于先导帧识别的信息。

换句话说，通过使发光单元129发光，在图像数据中形成与被摄对象光不同的高亮度图像的帧。

结果，如后参考图31所述，在已获取图像数据和姿态数据的信息处理设备150中，通过搜索高亮度图像的帧，可以指定与先导姿态数据对应的运动图像数据的帧。

注意，按照图28中所示的构成，通过把检测单元131附接到现有的相机单元，可以容易地制造本实施例的成像设备1。

此外，作为另外的模式，相机单元130和检测单元131可被分别提供给成像人员，以致成像人员可以根据需要附接或拆卸检测单元131。

此外，姿态数据生成单元101基于与图像数据生成单元100异步的定时信号，每帧一次地生成姿态数据。

换句话说，以包括作为运动图像的图像数据生成单元100的成像系统，和包括姿态数据生成单元101的姿态数据生成系统作为异步系统，形成成像设备1。

结果，可以容易地实现具有姿态数据生成系统的成像设备1。这种情况下，由于可以利用标记，指定与先导姿态数据对应的运动图像数据的帧，并且每帧一次地生成姿态数据，因此即使是异步的，帧与姿态数据之间的对应也不会受到干扰。

注意，尽管图像数据生成单元100的帧同步信号与姿态数据生成单元使用的定时信号是异步的，不过它们的频率基本相同，从而即使运动图像捕捉持续一段时间，采样定时也不会偏移一帧。

此外，如在图30中所述，发光单元129的发光时段被设定成一个帧时段以内的时间。

通过使发光单元129发光，形成高亮度图像的帧，不过该图像成为与被摄对象光不同的图像，换句话说，原本不需要的图像，从而发光时段被缩短。

具体地，通过把发光时段设定成一个帧时段或更小，一帧或两帧成为高亮度图像，从而可以防止生成许多不必要的帧。

此外，在图28的构成例子的情况下，在成像设备1中，利用不同的开始触发，开始图像数据生成单元100进行的保存为运动图像的图像数据的生成，和姿态数据生成单元101进行的与保存为运动图像的图像数据对应的姿态数据的生成。

例如，记录开始操作和姿态记录开始操作作为单独的操作，被提供给用户。

结果，用户可以任意选择在记录时是否进行姿态记录。

在图28的构成例子中，成像设备1也包括数据输出单元(通信单元118和存储单元117)，从而可把图像数据和姿态数据递送给外部设备(信息处理设备150)。

结果，外部设备(信息处理设备150)可以连同图像数据一起获取姿态数据，可利用姿态数据进行处理。

在收到图像数据和姿态数据两者的信息处理设备150中，进行使图像数据与姿态数据关联的处理。这点将参考图31具体说明。

信息处理设备150在步骤S401，进行指定运动图像数据的处理。例如，该处理是通过选择诸如查看利用成像设备1捕捉的运动图像等的用户期望查看的运动图像之类的图像数据进行的。

注意，当信息处理设备150取得图像数据和姿态数据两者时，可以自动进行图31的处理，以关联各个数据。

在指定运动图像数据之后，信息处理设备150在步骤S402，指定与运动图像数据对应的姿态数据。

随后，在步骤S403，信息处理设备150进行按照时间先后顺序，从各个运动图像帧中搜索特定帧的处理。这里，待搜索的帧是归因于上面所述的发光单元129的发光而具有高亮度的帧。例如，待搜索的帧是其中整个像素由于LED发光而具有极高亮度的帧，或者其中特定像素区由于LED发光而具有极高亮度的帧。

在步骤S404，信息处理设备150判定是否检测到高亮度帧。

在未能检测到高亮度帧的情况下，信息处理设备150在步骤S405，进行错误处理，随后结束一系列的处理。错误处理例如是使信息处理设备150的显示设备显示诸如“不能进行运动图像数据与姿态数据的关联”之类的消息的处理。

另一方面，在能够检测到高亮度帧的情况下，信息处理设备150在步骤S406，进行指定先导帧的处理。在该处理中，高亮度帧可被设定为先导帧，或者高亮度帧的下一帧可被设定为先导帧。此外，在两帧内检测到高亮度帧的情况下，它们中的任何一个可被设定为先导帧，或者在这两帧之后的帧可被设定为先导帧。

之后，在步骤S407，信息处理设备150进行关联姿态数据的第一数据与先导帧的先导行的处理，随后在步骤S408，进行关联后续姿态数据与运动图像帧的处理。

结果，各个姿态数据与运动图像的各帧关联，从而信息处理设备150可以识别在捕捉各帧时，成像设备1具有什么姿态。

随后，通过适当地关联图像数据和姿态数据，可以进行后面说明的各种校正处理。

<9.成像设备的内部构成例子III>

图32表示作为成像设备1的内部构成例子III的方框图。这是类似于图28的构成例子，设置发光单元129的情况下的另一个例子。

图32中所示的成像设备1还利用检测单元131，接收通过成像人员操作诸如运动图像按钮10之类的操作单元116，由相机单元130检测的成像开始触发，按照该成像开始触发，进行姿态数据的生成和存储。因而，检测单元131未设置有用于开始姿态数据的生成和存储的操作单元。

此外，检测单元131的控制单元132获取从控制单元122发送给成像元件单元112的垂直同步信号，基于该垂直同步信号，生成姿态数据。

下面参考图33，说明具体处理。

图33A是相机单元130的控制单元122进行的各个处理的流程图。图33B是检测单元131的控制单元132进行的各个处理的流程图。

相机单元130的控制单元122在步骤S501，判定是否检测到成像开始触发。此外，检测单元131的控制单元132在步骤S601，判定是否检测到成像开始触发。这种情况下，控制单元132通过来自相机单元130的控制单元122的通知，检测成像开始触发。

相机单元130的控制单元122重复步骤S501的处理，直到检测到成像开始触发为止。类似地，检测单元131的控制单元132也重复步骤S601的处理，直到检测到成像开始触发为止。

当通过成像人员按下运动图像按钮10等，输入成像开始触发时，相机单元130的控制单元122开始进行步骤S502的处理，检测单元131的控制单元132开始进行步骤S602的处理。

相机单元控制单元130的控制单元122在步骤S502开始成像，随后在后续步骤S503，开始保存捕捉的图像数据。

另一方面，检测单元131的控制单元132在步骤S602，开始垂直同步信号获取。该信号获取自相机单元130的控制单元122。

随后，控制单元132在步骤S603，开始检测信号的获取，随后在步骤S604，开始姿态数据的生成和存储。

此外，控制单元132在步骤S605，进行使发光单元128的LED发光的处理。由于可以与相机单元130使用的垂直同步信号同步地进行发光单元129的发光，因此例如，可以按照构成捕捉的运动图像的一帧的曝光时段的开始定时，进行发光。

注意，由于检测单元131的控制单元132掌握各帧的曝光时段的开始定时，因此在一个帧时段(包括曝光时段和非曝光时段)中，可以多次进行姿态数据的生成和存储。在多次进行所述生成和存储的情况下，可以掌握各个姿态数据是在一个帧时段的哪个定时获取的。这使得可以适当地进行如后所述的模糊校正等。

相机单元130的控制单元122在步骤S504，判定是否检测到终止触发。类似地，检测单元131的控制单元132在步骤S606，判定是否检测到终止触发。

例如，当相机单元130的控制单元122检测到终止触发时，例如，在成像人员再次按下运动图像按钮10，从而检测到成像的终止指令的情况下，终止触发也被通知给检测单元的控制单元132。结果，相机单元130和检测单元131基本上同时检测到终止触发。

检测到终止触发的相机单元130的控制单元122在步骤S505，停止成像，随后在步骤S506，停止保存图像数据。

此外，检测到终止触发的检测单元131的控制单元132在步骤S607，终止姿态数据的生成和存储，随后在步骤S608，停止检测信号的获取。

由于相机单元130的控制单元122和检测单元131的控制单元132进行图33A和33B中所示的各个处理，因此可以保存同步的图像数据和姿态数据。

图34中表示了成像操作以及检测单元的操作的具体定时图。

在具有图32中所示的构成的成像设备1中，由于相机单元130与检测单元131同步，因此发光单元129的发光可被设定到预定定时，比如曝光时段的开始。结果，即使发光时段被缩短，在曝光时段内也可可靠地发光，于是，可以减少与发光单元129的发光关联的电力消耗。

发光单元129的发光时段可以按照曝光时段而缩短，不过理想的是即使在由于光量等，而使发光时段较长的情况下，发光时段也在一个帧时段以内。这是为了避免受发光影响的帧的数量增加。

此外，由于建立了同步，因此即使在一个帧时段中，生成/存储多个姿态数据，也可以掌握姿态数据是在各个帧时段的哪个定时生成的。

如上所述，姿态数据生成单元101基于与图像数据生成单元100共有的帧同步信号，对于一帧一次或多次地生成姿态数据。换句话说，使用为包括作为运动图像的图像数据生成单元100的成像系统，和包括姿态数据生成单元101的姿态数据生成系统所共有的垂直同步信号。

因而，由于通过标记，可以指定与先导姿态数据对应的运动图像数据的帧，以及建立了帧同步，因此即使对于运动图像的一帧，多次进行姿态数据的生成，也可以把各个姿态数据可靠地链接到各帧。

此外，图像数据生成单元100进行的保存为运动图像的图像数据的生成，和姿态数据生成单元101进行的与保存为运动图像的图像数据对应的姿态数据的生成是利用公共的开始触发(成像开始触发)开始的。

例如，按照作为记录开始操作的操作，开始图像数据生成和姿态数据生成。

结果，可以实现其中姿态数据连同运动图像一起被保存，同时用户的操作负荷被降至最小的设备。

由于由收到图像数据和姿态数据两者的信息处理设备150进行的，用于使图像数据与姿态数据关联的处理与图31中所示的处理大体相同，因此省略详细说明。

注意，在图31的步骤S407中，使姿态数据的第一数据与先导帧的先导行关联的处理中，由于使图像数据与姿态数据同步，因此实际上在先导行的曝光期间，可以把保存的姿态数据链接到该先导行，以致可以更准确地进行如后所述的校正。

注意，在参考图19、28、32等说明的各个成像设备1中，对于一帧的图像数据，可以生成/存储多个姿态数据。这种情况下，考虑把基于帧同步信号(垂直同步信号)的信息添加到对应于每一帧的一个姿态数据中。例如，把垂直同步标志添加到在垂直同步信号的定时(接近于该定时)获取的姿态数据中。

例如，通过把垂直同步信息添加到在垂直同步信号的定时之后的第一个姿态数据中，可以判定在帧的开头的姿态数据。结果，处理图像数据和姿态数据的设备可以正确地识别对应于各帧的姿态数据。

发光单元129的发光形成其中一部分的区域为高亮度的高亮度帧，不过，该高亮度帧可以不用作运动图像数据的第一帧。换句话说，可以从高亮度帧的下一帧开始，生成作为运动图像的图像数据。注意，在存在两个高亮度帧的情况下，可以从在所述两帧之后的帧开始，生成作为运动图像的图像数据。

此外，还可以利用高亮度帧充当作为运动图像的图像数据的第一帧。这点将参考图35具体说明。

图35表示成像元件的成像区域ARR，并且表示待成像的被摄对象的图像Z。本实施例中的成像设备1利用鱼眼透镜21作为最靠近被摄对象的透镜。因而，例如，在采用圆周鱼眼透镜作为鱼眼透镜21的情况下，通过光学系统3的光在成像元件单元112上形成的图像Z大体为圆形。因而，在设置在成像元件单元112中的图像传感器的外周部分，存在不影响图像数据的范围外区域45(图中的阴影区域)。

此外，在按照本实施例的成像设备1的相机单元130内，设置发光单元129的LED129a，以致可以把来自发光单元129的光照射到不能由通过鱼眼透镜21的光曝光的范围外区域45(图35中的纹理区域45a)。

由于这样的构成，可以利用高亮度帧充当作为运动图像的图像数据的一部分。

换句话说，通过设置发光单元129，以便只使成像元件单元112中的在光学系统3所致的被摄对象光的入射范围之外的成像元件曝光，通过发光单元129的发光产生的高亮度图像仅仅在作为被摄对象图像有效的范围之外。

结果，只有某个帧中的不用作被摄对象图像的像素才通过发光，变成高亮度。因而，该帧也可用作将被正常再现的帧。即，可以防止由于发光单元的发光而生成多余的帧。

注意，按照实施例的成像设备1是例子，可以考虑各种变形。

在图22中，尽管由陀螺传感器126本身获取的角速度数据被视为姿态数据，不过，通过使角速度数据经历用于图像校正的各种处理而获取的数据可以用作姿态数据。

另外，在成像设备的内部构成例子II(图28)和III(图32)的构成中，可酌情采用关于内部构成例子I说明的各种构成，比如曝光控制构成、音频处理单元构成、姿态数据生成构成等。

在内部构成例子II(图28)和III(图32)中，作为通知单元的例子，提到了发光单元129。然而，作为基于触发发出用于使图像数据与姿态数据关联的通知的通知单元，可以考虑各种例子，比如利用声音进行通知的构成、利用电磁波进行通知的构成、和利用电信号进行通知的构成。据此，诸如音频检测器、电磁波检测器和电信号检测器之类的各种例子可被视为检测器的构成。

<10.信息处理设备中的再现/编辑画面>

如上所述，成像设备1记录运动图像数据和姿态数据。运动图像数据和姿态数据可被传送给信息处理设备150，比如便携式终端或桌上型计算机设备，在信息处理设备150中，作为基于应用程序的处理，允许运动图像的再现和编辑。

特别地，图像数据是利用鱼眼透镜21捕捉的运动图像。对应于此，在应用程序中，允许鱼眼失真校正、模糊校正以及显示图像的重力方向校正。

图36表示在作为诸如智能电话机之类的便携式终端的信息处理设备150上，显示应用画面170的状态。

此外，图37表示在诸如个人计算机或平板终端之类，具有较大屏幕的信息处理设备150上，显示应用画面170的状态。

在任何情况下，都在应用画面170上准备图像区域171，以致可显示再现的运动图像。

此外，应用画面170设置有用于图像再现的操作器、编辑操作器、模式操作器、指示器等，用户可以检查通常的运动图像、延时运动图像或者静止图像的再现状态，和进行期望的编辑作业。

作为应用程序的具体编辑功能，自动编辑和手动编辑都是可能的。

作为手动编辑，

·帧删除或还原

·初始视角的设定

·延时开启/关闭区间的指定

·***或删除标题和字幕

·撤消操作

·保存编辑结果

·多视图模式指令

等是可能的。

此外，在本实施例中，可在通常的运动图像、延时运动图像和静止图像的再现之时，进行鱼眼失真校正和重力方向校正。此外，可在通常的运动图像和延时运动图像的再现之时，进行模糊校正。

为此，在图36和37的例子中，鱼眼失真校正按钮172、模糊校正按钮173和重力方向校正按钮174显示在图像区域171中，并且可由用户任意操作。

注意，作为例子，鱼眼失真校正按钮172、模糊校正按钮173和重力方向校正按钮174显示在图像区域171中，不过可以在图像区域171之外。

此外，在本例中，在图像再现期间显示这3个按钮，不过，可以考虑其中显示鱼眼失真校正按钮172和模糊校正按钮173这两者的例子，其中显示鱼眼失真校正按钮172和重力方向校正按钮174这两者的例子，以及其中显示它们之一的例子。

鱼眼失真校正按钮172允许用户指令再现图像的鱼眼失真校正的开启/关闭。

模糊校正按钮173允许用户指令再现图像的模糊校正的开启/关闭。

重力方向校正按钮174允许用户在进行移动再现图像的视点的操作时，指令重力方向校正的开启/关闭，以把重力方向维持向屏幕的下部。

<11.再现时的图像校正处理>

下面，说明当在应用画面170的图像区域171中，进行图像再现时的校正。

尽管鱼眼失真校正的方法将在后面详细说明，不过，这是利用天球模型，通过到输出坐标系的透视投影，将鱼眼图像变换成中心投影图像的处理。

例如，如图38A中所示再现的图像数据，换句话说，作为校正处理对象的输入图像200为矩形，并且具有圆形鱼眼图像201。该鱼眼图像201被投影到图38C中的作为天球模型的虚拟球面202上。

随后，切出投影到虚拟球面202上的区域211，校正鱼眼失真，以获取如图38E中所示的图像。

模糊校正用于在再现图像中，减少运动图像捕捉时的模糊，从而减少捕捉时，施加于成像设备1的相机抖动和振动的影响。在本实施例的情况下，由于待捕捉的图像数据是鱼眼图像，因此在鱼眼失真校正中反映模糊校正。

这里，在鱼眼图像中，如图38B中用箭头所示，模糊方向随位置而不同。就这样的模糊来说，通过按照模糊量，调整如图38C～38D中所示切出的区域211，可以获取其中在连续各帧中，如图38E和38F中所示，模糊被消除的图像。对于这样的处理，基于利用作为陀螺传感器126的检测值的姿态数据而获得的模糊量(校正角度)，校正虚拟球面202的切出位置。

重力方向校正是即使当进行再现期间显示的范围中的视点移动时，也防止重力方向的偏移的校正。在这种情况下，由于图像数据是鱼眼图像，因此重力方向校正也反映在鱼眼失真校正中。

如上所述，如果从虚拟球面202切出的区域211按照用户的操作，被向上、向下、向左和向右移动，那么用户可以任意变更待再现的视野方向。例如，通过应用画面170的图像区域171上的滑动操作、触控滑动操作等，可以变更视线方向。此时，重力方向被维持在屏幕的下部。

图39A表示重力方向不直接指向下方的状态。通过如图39B中所示，沿水平线显示此，在用户进行视野变更操作的情况下，可以提供易于查看的显示环境。

图40和41表示在进行这些校正的情况下的图像区域171的例子。

图40A表示不进行任何校正的状态。包括鱼眼图像的原始图像数据被原样显示。

在图40A的时刻，鱼眼失真校正按钮172、模糊校正按钮173和重力方向校正按钮174起开启操作器的作用。

当用户在再现期间，进行诸如触摸或点击鱼眼失真校正按钮172之类的操作(这种情况下，开启操作)时，鱼眼失真校正起作用，之后，如图40B中所示地显示经过鱼眼失真校正的再现图像。

注意，在本实施例中，可以彼此独立地开启/关闭鱼眼失真校正、模糊校正和重力方向校正，不过，模糊校正和重力方向校正在鱼眼失真校正开启时起作用。因而，由于在如图40A中所示，不进行鱼眼失真校正的时段中，模糊校正按钮173和重力方向校正按钮174的操作变得无效，因此可以考虑这些按钮不被显示。

或者，在图40A中所示的时刻，操作模糊校正按钮173的情况下，在鱼眼失真校正也被开启之后，可以进行模糊校正。类似地，在操作重力方向校正按钮174的情况下，可以开启鱼眼失真校正，随后可以进行重力方向校正。

在图40B的时刻，鱼眼失真校正按钮172起关闭操作器的作用，模糊校正按钮173和重力方向校正按钮174起开启操作器的作用。

在用户操作鱼眼失真校正按钮172(这种情况下，关闭操作)的情况下，处理返回图40A的鱼眼图像的再现。

当用户在图40B的状态下，操作模糊校正按钮173(开启操作)时，开始模糊校正功能，如图41A中所示，在鱼眼失真校正图像中，状态转变为模糊校正起作用的状态。模糊校正按钮173是关闭操作器。

当用户从图41A的状态，操作模糊校正按钮173(关闭操作)时，模糊校正功能终止，状态返回图40B的状态。

当用户从图41A的状态，操作重力方向校正按钮174(开启操作)时，开始重力方向校正功能，如图41B中所示，状态转变为鱼眼失真校正、模糊校正和重力方向校正都起作用的状态。重力方向校正按钮174是关闭操作器。

当用户从图41B的状态，操作重力方向校正按钮174(关闭操作)时，重力方向校正功能终止，状态返回图41A的状态。

当用户从图41B的状态，操作模糊校正按钮173(关闭操作)时，模糊校正功能终止。尽管图中未图示，不过在未进行模糊校正的情况下，重力方向校正处于工作状态。

另外在用户从图40B的状态，操作重力方向校正按钮174(开启操作)的情况下，类似地，在未进行模糊校正的情况下，重力方向校正起作用。

如上所述，在信息处理设备150中，在基于应用程序的图像数据的再现期间，用户可任意开启/关闭鱼眼失真校正、模糊校正和重力方向校正。这样，在查看运动图像或延时运动图像的时候，可以比较校正存在或不存在的状态。

注意，尽管将着重于以上3种校正，说明本实施例，不过，可以考虑其中作为校正功能，应用程序具有鱼眼失真校正和模糊校正的功能，而不具有重力方向校正功能的例子。

此外，作为校正功能，还可以考虑其中应用程序具有鱼眼失真校正和重力方向校正的功能，而不具有模糊校正功能的例子。

此外，还可以考虑其中应用程序不具有鱼眼失真校正功能，但是具有模糊校正功能和重力方向校正功能中的两个或一个的例子。

注意，在保存再现图像的情况下，可以考虑其中考虑上述3种校正的各种例子。

例如，每次在作为运动图像的图像数据的再现期间，操作各个校正按钮时，各个校正的开启/关闭状态变化，不过可以使包括各个校正的开启/关闭状态的时序变化的图像数据的保存成为可能。具体地，可以应用其中在场景1中进行开启模糊校正的操作，在下一个场景2中进行关闭模糊校正的操作的情况下，保存按照操作，切换各个场景的模糊校正的开启/关闭状态的状态的再现图像的构成。

此外，可以应用其中在进行保存再现图像的操作的情况下，可选择地呈现各个校正的开启/关闭状态，按照该选择的选择结果，对整个再现图像进行各个校正，并保存结果的构成。

关于再现图像的存储，可以在再现所述再现图像的同时，进行存储处理。这种情况下，由于在检查待保存的再现运动图像的同时，进行存储处理，可以防止处于非预期状态的再现图像被保存。

此外，可以在不进行再现图像的再现的情况下，进行存储处理。这种情况下，由于不进行再现图像的再现处理，因此可以减轻进行处理的设备(比如信息处理设备150)的处理负荷，并且可以实现各种校正处理以及再现图像的存储处理的效率提高。

<12.信息处理设备的功能构成>

下面参考图42和43，说明信息处理设备150中，由用于运动图像再现和编辑的应用程序实现的功能构成。

注意，图42和43中所示的各个方框是利用作为图21中所示的CPU 151、ROM 152和RAM 153的信息处理设备150的硬件资源，借助软件实现的功能(由CPU 151执行的处理功能)。

如图42中所示，作为用于运动图像再现和编辑的功能，信息处理设备150包括再现编辑控制单元300、记录再现处理单元301、图像校正处理单元302、显示控制单元303和操作检测器304。

再现编辑控制单元300具有控制各个单元，以便按照用户操作，使应用程序的操作前进的功能。

关于校正功能，再现编辑控制单元300指令图像校正处理单元302开启/关闭鱼眼失真校正、模糊校正和重力方向校正中的每一个。此外，关于这些校正功能，再现编辑控制单元300向图像校正处理单元302提供诸如输出坐标、变焦放大倍率、输出图像大小、平移角、倾斜角、滚转角之类的信息。

这里，输出坐标是从鱼眼图像生成的中心投影图像中的坐标。该中心投影图像包括排列在二维网格上的多个像素。此外，在中心投影图像中，沿预定方向(例如水平方向)排列的像素阵列被称为行。在输出坐标的供给中，依次选择每一行，作为输出坐标，顺序供给所选行中的像素的各个坐标。

此外，输出图像大小是中心投影图像的大小。变焦放大倍率指示输出图像大小与输出坐标平面之比。输出坐标平面是鱼眼图像的至少一部分通过透视投影，投影于其上的矩形投影平面，生成通过按变焦因子放大输出坐标平面而获得的图像，作为中心投影图像。平移角、倾斜角和滚转角将在后面说明。

记录再现处理单元301是对于图21的存储单元159进行记录和再现访问处理，以及对于驱动器161进行记录和再现访问处理的功能。具体地，记录再现处理单元301进行用于读取从成像设备1传送的，并保存在存储单元159中的图像数据和姿态数据，和把编辑后的图像数据、编辑信息等写入存储单元159的记录和再现访问。此外，记录再现处理单元301还可进行用于通过驱动器161，读取保存在存储器卡162中的图像数据和姿态数据，和把编辑后的图像数据、编辑信息等写入存储器卡162的记录和再现访问。

图像校正处理单元302可对由记录再现处理单元301从存储介质读取的图像数据，进行鱼眼失真校正、模糊校正、重力方向维持控制等。细节将在后面参考图43说明。

显示控制单元303是作为用于执行图21的显示器156上的显示的处理，供给必要的控制和显示数据的功能。具体地，它是执行如图36和37中所示的应用画面170的显示的功能。

操作检测器304进行检测来自包括键盘、鼠标、触摸面板等的图21的输入单元156的操作的处理。具体地，该功能是检测用户的再现操作和编辑操作。

图43中表示了图像校正处理单元302的构成例子。

图像校正处理单元302具有帧存储器320。在临时保存在帧存储器320中的同时，利用记录再现处理单元301的功能再现的图像数据(输入图像)的每一帧由图像转换单元321顺序处理。

图像转换单元321把鱼眼图像转换成中央投影图像。每次图像转换单元321从再现编辑控制单元300接收输出坐标时，图像转换单元321从帧存储器320，读出与输出坐标对应的读取坐标的像素值。读取坐标指示鱼眼图像中的坐标。

随后，图像转换单元321把读取的像素值作为中心投影图像中的输出坐标的像素值，提供给像素插值单元322。结果，鱼眼图像被转换成中心投影图像。

像素插值单元322根据需要，在中心投影图像中进行像素插值。例如，当放大部分或整个鱼眼图像时，像素插值单元322以亚像素精度，确定和插值必要的像素。在该插值中，使用诸如双线性插值算法、双立方插值算法或Lanzos插值算法之类的算法。像素插值单元322把通过进行像素插值而获得的中心投影图像提供给输出处理单元323。

输出处理单元323酌情对中心投影图像，进行在屏显示(OSD)处理、掩蔽处理、图像格式转换处理等。输出处理单元323把处理后的中心投影图像提供给图42中的显示控制单元303和记录再现处理单元301。

显示控制单元303进行控制，以把来自输出处理单元323的图像数据作为显示图像，显示在应用画面170的图像区域171中。

此外，在用户进行请求记录的操作的情况下，记录再现处理单元301把来自输出处理单元323的图像数据作为待记录的图像，提供给图21中的存储单元159或驱动器161，并进行记录控制。

注意，当再现编辑控制单元300指示鱼眼失真校正关闭时，图像转换单元321把临时保存在帧存储器320中的图像数据(输入图像)原样传送给像素插值单元322。这种情况下，显示或记录鱼眼图像。

设置坐标标准化单元351、旋转矩阵运算单元352、透视投影转换单元353和读取坐标输出单元354，以获得对应于输出坐标的读取坐标，用于鱼眼失真校正。

利用这些构成，每次供给输出坐标时，输出坐标都被转换成对应的读取坐标，随后被提供给图像转换单元321。

这里，将说明虚拟球面202与鱼眼图像201之间的关联。

如图44中所示，与包括鱼眼图像201的输入图像200平行的预定轴为x轴，与鱼眼图像201平行，且与x轴正交的轴为y轴。此外，与这些x轴和y轴正交的轴为z轴。x轴、y轴和z轴的原点例如是鱼眼图像201的中心。然后，以该原点为中心的半球的表面被假定为虚拟球面202。虚拟球面202表示由使用鱼眼透镜21的成像设备1成像的视野范围。

其原点为鱼眼图像201的中心的虚拟球面202被分割成网格。在所述分割中，例如，等间隔地分割虚拟球面202的纬度和经度。通过把分割的分割点(网格交点)203和204平行于Z轴投影到鱼眼图像上而获得的点的坐标是鱼眼图像上的坐标205和206。换句话说，坐标是读取坐标。

此外，输出图像与虚拟球面202之间的关联如下。

图45A表示输出坐标平面210的例子。

在鱼眼图像201中设定这样的矩形输出坐标平面210。

如图45B中所示，在初始状态下，输出坐标平面210被布置在例如其中心与鱼眼图像的中心一致，并且与虚拟球面202接触的位置处。

如图45B中所示，坐标标准化单元351在三维空间中布置(标准化)输出坐标平面210，以致输出坐标平面210在中间接触虚拟球面202的中心。

这种情况下，坐标标准化单元351基于从再现编辑控制单元300供给的变焦放大倍率和输出图像大小，使输出坐标标准化。例如，如图45A中所示，在中心投影图像的水平坐标为0～outh，而垂直坐标为0～outv的情况下，供给outh和outv作为输出图像大小。

坐标标准化单元351例如利用下式，使输出坐标标准化。

[式1]

z_norm＝1

其中r＝min(outh,outv)/2

在上面的(式1)中，min(A,B)是返回A和B中的较小者的函数。此外，“zoom”是变焦放大倍率，其中当鱼眼图像201的直径与输出坐标平面210的短边一致，并且与虚拟球面接触地布置输出坐标平面210(换句话说，投影平面)时的放大倍率为“1”。

此外，x_norm、y_norm和z_norm是标准化的x、y和z坐标。

坐标标准化单元351把标准化的输出坐标(x_norm、y_norm、z_norm)提供给旋转矩阵运算单元352。

按照各式(式1)，输出坐标被标准化成半径1.0的半球的球面上的坐标。

注意，尽管成像设备1按变焦放大倍率，放大鱼眼图像的至少一部分，不过，鱼眼图像的至少一部分可被缩小。当缩小时，控制单元150供给缩小率，而不是变焦放大倍率“zoom”。这种情况下，在上面的(式1)中，用缩小率替换“zoom”。

旋转矩阵运算单元352利用旋转矩阵运算，旋转输出坐标平面210，如图46A中所示。旋转矩阵运算单元352从再现编辑控制单元300接收平移角、倾斜角和滚转角。这里，平移角是绕x轴旋转输出坐标的旋转角度。此外，倾斜角是绕y轴旋转输出坐标的旋转角度，而滚转角是绕z轴旋转的旋转角度。

随后，旋转矩阵运算单元352例如按照下式，进行旋转矩阵运算。

[式2]

在上面的(式2)中，“Rt”是倾斜角，“Rr”是滚转角，“Rp”是平移角。此外，(xrot,yrot,zrot)是旋转之后的输出坐标。

旋转矩阵运算单元352把输出坐标(xrot,yrot,zrot)提供给透视投影转换单元353。

透视投影转换单元353对输出坐标进行透视投影转换。

如图46B中所示，输出坐标平面210被透视投影到天球表面上(区域211)。换句话说，确定当从输出坐标向天球的中心画直线时，与球面相交的点。如下计算各个坐标。

[式3]

R_x＝arctan2(y_sph、x_sph)

R_z＝arccos(z_sph)

在(式3)中,xsph、ysph和zsph是通过把输出坐标投影到虚拟天球面的表面上的坐标而获得的坐标。此外，arctan2(y,x)是返回连接(y,x)和原点的直线与x轴之间的角度的函数。此外，arccos表示正弦函数的逆函数。此外，Rx和Rz指示极坐标表示法的投影射影转换的输出坐标之中相对于x轴和z轴的角度。

透视投影转换单元353把经过投影射影转换的输出坐标(r,Rx,Rz)的(Rx,Rz)提供给读取坐标输出单元300。r表示极坐标系中的半径。不提供r的原因在于r是固定值(例如，“1”)。

读取坐标输出单元354把输出坐标转换成读取坐标，并把读取坐标输出给图像转换单元321。例如，考虑读取坐标输出单元354具有保存与输出坐标对应的读取坐标的鱼眼图像失真校正表，从鱼眼图像失真校正表获取读取坐标，并输出读取坐标。

鱼眼图像失真校正表与中心投影图像中的输出坐标关联地保存鱼眼图像中的读取坐标的全部或一部分的坐标。在保存一部分的坐标的情况下，当与输出坐标对应的读取坐标未被保存时，读取坐标输出单元354通过插值运算，计算并输出读取坐标。

图像转换单元321利用通过各个单元的上述处理而获得的读取坐标，从帧存储器320读取像素，从而可以获得经过鱼眼失真校正的输出图像。例如，从如图47A中所示的输入图像，可以切出区域211，以获得如图47B中所示的中心投影方式的输出图像。

即，在以上处理中，通过计算输出图像(2维)的各个像素的坐标对应于虚拟球面202上的何处，并把输入图像(鱼眼图像201)粘贴在

虚拟球面202上，获得输入图像与输出图像的各个坐标之间的关联关系。随后，从帧存储器320中的输入图像中，读取(切出)与对应于输出图像的区域211对应的像素，以获取经过鱼眼失真校正的输出图像。

下面，说明在如上所述的鱼眼失真校正的处理中进行的模糊校正。

模糊校正是通过在旋转矩阵运算单元352旋转输出坐标平面210时，应用从姿态数据(陀螺数据)计算的模糊校正分量实现的。

即使虚拟球面202上的区域211被固定，归因于成像时的模糊，在各帧中切出的区域(鱼眼图像201上的区域)中捕捉的被摄对象场景也会偏移。因而，为了从再现图像中消除模糊，与由于模糊而引起的成像视野方向的偏移相反地偏移切出的区域即可。

即，在各帧中，可以偏移区域211，以便消除成像设备1的姿态的变化即可。

图43中的姿态数据运算单元343例如进行如图22中所示的差分值的计算、陀螺数据的采样间隔的更新的计算、四元数的范数标准化的计算等。

模糊校正对应单元341根据从对应于目标帧的姿态数据获得的值，获得用于模糊校正的系数R，并将系数R提供给旋转矩阵运算单元352。

假定在当前帧的成像之时的成像设备1的姿态相对于矢量u，从初始姿态旋转θ。

表示抵消上述旋转的旋转的四元数q用下式表示。

[式4]

对应于该四元数的旋转矩阵R如下。

[式5]

通过利用该旋转矩阵R，把旋转矩阵运算单元352进行的上述(式2)的等式变成以下的(式6)，可以同时进行鱼眼失真校正和模糊校正。

[式6]

注意，在上述模糊校正中，优选判定视野变化的大小，并进行校正。例如，基于模糊量，判定是否成像设备1因振动而抖动，或者用户改变身体的方向。例如，在穿戴成像设备1的身体的定向被改变的情况下，自然存在相应于此的成像中的场景的变化。于是，还考虑在模糊量等于或大于预定量的情况下，暂时不进行模糊校正。

下面说明重力方向校正。

由于待再现和显示的输出图像是切出的鱼眼图像201的一部分，因此通过按照用户的操作，改变切出位置，可以在再现时改变图像的视野方向。

因而，再现编辑控制单元300可通过按照用户的操作(屏幕上的点击、滑动操作、平移/倾斜/滚转图标操作等)，改变提供给旋转矩阵运算单元352的平移角、倾斜角和滚转角，变更从鱼眼图像201的切出区域。即，显示的场景可被转变成左右方向和上下方向的场景，从而用户可以任意查看在鱼眼图像201中捕捉的范围中的被摄对象场景。

然而，当简单地按照用户的操作，变更视野方向时，再现图像的下部往往处于与成像时的重力方向不一致的状态。

例如，图48B表示其中再现显示的场景相对于重力倾斜的状况。

这是如图48A中所示，重力方向g偏离y轴方向的状态。

于是，重力方向校正是为了即使在再现期间，通过用户操作改变了视野，在显示的再现图像中也防止重力方向发生偏移。

具体地，进行以下的处理

·对齐重力方向与y轴

·只旋转平移和倾斜

结果，在校正的图像中，再现图像的向下方向可以总是垂直向下。

图48C表示重力方向g和y轴方向被对齐的状态。结果，如图48D中所示，可以获取其中重力方向g向下的再现图像。

对于该重力方向校正，图43中的重力方向校正对应单元342利用姿态数据中的加速度数据，计算待处理帧中的重力方向。

注意，为了稳定地获得加速度的方向，可以与S/N良好的角速度信息结合地使用扩展Kalman滤波器等。

随后，重力方向校正对应单元342把关于计算的重力方向g的信息提供给旋转矩阵运算单元352。

旋转矩阵运算单元352施加约束，以致当按照上面的(式2)或上面的(式6)进行旋转处理时，y轴与重力方向g一致。

在按照上面的(式2)进行旋转处理的情况下，通过使y轴与重力方向g一致，进行鱼眼失真校正和重力方向校正。

在按照上面的(式6)进行旋转处理的情况下，通过使y轴与重力方向g一致，进行鱼眼失真校正、模糊校正以及重力方向校正。

由上可知，图43中的图像校正处理单元302包括失真校正处理单元390，失真校正处理单元390进行把图像数据转换成中心投影式图像的失真校正处理。换句话说，坐标标准化单元351、旋转矩阵运算单元352、透视投影转换单元353、读取坐标输出单元354和图像转换单元321起失真校正处理单元390的作用。

此外，图像校正处理单元302包括模糊校正处理单元391，模糊校正处理单元391利用与图像数据的各帧对应的成像设备的姿态数据，进行减少出现在图像数据中的图像模糊的模糊校正处理。换句话说，姿态数据运算单元391、模糊校正对应单元341和旋转矩阵运算单元352起模糊校正处理单元391的作用。

此外，图像校正处理单元302包括重力方向校正处理单元392，重力方向校正处理单元392利用与图像数据的各帧对应的成像设备1的姿态数据，进行当在图像数据的再现显示期间视野被改变时，使重力方向在显示图像中保持恒定的重力方向校正。换句话说，姿态数据运算单元391、重力方向校正对应单元342和旋转矩阵运算单元352起重力方向校正处理单元392的作用。

<13.信息处理设备的处理例子>

下面，说明信息处理设备150中，由应用程序实现的处理例子。

图49和50表示按照图42的功能构成，在信息处理设备150中由图21的CPU 151执行的再现时的处理的例子。例如，它是当在图36或37中所示的应用画面170上进行图像再现时的处理。

这里，将说明其中再现运动图像(通常的运动图像或延时运动图像)的例子。

CPU 151在图49和50的步骤S700、S710、S720、S730、S740、S750、S760、S770、S780和S790，监视各种触发。

注意，图49中的“P1”连接到图50中的“P1”。此外，图50中的“P2”连接到图49中的“P2”。

例如，如果检测到用户已进行再现操作，那么CPU 151从步骤S700进入S701，以进行开始图像再现的控制。

此外，在步骤S702，CPU 151使校正操作器叠加显示在再现的运动图像上。这里，校正操作器是图40、41等中所示的鱼眼失真校正按钮172、模糊校正按钮173和重力方向校正按钮174。

在步骤S701和S702的控制下，例如，开始如图40A中所示的运动图像再现。注意，在再现开始之际，可以再现已应用鱼眼失真校正的运动图像，或者可以使模糊校正或重力方向校正有效。

此外，在过去已再现过同一运动图像的情况下，可维持前次再现时的最终校正开启/关闭状态并可开始再现。校正开启/关闭状态是其中鱼眼失真校正、模糊校正和重力方向校正中的每一个开启或关闭的状态。

在识别出用于终止再现的触发的情况下，例如，在用户进行再现停止操作的情况下，或者在运动图像再现到达最后一帧的情况下，CPU 151从步骤S710进入S711，以进行再现停止控制。这停止运动图像再现。

此外，在步骤S712，CPU 151终止图像上的校正操作器的显示。

此外，在步骤S713，CPU 151把再现终止时的校正开/关状态与运动图像内容关联地保存在例如存储单元159中。通过该处理，当在先前的步骤701中开始运动图像再现时，可以按前次再现终止时的校正开/关状态，进行再现。

当在运动图像再现期间，检测到鱼眼失真校正按钮172被开启时，CPU 151从步骤S720进入S721，以开始鱼眼失真校正。此外，在步骤S722，进行处理，以把显示中的鱼眼失真校正按钮172设定为关闭操作器。结果，例如如图40B中所示地显示再现中的运动图像。

在步骤S723，CPU 151进行作为鱼眼失真校正开始位置的标记处理。

标记处理例如是把帧号(时/分/秒/帧)保存为与再现中的运动图像内容对应的标记信息的处理。例如，鱼眼失真校正开始位置、鱼眼失真校正终止位置、模糊校正开始位置、和模糊校正终止位置的帧号被顺序保存为标记信息。例如，CPU 151把标记信息保存在存储单元159中，作为与运动图像内容对应的信息。

当在运动图像再现期间，检测到鱼眼失真校正按钮172被关闭时，CPU 151从步骤S730进入S731，以终止鱼眼失真校正。此外，在步骤S732，进行处理，以把显示中的鱼眼失真校正按钮172设定为开启操作器。结果，例如如图40A中所示地显示再现中的运动图像。

在步骤S733，CPU 151进行作为鱼眼失真校正终止位置的标记处理。

当在运动图像再现期间，检测到模糊校正按钮173被开启时，CPU 151从步骤S740进入步骤S741，以检查目前是否正在进行鱼眼失真校正。如果没有正在进行鱼眼失真校正，那么使模糊校正按钮173的开启操作无效(S741→否)。

如果目前正在进行鱼眼失真校正，那么CPU 151进入步骤S742，以开始模糊校正。此外，在步骤S743，进行处理，以把显示中的模糊校正按钮173设定为关闭操作器。结果，例如如图41A中所示，显示再现中的运动图像。

在步骤S744，CPU 151进行作为模糊校正开始位置的标记处理。

注意，这里，除非正在进行鱼眼失真校正，否则使模糊校正按钮173的开启操作无效，不过如果在没有正在进行鱼眼失真校正时，进行模糊校正按钮173的开启操作，那么可以一起开始鱼眼失真校正和模糊校正。

当在运动图像再现期间，检测到模糊校正按钮173被关闭时，CPU 151从图50中的步骤S750进入S751，以终止模糊校正。此外，在步骤S752，进行处理，以把显示中的模糊校正按钮173设定为开启操作器。结果，例如如图40B中所示地显示再现中的运动图像。

在步骤S753，CPU 151进行作为模糊校正终止位置的标记处理。

当在运动图像再现期间，检测到重力方向校正按钮174被开启时，CPU 151从步骤S760进入S761，以检查目前是否正在进行鱼眼失真校正。如果未进行鱼眼失真校正，那么使重力方向校正按钮174的开启操作无效(S761→否)。

如果目前正在进行鱼眼失真校正，那么CPU 151进入步骤S762，以开始重力方向校正。此外，在步骤S763，进行处理，以把显示中的重力方向校正按钮174设定为关闭操作器。结果，例如如图41B中所示地显示再现中的运动图像。

注意，这里，除非正在进行鱼眼失真校正，否则使重力方向校正按钮174的开启操作无效，不过如果在没有正在进行鱼眼失真校正时，进行重力方向校正按钮174的开启操作，那么可以开始鱼眼失真校正，然后可以开启重力方向校正。

当在运动图像再现期间，检测到重力方向校正按钮174被关闭时，CPU 151从步骤S770进入S771，以关闭重力方向校正。此外，在步骤S772，进行处理，以把显示中的重力方向校正按钮174设定为开启操作器。结果，例如如图40B或41A中所示地显示再现中的运动图像。

当在运动图像再现期间，检测到用户的视野变化操作时，CPU151从步骤S780进入S781，并取决于重力方向校正目前是否开启，使处理分支。如果重力方向校正关闭，那么处理进入步骤S782，生成与操作相应的平移角、倾斜角和滚转角，以旋转输出坐标平面210，从而变更切出区域211。

如果重力方向校正开启，那么处理进入步骤S783，与操作相应的平移角、倾斜角和滚转角受重力方向校正限制，随后旋转输出坐标平面210，以变更切出区域211。结果，即使如上所述变更视野，重力方向在显示上也不会偏移。

在运动图像再现或再现停止期间，检测到用户的记录操作的情况下，CPU 151从步骤S790进入步骤S791的记录处理。

该记录操作用于获得把作为如上所述再现的鱼眼图像的运动图像的图像数据，新近记录为反映校正的状态下的图像数据(校正和反映之后的运动图像内容)的操作。

图51表示了步骤S791的记录处理的例子。

在图51的步骤S801，CPU 151把当前的校正开/关状态设定为记录处理用信息。

当前的校正开/关状态是在记录操作时的鱼眼失真校正、模糊校正和重力方向校正的开/关状态。

如上所述，在查看再现的运动图像时，用户可以任意开/关鱼眼失真校正、模糊校正和重力方向校正。这使得可以检查已应用各种校正的显示状态。即，用户可检查对于正在查看的运动图像，期望哪种校正有效。

于是，在本实施例中，例如，在想要只对其进行了鱼眼失真校正的运动图像内容的情况下，用户在再现时仅开启了鱼眼失真校正的状态下，进行记录操作即可。类似地，例如，在想要经过鱼眼失真校正和模糊校正的运动图像内容的情况下，用户在再现时仅开启了鱼眼失真校正和模糊校正的状态下，进行记录操作即可。

注意，当前的校正开启/关闭状态可以在记录操作时由用户选择。例如，认为通过直到当时的再现，进行鱼眼失真校正和模糊校正两者是有效的用户在记录操作时，选择进行鱼眼失真校正和模糊校正两者。这种情况下，CPU 151在步骤S801，基于用户的操作，设定当前校正开启/关闭状态，作为用于记录处理的信息。

此外，还考虑用户不管以前的再现地选择图像数据(运动图像内容)，并对图像数据进行记录操作。在这种情况下，在步骤S801，可以使图像数据的最后再现时的校正开启/关闭状态成为当前校正开启/关闭状态，或者用户可以连同图像数据选择一起，选择校正开启/关闭状态。

在步骤S802，CPU 151对于直到当时要再现的图像数据，或者在记录操作期间单独指定的图像数据，开始从先导帧起的再现和校正。此外，在步骤S803，开始校正后的帧的记录。

即，对于来自原始鱼眼图像201的图像数据，创建作为已对其进行必要校正的新的图像数据的运动图像内容。

此外，由于在检查要保存的再现运动图像的时候，进行存储处理，因此可以防止处于非预期校正状态的再现图像被保存。

注意，步骤S802和S803的运动图像再现/校正/记录可以按照与通常的查看状态再现速度相似的方式进行(1×速度的再现和记录)，不过，可以进行高速再现/记录，以便在短时间内完成。

CPU 151在步骤S804，检查再现/记录是否到达最后一帧，当完成时，在步骤S805，终止再现/记录。

此外，可以只进行校正处理和存储处理，而不进行运动图像再现。这种情况下，由于不进行运动图像的再现处理，因此可以降低CPU151的处理负荷，可实现各种校正处理以及再现图像的存储处理的效率提高。

结果，用户可使信息处理设备150作为运动图像地再现由成像设备1捕捉的图像数据，此时，用户可以检查进行鱼眼失真校正、模糊校正和重力方向校正的状态，并通过指定任意校正状态，生成校正后状态的图像数据。

例如，利用成像设备1，在剧烈运动的状态下捕捉的图像数据是具有较大模糊的鱼眼图像的运动图像。在通过再现的运动图像确认这一点，并且认为经过鱼眼失真校正和模糊校正的图像更可取的情况下，通过记录操作，可以获取作为经过鱼眼失真校正，并且模糊减少的运动图像的新的图像数据。

下面，图52表示步骤S791的记录处理的另一个例子。这是利用标记信息的例子。

在图52的步骤S850，CPU 151获取关于对象的图像数据的标记信息。换句话说，它是关于在图像数据的运动图像再现期间，用户进行鱼眼失真校正和模糊校正的开启/关闭操作的帧位置的信息。

在步骤S851，CPU 151基于标记信息，设定用于对对象图像数据进行鱼眼失真校正和模糊校正的区间，并设定作为开启/关闭切换点的帧位置。

具体地，基于标记信息，掌握作为鱼眼失真校正的开启区间的开始帧/终止帧，和作为模糊校正的开启区间的开始帧/终止帧。随后，设定开启鱼眼失真校正的帧位置，和关闭鱼眼失真校正的帧位置。此外，设定开启模糊校正的帧位置，和关闭模糊校正的帧位置。当然，在一些情况下，这些切换点可以为0，或者为一个或多个点。

在步骤S852，CPU 151基于根据标记信息掌握的校正开启/关闭信息，进行在运动图像的起点的开启/关闭设定。

随后，在步骤S853，CPU 151对于直到当时待再现的图像数据，或者在记录操作期间单独指定的图像数据，开始从先导帧起的再现和校正。此外，在步骤S854，开始校正之后的帧的记录。即，对于来自原始鱼眼图像201的图像数据，创建作为已对其进行必要校正的新的图像数据的运动图像内容。

在步骤S855，CPU 151监视是否是预先设定的切换点。当再现的进度到达切换点时，CPU 151进入步骤S856，以按照切换点，开启或关闭鱼眼失真校正，或者开启或关闭模糊校正。

结果，在切换点之前和之后，鱼眼失真校正或模糊校正的执行状态被改变。

在步骤S857，CPU 151检查再现/记录是否到达了最后一帧，当结束时，CPU 151在步骤S858，终止再现/记录。

注意，步骤S853和S854的运动图像再现/校正/记录可以按照与通常的查看状态再现速度相似的方式进行(1×速度的再现和记录)，不过，可以进行高速再现/记录，以便在短时间内完成。

按照图52的记录处理，用户使信息处理设备150将利用成像设备1捕捉的图像数据再现为运动图像，此时，任意开启/关闭鱼眼失真校正和模糊校正，以致生成处于反映再现时的校正开启/关闭的状态的运动图像内容。

因而，例如，在运动图像的某个区间中，鱼眼失真校正被关闭的情况下，即使在待记录的运动图像的情况下，也可以获取其中在该区间中，未施加鱼眼失真校正的鱼眼图像的运动图像。此外，在只在某个区间中，开启鱼眼失真校正和模糊校正的情况下，对于该区间，可以获取其中模糊被减少的中心投影方式的运动图像。结果，用户可以可选择地设定鱼眼失真校正开启/关闭和模糊校正开启/关闭，从而创建其中反映所述设定的运动图像内容。

注意，尽管如图49和50中所示，进行标记处理，不过，标记信息优选可由用户的操作变更(帧位置可调整)。

例如，如果通过在查看再现的运动图像的时候，粗略地设定校正开启/关闭，和在记录之前调整标记信息，使得可以调整要经历鱼眼失真校正和模糊校正的区间，以及不经历鱼眼失真校正和模糊校正的区间，那么可以容易地生成期望的运动图像。

注意，在运动图像中，可以设定其中允许重力方向校正的区间。

例如，通过把重力方向校正的区间信息添加到待记录的运动图像中，可以生成即使在再现之时，进行视野变更操作，也防止重力方向偏移的运动图像。

为了设定这样的区间，例如，当在图50的步骤S762中，开启重力方向校正时，或者当在步骤S771中关闭重力方向校正时，可以进行标记处理。

<14.信息处理设备的总结>

如上所述，按照实施例的信息处理设备150包括：失真校正处理单元390，失真校正处理单元390进行把作为通过捕捉非中心投影方式的图像而获得的运动图像的图像数据转换成中心投影方式的图像的失真校正处理；和模糊校正处理单元391，模糊校正处理单元391进行对于经过失真校正处理的图像数据，利用成像设备1的姿态数据，减少图像数据中生成的图像模糊的模糊校正处理。

结果，可以向用户提供其中当再现或编辑作为通过捕捉非中心投影方式的图像而获得的运动图像的图像数据时，可容易地检查已进行失真校正和模糊校正的状态的环境。特别地，通过对失真校正后的图像数据进行模糊校正，能够在可易于查看的状态下提供模糊校正后的运动图像。

此外，实施例的信息处理设备150包括：失真校正处理单元390、模糊校正处理单元391、和控制失真校正处理单元390的失真校正处理的进行/停止以及模糊校正处理单元391的模糊校正处理的进行/停止的再现编辑控制单元300。

待再现的图像数据是作为非中心投影图像的运动图像，覆盖宽视野范围的场景的图像。这种情况下，通过任意允许鱼眼失真校正和模糊校正，可以向用户提供多样的高质量显示。

随后，由于可以向用户提供其中当再现或编辑作为通过捕捉非中心投影方式的图像而获得的运动图像的图像数据时，可容易地检查已进行鱼眼失真校正和模糊校正的状态的环境，因此这对于再现和编辑来说是可取的。

按照实施例的信息处理设备150被配置成在再现和显示图像数据时，控制失真校正处理的开/关，和模糊校正处理的开/关。

在图像数据被再现之时，即，当在进行运动图像再现时，分别进行失真校正和模糊校正，或者停止校正处理。

结果，用户可在再现的运动图像上查看进行鱼眼失真校正的状态，和不进行鱼眼失真校正的状态。此外，用户可在再现的运动图像上查看进行模糊校正的状态，和不进行模糊校正的状态。

此外，在再现或编辑时，可以检查是否是其中适合于进行鱼眼失真校正的运动图像，以及是否是其中适合于进行模糊校正的运动图像。

在实施例中，当再现和显示图像数据时，使鱼眼失真校正按钮172可操作，按照操作信息，控制鱼眼失真校正处理的开启和关闭。

结果，在查看再现的图像的时候，用户可以视情况实时启动或停止鱼眼失真校正。特别地，用户可以运动图像中的每个场景地测试鱼眼失真校正将用于哪种图像。

在实施例中，当再现和显示图像数据时，使模糊校正按钮172可操作，按照操作信息，控制模糊校正处理的开启和关闭。

结果，在查看再现图像时，用户可以实时可选地启动或停止模糊校正。特别地，用户可以运动图像中的每个场景地测试模糊校正将用于哪种图像。

在实施例中，当再现和显示图像数据时，可以彼此独立地操作鱼眼失真校正按钮172和模糊校正按钮173。

在查看再现图像的时候，用户可以实时任意启动或停止鱼眼失真校正和模糊校正。

在实施例中，在进行失真校正处理的时候，可以进行模糊校正处理。即，在输出没有进行鱼眼失真校正处理的鱼眼图像的情况下，使模糊校正不起作用。

当在处于鱼眼失真校正状态的图像中，模糊校正有效的时候，在未经历鱼眼失真校正的鱼眼图像的情况下，用户无法准确识别模糊校正效果。于是，只能在已进行鱼眼失真校正的情况下进行模糊校正。

此外，如上所述，模糊校正是通过利用用于鱼眼失真校正的输出坐标平面210的旋转处理进行的，从而实现高效的功能构成。这种情况下，优选与鱼眼失真校正同时进行模糊校正。

在实施例中，信息处理设备包括重力方向校正处理单元392，重力方向校正处理单元392利用与图像数据的各帧对应的成像设备的姿态数据，进行当在图像数据的再现显示期间，视野被改变时，在显示的图像中使重力方向保持恒定的重力方向校正处理，和再现编辑控制单元300，再现编辑控制单元300控制重力方向校正处理单元392的重力方向校正处理的开启/关闭。

在图像数据的再现显示中，可按照用户操作，改变视野。这种情况下，如果随着用户操作改变视野，那么显示图像中的重力方向可能不与显示图像的下方一致。于是，在显示图像中使重力方向保持恒定。这使得即使进行视野改变操作时，也可以维持易于查看的状态，实现良好的再现显示，并且使视野改变操作也易于操作。

在实施例中，当再现和显示图像数据时，使重力方向校正按钮174可操作，按照操作信息，控制重力方向校正处理的开启和关闭。

结果，在查看再现的图像的时候，用户可以任意启动或停止重力方向校正。

在实施例中，当再现和显示图像数据时，可以彼此独立地操作失真校正操作器、模糊校正操作器和重力方向校正操作器。

结果，在查看再现图像时，用户可以实时地任意启动或停止失真校正、模糊校正和重力方向校正。

在实施例中，在进行鱼眼失真校正处理的时候，可以进行重力方向校正处理。在输出未进行失真校正处理的非中心投影方式的图像的情况下，使重力方向校正不起作用。

在未经历鱼眼失真校正的鱼眼图像的情况下，用户无法准确地识别重力方向校正的效果。于是，只能在已进行鱼眼失真校正的情况下进行重力方向校正。

此外，重力方向校正是通过调整用于鱼眼失真校正的输出坐标平面210的旋转处理进行的，从而实现高效的功能构成。这种情况下，优选与鱼眼失真校正同时进行重力方向校正。

在实施例中，对于作为通过捕捉非中心投影方式的图像而获得的运动图像的原始图像数据，生成经过失真校正处理单元390的失真校正处理和/或模糊校正处理单元391的模糊校正处理的图像数据，并进行控制，以把该图像数据记录在记录介质上(参见图51和52)。

换句话说，对于作为非中心投影方式的图像的运动图像的原始图像数据，生成作为对其进行失真校正处理和/或模糊校正处理的运动图像的新的图像数据，并记录该图像数据。结果，用户可容易地创建经过鱼眼失真校正和模糊校正中的一个或两个的图像数据(运动图像内容)。

在实施例中，按照关于在原始图像数据的再现显示之时，是否进行失真校正处理和模糊校正处理的信息，设定记录时的失真校正处理和模糊校正处理的开启/关闭(参见图51)。

在原始图像数据的再现之时，依据用户的指令，开启/关闭各个校正。按照在再现之时的用户设定(是否进行各种校正)，设定是否进行记录时的校正。

结果，通过决定在再现的图像中要采用的校正处理，并进行记录操作，用户可以获得期望的图像数据(运动图像内容)。

在实施例中，基于关于原始图像数据的指示其中进行失真校正处理的区间，和其中进行模糊校正处理的区间的信息，控制记录时的失真校正处理和模糊校正处理的开启/关闭(参见图52)。

例如，添加标记信息，以便指示在原始图像数据的再现之时，其中进行失真校正或模糊校正的区间。在记录之时，利用该标记信息，进行校正的开启/关闭控制。

当用户在图像再现期间，任意开启/关闭鱼眼失真校正和模糊校正时，添加标记信息。通过利用这种方式，可以知道运动图像中其中已进行鱼眼失真校正的区间，和其中已进行模糊校正的区间。于是，和图52的例子中一样，按照再现之时对于每个区间的校正的有无，切换鱼眼失真校正和模糊校正的开启/关闭。结果，可以容易地生成反映在再现期间设定的校正的有无的运动图像内容。

按照本发明的实施例的程序是使信息处理设备150的CPU 151进行在作为通过捕捉非中心投影方式的图像而获取的运动图像的图像数据的再现期间，使鱼眼失真校正操作器(鱼眼失真校正按钮172)和模糊校正操作器(模糊校正按钮173)的操作成为可能的步骤(S702、S722、S732、S743或S752)，响应在运动图像再现期间，利用鱼眼失真校正操作器的校正进行指令的操作的进行，使经过失真校正处理的再现显示得以进行的步骤(S721)，和响应在运动图像再现期间，利用模糊校正操作器的校正进行指令的操作的进行，使经过模糊校正处理的再现显示得以进行的步骤(S742)。

具体地，它是使CPU 151执行图49、50、51或52的处理的程序。

这样的程序便利本实施例的信息处理设备150的实现。

这样的程序可被预先保存在并入诸如计算机设备之类的设备中的记录介质、具有CPU的微计算机中的ROM等中。或者，它可被临时或永久容纳(保存)在诸如半导体存储器、存储器卡、光盘、磁光盘或磁盘之类的可拆卸记录介质中。此外，可以所谓的套装软件的形式，提供这样的可拆卸记录介质。

此外，这样的程序可以从可拆卸记录介质安装到个人计算机等，或者也可通过诸如LAN或因特网之类的网络，从下载站点下载。

<15.应用例>

按照本公开的技术可应用于各种产品。例如，按照本公开的技术可应用于手术室系统。

图53是示意表示按照本公开的技术可应用于的手术室系统5100的总体构成的示图。参见图53，手术室系统5100被构造成以致安装在手术室中的设备通过AV控制器5107和手术室控制设备5109连接，以便能够相互协同。

在手术室中可安装各种设备。在图53中，例如，表示了用于内窥镜手术的各种设备的设备组5101、设置在手术室的天花板上、对外科医生的手成像的天花板相机5187、设置在手术室的天花板上，对整个手术室的状况成像的术野相机5189、多个显示设备5103A-5103D、记录器5105、病床5183和照明5191。

这里，在这些设备之中，设备组5101属于下面说明的内窥镜手术系统5113，并包括内窥镜、显示内窥镜捕捉的图像的显示设备等。属于内窥镜手术系统5113的各个设备也被称为医疗器械。另一方面，显示设备5103A-5103D、记录器5105、病床5183和照明5191是与内窥镜手术系统5113分离地设置在例如手术室中的设备。不属于内窥镜手术系统5113的各个设备也被称为非医疗器械。AV控制器5107和/或手术室控制设备5109相互协同，以控制医疗器械和非医疗器械的操作。

AV控制器5107集中控制医疗器械和非医疗器械中的与图像显示相关的处理。具体地，在包含在手术室系统5100中的设备之中，设备组5101、天花板相机5187和术野相机5189可以是具有发送要在手术期间显示的信息(下面也称为显示信息)的功能的设备(下面也被称为发送源设备)。此外，显示设备5103A-5103D可以是显示信息被输出给的设备(下面也称为输出目的地设备)。此外，记录器5105可以是对应于发送源设备和输出目的地设备两者的设备。AV控制器5107具有控制发送源设备和输出目的地设备的操作，从发送源设备获取显示信息，把显示信息发送给输出目的地设备，和导致显示信息的显示或记录的功能。注意，显示信息是在手术期间捕捉的各种图像与手术相关的各种信息(例如，患者的身体信息，关于过去的检查结果的信息，关于手术方式的信息等)。

具体地，与利用内窥镜捕捉的患者的体腔中的手术区的图像有关的信息，可作为显示信息从设备组5101发送给AV控制器5107。此外，与利用天花板相机5187捕捉的手术者的手的图像有关的信息，可作为显示信息从天花板相机5187发送。此外，与利用术野相机5189捕捉的，指示整个手术室的状况的图像有关的信息，可作为显示信息从术野相机5189发送。注意，在手术室系统5100中，存在具有成像功能的其他设备的情况下，AV控制器5107可从所述其他设备，作为显示信息地获取与利用所述其他设备捕捉的图像有关的信息。

或者，例如，AV控制器5107把与过去捕捉的这些图像有关的信息记录在记录器5105中。AV控制器5107可从记录器5105，获取与过去捕捉的图像有关的信息，作为显示信息。注意，与手术有关的各种信息可被预先记录在记录器5105中。

AV控制器5107使作为输出目的地设备的显示设备5103A-5103D至少之一，显示获取的显示信息(换句话说，在手术期间拍摄的图像，和与手术相关的各种信息)。在图解所示的例子中，显示设备5103A是从手术室的天花板悬挂的显示设备，显示设备5103B是安装在手术室的墙面上的显示设备，显示设备5103C是安装在手术室中的桌子上的显示设备，显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。

此外，尽管图53中未图示，不过，手术室系统5100可包括在手术室外的设备。在手术室外的设备的例子包括连接到在医院之内或之外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这类外部设备在医院之外的情况下，AV控制器5107还可通过视频会议系统等，使显示信息显示在其他医院的显示设备上，以进行远程医疗。

手术室控制设备5109集中控制非医疗器械中的除与图像显示相关的处理之外的处理。例如，手术室控制设备5109控制病床5183、天花板相机5187、术野相机5189和照明5191的驱动。

手术室系统5100设置有集中操作面板5111，通过集中操作面板5111，用户可以向AV控制器5107发出关于图像显示的指令，和向手术室控制设备5109发出关于非医疗器械的操作的指令。集中操作面板5111在显示设备的显示面上设置有触摸面板。

图54是表示集中操作面板5111上的操作画面的显示例子的示图。例如，图54表示与在手术室系统5100中，设置2个显示设备作为输出目的地设备的情况对应的操作画面。参见图54，操作画面5193设置有发送源选择区5195、预览区5197和控制区5201。

发送源选择区5195中，彼此关联地显示设置在手术室系统5100中的发送源设备，和表示发送源设备的显示信息的缩略图画面。用户可从显示在发送源选择区5195中的任意发送源设备中，选择要显示在显示设备上的显示信息。

在预览区5197中，显示在作为输出目的地设备的2个显示设备(监视器1和监视器2)上显示的画面的预览。在图解所示的例子中，在1个显示设备上，PinP地显示4个图像。这4个图像对应于从在发送源选择区5195中选择的发送源设备发送的显示信息。在这4个图像中，1个图像是较大地显示的，作为主图像，剩余的3个图像是较小地显示的，作为子图像。通过适当地选择其中显示这4个图像的区域，用户可以替换主图像和子图像。此外，在其中显示这4个图像的区域下面，设置状态显示区5199，在该区域中，可以适当地显示与手术相关的状态(例如，手术的经过时间、患者的身体信息等)。

控制区5201设置有发送源操作区5203和输出目的地操作区5205，在发送源操作区5203中，显示用于对发送源设备进行操作的图形用户界面(GUI)组件，在输出目的地操作区5205中，显示用于对输出目的地设备进行操作的GUI组件。在图解所示的例子中，发送源操作区5203设置有用于对具有成像功能的发送源设备中的相机进行各种操作(平移、倾斜和变焦)的GUI组件。通过适当选择这些GUI组件，用户可操纵发送源设备中的相机的操作。注意，尽管图示被省略，不过当在发送源选择区5195中选择的发送源设备是记录器时(换句话说，当过去记录在记录器中的图像被显示在预览区5197中时)，发送源操作区5203可设置有用于进行诸如该图像的再现、再现停止、倒带、快进之类操作的GUI组件。

此外，输出目的地操作区5205设置有用于对作为输出目的地设备的显示设备上的显示，进行各种操作(交换、翻转、颜色调整、对比度调整和在2D显示与3D显示之间切换)的GUI组件。通过适当选择这些GUI组件，用户可操作显示设备上的显示。

注意，显示在集中操作面板5111上的操作画面不限于图解所示的例子，通过集中操作面板5111，用户可对设置在手术室系统5100中，可由AV控制器5107和手术室控制设备5109控制的各个设备进行操作输入。

图55是表示上述手术室系统应用于的手术的状态的例子的示图。天花板相机5187和术野相机5189设置在手术室的天花板上，能够拍摄对病床5183上的患者5185的患处进行治疗的外科医生(医师)5181的手，和整个手术室的图像。天花板相机5187和术野相机5189可具备放大倍率调整功能、焦距调整功能、成像方向调整功能等。照明5191设置在手术室的天花板上，至少照射外科医生5181的手。照明5191能够适当地调整照射光量、照射光的波长(颜色)、光的照射方向等。

如图53中所示，内窥镜手术系统5113、病床5183、天花板相机5187、术野相机5189和照明5191通过AV控制器5107和手术室控制设备5109(图55中未图示)连接，以便相互协同。集中操作面板5111设置在手术室中，如上所述，通过集中操作面板5111，用户可适当地操作位于手术室中的这些设备。

下面，详细说明内窥镜手术系统5113的构成。如图中所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支持内窥镜5115的支持臂设备5141、和手推车5151，用于内窥镜手术的各种设备放置在手推车5151上。

在内窥镜手术中，代替切开腹壁，从而打开腹壁，称为套管针5139a-5139d的多个筒状打开工具穿刺到腹壁中。随后，内窥镜5115的镜筒5117和其他手术工具5131从套管针5139a-5139d，被***患者5185的体腔中。在图解所示的例子中，作为其他手术工具5131，吹入管5133、能量治疗仪器5135和手术钳5137被***患者5185的体腔中。此外，能量治疗仪器5135是利用高频电流或超声波振动，进行组织的切开和剥离、血管的闭合等的治疗工具。不过，例示的手术工具5131仅仅是例子，作为手术工具5131，例如可以使用通常用于内窥镜手术的各种手术工具，比如手术钳和牵开器。

利用内窥镜5115拍摄的患者5185的体腔中的手术区的图像被显示在显示设备5155上。在查看实时显示在显示设备5155上的手术区的图像的同时，外科医生5181利用能量治疗仪器5135和手术钳5137，进行诸如患处的切除之类的治疗。注意，尽管图示被省略，不过，吹入管5133、能量治疗仪器5135和手术钳5137在手术期间，由外科医生5181、助手等支持。

(支持臂设备)

支持臂设备5141包括从基座5143伸出的臂5145。在图解所示的例子中，臂5145包括关节5147a、5147b及5147c，和连杆5149a及5149b，由来自臂控制设备5159的控制所驱动。内窥镜5115由臂5145支持，从而内窥镜5115的位置和姿态被控制。结果，能够实现内窥镜5115的稳定位置固定。

(内窥镜)

内窥镜5115包括从远端起预定长度的区域被***患者5185的体腔中的镜筒5117，和连接到镜筒5117的近端的相机头5119。在图中所示的例子中，例示了作为具有刚性镜筒5117的所谓刚性镜形成的内窥镜5115。不过，内窥镜5115也可形成为具有柔性镜筒5117的所谓柔性镜。

在镜筒5117的顶端，设置其中安装物镜的开口部分。光源设备5157连接到内窥镜5115，光源设备5157产生的光由在镜筒5117内部延伸的光导管引导到镜筒的远端，通过物镜射向患者5185的体腔中的观察目标。注意，内窥镜5115可以是直视镜、斜视镜或者侧视镜。

在相机头5119的内部，设置光学系统和成像元件，来自观察目标的反射光(观察光)由光学系统会聚到成像元件上。观察光由成像元件光电转换，生成与观察光对应的电信号，即，对应于观察图像的图像信号。该图像信号作为RAW数据被发送给相机控制单元(CCU)5153。注意，相机头5119具有通过适当驱动光学系统，调整放大倍率和焦距的功能。

注意，例如，为了应付立体视觉(3D显示)等，例如，可在相机头5119中设置多个成像元件。这种情况下，在镜筒5117内部，设置多个中继光学系统，以把观察光导引到多个成像元件中的每一个。

(安装在手推车中的各个设备)

CCU 5153包括中央处理器(CPU)或图形处理器(GPU)等，集中控制内窥镜5115和显示设备5155的操作。具体地，CCU 5153对从相机头5119接收的图像信号，进行用于显示基于该图像信号的图像的各种图像处理，比如显影处理(去马赛克处理)。CCU 5153把经过图像处理的图像信号提供给显示设备5155。此外，图53中所示的AV控制器5107连接到CCU 5153。CCU 5153还把经过图像处理的图像信号提供给AV控制器5107。此外，CCU 5153向相机头5119发送控制信号，控制相机头5119的驱动。所述控制信号可包含与诸如放大倍率和焦距之类的成像条件关联的信息。所述与成像条件关联的信息可通过输入设备5161输入，或者可通过上述集中操作面板5111输入。

显示设备5155在CCU 5153的控制下，显示基于已经过CCU5153的图像处理的图像信号的图像。例如，在内窥镜5115对应于诸如4K(3840水平像素×2160垂直像素)或8K(7680水平像素×4320垂直像素)之类的高分辨率拍摄，和/或3D显示的情况下，可以使用分别对应地能够进行高分辨率显示的设备和/或能够进行3D显示的设备，作为显示设备5155。在对应于诸如4K或8K之类的高分辨率拍摄的情况下，通过利用55英寸或更大的尺寸的显示设备5155，可以获得进一步的沉浸感。此外，可取决于应用，设置具有不同分辨率和尺寸的多个显示设备5155。

光源设备5157例如包括诸如发光二极管(LED)之类的光源，并在拍摄手术区等时，向内窥镜5115提供照射光。

臂控制设备5159例如包括诸如CPU之类的处理器，按照预定程序工作，以按照预定控制方式，控制支持臂设备5141的臂5145的驱动。

输入设备5161是内窥镜手术系统5113的输入接口。通过输入设备5161，用户可向内窥镜手术系统5113，输入各种信息，和输入指令。例如，通过输入设备5161，用户可输入与手术相关的各种信息，比如患者的身体信息，和关于手术过程的信息。此外，例如，通过输入设备5161，用户输入驱动臂5145的指令，改变内窥镜5115的成像条件(照射光的种类、放大倍率、焦距等)的指令，驱动能量治疗仪器5135的指令等。

输入设备5161的类型不受限制，输入设备5161可以是各种已知的输入设备。例如，鼠标、键盘、触摸面板、开关、脚踏开关5171和/或控制杆等可以用作输入设备5161。在使用触摸面板作为输入设备5161的情况下，触摸面板可被设置在显示设备5155的显示面上。

或者，输入设备5161是用户穿戴的设备，比如眼镜式可穿戴设备或头戴式显示器(HMD)，按照利用这些设备检测到的用户的手势或视线，进行各种输入。此外，输入设备5161包括能够检测用户的运动的相机，按照从利用所述相机捕捉的视频中检测到的用户的手势和视线，进行各种输入。此外，输入设备5161包括能够拾取用户的语音的麦克风，通过麦克风，利用音频进行各种输入。这样，利用其中能够不接触地输入各种信息的输入设备5161的构成，属于洁净区的用户(例如，外科医生5181)可不接触地操作属于非洁净区的设备。此外，由于用户可以在不从他/她的手中放下手术工具的情况下，操作所述设备，因此改善了用户的便利性。

治疗仪器控制设备5163控制用于烧灼组织、切开切口，闭合血管等的能量治疗仪器5135的驱动。为了确保内窥镜5115的视野，和确保外科医生的工作空间，气腹设备5165通过吹入管5133，将气体送入患者5185的体腔中，以使体腔膨胀。记录器5167是能够记录与手术关联的各种信息的设备。打印机5169是能够以各种格式，比如文本、图像和图形，打印与手术关联的各种信息的设备。

下面，更详细地说明内窥镜手术系统5113的特有特征。

(支持臂设备)

支持臂设备5141包括作为基座台的基座5143，和从基座5143伸出的臂5145。在图解所示的例子中，臂5145包括多个关节5147a、5147b及5147c，和通过关节5147b耦接的多个连杆5149a及5149b。然而，在图55中，为了简单起见，简化地表示了臂5145的构成。实际上，关节5147a-5147c和连杆5149a及5149b的形状、数量和布置，关节5147a-5147c的旋转轴的方向等可被适当设定，以致臂5145具有期望的自由度。例如，臂5145优选可被配置成具有6个或更多个自由度。结果，可在臂5145的可移动范围内自由移动内窥镜5115，以致能够从期望的方向，把内窥镜5115的镜筒5117***患者5185的体腔中。

关节5147a-5147c设置有致动器，关节5147a-5147c被配置成通过驱动致动器，可绕预定旋转轴转动。致动器的驱动由臂控制设备5159控制，以控制关节5147a-5147c的转动角度，从而控制臂5145的驱动。结果可实现内窥镜5115的位置和姿态的控制。此时，臂控制设备5159可利用各种已知的控制方式，比如力控制或位置控制，控制臂5145的驱动。

例如，当外科医生5181通过输入设备5161(包括脚踏开关5171)，适当地输入操作时，臂控制设备5159可按照所述操作输入，适当地控制臂5145的驱动，从而可控制内窥镜5115的位置和姿态。按照所述控制，在把位于臂5145的顶端的内窥镜5115从任意位置移动到任意位置之后，内窥镜5115可被固定地支持在移动后的位置。注意，可利用所谓的主-从方式，操纵臂5145。这种情况下，用户可通过安装在远离手术室的地方的输入设备5161，远程控制臂5145。

此外，在应用力控制的情况下，臂控制设备5159可进行所谓的助力控制，用于驱动各个关节5147a-5147c的致动器，以致接收来自用户的外力，臂5145跟随外力平滑移动。结果，当用户在直接接触臂5145的时候，移动臂5145时，可以用较轻的力移动臂5145。因而，能够利用更简单的操作，更直观地移动内窥镜5115，从而能够改善用户的便利性。

这里，通常，在内窥镜手术中，内窥镜5115由称为内镜医师(scopist)的医生支持。另一方面，通过利用支持臂设备5141，能够在无手动操作的情况下，更可靠地固定内窥镜5115的位置，以致能够稳定地获得手术区的图像，可以平稳地进行手术。

注意，臂控制设备5159不一定设置在手推车5151上。此外，臂控制设备5159不一定是一个设备。例如，臂控制设备5159可被设置在支持臂设备5141的臂5145的各个关节5147a-5147c，多个臂控制设备5159可相互协同，以控制臂5145的驱动。

(光源设备)

光源设备5157向内窥镜5115提供用于拍摄手术区的照明光。例如，光源设备5157包括白光光源，白光光源包括LED、激光光源或者它们的组合。此时，在白光光源由RGB激光光源的组合构成的情况下，由于可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，因此可以进行利用光源设备5157的捕捉图像的白平衡的调整。此外，这种情况下，来自各个RGB激光光源的激光被分时照射到观察目标，并且与发射定时同步地控制相机头5119的成像元件的驱动，以致可以分时地对与各个RGB对应的图像成像。按照这种方法，在未在成像元件中设置滤色器的情况下，也可获得彩色图像。

此外，可以控制光源设备5157，以每隔预定时间地改变待输出的光的强度。与光的强度的变化定时同步地控制相机头5119的成像元件的驱动，分时地获得图像，并合成这些图像，以致可以生成其中不存在所谓的晕光和黑色缺陷的高动态图像。

此外，光源设备5157可被配置成能够供给与特殊光观察对应的预定波段的光。在特殊光观察中，例如，利用身体组织中的光吸收的波长相关性，发射与普通观察时的照射光(换句话说，白光)相比波段更窄的光，以致进行高对比度的诸如黏膜表层中的血管之类的预定组织的拍摄，所谓的窄带光观察(窄带成像)。或者，在特殊光观察中，可以进行利用通过发射激发光而产生的荧光，获得图像的荧光观察。在荧光观察中，可以用激发光照射身体组织，以观察来自身体组织的荧光(自发荧光观察)，或者例如，把诸如吲哚菁绿(ICG)之类的试剂注入身体组织中，并用与所述试剂的荧光波长对应的激发光照射所述身体组织，以获得荧光图像。光源设备5157可被配置成能够供给与这类特殊光观察对应的窄带光和/或激发光。

(相机头和CCU)

参考图56，更详细地说明内窥镜5115的相机头5119和CCU5153的功能。图56是表示图55中所示的相机头5119和CCU 5153的功能构成的例子的方框图。

参见图56，作为其功能，相机头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。此外，作为其功能，CCU 5153也具有通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过传输缆线5179可双向通信地相互连接。

首先，说明相机头5119的功能构成。透镜单元5121是设置在与镜筒5117的连接部分的光学系统。从镜筒5117的远端接收的观察光被引导到相机头5119，入射到透镜单元5121。透镜单元5121是通过组合多个透镜，包括变焦透镜和聚焦透镜构成的。透镜单元5121的光学特性被调整，以便把观察光会聚在成像单元5123的成像元件的受光面上。此外，变焦透镜和聚焦透镜被配置成以致在光轴J上的位置可移动，以便调整捕捉的图像的放大倍率和焦点。

成像单元5123包括成像元件，被布置在透镜单元5121的下一级。通过透镜单元5121的观察光会聚在成像元件的受光面上，通过光电转换，生成与观测图像对应的图像信号。成像单元5123生成的图像信号被提供给通信单元5127。

作为包含在成像单元5123中的成像元件，例如，使用具有Bayer排列，能够进行彩色拍摄的互补金属氧化物半导体(CMOS)式的图像传感器。注意，作为成像元件，例如，可以使用能够与4K或更高的高分辨率图像的拍摄对应的成像元件。通过获取手术区的高分辨率图像，外科医生5181可更详细地掌握手术区的状况，从而能够更平稳地进行手术。

此外，包括在成像单元5123中的成像元件具有用于分别获取与三维(3D)显示对应的右眼和左眼图像信号的一对成像元件。通过3D显示，外科医生5181可更精确地把握手术区中的活体组织的深度。注意，在成像单元5123是多板式成像单元的情况下，对应于各个成像元件，可以设置多个透镜单元5121。

此外，成像单元5123不一定设置在相机头5119中。例如，成像单元5123可以刚好在物镜之后地设置在镜筒5117内。

驱动单元5125包括致动器，在相机头控制单元5129的控制下，沿着光轴J把透镜单元5121的变焦透镜和聚焦透镜移动预定距离。结果，可适当调整成像单元5123捕捉的图像的放大倍率和焦点。

通信单元5127包括往来于CCU 5153，发送和接收各种信息的通信设备。通信单元5127通过传输缆线5179，把从成像单元5123获取的图像信号，作为RAW数据发送给CCU5153。此时，为了等待时间短地显示手术区的捕捉图像，优选利用光通信发送图像信号。这是因为在手术期间，外科医生5181一边通过捕捉的图像，观察患处的状况，一边进行手术，从而为了手术更安全和更可靠，要求尽可能实时地显示手术区的运动图像。在进行光通信的情况下，通信单元5127设置有把电信号转换成光信号的光电转换模块。图像信号由光电转换模块转换成光信号，随后通过传输缆线5179，被发送给CCU5153。

此外，通信单元5127从CCU 5153，接收用于控制相机头5119的驱动的控制信号。例如，该控制信号可包括与成像条件关联的信息，比如指定成像图像的帧速率的信息，指定成像时的曝光值的信息，和/或指定捕捉的图像的放大倍率和焦点的信息。通信单元5127把接收的控制信号提供给相机头控制单元5129。注意，来自CCU 5153的控制信号也可利用光通信发送。这种情况下，通信单元5127设置有把光信号转换成电信号的光电转换模块，控制信号由该光电转换模块转换成电信号，随后被提供给相机头控制单元5129。

注意，诸如帧速率、曝光值、放大倍率和焦点之类的上述成像条件由CCU 5153的控制单元5177基于获取的图像信号自动设定。即，在内窥镜5115中设有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5129基于通过通信单元5127，从CCU 5153接收的控制信号，控制相机头5119的驱动。例如，相机头控制单元5129基于指定捕捉的图像的帧速率的信息，和/或指定成像时的曝光的信息，控制成像单元5123的成像元件的驱动。此外，例如，相机头控制单元5129基于指定捕捉的图像的放大倍率和焦点的信息，通过驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可具有保存用于识别镜筒5117和相机头5119的信息的功能。

注意，通过把诸如透镜单元5121、成像单元5123之类的构成布置在气密性和防水性高的密封结构中，相机头5119可具备对高压灭菌消毒处理的抵抗力。

下面，说明CCU 5153的功能构成。通信单元5173包括用于往来于相机头5119，发送和接收各种信息的通信设备。通信单元5173接收通过传输缆线5179，从相机头5119发送的图像信号。此时，如上所述，优选利用光通信发送图像信号。这种情况下，按照光通信，通信单元5173具备把光信号转换成电信号的光电转换模块。通信单元5173把转换成电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173向相机头5119发送用于控制相机头5119的驱动的控制信号。该控制信号也可以利用光通信发送。

图像处理单元5175对从相机头5119发送的作为RAW数据的图像信号，进行各种图像处理。图像处理的例子包括各种已知的信号处理，比如显影处理、高图像质量处理(例如，带宽增强处理、超分辨率处理、降噪(NR)处理和/或相机模糊校正处理)、和/或放大处理(电子变焦处理)。此外，图像处理单元5175还对图像信号进行检测处理，以便进行AE、AF和AWB。

图像处理单元5175包括诸如CPU或GPU之类的处理器，可利用按照预定程序工作的处理器进行上述图像处理和检测处理。注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号相关的信息，利用所述多个GPU并行地进行图像处理。

控制单元5177进行与利用内窥镜5115的手术区的成像，和捕捉的图像的显示相关的各种控制。例如，控制单元5177生成用于控制相机头5119的驱动的控制信号。此时，在用户输入成像条件的情况下，控制单元5177基于用户的输入，生成控制信号。或者，在内窥镜5115具备AE功能、AF功能和AWB功能的情况下，控制单元5177按照图像处理单元5175的检测处理的结果，适当计算最佳曝光值、焦距和白平衡，以生成控制信号。

此外，控制单元5177基于经过图像处理单元5175的图像处理的图像信号，使显示设备5155显示捕捉的包括手术区等的图像。这种情况下，控制单元5177利用各种图像识别技术，识别手术区图像中的各种对象。例如，控制单元5177通过检测包含在手术区图像中的对象的边缘的形状、颜色等，可识别诸如手术钳之类的手术工具，特定的活体部位，出血，使用能量治疗仪器5135时的薄雾等。当使显示设备5155显示手术区图像时，控制单元5177利用识别结果，使各种手术支持信息叠加显示在手术区的图像上。手术支持信息是叠加地显示，并呈现给外科医生5181的，以致可以安全和可靠地进行手术。

连接相机头5119和CCU 5153的传输缆线5179是与电信号的通信对应的电信号缆线、与光通信对应的光纤、或者它们的复合缆线。

这里，在图中所示的例子中，通过利用传输缆线5179，有线地进行通信。不过，也可无线地进行相机头5119和CCU 5153之间的通信。在无线地进行相机头5119和CCU 5153之间的通信的情况下，不需要在手术室中铺设传输缆线5179，以致可以解决传输缆线5179妨碍手术室中的医务人员的移动的情况。

上面说明了按照本公开的技术可适用于的手术室系统5100的例子。注意，尽管作为例子，这里说明了其中手术室系统5100适用于的医疗系统是内窥镜手术系统5113的情况，不过，手术室系统5100的构成不限于该例子。例如，代替内窥镜手术系统5113，手术室系统5100可适用于检查用柔性内窥镜系统，或者显微手术系统。

在上述构成中，假定代替天花板相机5187和术野相机5189，或者与天花板相机5187和术野相机5189结合地使用本公开的与成像设备1相关的技术。具体地，外科医生或助手可穿戴成像设备1，以运动图像的形式记录手术状况。此外，通过对捕捉的图像数据应用鱼眼失真校正和模糊校正，可以提供以易于看到的方式呈现手术状况的系统。

注意，记载在本说明书中的效果仅仅是例子，而不是限制性的，可以提供其他效果。

<16.本技术>

本技术可以采用以下构成。

(1)一种信息处理装置，包括：

失真校正处理单元，所述失真校正处理单元进行用于将作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据转换成中心投影方式的图像的失真校正处理；和

模糊校正处理单元，所述模糊校正处理单元对于要通过失真校正的处理来处理的图像数据，利用成像装置的姿态数据进行减小图像数据中产生的图像模糊的模糊校正处理。

(2)根据上述(1)的信息处理装置，包括

控制单元，所述控制单元控制所述失真校正处理单元的失真校正处理的开/关和所述模糊校正处理单元的模糊校正处理的开/关。

(3)根据上述(2)所述的信息处理装置，

其中所述控制单元，

在图像数据的再现显示时，控制所述失真校正处理单元的失真校正处理的开/关和所述模糊校正处理单元的模糊校正处理的开/关。

(4)根据上述(3)所述的信息处理装置，

其中，所述控制单元，

在图像数据的再现显示时，使得失真校正操作器能够操作，以及

根据失真校正操作器的操作信息控制失真校正处理的开/关。

(5)根据上述(3)或(4)所述的信息处理装置，

其中所述控制单元，

在图像数据的再现显示时，使能模糊校正操作器的操作，以及

根据模糊校正操作器的操作信息控制模糊校正处理的开/关。

(6)根据上述(3)至(5)中的任意一项所述的信息处理装置，

其中所述控制单元，

在图像数据的再现显示时，彼此独立地使能失真校正操作器和模糊校正操作器的操作，

根据失真校正操作器的操作信息控制失真校正处理的开/关，以及

根据模糊校正操作器的操作信息控制模糊校正处理的开/关。

(7)根据上述(2)至(6)中的任意一项所述的信息处理装置，

包括重力方向校正处理单元，所述重力方向校正处理单元利用与图像数据对应的成像装置的姿态数据进行重力方向校正处理，所述重力方向校正处理用于当在图像数据的再现显示期间改变了视场时在显示的图像中保持重力方向不变，

其中所述控制单元控制所述重力方向校正处理单元的重力方向校正处理的开/关。

(8)根据上述(7)所述的信息处理装置，

其中所述控制单元，

在图像数据的再现显示时，使能重力方向校正操作器的操作，以及

根据重力方向校正操作器的操作信息控制重力方向校正处理的开/关。

(9)根据上述(7)所述的信息处理装置，

其中所述控制单元，

在图像数据的再现显示时，彼此独立地使能失真校正操作器、模糊校正操作器以及重力方向校正操作器的操作，

根据失真校正操作器的操作信息控制失真校正处理的开/关，

根据模糊校正操作器的操作信息控制模糊校正处理的开/关，以及

根据重力方向校正操作器的操作信息控制重力方向校正处理的开/关。

(10)根据上述(7)至(9)中的任意一项所述的信息处理装置，

其中控制单元对要通过失真校正处理来处理的图像数据进行重力方向校正处理。

(11)根据上述(2)至(10)中的任意一项所述的信息处理装置，

其中所述控制单元，

对于作为通过拍摄非中心投影方式的图像而获得的运动图像的原始图像数据，

进行生成被实施了所述失真校正处理单元的失真校正处理和所述模糊校正处理单元的模糊校正处理中的一者或两者的图像数据的控制，并使所述图像数据被记录在记录介质上。

(12)根据上述(11)所述的信息处理装置，

其中所述控制单元

根据与在所述原始图像数据的再现时是否进行了所述失真校正处理和所述模糊校正处理有关的信息，设定在记录时所述失真校正处理和所述模糊校正处理的开/关。

(13)根据上述(11)所述的信息处理装置，

其中所述控制单元基于表示对原始图像数据进行所述失真校正处理的区间和进行所述模糊校正处理的区间的信息，控制在记录时所述失真校正处理和所述模糊校正处理的开/关。

(14)根据上述(1)至(13)中的任意一项所述的信息处理装置，

其中所述模糊校正处理是与所述失真校正处理中的切出位置有关的处理。

(15)根据上述(1)至(14)中的任意一项所述的信息处理装置，

其中所述失真校正处理是利用球面模型转换到中心投影方式的图像数据的处理，并且通过所述模糊校正处理校正所述球面模型的切出位置。

(16)一种信息处理装置执行以下过程的信息处理方法：

进行将作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据转换成中心投影方式的图像的失真校正处理的过程；和

对于要通过失真校正处理来处理的图像数据，利用成像装置的姿态数据进行减少图像数据中出现的图像模糊的模糊校正处理的过程。

(17)一种用于使信息处理装置执行以下步骤的程序：

进行将作为通过拍摄非中心投影方式的图像而获得的运动图像的图像数据转换成中心投影方式的图像的失真校正处理的步骤；和

对于要通过失真校正处理来处理的图像数据，利用成像装置的姿态数据进行减少图像数据中出现的图像模糊的模糊校正处理的步骤。

附图标记列表

1 成像设备

2 壳体

3 光学系统

4 带子

5 前表面部分

6 后表面部分

7 侧面部分

8 上表面部分

9 下表面部分

10 运动图像按钮

11 延时按钮

12 功能按钮

13 附接部分

14 通知单元

20 振动单元

23 阳型连接器

25 阴型连接器

30 磁体

33 引导部分

34 磁体

35 麦克风

36 透镜盖

100 图像数据生成单元

101 姿态数据生成单元

112 成像元件单元

117 存储单元

118 通信单元

122 控制单元

126 陀螺传感器

127 加速度传感器

129 发光单元

150 信息处理设备

162 存储器卡

172 鱼眼失真校正按钮

173 模糊校正按钮

174 重力方向校正按钮

390 失真校正处理单元

391 模糊校正处理单元

392 重力方向校正处理单元