阅读说明：本技术 摄像装置及图像合成装置 (image pickup apparatus and image synthesizing apparatus ) 是由 小野修司 于 2018-05-07 设计创作，主要内容包括：本发明提供一种能够拍摄一边移动一边对焦的图像的摄像装置及能够生成高清晰的合成图像的图像合成装置。在无人航空器(10)中搭载相机(100)并一边移动一边拍摄。在拍摄中,控制设置于相机(100)的聚焦机构,并周期性地扫描聚焦位置。并且,在拍摄中,以在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的方式控制无人航空器(10)的移动。(The invention provides an image pickup device capable of shooting an image moving and focusing and an image synthesis device capable of generating a high-definition synthesized image. An unmanned aerial vehicle (10) is equipped with a camera (100) and captures images while moving. In shooting, a focus mechanism provided in a camera (100) is controlled, and a focus position is periodically scanned. In addition, during shooting, the movement of the unmanned aerial vehicle (10) is controlled in a manner that scanning is performed at least once during the period of moving to the position deviated from the shooting range amount.)

摄像装置及图像合成装置

技术领域

本发明涉及一种摄像装置及图像合成装置，尤其涉及一种一边移动一边拍摄的摄像装置及从通过该摄像装置拍摄的图像生成一张合成图像的图像合成装置。

背景技术

已知有通过搭载于航空器的相机连续地拍摄地表，并拼接所获得的图像组而生成照出了广范围的一张合成图像的技术(也被称为马赛克合成、拼接等) (例如，专利文献1等)。该种技术也作为生成全景图像的技术而熟知。

但是，若要使用该种技术来生成高清晰的合成图像，则需要在对焦状态下拍摄所拼接的每个图像。并且，若要生成更高清晰的合成图像，则需要使用长焦透镜进行拍摄。

但是，在一边移动一边拍摄时难以使自动聚焦准确地工作。尤其在使用长焦透镜的相机中，景深较浅，因此在一边移动一边拍摄时难以使自动聚焦准确地工作。

专利文献2中作为在一边移动一边拍摄时使自动聚焦准确地工作的方法，提出有根据被摄体距离调整景深的方法。

以往技术文献

专利文献

专利文献1：日本特开2016-039390号公报

专利文献2：日本特开平10-031151号公报

发明内容

发明要解决的技术课题

然而，对于通过景深能够调整的宽度有所界限。尤其在使用长焦透镜的相机中，能够调整的景深也较浅，因此存在当被摄体距离发生了较大变动时无法应对这一缺点。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够拍摄一边移动一边对焦的图像的摄像装置及能够生成高清晰的合成图像的图像合成装置。

用于解决技术课题的手段

用于解决上述课题的方法如下。

(1)一种摄像装置，其具备：移动体；摄像部，设置于移动体；聚焦机构，设置于摄像部；聚焦控制部，控制聚焦机构，并周期性地扫描聚焦位置；移动控制部，以在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的速度使移动体移动；摄像控制部，使摄像部连续地拍摄动态图像或周期性地拍摄静态图像；及记录部，记录通过摄像部拍摄的动态图像或静态图像组。

根据本方式，通过移动体一边移动，一边连续地拍摄动态图像或周期性地拍摄静态图像。连续地拍摄动态图像是指从拍摄开始至拍摄结束连续地拍摄动态图像。周期性地拍摄静态图像是指从拍摄开始至拍摄结束以一定的间隔重复拍摄静态图像。在拍摄中，通过聚焦控制部控制聚焦机构，并周期性地扫描聚焦位置。在此，聚焦位置的“扫描”是指，在预先设定的范围内，使聚焦位置从一端位移至另一端的动作。例如，是指使聚焦位置从最近端的位置位移至无限远端的位置的动作。并且，“周期性地扫描”是指，以一定的周期重复实施扫描。通过周期性地扫描聚焦位置，若为动态图像的拍摄，则能够拍摄在各帧中对焦位置不同的图像。并且，若为静态图像的拍摄，则能够拍摄各次对焦位置不同的静态图像。所拍摄的动态图像或静态图像组记录于记录部。若以扫描单位分析所记录的动态图像或静态图像组并提取锐度最高的帧的图像或锐度最高的静态图像，则能够以扫描单位获得对焦图像。移动体以在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的方式控制移动的速度。由此，即使在一边移动一边拍摄的情况下，也能够无一遗漏地拍摄所对焦的图像。即，带有某种程度的重叠，能够拍摄所对焦的图像。

(2)上述(1)的摄像装置中，移动控制部以与移动至偏离了摄像范围量的位置同时完成一次扫描的速度使移动体移动。

根据本方式，移动体以与移动至偏离了摄像范围量的位置同时完成一次扫描的速度移动。由此，能够有效地进行拍摄。另外，这里的“同时”不是要求严格的同时性的概念，而是包含视为大致同时的范围的概念。因此，容许一些偏离。因此，移动体以与移动至偏离了摄像范围量的位置大致相同的定时完成一次扫描的速度移动即可。

(3)上述(1)或(2)的摄像装置还具备：摄像范围计算部，根据被摄体距离及摄像部的视角，计算摄像范围。

根据本方式，根据被摄体距离及摄像部的视角，计算摄像范围。由此，能够自动设定摄像范围。

(4)上述(3)的摄像装置还具备：被摄体距离检测部，根据摄像部的输出检测被摄体距离。

根据本方式，根据摄像部的输出检测被摄体距离。由此，即使在被摄体距离发生变动的情况下，也能够估计当前的摄像范围。移动控制部根据摄像范围的变动，调整移动体的速度。

(5)上述(1)至(4)中的任一个摄像装置中，摄像部具备成像镜头及拍摄通过成像镜头成像的像的图像传感器，聚焦机构使构成成像镜头的透镜组的一部分或全部移动而使聚焦位置位移。

根据本方式，摄像部构成为具备成像镜头及拍摄通过成像镜头成像的像的图像传感器。聚焦机构使构成成像镜头的透镜组的一部分或全部移动而使聚焦位置位移。

(6)上述(1)至(5)中的任一个摄像装置中，聚焦控制部使聚焦位置以正弦波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以正弦波状位移且被周期性地扫描。在该情况下，在去路及回路这两者进行扫描。

(7)上述(1)至(5)中的任一个摄像装置中，聚焦控制部使聚焦位置以锯齿波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以锯齿波状位移且被周期性地扫描。在该情况下，仅在去路进行扫描。

(8)上述(1)至(7)中的任一个摄像装置还具备：对焦图像提取部，以扫描单位分析记录于记录部的动态图像或静态图像组，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

根据本方式，具备提取对焦图像的对焦图像提取部。对焦图像提取部以扫描单位分析记录于记录部的动态图像或静态图像组，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

(9)上述(5)的摄像装置中，成像镜头具备第1光学系统、具有与第1 光学系统相同的光轴且具有短于第1光学系统的焦距的第2光学系统，图像传感器有序排列有选择性地受光通过了第1光学系统的光及通过了第2光学系统的光的像素，并同时拍摄通过第1光学系统成像的像及通过第2光学系统成像的像，聚焦机构具备使构成第1光学系统的透镜组的一部分或全部移动而使第 1光学系统的聚焦位置位移的第1光学系统聚焦机构，聚焦控制部具备控制第 1光学系统聚焦机构而周期性地扫描第1光学系统的聚焦位置的第1光学系统聚焦控制部，移动控制部以在基于第1光学系统的移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的速度使移动体移动，摄像控制部使图像传感器连续地拍摄动态图像或周期性地拍摄静态图像，记录部记录通过第1光学系统拍摄的动态图像或静态图像组及通过第2光学系统拍摄的动态图像或静态图像组。

根据本方式，能够在同轴上同时拍摄焦距不同的图像。具体而言，成像镜头构成为具备焦距彼此不同的两个光学系统(第1光学系统及第2光学系统)，且以图像传感器能够同时拍摄通过各光学系统成像的像的方式构成。两个光学系统(第1光学系统及第2光学系统)具有相同的光轴，第2光学系统具有短于第1光学系统的焦距。图像传感器构成为有序排列有选择性地受光通过了第1光学系统的光及通过了第2光学系统的光的像素，并同时拍摄通过第 1光学系统成像的像及通过第2光学系统成像的像。即，通过受光通过了第1 光学系统的光的像素组拍摄第1光学系统的图像，通过受光通过了第2光学系统的光的像素组拍摄第2光学系统的图像。由此，通过一个摄像部能够在同轴上同时拍摄焦距不同的图像，从而能够拍摄没有视差的图像。作为聚焦机构，具备第1光学系统的聚焦机构(第1光学系统聚焦机构)。第1光学系统聚焦机构使构成第1光学系统的透镜组的一部分或全部移动而使第1光学系统的聚焦位置位移。并且，作为聚焦控制部，具备第1光学系统聚焦控制部。第1光学系统聚焦控制部控制第1光学系统聚焦机构，并周期性地扫描第1光学系统的聚焦位置。由此，在第1光学系统中，拍摄对焦位置不同的图像。即，若为动态图像的拍摄，则拍摄在各帧中对焦位置不同的图像，若为静态图像的拍摄，则拍摄各次对焦位置不同的静态图像。通过第1光学系统拍摄的动态图像或静态图像组及通过第2光学系统拍摄的动态图像或静态图像组记录于记录部。若以扫描单位分析通过第1光学系统拍摄的动态图像或静态图像组并提取锐度最高的帧的图像或锐度最高的静态图像，则能够以扫描单位获得对焦图像。移动体以在移动到偏离了基于第1光学系统的摄像范围量的位置为止的期间至少进行一次扫描的方式控制移动的速度。由此，即使在一边移动一边拍摄的情况下，在第1光学系统中，也能够无一遗漏地拍摄所对焦的图像。即，带有某种程度的重叠，能够拍摄所对焦的图像。关于通过第2光学系统拍摄的动态图像或静态图像组，提取与所提取的对焦图像对应的图像即可。即，提取以与作为对焦图像提取的图像相同的定时拍摄的图像即可。当通过马赛克合成等处理生成广范围的合成图像时，利用通过第2光学系统拍摄的图像进行特征点提取等处理。通过第2光学系统拍摄的图像为与通过第1光学系统拍摄的图像相比照出了更广范围的图像，因此能够提取更多的特征点。另一方面，合成图像使用通过第1光学系统拍摄的对焦图像组而生成。通过第1光学系统拍摄的图像为与通过第2光学系统拍摄的图像相比更长焦的图像，因此能够生成更高分辨率的合成图像。

(10)上述(9)的摄像装置中，第2光学系统由固定焦点光学系统构成，且以泛焦进行拍摄。

根据本方式，第2光学系统由固定焦点光学系统构成，且以泛焦进行拍摄。第2光学系统能够由焦距较短的透镜构成，因此能够以泛焦进行拍摄。

(11)上述(9)的摄像装置还具备：第2光学系统对焦状态检测部，检测第2光学系统的对焦状态，聚焦机构还具备：使构成第2光学系统的透镜组的一部分或全部移动而使第2光学系统的聚焦位置位移的第2光学系统聚焦机构，聚焦控制部还具备：根据第2光学系统对焦状态检测部的检测结果控制第 2光学系统聚焦机构而使第2光学系统对焦于被摄体的第2光学系统聚焦控制部。

根据本方式，具备检测第2光学系统的对焦状态的第2光学系统对焦状态检测部、第2光学系统的聚焦机构(第2光学系统聚焦机构)及其控制部(第 2光学系统聚焦控制部)。第2光学系统聚焦机构使构成第2光学系统的透镜组的一部分或全部移动而使第2光学系统的聚焦位置位移。第2光学系统聚焦控制部根据第2光学系统对焦状态检测部的检测结果，控制第2光学系统聚焦机构而使第2光学系统对焦于被摄体。由此，在第2光学系统中，能够以高精度拍摄对焦图像。

(12)上述(9)至(11)中的任一个摄像装置中，成像镜头的第1光学系统及第2光学系统配置成同心状。

根据本方式，第1光学系统及第2光学系统配置成同心状。在该情况下，例如，将内周部由第2光学系统来构成，将外周部由环状的第2光学系统来构成。关于第2光学系统，由反射长焦透镜来构成。

(13)上述(9)至(12)中的任一个摄像装置中，第1光学系统聚焦控制部使第1光学系统的聚焦位置以正弦波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以正弦波状位移且被周期性地扫描。在该情况下，在去路及回路这两者进行扫描。

(14)上述(9)至(12)中的任一个摄像装置中，第1光学系统聚焦控制部使第1光学系统的聚焦位置以锯齿波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以锯齿波状位移且被周期性地扫描。在该情况下，仅在去路进行扫描。

(15)上述(9)至(14)中的任一个摄像装置还具备：对焦图像提取部，以扫描单位分析通过第1光学系统拍摄的动态图像或静态图像，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

根据本方式，具备提取对焦图像的对焦图像提取部。对焦图像提取部以扫描单位分析记录于记录部的动态图像或静态图像组，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

(16)上述(1)至(15)中的任一个摄像装置中，移动体由飞行体构成。

根据本方式，移动体由飞行体构成。例如，能够由被远程操作的无人航空器(所谓的无人机)构成。

(17)一种摄像装置，其具备：成像镜头，具备具有彼此相同的光轴且具有彼此不同的性质的第1光学系统及第2光学系统；图像传感器，有序排列有选择性地受光通过了第1光学系统的光及通过了第2光学系统的光的像素，并同时拍摄通过第1光学系统成像的像及通过第2光学系统成像的像；第1光学系统聚焦机构，使构成第1光学系统的透镜组的一部分或全部移动而使第1光学系统的聚焦位置位移；第1光学系统聚焦控制部，控制第1光学系统聚焦机构，并周期性地扫描第1光学系统的聚焦位置；摄像控制部，使图像传感器连续地拍摄动态图像或周期性地拍摄静态图像；及记录部，记录通过第1光学系统拍摄的动态图像或静态图像组及通过第2光学系统拍摄的动态图像或静态图像组。

根据本方式，能够在同轴上同时拍摄两种图像。具体而言，成像镜头具备性质不同的两个光学系统(第1光学系统及第2光学系统)，且以图像传感器能够同时拍摄通过各光学系统成像的像的方式构成。两个光学系统(第1光学系统及第2光学系统)具有彼此相同的光轴，且具有彼此不同的性质。图像传感器构成为有序排列有选择性地受光通过了第1光学系统的光及通过了第2光学系统的光的像素，并同时拍摄通过第1光学系统成像的像及通过第2光学系统成像的像。即，通过受光通过了第1光学系统的光的像素组拍摄第1光学系统的图像，通过受光通过了第2光学系统的光的像素组拍摄第2光学系统的图像。由此，通过一个摄像部能够同时拍摄没有视差的两种图像。作为聚焦机构，具备第1光学系统的聚焦机构(第1光学系统聚焦机构)。第1光学系统聚焦机构使构成第1光学系统的透镜组的一部分或全部移动而使第1光学系统的聚焦位置位移。并且，作为聚焦控制部，具备第1光学系统聚焦控制部。第 1光学系统聚焦控制部控制第1光学系统聚焦机构，并周期性地扫描第1光学系统的聚焦位置。由此，在第1光学系统中，拍摄对焦位置不同的图像。即，若为动态图像的拍摄，则拍摄在各帧中对焦位置不同的图像，若为静态图像的拍摄，则拍摄各次对焦位置不同的静态图像。通过第1光学系统拍摄的动态图像或静态图像组及通过第2光学系统拍摄的动态图像或静态图像组记录于记录部。若以扫描单位分析通过第1光学系统拍摄的动态图像或静态图像组并提取锐度最高的帧的图像或锐度最高的静态图像，则能够以扫描单位获得对焦图像。当一边移动一边拍摄时，若以在移动到偏离了基于第1光学系统的摄像范围量的位置为止的期间至少进行一次扫描方式移动，则在第1光学系统中，能够无一遗漏地拍摄所对焦的图像。即，带有某种程度的重叠，能够拍摄所对焦的图像。关于通过第2光学系统拍摄的动态图像或静态图像组，提取与所提取的对焦图像对应的图像即可。即，提取以与作为对焦图像提取的图像相同的定时拍摄的图像即可。

性质不同的光学系统例如是指，焦距不同的光学系统、透射波长特性不同的光学系统等因作为光学系统的性质不同而能够拍摄种类不同的图像的光学系统。

(18)上述(17)的摄像装置中，成像镜头的第2光学系统具有短于第1 光学系统的焦距。

根据本方式，构成成像镜头的第1光学系统及第2光学系统具有彼此不同的焦距，第2光学系统具有短于第1光学系统的焦距。由此，能够在同轴上同时拍摄焦距不同的两个图像，从而能够拍摄没有视差的两种图像。当通过马赛克合成等处理生成广范围的合成图像时，利用通过第2光学系统拍摄的图像进行特征点提取等处理。通过第2光学系统拍摄的图像为与通过第1光学系统拍摄的图像相比照出了更光范围的图像，因此能够提取更多的特征点。另一方面，合成图像使用通过第1光学系统拍摄的对焦图像组而生成。通过第1光学系统拍摄的图像为与通过第2光学系统拍摄的图像相比更长焦的图像，因此能够生成更高分辨率的合成图像。

(19)上述(18)的摄像装置中，第2光学系统由固定焦点光学系统构成，且以泛焦进行拍摄。

根据本方式，第2光学系统由固定焦点光学系统构成，且以泛焦进行拍摄。第2光学系统能够由焦距较短的透镜构成，因此能够以泛焦进行拍摄。

(20)上述(18)的摄像装置还具备：第2光学系统对焦状态检测部，检测第2光学系统的对焦状态；第2光学系统聚焦机构，使构成第2光学系统的透镜组的一部分或全部移动而使第2光学系统的聚焦位置位移；及第2光学系统聚焦控制部，根据第2光学系统对焦状态检测部的检测结果，控制第2光学系统聚焦机构而使第2光学系统对焦于被摄体。

根据本方式，具备检测第2光学系统的对焦状态的第2光学系统对焦状态检测部、第2光学系统的聚焦机构(第2光学系统聚焦机构)及其控制部(第2光学系统聚焦控制部)。第2光学系统聚焦机构使构成第2光学系统的透镜组的一部分或全部移动而使第2光学系统的聚焦位置位移。第2光学系统聚焦控制部根据第2光学系统对焦状态检测部的检测结果，控制第2光学系统聚焦机构且使第2光学系统对焦于被摄体。由此，在第2光学系统中，能够以高精度拍摄对焦图像。

(21)上述(18)至(20)中的任一个摄像装置中，成像镜头的第1光学系统及第2光学系统配置成同心状。

根据本方式，第1光学系统及第2光学系统配置成同心状。在该情况下，例如，将内周部由第2光学系统来构成，将外周部由环状的第2光学系统来构成。关于第2光学系统，由反射长焦透镜来构成。

(22)上述(17)至(21)中的任一个摄像装置中，第1光学系统聚焦控制部使第1光学系统的聚焦位置以正弦波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以正弦波状位移且被周期性地扫描。在该情况下，在去路及回路这两者进行扫描。

(23)上述(17)至(21)中的任一个摄像装置中，第1光学系统聚焦控制部使第1光学系统的聚焦位置以锯齿波状位移并对其进行周期性扫描。

根据本方式，聚焦位置以锯齿波状位移且被周期性地扫描。在该情况下，仅在去路进行扫描。

(24)上述(17)至(23)中的任一个摄像装置还具备：对焦图像提取部，以扫描单位分析通过第1光学系统拍摄的动态图像或静态图像，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

根据本方式，具备提取对焦图像的对焦图像提取部。对焦图像提取部以扫描单位分析记录于记录部的动态图像或静态图像组，并将锐度最高的帧的图像或锐度最高的静态图像作为对焦图像来提取。

(25)一种图像合成装置，其具备：上述(8)的摄像装置；及合成图像生成部，从摄像装置获取多张对焦图像，并拼接所获取的多张对焦图像而生成一张合成图像。

根据本方式，使用所提取的对焦图像而生成合成图像。每个对焦图像为分别对焦于摄像对象的高清晰的图像，因此能够生成高清晰的合成图像。并且，各对焦图像具有重叠区域，因此能够无一遗漏地生成合成图像。

(26)上述(25)的图像合成装置还具备：摄像条件估计部，从摄像装置获取多张对焦图像，分析所获取的多张对焦图像，并估计拍摄了各对焦图像时的摄像部的相对位置及姿势，合成图像生成部根据摄像条件估计部的估计结果，配置各对焦图像并生成合成图像。

根据本方式，通过分析通过拍摄获得的对焦图像组，估计拍摄了各对焦图像时的摄像部的相对位置及姿势。合成图像根据其估计结果而生成。即，根据估计出的位置及姿势，并通过配置各对焦图像而生成。另外，姿势作为光轴的朝向及围绕光轴的旋转来确定。

(27)上述(26)的图像合成装置中，摄像条件估计部对所获取的多张对焦图像应用SfM处理，并估计拍摄了各对焦图像时的摄像部的相对位置及姿势。

根据本方式，通过对通过拍摄获得的对焦图像组应用SfM(Structure fromMotion)处理，估计拍摄了各对焦图像时的摄像部的相对位置及姿势。 SfM处理是指从视点不同的多张图像复原被摄体的三维形状以及摄像部的相对位置及姿势的处理。

(28)一种图像合成装置，其具备：上述(15)的摄像装置；及合成图像生成部，从摄像装置获取多张对焦图像，并拼接所获取的多张对焦图像而生成一张合成图像。

根据本方式，使用所提取的对焦图像而生成合成图像。每个对焦图像为分别对焦于摄像对象的高清晰的图像，且为长焦图像，因此能够生成高清晰的合成图像。并且，各对焦图像具有重叠区域，因此能够无一遗漏地生成合成图像。

(29)上述(28)的图像合成装置还具备：摄像条件估计部，从摄像装置获取与各对焦图像对应的第2光学系统的图像，分析所获取的多张第2光学系统的图像，并估计拍摄了各对焦图像时的摄像部的相对位置及姿势，合成图像生成部根据摄像条件估计部的估计结果，配置各对焦图像并生成合成图像。

根据本方式，通过分析与各对焦图像对应的第2光学系统的图像组，估计拍摄了各对焦图像时的摄像部的相对位置及姿势。合成图像根据该估计结果而生成。即，根据估计出的位置及姿势，并通过配置各对焦图像而生成。与各对焦图像对应的第2光学系统的图像是指，以与各对焦图像相同的定时拍摄的第2光学系统的图像。若为动态图像，则为相同的帧的图像，若为静态图像，则为以相同的定时拍摄的静态图像。通过第2光学系统拍摄的图像为与通过第1 光学系统拍摄的图像相比更广角的图像，因此能够提取更多的分析所需的特征点。由此，能够以更高精度估计摄像部的相对位置及姿势。并且，由此，能够以更高精度生成合成图像。

(30)上述(29)的图像合成装置中，摄像条件估计部对所获取的多张第 2光学系统的图像应用SfM处理，并估计拍摄了各对焦图像时的摄像部的相对位置及姿势。

根据本方式，通过对通过拍摄获得的对焦图像组应用SfM(Structure fro mMotion)处理，估计拍摄了各对焦图像时的摄像部的相对位置及姿势。

发明效果

根据本发明，能够拍摄一边移动一边对焦的图像。并且，能够生成高清晰的合成图像。

附图说明

图1是摄像装置的系统结构图。

图2是表示无人航空器的电结构的框图。

图3是无人航空器微型机实现的主要功能的框图。

图4是表示控制器的电结构的框图。

图5是表示相机的概略结构的框图。

图6是相机微型机实现的主要功能的框图。

图7是扫描的概念图。

图8是设定拍摄中的无人航空器的飞行速度的概念图。

图9是提取对焦图像的概念图。

图10是设定与扫描的同时完成移动时的无人航空器的飞行速度的概念图。

图11是使聚焦位置以锯齿波状位移并对其进行周期性扫描时的概念图。

图12是景深的计算方法的说明图。

图13是表示聚焦透镜组的位置与所对焦的被摄体距离之间的关系的曲线图。

图14是表示相机的概略结构的框图。

图15是成像镜头的概略结构图。

图16是表示通过第1光学系统的光的光线轨迹的图。

图17是表示通过第2光学系统的光的光线轨迹的图。

图18是表示成像镜头的驱动系统的概略结构的框图。

图19是通过第1光学系统聚焦机构驱动的第1光学系统的动作说明图。

图20是图像传感器的概略结构图。

图21是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。

图22是相机微型机实现的主要功能的框图。

图23是设定拍摄中的无人航空器的飞行速度的概念图。

图24是设定与扫描的同时完成移动时的无人航空器的飞行速度的概念图。

图25是图像合成装置的系统结构图。

图26是表示拍摄方式的一例的图。

图27是生成合成图像的概念图。

图28是计算机实现的功能的框图。

图29是表示通过SfM处理输出的结果的一例的图。

具体实施方式

以下，按照附图对本发明的优选实施方式进行说明。

◆◆摄像装置的第1实施方式◆◆

[摄像装置的装置结构]

图1是摄像装置的系统结构图。

如图1所示，本实施方式的摄像装置1构成为具备无人航空器10及搭载于该无人航空器10的相机100。

《无人航空器》

无人航空器10为移动体及飞行体的一例。无人航空器10为所谓的无人机，根据基于控制器12的操作而在大气中飞行。

<无人航空器的外观结构>

如图1所示，无人航空器10构成为在主体框架14中具备多个飞行用螺旋桨16。

主体框架14构成为具备躯干部14A、从躯干部14A以放射状延伸的4个臂部14B(在图1中仅示出了两个)及从躯干部14A以放射状延伸的4个腿部 14C(在图1中仅示出了两个)。

螺旋桨16设置于各臂部14B的前端。因此，在本实施方式的无人航空器 10中设置有4个螺旋桨16(在图1中仅示出了两个)。

无人航空器10通过使螺旋桨16旋转而产生的浮力从而在大气中飞行。无人航空器10通过单独控制各螺旋桨16的旋转，进行上升、下降、方向转换等。并且，通过单独控制各螺旋桨16的旋转，控制飞行速度。

<无人航空器的电结构>

图2是表示无人航空器的电结构的框图。

无人航空器10具备螺旋桨驱动电机20、电机驱动器22、传感器部24、机身侧无线通信部26、机身侧有线通信部28及无人航空器微型机(微型机：微型计算机)30。

螺旋桨驱动电机20为螺旋桨16的旋转驱动机构。螺旋桨驱动电机20按每个螺旋桨16设置。各螺旋桨驱动电机20的驱动由电机驱动器22单独控制。各电机驱动器22根据来自无人航空器微型机30的指令，控制螺旋桨驱动电机20的驱动。

传感器部24检测机身的飞行状态。传感器部24构成为具备陀螺仪传感器、地磁传感器、加速度传感器、速度传感器、高度传感器及GPS(Global Positioning System/全球定位系统)等各种传感器类。传感器部24将通过各种传感器检测到的机身的飞行状态的信息输出至无人航空器微型机30。

机身侧无线通信部26在基于无人航空器微型机30的控制下，通过无线与控制器12进行通信，并彼此收发各种信号。例如，当操作了控制器12时，根据该操作，控制信号从控制器12向无人航空器10发送。机身侧无线通信部26 接收从控制器12发送的控制信号，并输出至无人航空器10。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于无线LAN(Local Area Network/局域网)标准的通信方式、基于特定省电力无线标准的通信方式及利用了移动电话网的通信方式等)。

机身侧有线通信部28在基于无人航空器微型机30的控制下，通过有线与相机100进行通信，并彼此收发各种信号。关于通信方式并无特别限定，可使用常规使用的通信方式(例如，基于USB(Universal Serial Bus/通用串行总线)标准的通信方式等)。

无人航空器微型机30为集中控制无人航空器10的整体动作的控制部。无人航空器微型机30具备CPU(Central Processing Unit/中央处理器)、ROM (Read Only Memory/只读存储器)及RAM(Random Access Memory/随机存取存储器)，并通过执行规定的程序而实现各种功能。程序存储于ROM。

图3是无人航空器微型机实现的主要功能的框图。

无人航空器微型机30通过执行规定的程序，作为移动控制部30a、相机控制部30b、机身侧无线通信控制部30c及机身侧有线通信控制部30d等而发挥功能。

移动控制部30a经由电机驱动器22控制各螺旋桨驱动电机20的驱动，由此控制无人航空器10的飞行(移动)。移动控制部30a根据从控制器12发送的控制信号及从传感器部24输出的机身的飞行状态的信息，控制各螺旋桨驱动电机20的驱动，并控制无人航空器10的飞行。例如，当从控制器12命令了上升时，以机身上升的方式控制各螺旋桨驱动电机20的驱动。并且，当从控制器12命令了下降时，以机身下降的方式控制各螺旋桨驱动电机20的驱动。而且，当从控制器12命令了回转时，以机身向被命令的方向回转的方式控制各螺旋桨驱动电机20的驱动。并且，在拍摄中，以机身以规定的速度飞行的方式控制各螺旋桨驱动电机20的驱动。关于拍摄中的机身的飞行控制，将在后面详细叙述。

相机控制部30b根据从控制器12发送的控制信号控制相机100。例如，根据来自控制器12的拍摄开始命令，使相机100开始拍摄。并且，根据来自控制器12的拍摄结束命令，使相机100结束拍摄。

机身侧无线通信控制部30c经由机身侧无线通信部26控制与控制器12之间的通信。

机身侧有线通信控制部30d经由机身侧有线通信部28控制与相机100之间的通信。

<控制器的结构>

图4是表示控制器的电结构的框图。

控制器12具备控制器操作部12a、控制器显示部12b、控制器侧无线通信部12c及控制器微型机12d。

控制器操作部12a构成为具备操作无人航空器10及相机100的各种操作部件。在操作无人航空器10的操作部件中例如包含命令无人航空器10的上升、下降的操作部件及命令无人航空器10的回转的操作部件等。在操作相机 100的操作部件中例如包含命令拍摄开始、拍摄结束的操作部件等。

控制器显示部12b例如由LCD(Liquid Crystal Display/液晶显示器)构成。在控制器显示部12b例如显示无人航空器10的飞行状态的信息。

控制器侧无线通信部12c在基于控制器微型机12d的控制下，通过无线与无人航空器10进行通信，并彼此收发各种信号。

控制器微型机12d为集中控制控制器12的整体动作的控制部。无人航空器微型机30具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。例如，若操作控制器操作部12a，则生成与其操作相应的控制信号，并经由控制器侧无线通信部12c发送至无人航空器10。并且，例如，经由控制器侧无线通信部12c从无人航空器10获取飞行状态的信息，并显示于控制器显示部 12b。程序存储于ROM。

《相机》

图5是表示相机的概略结构的框图。

相机100为摄像部的一例，由单镜头相机构成。相机100经由云台搭载于无人航空器10。通过云台调整摄像方向。

相机100根据来自控制器12的拍摄命令，连续地拍摄动态图像。如图5 所示，相机100构成为具备成像镜头110、图像传感器120、模拟信号处理部122、记录部124、相机侧有线通信部126及相机微型机128等。

成像镜头110由单焦点镜头构成，且具备光圈112及聚焦机构。

光圈112例如由可变光阑构成。光圈112作为其驱动机构具备光圈电机 114。光圈112通过驱动光圈电机114，能够改变开口量。

聚焦机构通过使构成成像镜头110的多个透镜组的一部分沿光轴L前后移动而使成像镜头110的聚焦位置位移。具体而言，通过使聚焦透镜组110f沿光轴L前后移动，使成像镜头110的聚焦位置位移。聚焦机构构成为具备沿光轴L移动自如地支承聚焦透镜组110f的支承部(未图示)及使聚焦透镜组 110f沿光轴L移动的聚焦电机116。聚焦电机116例如由线性电机构成。

成像镜头110作为检测聚焦透镜组110f的位置的机构，具备光电断路器 118a及MR传感器(MR传感器：Magneto Resistive Sensor/磁阻传感器) 118b。光电断路器118a检测聚焦透镜组110f位于预先设定的原点。MR传感器 118b检测聚焦透镜组110f的位移量。通过光电断路器118a检测聚焦透镜组 110f位于原点，通过MR传感器118b检测距原点的位移量，由此能够检测相对于原点的聚焦透镜组110f的位置。光电断路器118a及MR传感器118b的检测结果输出至相机微型机128。相机微型机128根据光电断路器118a及MR传感器118b的输出，检测聚焦透镜组110f的位置。

图像传感器120拍摄通过成像镜头110成像的像。图像传感器120例如由具有规定的滤色器排列的CMOS(CMOS：Complementary Metal Oxide Semiconductor/互补金属氧化物半导体)、CCD(CCD：Charged Coupled Device/电荷耦合元件)等固体成像元件构成。

模拟信号处理部122读取从图像传感器120输出的每个像素的模拟图像信号，并实施规定的信号处理(例如，相关双采样处理、增益调整等)之后，转换为数字信号并输出。从模拟信号处理部122输出的数字图像信号被相机微型机128读取。

记录部124为各种数据的记录部。所拍摄的图像数据记录于记录部124。记录部124例如由SSD(solid state drive/固态驱动器)等使用了非易失性存储器的存储设备构成。

相机侧有线通信部126在基于相机微型机128的控制下，通过有线与无人航空器10进行通信，并彼此收发各种信号。

相机微型机128为集中控制相机100的整体动作的控制部。相机微型机 128具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。程序存储于ROM。

图6是相机微型机实现的主要功能的框图。

如图6所示，相机微型机128通过执行规定的程序，作为数字信号处理部 128a、记录控制部128b、相机侧有线通信控制部128c、摄像控制部128d、光圈控制部128e、聚焦控制部128f及透镜位置检测部128g等而发挥功能。

数字信号处理部128a读取从模拟信号处理部122输出的模拟图像信号，并实施规定的信号处理(例如，颜色插值、色彩分离、色彩平衡调整、伽马校正、图像增强处理等)而生成图像数据。

记录控制部128b控制数据向记录部124的读写。通过拍摄获得的图像数据通过记录控制部128b记录于记录部124。

相机侧有线通信控制部128c经由相机侧有线通信部126控制与无人航空器10之间的通信。

摄像控制部128d经由图像传感器驱动器120a控制图像传感器120的驱动。更具体而言，以规定的帧速率拍摄动态图像的方式控制图像传感器120的驱动。

光圈控制部128e经由光圈电机驱动器114a控制光圈电机114的驱动。更具体而言，以光圈112成为规定的光圈值(开口量)的方式控制光圈电机114 的驱动。光圈值根据从图像传感器120获得的信号进行设定。即，以成为适度曝光的方式设定光圈值。

聚焦控制部128f经由聚焦电机驱动器116a控制聚焦电机116的驱动。具体而言，以周期性地扫描聚焦位置的方式控制聚焦电机116的驱动。

在此，聚焦位置的“扫描”是指，在预先设定的范围内，使聚焦位置从一端位移至另一端的动作。并且，“周期性地扫描”是指，以一定的周期重复实施扫描。

在本实施方式的相机100中，在最近端与无限远端之间使聚焦位置以正弦波状位移并对其进行周期性扫描。

图7是扫描的概念图。在图7中，纵轴表示聚焦位置，横轴表示时间。

如图7所示，聚焦位置在最近端与无限远端之间以正弦波状位移。在该情况下，在去路及回路这两者进行扫描。即，周期性地重复进行从最近端的位置朝向无限远端的位置的方向上的扫描(去路中的扫描)及从无限远端的位置朝向最近端的位置的方向上的扫描(回路中的扫描)。去路中的扫描及回路中的扫描分别成为一次扫描。因此，在该情况下，往复进行两次扫描。

透镜位置检测部128g根据光电断路器118a及MR传感器118b的输出，检测聚焦透镜组110f的位置。

聚焦控制部128f根据聚焦透镜组110f的位置，控制聚焦电机116的驱动，并周期性地扫描聚焦位置。

[摄像装置的作用]

《基本动作》

<无人航空器的基本动作>

无人航空器10根据控制器12的操作而在大气中飞行。具体而言，根据基于控制器12的上升命令而上升，根据下降命令而下降。并且，根据回转命令而向被命令的方向回转。

<相机的基本动作>

相机100也根据控制器12的操作进行拍摄。即，根据基于控制器12的拍摄开始的命令，开始动态图像的拍摄。并且，根据基于控制器12的拍摄结束的命令，结束动态图像的拍摄。在从拍摄开始至命令拍摄结束的期间，连续地拍摄动态图像。所拍摄的动态图像记录于记录部124。

拍摄中周期性地扫描聚焦位置。即，在最近端与无限远端之间，聚焦位置以正弦波状位移并周期性地扫描聚焦位置。由此，当每次进行扫描时，能够拍摄至少一张已对焦的帧的图像。

<拍摄中的无人航空器的动作>

在拍摄中，无人航空器10以大致保持一定高度的方式飞行。因此，拍摄中的操作只能进行旋回操作。

作为移动控制部30a而发挥功能的无人航空器微型机30根据来自传感器部24的输出，控制各螺旋桨驱动电机20的驱动，且以大致保持一定高度的方式飞行(包含悬停)。

并且，无人航空器10在拍摄中以如下方式控制速度而飞行。即，以在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的方式，控制飞行速度。

图8是设定拍摄中的无人航空器的飞行速度的概念图。

现在考虑从一定的高度朝向正下方进行拍摄的情况。在该情况下，通过相机100拍摄视角θ的范围。

将无人航空器10的移动方向上的摄像范围的宽度设为X。在该情况下，无人航空器10设定为在移动距离X的期间至少进行一次扫描的速度。

图8示出了设定为在移动距离X的期间进行两次扫描的速度时的例子。在该情况下，若将一次扫描所需的时间设为T，则无人航空器10的速度V设定为 V＝X/2T。

摄像范围能够由视角θ及被摄体距离计算。被摄体距离能够从无人航空器10的高度获取大概的值。即，在拍摄中，无人航空器10大致保持一定的高度，因此从无人航空器10的高度能够估计大概的被摄体距离。因此，摄像范围能够事先获取大概的值。并且，从事先获取的摄像范围能够设定用于满足上述条件的无人航空器10的速度。即，能够设定用于在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的速度。在本例中，设定为进行两次扫描的速度。作为移动控制部30a而发挥功能的无人航空器10的无人航空器微型机30在拍摄中以所设定的速度移动的方式控制各螺旋桨驱动电机20的驱动。

《所拍摄的图像的处理》

通过拍摄获得的动态图像记录于记录部124。该动态图像成为聚焦位置周期性地发生变动的动态图像。聚焦位置在一次扫描中从最近端的位置位移至无限远端的位置。因此，当每次进行扫描时，能够获取至少一张已对焦的帧的图像。

通过以扫描单位分析通过拍摄获得的动态图像，并提取锐度最高的帧的图像，能够以扫描单位提取对焦图像。

图9是提取对焦图像的概念图。

以扫描单位分析通过拍摄获得的动态图像，并提取锐度最高的帧的图像。具体而言，求出构成各帧的图像FI的锐度，并以扫描单位提取锐度最高的帧的图像FImax。该处理可以通过相机100进行，也可以通过专用图像处理装置进行。

当通过相机100进行时，使相机微型机128实现进行上述处理的功能。在该情况下，相机微型机128通过执行规定的程序，作为对焦图像提取部而发挥功能，并执行上述处理。另外，对焦图像的提取可以实时进行，也可以在拍摄结束后汇总实施。在实时实施的情况下，每次扫描结束时实施对焦图像的提取处理。

当通过专用图像处理装置进行时，例如，使计算机作为图像处理装置而发挥功能。即，使计算机执行规定的程序，而作为进行上述处理的装置发挥功能。

[变形例]

《无人航空器的速度的设定》

如上所述，拍摄中的无人航空器10的速度设定为在移动到偏离了相机100 的摄像范围量的位置为止的期间至少进行一次扫描的速度。由此，能够以带有重叠的方式拍摄对焦图像。

另一方面，若考虑拍摄的效率，则拍摄中的无人航空器10的速度优选设定为与移动至偏离了摄像范围量的位置同时完成一次扫描的速度。由此，能够在短时间内拍摄所期望的范围。

图10是设定与扫描的同时完成移动时的无人航空器的飞行速度的概念图。

若将无人航空器10的移动方向上的相机100的摄像范围的宽度设为X，则以与无人航空器10移动距离X的同时完成一次扫描的方式设定无人航空器10 的速度。在该情况下，若将一次扫描所花费的时间设为T，则无人航空器10的速度V设定为V＝X/T。

另外，这里的“同时”不是要求严格的同时性的概念，而是包含视为大致同时的范围的概念。因此，容许一些偏离。无人航空器10的速度设定为以与移动至偏离了摄像范围量的位置大致相同的定时完成一次扫描的速度即可。

并且，实际上需要考虑重合，因此设定为比无人航空器10移动至偏离了摄像范围量的位置稍快地完成一次扫描的速度。

另外，无人航空器10的移动方向上的相机100的摄像范围的宽度X根据无人航空器10的移动方向而发生变化。因此，当一边向任意方向转换一边拍摄时，优选根据无人航空器10的移动方向修正速度。

并且，即使在改变了相机100的朝向(摄像方向)的情况下，摄像范围也会发生变动，因此优选根据相机100的朝向修正速度。

当一边以一定的速度飞行一边拍摄时，设定为在移动到偏离了摄像范围的短边方向的宽度量的位置为止的期间至少进行一次扫描的速度。由此，即使在一边向任意的方向飞行一边拍摄的情况下，也能够拍摄重合的对焦图像。此时的最大速度为与移动至偏离了摄像范围的短边方向的宽度量的位置同时完成一次扫描的速度。

《飞行速度的调整》

如上所述，在拍摄中，无人航空器10以大致保持一定高度的方式飞行。但是，有时因受到风等的影响而并不一定以一定的高度飞行。

当无人航空器10具备高度传感器等高度测量机构时，优选从该高度测量机构获取高度信息并调整飞行速度。例如以如下顺序进行调整。首先，获取高度信息。接着，根据所获取的高度信息，估计被摄体距离。接着，由估计出的被摄体距离及视角计算当前的摄像范围。根据计算出的当前的摄像范围的信息，校正无人航空器10的速度。当视角为一定时，若高度下降(＝被摄体距离变短)，则摄像范围变窄，因此降低飞行速度。另一方面，若高度上升(＝被摄体距离变长)，则摄像范围变宽，因此加快飞行速度。

如此，根据无人航空器10的高度，调整飞行速度，由此在不稳定的环境下也能够适当地进行拍摄。

另外，由被摄体距离及视角计算摄像范围的处理以及由计算出的摄像范围计算速度校正量并校正飞行速度的处理例如由无人航空器微型机30进行。在该情况下，无人航空器微型机30作为摄像范围计算部及飞行速度校正部而发挥功能。摄像范围计算部将当前的高度信息作为被摄体距离的信息来获取，并根据所获取的被摄体距离的信息及视角，计算当前的摄像范围。飞行速度校正部根据计算出的摄像范围，校正飞行速度。例如，以与摄像范围的变化量相应的校正量来校正飞行速度。

被摄体距离能够由摄像图像求出。即，只要知道对焦图像被拍摄时的聚焦位置，则由该聚焦位置的信息能够求出被摄体距离，因此由摄像图像能够求出被摄体距离。当由摄像图像求出被摄体距离时，例如以如下方式进行处理。首先，在一次扫描结束的阶段，获取一次扫描量的图像数据。接着，分析所获取的图像数据，并提取对焦图像。接着，确定提取了对焦图像时的聚焦位置。接着，根据所确定的聚焦位置，确定被摄体距离。通过每次完成一次扫描时实施该处理，能够逐次检测被摄体距离。

从摄像图像检测被摄体距离的处理可以通过相机100来进行，也可以通过无人航空器10来进行。当相机100进行时，相机微型机128作为被摄体距离检测部而发挥功能。并且，当无人航空器10进行时，无人航空器微型机30作为被摄体距离检测部而发挥功能。当无人航空器微型机30作为被摄体距离检测部而发挥功能时，从相机100获取图像数据并进行处理。

《扫描的方式》

<扫描的波形>

在上述实施方式中，设为使聚焦位置以正弦波状位移并对其进行周期性扫描的结构，但扫描的方式并不限定于此。此外，例如，也可以设为使聚焦位置以锯齿波状位移并对其进行周期性扫描的结构。

图11是使聚焦位置以锯齿波状位移并对其进行周期性扫描时的概念图。在图11中，纵轴表示聚焦位置，横轴表示时间。

如图11所示，聚焦位置在最近端与无限远端之间以锯齿波状位移且被周期性地扫描。

<聚焦位置的位移的方式>

并且，在上述实施方式中，使聚焦位置连续地位移，但也可以间歇地位移。在该情况下，优选使位移的周期与拍摄的周期一致。例如，在动态图像的拍摄中，以与帧速率相同的周期来位移。并且，在静态图像的拍摄中，以与静态图像的摄像间隔相同的间隔来位移。

并且，当使聚焦位置间歇地位移时，位移量优选考虑景深来设定。以下，对考虑到景深的位移量的设定进行说明。

图12是景深的计算方法的说明图。

景深是指显得如对准了焦点的被摄体侧的距离的范围。在成像镜头中，当在某一个设定下在严格的意义上焦点对准的场所，只在一个平面上。但是，通过允许一定的容许量，存在可以说在其前后充分且清楚地连结像的范围。

若将前侧的景深设为前侧景深Df，将后侧的景深设为后侧景深Db，则由下式计算前侧景深Df及后侧景深Db。

前侧景深Df＝(容许弥散圆直径×F值×被摄体距离²)/(焦距²+容许弥散圆直径×F值×被摄体距离)

后侧景深Db＝(容许弥散圆直径×F值×被摄体距离²)/(焦距²-容许弥散圆直径×F值×被摄体距离)

由上式可知，景深将容许弥散圆直径、F值、被摄体距离及焦距作为参数来计算。

在此，弥散圆是指，通过成像镜头成像了点时的圆形的像，尤其将图像传感器无法识别为模糊的最小的大小称为容许弥散圆直径。容许弥散圆直径由图像传感器的像素间距或被称为艾里斑直径的透镜的光学成像界限确定，且像素间距或艾里斑直径中的大的一个成为容许弥散圆直径。

现在考虑使成像镜头的聚焦位置位移的情况即将像距离从b位移至b+Δb 的情况。在该情况下，对焦的被摄体距离改变。即，对焦的被摄体距离从a变化为a+Δa。

聚焦位置的位移量(Δb)以对焦的被摄体距离的变化量Δa不会超过前侧景深Df及后侧景深Db的方式设定。

如此，考虑景深而设定聚焦位置的位移量，并与位移同步地进行拍摄，由此能够拍摄在任一帧中必定对焦的图像。

<扫描的设定例>

在一边从自对象离1000mm的位置水平移动一边拍摄的情况下，考虑拍摄以±50mm的范围来对焦的图像的情况。

相机的规格如下。

成像镜头的焦距：f＝42mm

成像镜头的F值：F＝1.4

图像传感器的像素间距：7.1μm

图13是表示聚焦透镜组的位置与对焦的被摄体距离之间的关系的曲线图。

如图13所示，若要拍摄以±50mm的范围来对焦的图像，则使聚焦透镜组从图像传感器的成像面以46.1mm～45.9mm的范围来位移即可。位移量以不超过景深宽度的最大限度的细度来设定。

当使聚焦位置以正弦波状位移并对其进行扫描时，将一个周期设为52帧以上的帧数来进行拍摄即可。换言之，当相机侧的帧速率为30帧/秒时，只要将扫描的一个周期设为52/30＝1.73秒以上，则能够以不产生景深的空白范围的方式进行拍摄。

当使聚焦位置以锯齿波状位移并对其进行扫描时，等速扫描46.1～45.9mm 的同时将一次设为19帧以上的帧数来进行拍摄即可。换言之，当相机侧的帧速率为30帧/秒时，只要一次扫描花费19/30＝0.63秒以上，则能够以不产生景深的空白范围的方式进行拍摄。

《无人航空器的飞行》

无人航空器10也可以是自动飞行预先设定的路径的结构。在该情况下，无需控制器12。无人航空器10根据各种传感器的信息，一边自主控制，一边飞行所确定的路径。另外，在该情况下，也在上述条件下设定飞行速度。

《基于相机的拍摄》

在上述实施方式中，设为根据摄像命令连续地拍摄动态图像的结构，但也可以设为周期性地拍摄静态图像的结构。“周期性地拍摄静态图像”是指，在命令拍摄开始至命令拍摄结束的期间，以一定的周期重复拍摄静态图像。

《聚焦机构》

在上述实施方式中，设为使构成成像镜头的透镜组的一部分移动而使聚焦位置位移的结构，但使聚焦位置位移的结构即聚焦机构的结构并不限定于此。此外，例如，也能够设为使成像镜头的整体即所有透镜组沿光轴L移动而使聚焦位置位移的结构。并且，也能够设为成像镜头固定而使图像传感器沿光轴前后移动以使聚焦位置位移的结构。

《其他》

关于无人航空器10与相机100之间的通信方式并无特别限定，也可以设为通过无线进行通信的方式。

◆◆摄像装置的第2实施方式◆◆

[摄像装置的装置结构]

本实施方式的摄像装置在构成为具备无人航空器及搭载于该无人航空器的相机这点上与上述第1实施方式的摄像装置通用。其中，摄像部即相机的结构不同。本实施方式的摄像装置的相机由能够在同轴上同时拍摄视角不同的两个图像的双镜头相机构成。

除了相机以外的结构实质上与上述第1实施方式的摄像装置相同，因此在此仅对相机的结构进行说明。

[相机的结构]

图14是表示相机的概略结构的框图。

相机200为摄像部的一例。相机200构成为具备成像镜头300、图像传感器210、模拟信号处理部230、记录部232、相机侧有线通信部234及相机微型机236等。

《成像镜头》

图15是成像镜头的概略结构图。

成像镜头300同时拍摄视角不同的两个图像，因此具有两个光学系统(第 1光学系统310及第2光学系统320)。第1光学系统310及第2光学系统320 在同轴上进行拍摄，因此具有相同的光轴L。尤其本实施方式的成像镜头300 的第1光学系统310及第2光学系统320配置成同心状。并且，第1光学系统 310及第2光学系统320拍摄视角不同的图像，因此具有不同的焦距。在本实施方式中，第1光学系统310由长焦光学系统构成，第2光学系统320由焦距短于第1光学系统310的广角光学系统构成。

<第1光学系统>

第1光学系统310由长焦光学系统构成。尤其在本实施方式中，第1光学系统310由反射式长焦光学系统构成。

如图15所示，第1光学系统310构成为从被摄体侧依次配置有第1光学系统第1透镜310a、第1光学系统第1反射镜310b、第1光学系统第2反射镜310c、第1光学系统光圈310d及共用透镜330。第1光学系统第1透镜 310a、第1光学系统第1反射镜310b、第1光学系统第2反射镜310c及第1 光学系统光圈310d分别具有环形状。

第1光学系统第1反射镜310b构成反射式长焦光学系统的主镜，且朝向第1光学系统第2反射镜310c反射通过了第1光学系统第1透镜310a的光。

第1光学系统第2反射镜310c构成反射式长焦光学系统的副镜，且朝向共用透镜330反射由第1光学系统第1反射镜310b反射的光。

第1光学系统光圈310d调整从第1光学系统第2反射镜310c入射于共用透镜330的光的量。第1光学系统光圈310d构成为将多片光圈叶片组合成环状，并缩放其外径而调整光量。

共用透镜330为最终透镜。入射于第1光学系统310的光从共用透镜330 射出，并入射于图像传感器210。共用透镜330与第2光学系统320通用。

图16是表示通过第1光学系统的光的光线轨迹的图。

如图16所示，光经由第1光学系统第1透镜310a、第1光学系统第1反射镜310b、第1光学系统第2反射镜310c、第1光学系统光圈310d及共用透镜330入射于图像传感器210。

<第2光学系统>

第2光学系统320由广角光学系统构成。尤其在本实施方式中，第2光学系统320由能够进行泛焦下的拍摄的固定焦点光学系统构成。

图15所示，第2光学系统320从被摄体侧依次配置有第2光学系统第1 透镜320a、第2光学系统第2透镜320b、第2光学系统光圈320c、第2光学系统第3透镜320d、第2光学系统第4透镜320e及共用透镜330。各光学要件配置于第1光学系统310的内周部同轴上。第2光学系统320为固定焦点，因此各光学要件(包含共用透镜330)固定配置于一定位置。第2光学系统光圈320c也由固定光圈构成，且固定配置于一定位置。

图17是表示通过第2光学系统的光的光线轨迹的图。

光经由第2光学系统第1透镜320a、第2光学系统第2透镜320b、第2 光学系统光圈320c、第2光学系统第3透镜320d、第2光学系统第4透镜 320e及共用透镜330入射于图像传感器210。

<成像镜头的驱动系统>

图18是表示成像镜头的驱动系统的概略结构的框图。

如上所述，第2光学系统320为固定焦点、固定光圈，因此驱动系统仅对第1光学系统310进行设置。

第1光学系统310作为用于调整其聚焦位置的机构具备第1光学系统聚焦机构。

第1光学系统聚焦机构通过使第1光学系统310的一部分光学要件沿轴前后移动，使聚焦位置位移。

图19是通过第1光学系统聚焦机构驱动的第1光学系统的动作说明图。图19(A)表示使可动部移动至被摄体侧的状态，图19(B)表示使可动部移动至像面侧的状态。

如图19所示，第1光学系统聚焦机构使构成第1光学系统310的第1光学系统第1透镜310a、第1光学系统第1反射镜310b、第1光学系统第2反射镜310c及第1光学系统光圈310d一体地移动，而使聚焦位置位移。

第1光学系统聚焦机构构成为具备以沿轴一体移动自如的方式支承第1光学系统第1透镜310a、第1光学系统第1反射镜310b、第1光学系统第2反射镜310c及第1光学系统光圈310d(以下，称为第1光学系统可动部。)的支承部(未图示)和使该第1光学系统可动部沿轴移动的第1光学系统聚焦电机340。第1光学系统聚焦电机340例如由线性电机构成。相机微型机236经由第1光学系统聚焦电机驱动器340a控制第1光学系统聚焦电机340的驱动。

第1光学系统310作为检测第1光学系统可动部的位置的机构，具备第1 光学系统光电断路器342a及第1光学系统MR传感器342b。第1光学系统光电断路器342a检测第1光学系统可动部位于预先设定的原点。第1光学系统MR 传感器342b检测第1光学系统可动部的位移量。通过第1光学系统光电断路器342a检测第1光学系统可动部位于原点，并通过第1光学系统MR传感器 342b检测离原点的位移量，由此能够检测相对于原点的第1光学系统可动部的位置。第1光学系统光电断路器342a及第1光学系统MR传感器342b的检测结果输出至相机微型机236。相机微型机236根据第1光学系统光电断路器 342a及第1光学系统MR传感器342b的输出，检测第1光学系统可动部的位置。

第1光学系统光圈310d由第1光学系统光圈电机344驱动。相机微型机 236经由第1光学系统光圈驱动器344a控制第1光学系统光圈电机344的驱动。

《图像传感器》

图像传感器210由选择性地受光通过了第1光学系统310的光及通过了第 2光学系统320的光的像素以矩阵状排列的定向传感器构成。

图20是图像传感器的概略结构图。

如图20所示，图像传感器210具有选择性地受光通过了第1光学系统310 的光的第1像素212A及选择性地受光通过了第2光学系统320的光的第2像素212B。第1像素212A及第2像素212B在同一平面上交替配置。

图21是图像传感器的各像素选择性地受光来自所对应的光学系统的光的结构的概念图。

如图21所示，各像素构成为具备光电二极管214、微透镜216及遮光掩模 218。

微透镜216配置于光电二极管214的前方。微透镜216将第1光学系统 310及第2光学系统320的光瞳像成像于光电二极管214。

遮光掩模218配置于微透镜216与光电二极管214之间。遮光掩模218遮光通过了微透镜216的光的一部分。第1像素212A的遮光掩模218具有遮光通过了第2光学系统320的光L2的形状。具体而言，具有圆形状。第2像素 212B的遮光掩模218具有遮光通过了第1光学系统310的光L1的形状。具体而言，具有环形状。

根据以上结构，第1像素212A选择性地受光通过了第1光学系统310的光L1，第2像素212B选择性地受光通过了第2光学系统320的光L2。因此，通过获取第1像素212A的图像信号，能够获取经由第1光学系统310获得的图像Im1的图像信号，通过获取第2像素212B的图像信号，能够获取经由第2 光学系统320获得的图像Im2的图像信号。

本实施方式的成像镜头300中，第1光学系统310由长焦光学系统构成，第2光学系统320由广角光学系统构成。因此，第1光学系统310的图像Im1 成为长焦图像，第2光学系统320的图像Im2成为广角图像。并且，各光学系统的图像在同轴上被拍摄，因此第1光学系统310的图像Im1成为放大了第2 光学系统320的图像Im2的中央部分的图像，且成为没有视差的图像。

另外，当获取彩色图像时，在第1像素212A及第2像素212B中设置有滤色器。滤色器以规定排列配置。例如，由红色(R)、绿色(G)及蓝色(B) 这三个颜色构成的滤色器以拜耳排列配置。由此，能够获取彩色图像。

《模拟信号处理部》

模拟信号处理部230读取从图像传感器210输出的每个像素的模拟图像信号，并实施规定的信号处理之后，转换为数字信号并输出。从模拟信号处理部 230输出的数字图像信号被相机微型机236读取。

《记录部》

记录部232为各种数据的记录部。所拍摄的图像数据记录于记录部232。另外，本实施方式的相机200在一次拍摄中同时拍摄两个图像，因此在一次拍摄中记录两个图像。具体而言，记录通过第1光学系统310拍摄的图像数据及通过第2光学系统320拍摄的图像数据。

《相机侧有线通信部》

相机侧有线通信部234在基于相机微型机236的控制下，通过有线与无人航空器10进行通信，并彼此收发各种信号。

《相机微型机》

相机微型机236为集中控制相机200的整体动作的控制部。相机微型机 236具备CPU、ROM及RAM，并通过执行规定的程序而实现各种功能。程序存储于ROM。

图22是相机微型机实现的主要功能的框图。

如图22所示，相机微型机236通过执行规定的程序，作为数字信号处理部236a、记录控制部236b、相机侧有线通信控制部236c、摄像控制部236d、第1光学系统光圈控制部236e、第1光学系统聚焦控制部236f及第1光学系统透镜位置检测部236g等而发挥功能。

数字信号处理部236a读取从模拟信号处理部230输出的模拟图像信号，并实施规定的信号处理而生成图像数据。此时，数字信号处理部236a根据图像传感器210的第1像素212A的图像信号生成第1图像数据，并根据第2像素212B的图像信号生成第2图像数据。第1图像数据为经由第1光学系统310 拍摄的第1图像的图像数据，第2图像数据为经由第2光学系统320拍摄的第 2图像的图像数据。

记录控制部236b控制数据向记录部232的读写。通过拍摄获得的图像数据(第1图像数据及第2图像数据)通过记录控制部236b记录于记录部232。

相机侧有线通信控制部236c经由相机侧有线通信部234控制与无人航空器10之间的通信。

摄像控制部236d经由图像传感器驱动器210a控制图像传感器210的驱动。更具体而言，以规定的帧速率来拍摄动态图像的方式控制图像传感器210 的驱动。

第1光学系统光圈控制部236e经由第1光学系统光圈驱动器344a控制第 1光学系统光圈电机344的驱动。

第1光学系统聚焦控制部236f经由第1光学系统聚焦电机驱动器340a控制第1光学系统聚焦电机340的驱动。具体而言，以周期性地扫描第1光学系统310的聚焦位置的方式控制第1光学系统聚焦电机340的驱动。在本实施方式的相机200中，在最近端与无限远端之间使第1光学系统310的聚焦位置以正弦波状位移并对其进行周期性扫描(参考图7)。

第1光学系统透镜位置检测部236g根据第1光学系统光电断路器342a及第1光学系统MR传感器342b的输出，检测第1光学系统可动部的位置。

第1光学系统聚焦控制部236f根据第1光学系统可动部的位置，控制第1 光学系统聚焦电机340的驱动，并周期性地扫描聚焦位置。

[摄像装置的作用]

《基本动作》

<无人航空器的基本动作>

无人航空器10根据控制器12的操作而在大气中飞行。具体而言，根据基于控制器12的上升命令而上升，根据下降命令而下降。并且，根据回转命令而向被命令的方向回转。

<相机的基本动作>

相机200也根据控制器12的操作进行拍摄。即，根据基于控制器12的拍摄开始的命令，开始动态图像的拍摄。并且，根据基于控制器12的拍摄结束的命令，结束动态图像的拍摄。在从拍摄开始至命令拍摄结束的期间，连续地拍摄动态图像。

在此，在本实施方式的相机200中，基于第1光学系统310的动态图像及基于第2光学系统320的动态图像在同轴上同时被拍摄。基于第1光学系统 310的动态图像为长焦动态图像，基于第2光学系统320的动态图像为广角动态图像。两者成为没有视差的动态图像。通过第1光学系统310拍摄的动态图像及通过第2光学系统320拍摄的动态图像分别记录于记录部232。

在拍摄中，关于第1光学系统310，周期性地扫描聚焦位置。即，在最近端与无限远端之间，聚焦位置以正弦波状位移并周期性地扫描聚焦位置。由此，关于第1光学系统310，当每次进行一次扫描时，能够拍摄至少一张已对焦的帧的图像。

另外，基于第2光学系统320的拍摄为固定焦点下的拍摄，且为泛焦下的拍摄。

<拍摄中的无人航空器的动作>

在拍摄中，无人航空器10以大致保持一定高度的方式飞行。因此，拍摄中的操作只能进行旋回操作。

作为移动控制部30a而发挥功能的无人航空器微型机30根据来自传感器部24的输出，控制各螺旋桨驱动电机20的驱动，并以大致保持一定高度的方式飞行。

并且，无人航空器10在拍摄中以如下方式控制速度而飞行。即，以在移动到偏离了基于第1光学系统310的摄像范围量的位置为止的期间至少进行一次扫描的方式控制飞行速度。

图23是设定拍摄中的无人航空器的飞行速度的概念图。

现在考虑从一定的高度朝向正下方进行拍摄的情况。在该情况下，通过第 1光学系统310拍摄视角θ1的范围，通过第2光学系统320拍摄视角θ2的范围。

将无人航空器10的移动方向上的第1光学系统310的摄像范围的宽度设为X1，将第2光学系统320的摄像范围的宽度设为X2。在该情况下，无人航空器10设定为在移动距离X1的期间至少进行一次扫描的速度。

图23示出了设定为在移动距离X1的期间进行两次扫描的速度时的例子。在该情况下，若将一次扫描所需的时间设为T，则无人航空器10的速度V设定为V＝X/2T。作为移动控制部30a而发挥功能的无人航空器10的无人航空器微型机30在拍摄中以所设定的速度移动的方式控制各螺旋桨驱动电机20的驱动。

《所拍摄的图像的处理》

通过第1光学系统310拍摄的动态图像及通过第2光学系统320拍摄的动态图像分别记录于记录部232。在该动态图像中通过第1光学系统310拍摄的动态图像成为聚焦位置周期性地发生变动的动态图像。聚焦位置在一次扫描中从最近端的位置位移至无限远端的位置。因此，在一次扫描中能够获取至少一张已对焦的帧的图像。

关于通过第1光学系统310拍摄的动态图像，以扫描单位分析动态图像，并提取锐度最高的帧的图像，由此能够以扫描单位提取对焦图像。

关于通过第2光学系统320拍摄的动态图像，提取与对焦图像对应的帧的图像。即，提取以与作为对焦图像而提取的帧相同的定时来拍摄的帧的图像。

该对焦图像的提取处理可以通过相机200来进行，也可以通过专用图像处理装置来进行。

当通过相机200进行时，使相机微型机236实现进行上述处理的功能。在该情况下，相机微型机236通过执行规定的程序，作为对焦图像提取部而发挥功能，并执行上述处理。另外，对焦图像的提取可以实时进行，也可以在拍摄结束后汇总实施。在实时实施的情况下，每次扫描结束时实施对焦图像的提取处理。

当通过专用图像处理装置进行时，例如，使计算机作为图像处理装置而发挥功能。即，使计算机执行规定的程序而作为进行上述处理的装置发挥功能。

[变形例]

《无人航空器的速度的设定》

如上所述，拍摄中的无人航空器10的速度设定为在移动到偏离了第1光学系统310的摄像范围量的位置为止的期间至少进行一次扫描的速度。由此，在第1光学系统310及第2光学系统320的双向上，能够以带有重叠的方式拍摄对焦图像。

另一方面，若考虑拍摄的效率，则拍摄中的无人航空器10的速度优选设定为与移动至第1光学系统310的摄像范围量的位置同时完成一次扫描的速度。由此，能够在短时间内拍摄所期望的范围。

图24是设定与扫描的同时完成移动时的无人航空器的飞行速度的概念图。

若将无人航空器10的移动方向上的第1光学系统310的摄像范围的宽度设为X1，则以与无人航空器10移动距离X1的同时完成一次扫描的方式设定无人航空器10的速度。在该情况下，若将一次扫描所花费的时间设为T，则无人航空器10的速度V设定为V＝X1/T。

另外，这里的“同时”不是要求严格的同时性的概念，而是包含视为大致同时的范围的概念。因此，容许一些偏离。无人航空器10的速度设定为以与移动至偏离了摄像范围量的位置大致相同的定时完成一次扫描的速度即可。

并且，实际上需要考虑重合，因此设定为比无人航空器10移动至偏离了第1光学系统310的摄像范围量的位置稍快地完成一次扫描的速度。

另外，无人航空器10的移动方向上的第1光学系统310的摄像范围的宽度X1根据无人航空器10的移动方向而发生变化。因此，当一边向任意方向转换一边拍摄时，优选根据无人航空器10的移动方向修正速度。

并且，即使在改变了相机200的朝向(摄像方向)的情况下，摄像范围也发生变动，因此更优选根据相机200的朝向修正速度。

当一边以一定的速度飞行一边拍摄时，设定为在移动到偏离了第1光学系统310的摄像范围的短边方向的宽度量的位置为止的期间至少进行一次扫描的速度。由此，即使在一边向任意的方向飞行一边拍摄的情况下，在第1光学系统310及第2光学系统320这两者，能够拍摄重合的对焦图像。此时的最大速度为与移动至偏离了第1光学系统310的摄像范围的短边方向的宽度量的位置同时完成一次扫描的速度。

《飞行速度的调整》

当无人航空器10具备高度传感器等高度测量机构时，优选从该高度测量机构获取高度信息并调整飞行速度。即，优选由高度估计被摄体距离，由估计出的被摄体距离及视角计算当前的摄像范围以校正无人航空器10的速度。

另外，由被摄体距离及视角计算摄像范围的处理以及由计算出的摄像范围计算速度校正量并校正飞行速度的处理例如由无人航空器微型机30进行。在该情况下，无人航空器微型机30作为摄像范围计算部及飞行速度校正部而发挥功能。摄像范围计算部将当前的高度信息作为被摄体距离的信息来获取，并根据所获取的被摄体距离的信息及视角，计算当前的摄像范围。飞行速度校正部根据计算出的摄像范围，校正飞行速度。例如，以与摄像范围的变化量相应的校正量来校正飞行速度。

如上所述，被摄体距离也能够由摄像图像求出。从摄像图像检测被摄体距离的处理可以通过相机200进行，也可以通过无人航空器10进行。当通过相机200进行时，相机微型机236作为被摄体距离检测部而发挥功能。并且，当无人航空器10进行时，无人航空器微型机30作为被摄体距离检测部而发挥功能。当无人航空器微型机30作为被摄体距离检测部而发挥功能时，从相机200 获取图像数据并进行处理。

《扫描的方式》

在上述实施方式中，设为使聚焦位置以正弦波状位移并对其进行周期性扫描的结构，但扫描的方式并不限定于此。此外，例如也可以设为使聚焦位置以锯齿波状位移并对其进行周期性扫描的结构(参考图11)。

并且，聚焦位置也可以间歇地位移。在该情况下，优选使位移的周期与拍摄的周期一致。

《无人航空器的飞行》

无人航空器10也可以是自动飞行预先设定的路径的结构。在该情况下，无需控制器12。无人航空器10根据各种传感器的信息，一边自主控制，一边飞行所确定的路径。另外，在该情况下，也在上述条件下设定飞行速度。

《基于相机的拍摄》

在上述实施方式中，设为根据摄像命令连续地拍摄动态图像的结构，但也可以设为周期性地拍摄静态图像的结构。

《第2光学系统的聚焦机构》

在上述实施方式中，第2光学系统320由固定焦点光学系统构成，但关于第2光学系统320也可以具备聚焦机构(第2光学系统聚焦机构)。第2光学系统聚焦机构例如使构成第2光学系统320的透镜组的一部分或全部移动而使第2光学系统320的聚焦位置位移。

并且，当在第2光学系统320中具备聚焦机构时，在第2光学系统320中也可以具备自动聚焦功能。在该情况下，另行具备检测第2光学系统320的对焦状态的检测部(第2光学系统对焦状态检测部)，并根据该第2光学系统对焦状态检测部的检测结果，控制第2光学系统聚焦机构。第2光学系统聚焦机构的控制由相机微型机236实施。即，相机微型机236作为第2光学系统聚焦控制部而发挥功能，并根据第2光学系统对焦状态检测部的检测结果，控制第 2光学系统聚焦机构。

关于第2光学系统对焦状态检测部的结构并无特别限定，能够采用公知的检测机构。例如，能够采用基于对比度方式的检测机构、基于相位差方式的检测机构及使用了距离传感器的检测机构等。

《第2光学系统的光圈》

在上述实施方式中，第2光学系统320的光圈(第2光学系统光圈320c) 由固定光圈构成，但也能够由可调整光量的光圈构成。例如，能够由可变光阑构成。

《成像镜头的结构》

在上述实施方式中，设为将第1光学系统310及第2光学系统320配置成同心状的结构，但成像镜头300的结构并不限定于此。例如，也能够设为以上下等分割为二等分的结构。在该情况下，图像传感器210也设为与成像镜头 300的结构相应的结构。

并且，在上述实施方式中，将第1光学系统310及第2光学系统320由焦距不同的光学系统来构成，但也可以由焦距相同但其他性质不同的光学系统来构成。或者，也可以由焦距不同且其他性质也不同的光学系统构成。例如，也可以由透射波长特性彼此不同的光学系统构成。“透射波长特性”是指透射特定的波长区域的光的性质，“透射波长特性不同的光学系统”是指透射特定的波长区域的光的性质彼此不同的光学系统。例如，也可以由透射红外光区域的光的光学系统及透射可见光区域的光的光学系统来构成成像镜头。

《干扰去除处理》

如本实施方式的相机，若通过一个图像传感器拍摄两个光学系统的图像，则有时产生干扰。干扰是指来自其他光学系统的光混入而受光的现象。若产生干扰，则拍摄到重叠有其他光学系统的图像的图像。当产生干扰时，优选对通过拍摄获得的图像数据实施干扰去除处理。

干扰去除处理例如以如下方式进行。另外，在此，为了便于理解，设为所有的第1像素具有相同的干扰比率，且所有的第2像素具有相同的干扰比率。“干扰比率”是指，各像素从各光学系统受光的光的比例。

将第1像素的干扰比率设为C1＝C11∶C12，将第2像素的干扰比率设为 C2＝C21∶C22。在此，关于第1像素，干扰比率C1为C11∶C12表示从第1光学系统及第2光学系统受光的光的比例为第1光学系统∶第2光学系统＝C11∶C12。即，表示以C11的比例从第1光学系统受光，以C12的比例从第2 光学系统受光。相同地，关于第2光学系统，干扰比率C2为C21∶C22表示从第1光学系统及第2光学系统受光的光的比例为第1光学系统∶第2光学系统＝C21∶C22。

将干扰去除处理之前的第1光学系统的图像数据设为第1光学系统一次图像数据，将干扰去除处理之后的第1光学系统的图像数据设为第1光学系统二次图像数据。并且，将干扰去除处理之前的第2光学系统的图像数据设为第2 光学系统一次图像数据，将干扰去除处理之后的第2光学系统的图像数据设为第2光学系统二次图像数据。在该情况下，在第1光学系统一次图像数据中以干扰比率C1＝C11∶C12的比例来产生干扰。并且，在第2光学系统一次图像数据中以干扰比率C2＝C21∶C22的比例来产生干扰。

现在，将某一特定的像素位置(x、y)上的第1光学系统一次图像数据的像素值(该像素所具有的值)设为A1，将第2光学系统一次图像数据的像素值设为A2。并且，将所对应的像素位置上的第1光学系统二次图像数据的像素值设为B1，将第2光学系统二次图像数据的像素值设为B2。

解开如下联立方程式来求出第1光学系统二次图像数据及第2光学系统二次图像数据的各像素值B1、B2。

A1＝C11*B1+C12*B2

A2＝C21*B1+C22*B2

即，第1光学系统一次图像数据为以C11∶C12的比例包含第1光学系统二次图像数据的成分(与第1光学系统的成分含义相同)及第2光学系统二次图像数据的成分(与第2光学系统的成分含义相同)的数据。因此，若将该关系以式来表示，则成为A1＝C11*B1+C12*B2。相同地，第2光学系统一次图像数据为以C21∶C22的比例包含第1光学系统二次图像数据的成分(第1光学系统的成分)及第2光学系统二次图像数据的成分(第2光学系统的成分)的数据，因此若将该关系以式来表示，则成为A2＝C21*B1+C22*B2。

通过以像素单位来解开上述联立方程式，能够计算第1光学系统二次图像数据及第2光学系统二次图像数据的各像素值B1、B2，并能够生成去除了干扰影响的图像数据(第1光学系统二次图像数据及第2光学系统二次图像数据)。

关于上述联立方程式，能够使用矩阵来解开。若将以第1光学系统一次图像数据及第2光学系统一次图像数据的像素值A1、A2为要素的2行1列的矩阵设为A，将以第1光学系统二次图像数据及第2光学系统二次图像数据的像素值B1、B2为要素的2行1列的矩阵设为B，将以第1像素的干扰比率 C1＝C11∶C12及第2像素的干扰比率C2＝C21∶C22为要素的2行2列的矩阵设为 C，则上述联立方程式能够以A＝C＊B来表现。

而且，关于第1光学系统二次图像数据及第2光学系统二次图像数据的像素值B1、B2，能够通过对上述矩阵方程式A＝C＊B的两边乘以C的逆矩阵C-1 来计算。即，能够通过解开B＝C-1＊A来计算。

各像素中所具备的像素的干扰比率为已知，因此关于逆矩阵C-1，能够预先获取。因此，只要能够获取各一次图像数据的像素值A1、A2，则使用逆矩阵 C-1能够计算各二次图像数据的像素值B1、B2。

如上所述，通过对一次图像数据实施规定的运算处理(干扰去除处理)，能够生成去除了干扰影响的二次图像数据。

该处理例如能够设为通过相机微型机236实施的结构。相机微型机236通过执行规定的程序而作为干扰去除处理部发挥功能。并且，该处理也能够在拍摄之后通过另一装置例如计算机来实施。

◆◆摄像装置的其他实施方式◆◆

在上述实施方式中，以在无人航空器中搭载相机并进行拍摄的情况为例子进行了说明，但搭载相机的移动体的结构并不限定于此。此外，例如在自动驾驶汽车等自动行走的移动体中搭载相机并进行拍摄的情况下也能够应用。并且，不论有人、无人的区别。并且，飞行体并不限于航空器，也可以是人造卫星、宇宙飞船等在宇宙空间飞行的飞行体。

并且，相机并不一定要搭载于移动体，也能够设为用户手持拍摄的结构。

而且，在将相机搭载于云台等，并一边平移一边拍摄的情况下也能够应用本发明。

◆◆图像合成装置的第1实施方式◆◆

[图像合成装置的装置结构]

图25是图像合成装置的系统结构图。

如图25所示，本实施方式的图像合成装置2由摄像装置1及计算机3构成。计算机3对通过摄像装置1拍摄的图像进行处理而生成合成图像。在此生成的合成图像为拼接了通过摄像装置1拍摄的图像组的马赛克图像。

《摄像装置》

在本实施方式中，使用具备单镜头相机100的摄像装置1。

另外，设为在摄像装置1中具备对焦图像提取部。如上所述，对焦图像提取部以扫描单位分析记录于记录部124的动态图像，并以扫描单位将锐度最高的帧的图像作为对焦图像来提取。所提取的对焦图像记录于记录部124。相机微型机128通过执行规定的程序而作为对焦图像提取部发挥功能。

《计算机》

计算机3为合成图像生成部的一例。计算机3从摄像装置1获取图像组，并拼接所获取的图像组而生成一张合成图像。另外，从摄像装置1获取的图像组为以扫描单位提取的对焦图像组。

计算机3由常规的诺伊曼计算机构成，且构成为具备输入装置、输出装置、中央处理装置(CPU)、主存储装置及辅助存储装置等。计算机3通过执行规定的程序而作为合成图像生成部发挥功能。程序存储于辅助存储装置，并且读出到主存储装置并通过中央处理装置执行。

计算机3使用公知的马赛克合成、拼接等方法生成合成图像。例如，能够采用在相邻的图像之间提取所对应的特征点，且以所对应的特征点彼此重叠的方式对准位置并结合的方法。

[图像合成装置的作用]

《摄像》

首先，使用摄像装置1拍摄生成合成图像的对象。

图26是表示摄像方式的一例的图。该图示出了生成太阳能发电设备500 的合成图像时的例子。通过摄像装置1从上空拍摄设置于地面的太阳能发电设备500，并生成照出了太阳能发电设备500整体的一张合成图像。

太阳能发电设备500构成为有序排列有多个太阳能发电单元510。一个太阳能发电单元510构成为有序排列有多片太阳能电池模块520。在图26所示的例子中，以纵横5×9排列45片太阳能电池模块520而构成一个太阳能发电单元510。并且，在图26所示的例子中，以纵横4×3排列12个太阳能发电单元而构成太阳能发电设备500。

图26所示的箭头R表示摄像装置1的飞行路径。并且，图26中由虚线表示框Z示出了从规定的高度通过摄像装置1拍摄时的摄像范围。

如图26所示，摄像装置1以扫描太阳能发电设备500的方式飞行，并从上空拍摄太阳能发电设备500。如上所述，拍摄中的飞行速度设定为在移动到偏离了摄像范围量的位置为止的期间至少进行一次扫描的速度。

《对焦图像的提取》

若在拍摄中或拍摄结束，则进行对焦图像的提取处理。对焦图像的提取处理以扫描单位分析所拍摄的动态图像，并通过以扫描单位提取锐度最高的帧的图像来进行。所提取的对焦图像记录于记录部124。

《合成图像的生成》

图27为生成合成图像的概念图。

图27(A)示出了摄像装置1大致以直线状飞行时获得的对焦图像组的一例。尤其该图示出了对太阳能发电单元510横向拍摄了一列量时获得的对焦图像组的一例。并且，图27(B)示出了从图27(A)的对焦图像组生成的合成图像的一例。

如图27(A)所示，通过摄像装置1进行拍摄，以时间顺序且以扫描单位获得对焦图像S1、S2、……。所获得的对焦图像组成为每个图像在相邻的图像之间具备重叠区域的图像。相邻的图像是指以时间顺序相邻的图像。

计算机3使用公知的方法对对焦图像组进行处理，并生成合成图像。例如，在相邻的图像之间提取所对应的特征点，且以所对应的特征点彼此重叠的方式对准位置并结合。由此，如图27(B)所示，能够生成连续的一张合成图像。

[变形例]

在上述实施方式中，以使用具备单镜头相机100的摄像装置并对所获得的对焦图像组进行处理而生成合成图像的情况为例子进行了说明，但也能够使用具备双镜头相机200的摄像装置来生成合成图像。在该情况下，对从第1光学系统310获得的对焦图像组进行合成处理而生成合成图像。第1光学系统310 为长焦光学系统，因此能够生成高清晰的合成图像。并且，在该情况下，也能够使用第2光学系统320的图像而进行特征点的提取处理等。第2光学系统320为焦距短于第1光学系统310的广角光学系统，因此能够拍摄更广视角的图像。并且，第2光学系统320能够在与第1光学系统310同轴上进行拍摄，因此能够拍摄仅视角不同的图像。由此，能够提取更多的特征点，从而能够准确地进行位置对准等处理。

◆◆图像合成装置的第2实施方式◆◆

本实施方式的图像合成装置分析通过拍摄获得的对焦图像组，估计拍摄了各对焦图像时的相机的相对位置及姿势，并根据该估计结果，配置各对焦图像而生成合成图像。尤其在本实施方式中，使用SfM(Structure from Motion/ 运动恢复结构)法而估计拍摄了各对焦图像时的相机的相对位置及姿势。

[图像合成装置的装置结构]

图像合成装置的结构与上述第1实施方式的图像合成装置2的结构相同。即，由摄像装置1及计算机3构成。

另外，在本实施方式中，作为摄像装置1，以使用具备双镜头相机200的摄像装置的情况为例子进行说明。设为在摄像装置1中具备对焦图像提取部。对焦图像提取部以扫描单位分析通过第1光学系统310拍摄的动态图像，并将锐度最高的帧的图像作为第1光学系统310的对焦图像来提取。并且，关于第 2光学系统320的对焦图像，将与通过第1光学系统310提取的对焦图像对应的帧的图像作为对焦图像来提取。

《计算机》

图28是计算机实现的功能的框图。

计算机3通过执行规定的程序而作为摄像条件估计部3a及合成图像生成部3b发挥功能。

<摄像条件估计部>

摄像条件估计部3a从摄像装置1获取通过拍摄获得的对焦图像组，分析所获取的对焦图像组，并将拍摄了各对焦图像时的相机200的相对位置及姿势作为摄像条件来估计。在本实施方式中，对所获取的对焦图像组应用SfM处理而估计拍摄了各对焦图像时的相机200的相对位置及姿势。SfM处理是指，从视点不同的多张图像复原被摄体的三维形状以及相机的相对位置及姿势的处理。作为进行SfM处理的程序，已知有“Bundler”、“VisualSFM”等程序。若输入图像组，则这些程序提取各图像中的特征点而进行图像之间的匹配，并估计这些特征点的3D点坐标以及各相机的相对位置及姿势并输出。

图29是表示通过SfM处理输出的结果的一例的图。另外，在图29中，坐标系X-Y-Z为将Z轴设为高度方向的地面坐标系，X-Y平面表示地平面。

如图29所示，通过对图像组进行SfM处理，估计从各图像提取的特征点 FP的3D点坐标以及相机200的相对位置及姿势。

但是，如上所述，在本实施方式的图像合成装置中，使用具备双镜头相机 200的摄像装置1。在该摄像装置1中，在同轴上同时拍摄视角不同的两个图像。具体而言，通过第1光学系统310拍摄长焦图像，通过第2光学系统320 拍摄广角图像。

摄像条件估计部3a对两个对焦图像组中的第2光学系统320的对焦图像组进行SfM处理，并估计拍摄了各对焦图像时的相机200的相对位置及姿势。第2光学系统320由广角光学系统构成，因此能够拍摄更广范围的图像。由此，在提取特征点时，能够提取较多的特征点，从而能够以高精度估计相机 200的相对位置及姿势。

<合成图像生成部>

合成图像生成部3b根据摄像条件估计部3a的估计结果，配置各对焦图像并生成合成图像。即，根据估计出的相机200的相对位置及姿势，确定配置各对焦图像的位置及姿势，在所确定的位置上以所确定的姿势配置对焦图像并生成合成图像。

通过确定拍摄了各对焦图像时的相机200的相对位置及姿势，能够确定配置各对焦图像的平面上的各对焦图像的配置位置及配置姿势。因此，只要在所确定的配置位置上以所确定的配置姿势来配置图像，则能够生成广范围的合成图像。

在此，在合成图像的生成中，使用第1光学系统310的对焦图像。在相机 200的位置及姿势的估计中，利用了第2光学系统320的对焦图像，但第1光学系统310的图像与第2光学系统320在同轴上进行拍摄，因此能够利用与第 2光学系统320相同的估计结果。另一方面，第1光学系统310的对焦图像为长焦图像，因此能够生成更高清晰的合成图像。

[图像合成装置的作用]

《摄像》

首先，使用摄像装置1拍摄生成合成图像的对象。此时，飞行速度以如下方式控制并进行拍摄。即，以在移动到偏离了第1光学系统310的摄像范围量的位置为止的期间至少进行一次扫描的速度飞行的方式控制飞行速度。

《对焦图像的提取》

若在拍摄中或拍摄结束，则进行对焦图像的提取处理。关于通过第1光学系统310拍摄的动态图像，以扫描单位分析动态图像，并以扫描单位将锐度最高的帧的图像作为对焦图像来提取。关于第2光学系统320的动态图像，将与第1光学系统310的对焦图像对应的帧的图像作为对焦图像来提取。

《合成图像的生成》

如上所述，首先，对第2光学系统320的对焦图像组进行SfM处理，并估计拍摄了各对焦图像时的相机200的相对位置及姿势。接着，根据该估计结果，配置第1光学系统310的对焦图像并生成广范围的合成图像。

通过使用广角对焦图像组而进行SfM处理，能够以高精度估计相机200的相对位置及姿势。另一方面，通过使用长焦对焦图像组而生成合成图像，能够生成更高清晰的合成图像。

[变形例]

在上述实施方式中，以使用具备双镜头相机200的摄像装置的情况为例子进行了说明，但也能够使用具备单镜头相机100的摄像装置。

◆◆其他实施方式◆◆

在上述实施方式中，使计算机(包含微型计算机)实现的功能能够使各种处理器实现。各种处理器中包含执行程序而作为进行各种处理的处理部发挥功能的通用的处理器即CPU(Central Processing Unit/中央处理器)、FPGA (Field Programmable Gate Array/现场可编程门阵列)等制造后能够变更电路结构的处理器即PLD(Programmable LogicDevice/可编程逻辑器件)、 ASIC(Application Specific Integrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。

一个功能也可以由相同种类或不同种类的两个以上的处理器实现。例如，可以设为由多个FPGA来实现的结构，也可以设为由CPU及FPGA的组合来实现的结构。

并且，也可以将多个功能由一个处理器来构成。作为将多个功能由一个处理器来实现的结构例，第1，有如以客户端、服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且使该处理器实现多个功能的方式。第2，有如以片上系统(SoC：System On Chip)等为代表，使用将多个功能由一个IC芯片(IC：Integrated Circuit/集成电路)来实现的处理器的方式。如此，各种功能作为硬件结构，可使用一个以上上述各种的处理器来实现。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等的电路元件的电气电路。

符号说明

1-摄像装置，2-图像合成装置，3-计算机，3a-摄像条件估计部，3b-合成图像生成部，10-无人航空器，12-控制器，12a-控制器操作部，12b-控制器显示部，12c-控制器侧无线通信部，12d-控制器微型机，14-主体框架，14A-躯干部，14B-臂部，14C-腿部，16-螺旋桨，20-螺旋桨驱动电机，22-电机驱动器，24-传感器部，26-机身侧无线通信部，28-机身侧有线通信部，30-无人航空器微型机，30a-移动控制部，30b-相机控制部，30c-机身侧无线通信控制部，30d-机身侧有线通信控制部，100-相机，110-成像镜头，110f-聚焦透镜组，112-光圈，114-光圈电机，114a-光圈电机驱动器，116-聚焦电机，116a- 聚焦电机驱动器，118a-光电断路器，118b-MR传感器，120-图像传感器， 120a-图像传感器驱动器，122-模拟信号处理部，124-记录部，126-相机侧有线通信部，128-相机微型机，128a-数字信号处理部，128b-记录控制部， 128c-相机侧有线通信控制部，128d-摄像控制部，128e-光圈控制部，128f-聚焦控制部，128g-透镜位置检测部，200-相机，210-图像传感器，210a-图像传感器驱动器，212A-第1像素，212B-第2像素，214-光电二极管，216-微透镜，218-遮光掩模，230-模拟信号处理部，232-记录部，234-相机侧有线通信部，236-相机微型机，236a-数字信号处理部，236b-记录控制部，236c-相机侧有线通信控制部，236d-摄像控制部，236e-第1光学系统光圈控制部， 236f-第1光学系统聚焦控制部，236g-第1光学系统透镜位置检测部，300-成像镜头，310-第1光学系统，310a-第1光学系统第1透镜，310b-第1光学系统第1反射镜，310c-第1光学系统第2反射镜，310d-第1光学系统光圈， 320-第2光学系统，320a-第2光学系统第1透镜，320b-第2光学系统第2透镜，320c-第2光学系统光圈，320d-第2光学系统第3透镜，320e-第2光学系统第4透镜，330-共用透镜，340-第1光学系统聚焦电机，340a-第1光学系统聚焦电机驱动器，342a-第1光学系统光电断路器，342b-第1光学系统MR 传感器，344-第1光学系统光圈电机，344a-第1光学系统光圈驱动器，500- 太阳能发电设备，510-太阳能发电单元，520-太阳能电池模块，FI-动态图像中的各帧的图像，FImax-动态图像中锐度最高的帧的图像，FP-特征点，Im1- 通过第1光学系统拍摄的图像，Im2-通过第2光学系统拍摄的图像，L-光轴， L1-通过第1光学系统的光，L2-通过第2光学系统的光R-摄像装置的飞行路径，S1、S2、……-对焦图像，Z-表示摄像范围的框，θ-视角，θ1-第1光学系统的视角，θ2-第2光学系统的视角。