阅读说明：本技术 数据间除装置、测量装置、测量系统以及数据间除方法 (Data thinning device, measuring system, and data thinning method ) 是由 日野百代 前原秀明 平谦二 加藤纯雄 于 2018-03-28 设计创作，主要内容包括：具备：坐标计算部(161),其根据表示到多个测距点(P)的距离和角度以及激光的照射基准点的坐标的与测距点(P)相关的数据以及飞机(2)的姿势角,按照每个测距点(P),计算多个图像中的对应的图像上的坐标；特征点提取部(162),其按照每个图像提取特征点；距离计算部(163),其按照每个测距点(P),计算在对应的图像中从由坐标计算部(161)计算出的坐标到由特征点提取部(162)提取出的特征点中的距离近的特征点之间的距离；以及要否判定部(166),其根据距离计算部(163)的计算结果,删除与测距点(P)相关的数据中的不需要的数据。(The disclosed device is provided with: a coordinate calculation unit (161) that calculates, for each distance measurement point (P), the coordinates on the corresponding image of the plurality of images, based on data relating to the distance measurement point (P) and indicating the distance and angle to the plurality of distance measurement points (P) and the coordinates of the reference point of the laser light irradiation, and the attitude angle of the aircraft (2); a feature point extraction unit (162) that extracts feature points for each image; a distance calculation unit (163) that calculates, for each distance measurement point (P), the distance between the coordinates calculated by the coordinate calculation unit (161) and a feature point that is closest to the distance among the feature points extracted by the feature point extraction unit (162) in the corresponding image; and a necessity determination unit (166) that deletes unnecessary data from the data relating to the distance measurement point (P) on the basis of the calculation result of the distance calculation unit (163).)

数据间除装置、测量装置、测量系统以及数据间除方法

技术领域

本发明涉及间除在移动体的姿势估计中使用的数据的数据间除装置、测量装置、测量系统以及数据间除方法。

背景技术

在测量系统中，在移动体搭载测距装置和摄像机，利用计测结果和移动体的姿势得到各个测距点的绝对位置。此时，由IMU(Inertial Measurement Unit：惯性测量单元)取得移动体的姿势。

但是，IMU是非常昂贵且较重的装置，能搭载IMU的移动体的种类是有限的。为了解决该课题，提出利用不搭载IMU和稳定器的结构高精度地估计移动体的姿势的导航装置(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献2：日本专利第6029794号

发明内容

发明要解决的课题

在专利文献1中，提出利用不搭载IMU和稳定器的结构高精度地估计移动体的姿势的导航装置。具体而言，利用与测距点相关的数据和多个图像之间的模板匹配结果，通过捆绑计算来计算移动体的姿势。

但是，该导航装置存在如下的课题：激光的照射点数越多，则捆绑计算的计算量越多，越需要处理时间，并且姿势的估计精度根据测距点而下降。

本发明正是为了解决如上所述的课题而完成的，本发明的目的在于，提供一种能够间除在移动体的姿势估计中使用的数据的数据间除装置。

用于解决课题的手段

本发明的数据间除装置的特征在于，该数据间除装置具备：坐标计算部，其根据与测距点相关的数据和移动体的姿势角，按照每个测距点，计算由搭载于移动体的摄影装置周期性地拍摄包含测距点的区域而得到的多个图像中的对应的图像上的坐标，其中，与测距点相关的数据表示由搭载于移动体的测距装置利用激光测定出的到多个测距点的距离和角度、以及由搭载于移动体的坐标测定装置测定出的激光的照射基准点的坐标；特征点提取部，其按照每个图像取得特征点；距离计算部，其按照每个测距点，计算在对应的图像中从由坐标计算部计算出的坐标到由特征点提取部提取出的特征点中的距离近的特征点之间的距离；以及要否判定部，其根据距离计算部的计算结果，删除与测距点相关的数据中的不需要的数据。

发明效果

根据本发明，如上所述地构成，因此，能够间除在移动体的姿势估计中使用的数据。

附图说明

图1是示出本发明的实施方式1的测量系统的结构例的框图。

图2A～图2D是示意性地示出本发明的实施方式1中的测距装置、左摄像机以及右摄像机的位置关系的图，图2A是示出搭载有测距装置、左摄像机以及右摄像机的飞机的立体图，图2B是从X轴方向观察飞机的图，图2C是从Z轴方向观察飞机的图，图2D是从Y轴方向观察飞机的图。

图3是示出本发明的实施方式1的数据间除装置的功能结构例的框图。

图4A、图4B是示出本发明的实施方式1的数据间除装置的硬件结构例的框图。

图5是示出本发明的实施方式1的数据间除装置的动作例的流程图。

具体实施方式

下面，参照附图，对本发明的实施方式进行详细说明。

实施方式1

图1是示出本发明的实施方式1的测量系统1的结构例的框图。

测量系统1测量地形。如图1所示，该测量系统1具备测距装置11、左摄像机12、右摄像机13、GNSS装置(坐标测定装置)14、存储卡(存储装置)15、数据间除装置16以及导航装置17。另外，测距装置11、左摄像机12、右摄像机13、GNSS装置14以及存储卡15搭载于飞机(移动体)2。

飞机2只要能够搭载测距装置11、左摄像机12、右摄像机13、GNSS装置14以及存储卡15飞行即可，既可以是飞行员进行操纵的飞机，也可以是UAV(Unmanned AerialVehicle：无人机)。

另外，飞机2的姿势由飞机2的滚转方向、俯仰方向以及偏航方向的姿势角即滚转角ω、俯仰角

以及偏航角κ这3个参数确定。

测距装置11在飞机2飞行中一边改变激光的照射角度θ一边对地表面进行激光的发送接收，从而测定从激光的照射基准点到测距点P的距离l。然后，测距装置11按照每个测距点P，向存储卡15输出表示距离l的距离数据以及表示得到距离l的激光的照射角度θ的角度数据。

左摄像机12和右摄像机13在飞机2飞行中拍摄包含测距装置11的测距点P的区域(地表面)。在左摄像机12和右摄像机13连接有控制左摄像机12和右摄像机13的控制装置(未图示)。例如，控制装置指示左摄像机12和右摄像机13按照预先确定的周期(例如，每1秒)进行地表面的拍摄。然后，控制装置向存储卡15输出将通过左摄像机12和右摄像机13的拍摄而得到的图像与拍摄日期时间对应的图像数据。另外，左摄像机12、右摄像机13以及控制装置构成摄影装置。

图2示意性地示出测距装置11、左摄像机12以及右摄像机13的位置关系。

另外，在此示出使用2台摄像机(左摄像机12和右摄像机13)的情况，但不限于此，也可以仅使用1台摄像机。

GNSS装置14按照预先确定的周期测定测距装置11中的激光的照射基准点的三维坐标(X₀，Y₀，Z₀)。然后，GNSS装置14将表示激光的照射基准点的三维坐标(X₀，Y₀，Z₀)的坐标数据输出到存储卡15。例如，GNSS装置14与左摄像机12和右摄像机13的拍摄同步地测定激光的照射基准点的三维坐标(X₀，Y₀，Z₀)。

另外，设GNSS装置14与照射基准点的位置差异相对于GNSS装置14的测定精度在容许范围内。即，设GNSS装置14在与照射基准点相同的位置。进而，设照射基准点的位置是与飞机2的位置相同的意思。

存储卡15存储由测距装置11输出的距离数据以及角度数据、由摄影装置输出的图像数据以及由GNSS装置14输出的坐标数据。作为该存储卡15，例如能够使用SD(SecureDigital：安全数字)存储卡。

数据间除装置16根据存储于存储卡15的数据以及由导航装置17设定的飞机2的姿势角

从上述数据间除在移动体的姿势估计中不需要的数据。然后，数据间除装置16将间除不需要的数据后的数据输出到导航装置17。另外，在图1中示出将数据间除装置16设于飞机2外部的情况，但不限于此，也可以将数据间除装置16搭载于飞机2。该数据间除装置16的结构例容后再述。

导航装置17利用由数据间除装置16输出的数据估计飞机2的姿势，设定飞机2的姿势角

另外，飞机2的姿势角

在第一次时设定初始值。另外，导航装置17能够使用现有的装置(例如，专利文献1)，关于其结构以及动作将省略说明。另外，在图1中示出将导航装置17设于飞机2外部的情况，但不限于此，也可以将导航装置17搭载于飞机2。

另外，数据间除装置16和导航装置17构成测量装置。另外，也可以将数据间除装置16和导航装置17安装在相同的硬件上，由该硬件实现数据间除装置16和导航装置17双方的功能。

接下来，参照图3对数据间除装置16的结构例进行说明。

如图3所示，数据间除装置16具备坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166。

坐标计算部161根据从存储卡15读出的与多个测距点P相关的数据(距离数据、角度数据以及坐标数据)以及飞机2的姿势角

按照每个测距点P，计算从存储卡15读出的多个图像数据中包含的图像中的对应的图像上的坐标(x_L，y_L)。另外，与测距点P对应的图像是通过在接近对测距点P的激光照射时刻的(通常是最近)时刻的拍摄而得到的图像。另外，飞机2的姿势角

使用由导航装置17设定的最新的值。此时，坐标计算部161首先根据距离数据、角度数据、坐标数据以及飞机2的姿势角

按照每个测距点P算出测距点P的三维坐标(X，Y，Z)。然后，坐标计算部161根据坐标数据和飞机2的姿势角

计算拍摄到对应的图像的左摄像机12和右摄像机13的投影中心坐标(X_L，Y_L，Z_L)。然后，坐标计算部161根据飞机2的姿势角

各个测距点P的三维坐标(X，Y，Z)以及拍摄到各个图像的左摄像机12和右摄像机13的投影中心坐标(X_L，Y_L，Z_L)，按照每个测距点P计算对应的图像上的坐标(x_L，y_L)。

另外，坐标(x_L，y_L)是视为姿势角

与实际的飞机2的姿势完全一致的情况下的坐标。

特征点提取部162按照从存储卡15读出的多个图像数据中包含的每个图像提取特征点。另外，在图3中示出特征点提取部162经由坐标计算部161从存储卡15取得上述图像数据的情况。在由特征点提取部162提取特征点时，使用SIFT(Scale-Invariant FeatureTransform：尺度不变特征转换)或SURF等不依赖旋转和刻度变换的特征。

距离计算部163按照每个上述测距点P计算在上述对应的图像中从由坐标计算部161计算出的坐标(x_L，y_L)到由特征点提取部162提取出的特征点中的距离近的(通常是最近)特征点之间的距离。另外，在图3中示出距离计算部163经由特征点提取部162从坐标计算部161取得表示上述坐标(x_L，y_L)的数据的情况。

边缘判定部164按照每个上述测距点P判定在上述对应的图像中由坐标计算部161计算出的坐标(x_L，y_L)是否是观测到物体(建筑物等)边缘部的点。此时，例如，边缘判定部164根据测距点P的坐标(x_L，y_L)的时间连续性计算该坐标(x_L，y_L)上的边缘强度。

植被判定部165按照每个上述测距点P判定在上述对应的图像中由坐标计算部161计算出的坐标(x_L，y_L)是否是观测到植被的点。此时，例如，植被判定部165根据测距点P的坐标(x_L，y_L)处的反射亮度计算该坐标(x_L，y_L)是观测到植被的点的概率。

要否判定部166根据距离计算部163的计算结果、边缘判定部164的判定结果以及植被判定部165的判定结果，间除从存储卡15读出的与测距点P相关的数据(距离数据、角度数据以及坐标数据)中的不需要的数据。此时，要否判定部166根据距离计算部163的计算结果、边缘判定部164的判定结果以及植被判定部165的判定结果，按照每个上述测距点P计算用于判定要否的评价值。然后，要否判定部166以沿着预先设定的间除点数的方式分割图像，按照该分割出的每个区域选择计算出的评价值低(通常是最低)的测距点P。然后，要否判定部166将与选择出的测距点P相关的数据视为所需的数据，将与未选择的测距点P相关的数据视为不需要的数据而删除。

图4是示出数据间除装置16的硬件结构例的框图。

数据间除装置16中的坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166的各个功能由处理电路51实现。如图4A所示，处理电路51可以是专用硬件，如图4B所示，处理电路51也可以是执行存储于存储器53的程序的CPU(也称作Central Processing Unit(中央处理单元)、中央处理装置、处理装置、运算装置、微处理器、微计算机、处理器、DSP(Digital Signal Processor：数字信号处理器))52。

在处理电路51是专用硬件的情况下，处理电路51例如相当于单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific IntegratedCircuit：面向特定用途的集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)或它们的组合。既可以由处理电路51分别实现坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166的各部的功能，也可以统一由处理电路51实现各部的功能。

在处理电路51是CPU52的情况下，坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166的功能由软件、固件或软件与固件的组合来实现。将软件、固件记述成程序并存储于存储器53。处理电路51读出并执行存储于存储器53的程序，从而实现各部的功能。即，数据间除装置16具备存储器53，该存储器53用于存储如下的程序：在由处理电路51执行时，例如最终执行图5所示的各个步骤。另外，这些程序也可以说是使计算机执行坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166的顺序或方法。在此，存储器53例如相当于RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable Programmable ROM：可擦除可编程只读存储器、EEPROM(ElectricallyEPROM：电可擦除可编程只读存储器)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、DVD(Digital Versatile Disc：数字多功能盘)等。

另外，关于坐标计算部161、特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166的各个功能，可以由专用硬件实现一部分，并由软件或固件实现一部分。例如，关于坐标计算部161，利用作为专用硬件的处理电路51实现其功能，关于特征点提取部162、距离计算部163、边缘判定部164、植被判定部165以及要否判定部166，通过处理电路51读出并执行存储于存储器53的程序而实现其功能。

这样，处理电路51通过硬件、软件、固件或它们的组合来实现上述的各个功能。

接下来，参照图5，对实施方式1的数据间除装置16的动作例进行说明。在图5中示出直到数据间除装置16从搭载于飞行中的飞机2的存储卡15取得数据并将数据转交给导航装置17为止的一连串的处理。另外，下面示出仅使用1台摄像机(左摄像机12)的情况。

如图5所示，在数据间除装置16的动作例中，首先，坐标计算部161根据从存储卡15读出的与测距点P相关的数据(距离数据、角度数据以及坐标数据)以及飞机2的姿势角

计算从存储卡15读出的多个图像数据中包含的图像中的与该测距点P对应的图像上的坐标(x_L，y_L)(步骤ST41)。

此时，首先，坐标计算部161根据距离数据、角度数据、坐标数据以及飞机2的姿势角按照下式(1)计算测距点P的三维坐标(X，Y，Z)。

在式(1)中，Rt是表示与飞机2的姿势对应的测距装置11和左摄像机12的倾斜的3×3旋转行列的元素。利用时刻t的飞机2的姿势角

由下式(2)表示该Rt。

然后，坐标计算部161根据坐标数据以及飞机2的姿势角

按照下式(3)计算拍摄到与上述测距点P对应的图像的左摄像机12的投影中心坐标(X_L，Y_L，Z_L)。在式(3)中，R_imgt是根据最接近对测距点P的激光照射时刻的拍摄时刻的飞机2的姿势角

而计算出的旋转行列。

然后，坐标计算部161根据飞机2的姿势角

上述测距点P的三维坐标(X，Y，Z)以及拍摄到与上述测距点P对应的图像的左摄像机12的投影中心坐标(X_L，Y_L，Z_L)，按照下式(4)计算对应的图像上的测距点P的坐标(x_L，y_L)。在式(4)中，c是左摄像机12的焦距。另外，式(4)中的U_L、V_L、W_L由下式(5)表示，式(5)中的b₁₁～b₃₃由下式(6)表示。

坐标计算部161针对全部测距点P进行上述的处理。

接下来，特征点提取部162从自存储卡15读出的图像数据中包含的图像提取特征点(步骤ST42)。此时，为了缩短处理时间，特征点提取部162也可以在将输入图像缩小至1/4左右的基础上进行特征点的提取处理。特征点提取部162针对全部图像数据中包含的图像进行上述的处理。

接下来，距离计算部163计算在与测距点P对应的图像中从由坐标计算部161计算出的坐标(x_L，y_L)到由特征点提取部162提取出的特征点中的距离最近的特征点之间的距离(步骤ST43)。距离计算部163针对全部测距点P进行上述的处理。

另外，边缘判定部164判定在与测距点P对应的图像中由坐标计算部161计算出的测距点P的坐标(x_L，y_L)是否是观测到物体(建筑物等)边缘部的点(步骤ST44)。此时，例如，边缘判定部164通过中央差分或Sobel操作者计算上述测距点P的坐标(x_L，y_L)周围的测距值变化的急剧性(边缘强度)。另外，边缘判定部164也可以从图像检测边缘部，从而计算上述边缘强度。边缘判定部164针对全部测距点P进行上述的处理。

另外，植被判定部165判定在与测距点P对应的图像中由坐标计算部161计算出的坐标(x_L，y_L)是否是观测到植被的点(步骤ST45)。此时，例如，植被判定部165在上述测距点P的坐标(x_L，y_L)处的反射亮度小于阈值的情况下设概率为1(是植被)，在阈值以上的情况下设概率为0(并非植被)。植被判定部165针对全部测距点P进行上述的处理。

接下来，要否判定部166根据距离计算部163的计算结果、边缘判定部164的判定结果以及植被判定部165的判定结果，计算用于判定测距点P要否的评价值(步骤ST46)。此时，要否判定部166基于由距离计算部163计算出的距离、由边缘判定部164判定出的边缘强度和由植被判定部165判定出的是植被的概率的加权和，计算上述评价值。要否判定部166针对全部测距点P进行上述的处理。

接下来，要否判定部166以沿着预先设定的间除点数的方式分割图像，按照该分割出的每个区域，选择计算出的评价值最低的测距点P(步骤ST47)。

接下来，要否判定部166将与选择出的测距点P相关的数据视为需要的数据，将与未选择的测距点P相关的数据视为不需要的数据而删除(步骤ST48)。即，图像中的特征性点在地形的测量中有用，因此，要否判定部166将与远离特征点的测距点P相关的数据视为不需要的数据。另外，在物体的边缘部，测距装置11检测出的测距值不稳定，因此，要否判定部166将与边缘强度高的测距点P相关的数据视为不需要的数据。另外，在植被区域中，测距装置11为了使激光透过树叶而测定距地面的距离，但是，左摄像机12拍摄树林，因此无法观测相同的点。因此，要否判定部166将与是观测到植被的点的概率高的测距点P相关的数据视为不需要的数据。

另外，在上文中示出在数据间除装置16设置全部距离计算部163、边缘判定部164以及植被判定部165的情况。但是，不限于此，数据间除装置16只要设置距离计算部163、边缘判定部164以及植被判定部165中的一个以上即可。按照重要度从高到低的顺序是距离计算部163、边缘判定部164以及植被判定部165。

如上所述，根据该实施方式1，具备：坐标计算部161，其根据表示由搭载于飞机2的测距装置11利用激光测定出的到多个测距点P的距离和角度以及由搭载于飞机2的GNSS装置14测定出的上述激光的照射基准点的坐标的与测距点P相关的数据以及飞机2的姿势角，按照每个测距点P，计算由搭载于飞机2的摄像机12、13周期性地拍摄包含测距点P的区域而得到的多个图像中的对应的图像上的坐标；特征点提取部162，其按照每个图像提取特征点；距离计算部163，其按照每个测距点P，计算在对应的图像中从由坐标计算部161计算出的坐标到由特征点提取部162提取出的特征点中的距离近的特征点之间的距离；以及要否判定部166，其根据距离计算部163的计算结果，删除与测距点P相关的数据中的不需要的数据。因此，能够间除在飞机2的姿势估计中使用的数据。即，在测量系统1中，数据间除装置16能够将与使计测精度恶化的测距点p相关的数据去除之后向后段的导航装置17输出数据。由此，能够提高导航装置17中的飞机2的姿势估计精度。另外，通过间除多余的测距点p，能够期待提高导航装置17中的计算速度。

另外，本申请能够在其发明的范围内，进行实施方式的任意结构要素的变形或实施方式的任意结构要素的省略。

产业上的可利用性

本发明的数据间除装置能够间除在移动体的姿势估计中使用的数据，因此，适用于移动体的姿势估计。

符号说明

1测量系统；2飞机(移动体)；11测距装置；12左摄像机；13右摄像机；14GNSS装置(坐标测定装置)；15存储卡(存储装置)；16数据间除装置；17导航装置；51处理电路；52CPU；53存储器；161坐标计算部；162特征点提取部；163距离计算部；164边缘判定部；165植被判定部；166要否判定部。