用于确定跟随飞行器相对于前导飞行器的定位的方法

文档序号:1902804 发布日期:2021-11-30 浏览:24次 >En<

阅读说明:本技术 用于确定跟随飞行器相对于前导飞行器的定位的方法 (Method for determining the position of a following aircraft relative to a leading aircraft ) 是由 菲利普·富科 马克西姆·勒福尔 康坦·德穆兰 于 2021-05-24 设计创作,主要内容包括:本发明提供了一种用于确定跟随飞行器相对于在跟随飞行器前方飞行的前导飞行器的定位的方法。所述方法包括:采集所述前导飞行器的图像的步骤;提取廓线(10)的步骤;调整步骤,包括实施廓线配准算法以根据所述前导飞行器的廓线(10)与从所述前导飞行器的三维模型确定的所述前导飞行器的轮廓的比较以及所述跟随飞行器相对于所述前导飞行器的初始位置来确定经优化的轮廓(14C);以及根据所述经优化的轮廓和所述前导飞行器的三维模型来确定所述跟随飞行器相对于所述前导飞行器的根据六个自由度的定位的步骤。因此,所述方法使得可以快速且准确地确定所述跟随飞行器相对于所述前导飞行器的定位,此定位用于实施编队飞行。(The present invention provides a method for determining the positioning of a following aircraft relative to a lead aircraft flying in front of the following aircraft. The method comprises the following steps: a step of acquiring an image of the leading aircraft; a step of extracting a profile (10); an adjustment step comprising implementing a profile registration algorithm to determine an optimized profile (14C) as a function of a comparison of the profile (10) of the leading aircraft with the profile of the leading aircraft determined from the three-dimensional model of the leading aircraft and an initial position of the following aircraft relative to the leading aircraft; and a step of determining the positioning according to six degrees of freedom of the following aircraft relative to the leading aircraft according to the optimized profile and the three-dimensional model of the leading aircraft. The method thus makes it possible to determine quickly and accurately the position of the following aircraft relative to the leading aircraft, this position being used to carry out a formation flight.)

用于确定跟随飞行器相对于前导飞行器的定位的方法

技术领域

本发明涉及一种用于确定跟随飞行器相对于前导飞行器的定位的方法,所述跟随飞行器在所述前导飞行器的尾流中飞行,以执行编队飞行。

背景技术

在航空领域中,“编队飞行”应理解为是指至少两架飞行器的编队飞行,这至少两架飞行器包括被跟随的飞行器(称为前导飞行器)和至少一架跟随飞行器。在这种编队中,优选地,对跟随飞行器进行伺服控制,以便特别是经由自主驾驶来重复前导飞行器的飞行指令。

编队飞行、特别是商用飞机的编队飞行具有的优点是,通过减小跟随飞行器的阻力而瞬时而减少了跟随飞行器的燃料消耗。然而,空间中的相对于前导飞行器的定位的区域(这对跟随飞行器非常重要)受到限制。因此,有必要使对跟随飞行器相对于前导飞行器的位置的定位足够准确且迅速,以显著减少燃料消耗,从而使编队飞行高效。

已知有多种方法用于测量飞行中的两架飞行器的相对位置,尤其是通过相互发送地理位置数据、特别是相互发送从GPS(全球定位系统)型卫星定位系统获得的数据来测量。这些标准方法尤其在飞行器之间需要适当的发送手段,并且不一定总是非常准确。

因此,用于测量飞行中的两架飞行器的相对位置的标准方法(特别是为了使跟随飞行器受益于最优定位)并不完全令人满意。

发明内容

本发明的目的是弥补这个缺点。本发明涉及一种用于确定跟随飞行器相对于前导飞行器的定位的方法,所述前导飞行器在所述跟随飞行器前方飞行。特别地,跟随飞行器在前导飞行器的尾流中飞行,以便与前导飞行器进行编队飞行。

根据本发明,所述方法由跟随飞行器实施,并且包括迭代地实施的以下步骤:

-采集图像的步骤,所述前导飞行器在所述图像中是可见的;

-检查是否存在先前迭代以及检查与每个先前迭代匹配的称为得分的参数的值的步骤;

-在检测到不存在先前迭代或检测到与高于预定阈值的得分匹配的先前迭代的情况下的初始化步骤,所述初始化步骤包括:

-在所述图像上检测所述前导飞行器的子步骤,

-提取所述检测到的飞行器的廓线的子步骤,以及

-从数据库中存储的所述前导飞行器的三维模型确定所述前导飞行器的轮廓以及确定所述跟随飞行器相对于所述前导飞行器的初始位置的子步骤;

-在检测到与低于预定阈值的得分匹配的先前迭代的情况下的继续步骤,所述继续步骤在先前迭代的初始化步骤之后并且包括提取所述前导飞行器的廓线的子步骤;

-在所有情况下的调整步骤,所述调整步骤包括执行廓线配准算法以根据所述前导飞行器的廓线与其轮廓的比较来确定经优化的轮廓并根据所述比较的廓线和轮廓之间的偏差来计算所述迭代的得分的值;

-在所述得分的值低于所述预定阈值的情况下的确定步骤,所述确定步骤通过所述经优化的轮廓和所述前导飞行器的三维模型来确定所述跟随飞行器相对于所述前导飞行器的定位。

因此,通过如上所述的方法,获得了跟随飞行器相对于前导飞行器的快速且准确的定位(根据六个自由度)。此定位被用于实施编队飞行,特别是通过使得可以限定用于跟随飞行器的(自动)驾驶的飞行指令。

所述调整步骤可以包括:

-在不存在先前迭代的情况下的比较子步骤和识别子步骤,所述比较子步骤将(在初始化步骤的确定子步骤期间确定的)所述轮廓的像素与所述前导飞行器的廓线的像素进行比较,所述识别子步骤识别所述前导飞行器的廓线的与所述轮廓的对照点分别对应的对照点,以获得对照点对;

-在存在先前迭代的情况下的确定子步骤、比较子步骤和识别子步骤,所述确定子步骤根据来自所述先前迭代的数据根据所述前导飞行器的三维模型来确定所述前导飞行器的新轮廓,所述比较子步骤将所述新轮廓的像素与所述前导飞行器的廓线的像素进行比较,所述识别子步骤识别所述前导飞行器的廓线的与所述新轮廓的对照点分别对应的对照点,以获得对照点对;

-在所有情况下的计算子步骤,所述计算子步骤计算每个对照点对的对照点之间的距离以及与为所述组点对确定的距离之和相对应的所述迭代的得分的值。

识别所述前导飞行器的对照点的子步骤可以是基于局部梯度的测量的。

所述方法可以包括将(在确定步骤中)所确定的跟随飞行器相对于所述前导飞行器的定位发送到至少一个用户装置的步骤。

根据一个实施例,所述前导飞行器的三维模型是在所述跟随飞行器飞行之前例如根据前导飞行器的航班号或登记号确定的。

根据一个实施例,在(初始化步骤的)检测子步骤期间,根据对前导飞行器的空气动力学特性(比如前导飞行器的形式、翼展或发动机的数量)的分析来确定前导飞行器的三维模型。

有利地,所述前导飞行器的三维模型可以考虑所述前导飞行器在飞行中的变形。

此外,有利地,检测子步骤可以对应于基于深度学习方法的检测方法的实现,从而实现卷积神经网络。特别地,这种检测方法使得可以在图像上至少确定完全包含前导飞行器的框的坐标。使用神经网络的一个优点是检测快速且具有恒定的复杂性。

在一个特定实施例中,图像的采集步骤包括从跟随飞行器拍摄前导飞行器的单色或彩色图像。因此,该检测方法可以分析以下类型的图像中的至少一种:单色图像或彩色图像。

附图说明

附图将给出对可以如何产生本发明的良好理解。在这些图中,相同的附图标记表示相似的要素。

图1是用于确定跟随飞行器相对于前导飞行器的定位的系统的实施例的框图,所述跟随飞行器在所述前导飞行器的尾流中飞行。

图2是图1的用于确定定位的系统的图像处理单元的实施例的框图。

图3示意性地展示了用于确定跟随飞行器相对于前导飞行器的定位的方法的优选实施例的主要步骤,所述跟随飞行器在所述前导飞行器的尾流中飞行。

图4是设置有参考系的飞行器的透视图。

图5是包括前导飞行器和跟随飞行器的飞行中编队的示例的示意性俯视图。

图6是从跟随飞行器的内部观察的、特别是形成用于确定定位的系统的一部分的摄像机在所述跟随飞行器的驾驶舱的仪表板上的安装的局部透视图。

图7是示出了前导飞行器并且设置有完全包含所述前导飞行器的框的图像的示意性视图,此视图使得可以展示用于在图像中检测前导飞行器的方法。

图8A是示出前导飞行器的摇摄和扫描图像(pan-and-scan image)的示意性视图。

图8B是示出与所述前导飞行器相关联的廓线的示意性视图,图8A和图8B使得可以展示用于在图像中提取前导飞行器的廓线的方法。

图9A是示出了前导飞行器的廓线和轮廓的叠加的示意性视图。

图9B是示出了前导飞行器廓线和经优化的轮廓的叠加的示意性视图,图9A和图9B使得可以展示用于配准前导飞行器的轮廓的方法。

具体实施方式

用于展示本发明并在图1中示意性表示的系统1是用于确定跟随飞行器AC1相对于前导飞行器AC2的定位的系统,所述前导飞行器AC2在所述跟随飞行器AC1前方飞行,所述前导飞行器AC2和所述跟随飞行器AC1旨在进行编队飞行,如图5所表示的。

编队飞行应理解为是指由至少一架跟随飞行器AC1和至少一架前导飞行器AC2组成的编队F,所述跟随飞行器AC1(在飞行中)跟随所述前导飞行器AC2。通常在巡航飞行期间实施的在图5中示意性表示的这种编队F尤其允许跟随飞行器AC1受益于减小的阻力并因此节省燃料。然而,仅在跟随飞行器AC1在前导飞行器AC2后方在给定位置范围内飞行的情况下,所述跟随飞行器AC1的燃料消耗的减少才是明显的。

因此,跟随飞行器AC1相对于前导飞行器AC2的定位必须是快速且准确的。这种编队飞行(尤其是跟随飞行器AC1的编队飞行)可以通过自主驾驶或手动驾驶,例如使用飞行指挥仪、或使用外部视觉参考(例如前导飞行器的视图或前导飞行器的凝结尾迹的视图)来执行。

在优选实施例中(在图4中表示),物体相对于飞行器AC1、AC2中的任何一个飞行器的位置由所述物体的空间坐标来限定,该空间坐标在与对应飞行器AC1、AC2相关联的笛卡儿参考系中表示。每个飞行器AC1、AC2设置有三维笛卡儿参考系,其原点是所述飞行器AC1、AC2的特定已知点。所述三个维度由表示为X、Y和Z的三个正交轴线限定。此外,飞行器AC1、AC2的参考系的原点可以是其平均重心,或者飞行器机身的前部的点(即飞行器的机头)。

因此,如图5所展示的,跟随飞行器AC1设置有由轴线(X1,Y1,Z1)限定的三维笛卡儿参考系R1,而前导飞行器AC2设置有由轴线(X2,Y2,Z2)限定的三维笛卡儿参考系R2。点在参考系中(例如在参考系R1中)的位置由其根据轴线(X1,Y1,Z1)的坐标给出。更具体地,在当前情况下,问题是跟随飞行器AC1相对于前导飞行器AC2的位置。这样的位置由跟随飞行器AC1的参考系R1的原点在前导飞行器AC2的参考系R2中的坐标给出,表示为(XAC1,YAC1,ZAC1)R2

在此相同的优选实施例中,跟随飞行器AC1在前导飞行器AC2的参考系中的取向由根据飞行器的三个标准旋转运动的三个角度限定:滚转角,表示为Φ,俯仰角,表示为Θ,偏航角,表示为Ψ。跟随飞行器AC1相对于前导飞行器AC2的取向还可以通过角度偏差(表示为ΔΦ、ΔΘ、ΔΨ)来限定,这些角度偏差代表分别在表示为ΦAC1(前导飞行器AC2的参考系中跟随飞行器AC1的滚转角)和ΦAC2(前导飞行器AC2的参考系中前导飞行器AC2的滚转角)的角度之间的差异、表示为ΘAC1(前导飞行器AC2的参考系中跟随飞行器AC1的俯仰角)和ΘAC2(前导飞行器AC2的参考系中前导飞行器AC2的俯仰角)的角度之间的差异、以及表示为ΨAC1(前导飞行器AC2的参考系中跟随飞行器AC1的偏航角)和ΨAC2(前导飞行器AC2的参考系中前导飞行器AC2的偏航角)的角度之间的差异。

示意性地展示了从上方看到的编队F的图5提供了角度偏差ΔΨ的清楚展示,该角度偏差对应于地球参考系中跟随飞行器AC1的偏航角与前导飞行器AC2的偏航角之间的角度偏差(偏航角是飞机的方向与磁性或地理北向之间的角度)。角度偏差ΔΦ和ΔΘ通过类比限定。

跟随飞行器AC1相对于前导飞行器AC2的定位理解为所述跟随飞行器AC1相对于所述前导飞行器AC2的位置和取向。实际上,已知坐标(XAC1,YAC1,ZAC1)R2和角度偏差(ΔΦ,ΔΘ,ΔΨ)R2对应于定位数据23,该定位数据限定了跟随飞行器AC1相对于前导飞行器AC2根据六个自由度的定位。

如图5所展示的,系统1安装在跟随飞行器AC1上,并且被配置成实时确定定位数据23。这种确定定位的目的是将定位数据23提供给由图1中的虚线示意性表示的用户装置25。在优选实施例中,用户装置25从定位数据23确定飞行指令,尤其是在编队飞行期间用于跟随飞行器AC1的自动(和自主)驾驶的飞行指令。

如图1所表示的,系统1包括旨在安装在跟随飞行器AC1上的采集装置2。采集装置2被配置成采集从所述跟随飞行器AC1从后面或部分地从侧面观察的前导飞行器AC2的图像I。

采集装置2包括允许获取图像的至少一个摄像机3。摄像机的分辨率取决于前导飞行器AC2的想要被覆盖的运动区域。例如,摄像机可以具有至少500万像素的分辨率。采集装置可以包括若干摄像机,以允许获得图像。在这种情况下,取决于前导飞行器AC2的想要被覆盖的运动区域,每个摄像机可以具有小于500万像素的分辨率。在一个实施例中,摄像机3被固定在跟随飞行器AC1的驾驶舱26中,如图6中的图示所表示的。在本发明的背景下,摄像机可以布置在跟随飞行器AC1的可以拍摄位于所述跟随飞行器AC1前方的环境的图像的其他点处。摄像机3被配置为能够以视频流的形式拍摄前导飞行器AC2的图像。例如,摄像机3可以固定在跟随飞行器AC1的机身的鼻锥上。

此外,系统1包括图像处理单元4(图1),该图像处理单元被配置成根据下文描述的图像处理操作实时处理由采集装置2采集的图像I。根据本发明,“实时”是指用于图像处理的等待时间小于极限时间,该极限时间允许正确执行由计算机实施的自动化法则,该自动化法则对飞行器的位置进行伺服控制。

更具体地,图像处理单元4包括能够接收由采集装置2采集的图像I的接收单元5。接收单元5尤其包括用于存储所述图像I的存储器6。存储器6被配置成存储图像I并迭代地将每幅图像I提供给图像处理单元4的其他元件。一旦提供给图像处理单元4的元件,每幅图像I则被视为正在处理,并成为当前图像I1(图7)。

在一个实施例中,存储器6是被配置成临时存储由采集装置2生成的图像的高速缓冲存储器。实际上,图像I被存储然后被传送到图像处理单元4的适当元件。因此,图像I保留在存储器中仅持续处理先前的当前图像I1所需的时间。此外,这样的高速缓冲存储器被配置成以非常高的速度传送数据,这允许图像I被实时处理。

图像处理单元4包括检查单元30,该检查单元被配置成检查由接收单元5接收的图像I是否是所接收的第一幅图像(即,是否是第一次迭代或者是否已经进行了迭代),并且检查参数(称为得分)的值是否存储在图像处理单元4的存储器中(此得分是从先前的迭代中得出的)。此外,图像处理单元4包括能够接收由接收单元5提供的当前图像I1的检测单元7。检测单元7被配置成分析接收到的当前图像I1,并且特别是在所述当前图像I1上识别前导飞行器AC2(图7)。在特定实施例中,检测单元7能够分析单色图像或彩色图像。每次采集图像时,检测单元不接收当前图像I1。检测单元7被配置成仅在采集到第一幅图像后并且当存储在图像处理单元4的存储器中的得分的值高于预定阈值时接收并分析当前图像I1。

根据本发明,并且在说明书的其余部分中,“低于”阈值的值被认为是“严格小于”所述阈值,“高于”阈值的值被认为是“大于或等于”所述阈值。

在采集到其上可以看到前导飞行器AC2的第一幅图像后,必须使用检测单元7来在图像上找到前导飞行器AC2。在随后的采集中,并且只要得分的值低于预定阈值,就不需要使用检测单元7来在图像上找到前导飞行器AC2,因为前导飞行器在图像中的位置是基本上已知的(连续的图像以较低的时间间隔采集,因此,前导飞行器在两个连续的图像上的位置变化很小)。当得分的值变得大于预定阈值时,认为前导飞行器AC2的位置与它在先前图像上的位置相距太远,因此通过检测单元7对前导飞行器AC2的新检测是必要的。

此外,检测单元7可以被配置成在当前图像I1上隔离出前导飞行器AC2,并生成对应的摇摄和扫描图像I2(图8A)。这样生成的摇摄和扫描图像I2对应于当前图像I1的完全包含(或包围)前导飞行器AC2的部分。检测单元7还可以被配置成在当前图像I1上隔离出前导飞行器AC2,并生成与当前图像I1的前导飞行器AC2所位于的区域相对应的信息。

在一个实施例中,摇摄和扫描图像I2是包括在当前图像I1中的完全包含前导飞行器AC2的最小图像。摇摄和扫描图像I2因此小于当前图像I1,这使得图像处理操作在实时图像流分析的背景下更快并且因此更高效。

在特定实施例中,如图7所展示的,检测单元7可以被配置成确定当前图像I1上的四个点A、B、C和D的坐标。点A、B、C和D代表矩形的顶点,并且使得可以限定完全包含前导飞行器AC2的矩形框8。框8界定了当前图像I1的对应于摇摄和扫描图像I2的部分。

图像处理单元4还包括提取单元9,该提取单元能够接收由检测单元7(在采集到第一幅图像后并且存储在图像处理单元4的存储器中的得分的值高于预定阈值时)生成的摇摄和扫描图像I2。提取单元9被配置成对摇摄和扫描图像I2执行图像处理操作,以便在所述摇摄和扫描图像I2上获得与前导飞行器AC2的廓线10(图8B)相对应的一组点的坐标。提取单元9可以被配置成接收与完全包含前导飞行器AC2的矩形框8相对应的信息(例如,点A、B、C和D的坐标),而不是直接接收摇摄和扫描图像I2。

提取单元9还被配置成(当存储在图像处理单元4的存储器中的得分的值低于预定阈值时)直接接收当前图像I1,并且对当前图像I1执行图像处理操作,以获得所述当前图像I1上与前导飞行器AC2的廓线10相对应的一组点的坐标。

在特定实施例中,由提取单元9实施的图像处理操作包括将滤波器、尤其是标准高斯和Sobel滤波器应用于摇摄和扫描图像I2以识别与廓线10(图8B)相对应的点。实际上,这样的滤波器使得可以通过计算摇摄和扫描图像I2的每个点(像素)处的局部梯度来确定所述点是否对应于廓线。通过这种图像处理操作获得的摇摄和扫描图像I2和廓线10的示例分别在图8A和图8B中表示。提取单元9实施的图像处理操作还可以包括将这些滤波器应用于图像的与完全包含前导飞行器AC2的矩形框8相对应的部分,以识别与廓线10相对应的点。

此外,系统1包括数据库11,该数据库包含前导飞行器AC2的三维模型12,该三维模型表示前导飞行器AC2的外边界的完整三维模型。在优选实施例中,数据库11包含可能(在编队飞行中)被跟随飞行器AC1跟随的所有类型的飞行器的三维模型。

可以在跟随飞行器AC1的飞行之前确定前导飞行器AC2的三维模型。例如,可以将前导飞行器AC2的航班号或登记号传达给图像处理单元4。

作为变体,可以由检测单元7根据对前导飞行器AC2的空气动力特性的分析来确定前导飞行器AC2的模型。例如,可以在摇摄和扫描图像I2上或在当前图像I1的与完全包含前导飞行器AC2的矩形框8对应的区域上确定形式、翼展或发动机的数量。

通过此信息,图像处理单元4确定飞行器的模型以及对于正在进行的图像处理必须考虑并从数据库11中提取什么三维模型12。

在未表示的特定实施例中,数据库11形成图像处理单元4的一部分。

此外,处理单元4包括确定单元13,该确定单元被配置成根据前导飞行器AC2的三维模型12并且根据跟随飞行器AC1相对于前导飞行器AC2的初始位置来确定前导飞行器AC2的轮廓。为此,确定单元13被配置成从摇摄和扫描图像I2命令显示具有定位的三维模型12,使得由此大致获得的所述三维模型12的轮廓14A对应于摇摄和扫描图像I2上的前导飞行器AC2的轮廓。更具体地,前导飞行器的轮廓14A对应于来自定位在跟随飞行器AC1上的摄像机3的前导飞行器AC2的三维模型的模拟视图。轮廓14A在位置和取向方面基本上对应于在图像I1或在摇摄和扫描图像I2上的前导飞行器AC2的视图。轮廓14A因此基本上对应于前导飞行器AC2的廓线10。

图像处理单元4还包括配准单元15,该配准单元能够接收来自提取单元9的廓线10和来自确定单元13的轮廓14A。图2中表示的配准单元15被配置成将轮廓14A与前导飞行器AC2的廓线10进行比较,以便确定获得根据预定义标准的最优匹配所需的调整。因此,配准单元15使得可以通过将前导飞行器AC2的廓线10与其轮廓14A进行比较来获得经优化的轮廓14C。配准单元15使用下文详述的廓线配准算法。在图9A和图9B表示的并在下面描述的示例将使得更好地理解所呈现的配准原理。

配准单元15包括图2中表示的并实施如下所述的(实时)迭代处理的以下元件:

-确定元件16,该确定元件被配置成在存在先前迭代的情况下,从前导飞行器AC2的三维模型并根据来自先前迭代的数据来确定前导飞行器AC2的新轮廓14B(图9A)。对于第一次迭代,轮廓14A用于启动迭代循环;

-比较元件17,该比较元件被配置成将轮廓14A或新轮廓14B(取决于迭代)的像素与廓线10的像素进行比较,从而获得比较18;

-识别元件19,该识别元件被配置成识别前导飞行器AC2的廓线10的对照点P1A、P2A、P3A和P4A,这些对照点分别对应于轮廓14A或新轮廓14B(图9A)(取决于迭代)的对照点P1B、P2B、P3B和P4B,以获得对照点对24。“对应”应理解为是指以下事实:廓线10的对照点P1A、P2A、P3A和P4A与轮廓14A或新轮廓14B的对照点P1B、P2B、P3B和P4B位于相同的特征点上。针对预定数量的对照点执行识别。对照点(其中一些,P1A至P4A、P1B至P4B和P1C至P4C在图8A、图9A和图9B中突出显示)对应于所考虑的廓线的特征点(像素),例如边缘。为此,选择一个对照点作为起点,并在与廓线正交的方向(相当于局部梯度的方向)上寻找相似点直至最大距离(例如20个像素)。如果找不到这样的点,则认为没有足够相似的对照点,因此将这个点排除;以及

-计算元件20,该计算元件被配置成计算每个对照点对24的对照点之间的距离并确定轮廓14A或新轮廓14B是否足够接近廓线10。计算元件20还被配置成计算与为这组点对确定的距离之和相对应的迭代的得分的值。换句话说,计算元件20被配置成根据廓线10与轮廓14A或新轮廓14B之间的偏差来计算迭代的得分的值。如果得分的值低于预定阈值,则认为轮廓14A或新的轮廓14B对应于轮廓14C(图9B),并且如果得分的值高于预定阈值,则必须执行迭代处理的新迭代。

更具体地,计算元件20:

-对于每个对照点对,例如对于对照点对P2A和P2B(图9A),确定对照点之间的所谓单独距离;

-从对于一组点对适当确定的单独距离中确定得分的值。此得分代表可以对应于距离之和、也就是说总距离的比较度量。此得分也可以通过其他方式计算,例如通过最小二乘法;

-将此值与预定阈值进行比较,并基于此比较:

·如果得分的值高于预定阈值,也就是说,如果轮廓14A或新轮廓14B离廓线10太远,则使用至少包括所述距离的数据来实施新迭代;以及

·如果得分的值低于预定阈值,也就是说,如果轮廓14A或新轮廓14B足够接近廓线10,则将所述轮廓视为经优化的轮廓,并保留该轮廓以将其发送,如下所示。

如图所示:

-在图9A的示例中,得分的值,例如总距离(点对P1A和P1B、P2A和P2B、P3A和P3B、P4A和P4B之间的单独距离之和)被认为太高;

-另一方面,在图9B的示例中,得分的值被认为低于预定阈值。因此,存在(具有对照点P1C至P4C的)经优化的轮廓14C,其中,点对P1A和P1C、P2A和P2C、P3A和P3C、P4A和P4C(图9B)之间的单独距离足够小。

因此,配准单元15能够通过连续的调整(在迭代处理的实施期间)来确定对应于廓线10的经优化的轮廓14C,如图9A所展示的。

在一个实施例中,图像处理单元4被配置成在没有获得新轮廓14B与廓线10之间的匹配的情况下命令对前导飞行器AC2进行新的检测并且生成新的轮廓14B。实际上,在计算元件20没有进行管理以向新轮廓14B和廓线10之间的充分匹配收敛的情况下,配准单元15被配置成与检测单元7与确定单元13通信。配准单元15然后命令检测单元7在当前图像I1上重新初始化对前导飞行器AC2的检测,生成新的摇摄和扫描图像I2或与当前图像I1的前导飞行器AC2所位于的区域相对应的信息(例如,界定完全包含前导飞行器AC2的框的点A、B、C和D的坐标)。对前导飞行器AC2的拍摄执行新的估计。然后,配准单元15从确定单元13命令从新的摇摄和扫描图像I2或从与当前图像I1的前导飞行器AC2所位于的区域有关的信息中重新确定轮廓14A。配准单元15然后如上所述对新的摇摄和扫描图像I2或具有关于当前图像I1的前导飞行器AC2所位于的区域的信息的当前图像I1实施新的迭代处理。

此外,在优选实施例中,三维模型12考虑了前导飞行器AC2的变形。实际上,三维模型12存储在数据库11中,使得确定单元13可以生成前导飞行器AC2的轮廓,该轮廓具有在飞行期间所述前导飞行器AC2可能经历的变形。例如,如果前导飞行器AC2在机翼上表现出变形,则确定单元13被配置成向配准单元15提供表现出机翼上的变形的新轮廓14B。

这样的三维模型12允许由确定单元13确定的轮廓实时地适应于前导飞行器AC2的真实轮廓,并且可以在新轮廓14B和廓线10之间获得最优匹配。此最优匹配允许更准确地估计跟随飞行器AC1相对于前导飞行器AC2的定位。

此外,图像处理单元4包括确定单元21,该确定单元被配置成接收和处理源自配准单元15的数据。确定单元21被配置成根据经优化的轮廓14C和根据前导飞行器AC2的三维模型12确定跟随飞行器AC1相对于前导飞行器AC2的定位(X1,Y1,Z1;ΔΦ,ΔΘ,ΔΨ)R2。跟随飞行器AC1相对于前导飞行器AC2的定位数据是确定经优化的轮廓14C时的输入。实际上,确定单元21被配置成根据经优化的轮廓14C并且根据前导飞行器AC2的三维模型12来确定拍摄所述前导飞行器AC2的图像的采集装置2的位置和取向。此外,由于安装在跟随飞行器AC1上的采集装置2的特性、尤其是其相对于跟随飞行器AC1的参考系的位置和取向是已知的,因此可以通过推导来访问定位数据23。

系统1还包括发送单元22,该发送单元被配置成将由图像处理单元4的确定单元21提供的定位数据23发送到用户装置25。这样的用户装置25能够分析定位数据23并使用它们,尤其是为跟随飞行器AC1建立飞行指令以便执行编队飞行F。

在优选实施例中,基于定位数据23并且还根据其他定位数据来自主地驾驶跟随飞行器AC1以被精确地定位在编队中。可以为跟随飞行器AC1的驾驶实施数据融合。

在特定实施例中,发送单元22使用VCOM通信协议通过以太网总线将定位数据23发送到用户装置25。显然,可以使用另一种通信手段来将定位数据23发送到用户装置25。

如上所述,系统1能够实施用于确定跟随飞行器AC1相对于在跟随飞行器AC1前方飞行的前导飞行器AC2的定位的方法P。所述用于确定定位的方法P与在图1和图2中表示的系统1相关联地迭代地实施以下描述并且由图3展示的一系列连续的步骤。

方法P首先包括由采集装置2实施的采集图像的步骤E1,该步骤包括使用采集装置2从跟随飞行器AC1拍摄前导飞行器AC2的连续图像I。

然后,方法P包括由图像处理单元4实施的图像处理步骤E2,该步骤包括处理在采集步骤E1中提供的图像I,以获得跟随飞行器AC1相对于前导飞行器AC2的定位。

为此,图像处理步骤E2包括以下描述的一系列步骤。

图像处理步骤E2首先包括由接收单元5实施的接收步骤E20,该接收步骤包括接收在采集步骤E1中采集的图像I,并一个接一个地提供所述图像I。当前时刻提供的图像称为当前图像I1。接收步骤E20还包括在处理当前图像I1所花费的时间中临时存储图像I。

图像处理步骤E2包括检查是否存在先前迭代以及检查与先前迭代匹配的得分的值的步骤E22。

图像处理步骤E2还包括初始化步骤E24,如果在检查步骤E22期间检测到不存在先前迭代或检测到与得分高于预定阈值匹配的先前迭代,则实施该初始化步骤。

初始化步骤E24包括由检测单元7实施的检测子步骤E24A,该检测子步骤包括接收在接收子步骤E20中提供的当前图像I1,并且在所述当前图像I1上检测前导飞行器AC2。在一个实施例中,检测子步骤E24A使用涉及卷积神经网络的深度学习方法,以便在当前图像I1上检测前导飞行器AC2。这样的方法需要尤其是通过训练在图像上检测飞行器来对所述神经网络进行初步的参数化。所述训练例如包括将丰富的图像集、也就是说包含飞行器的已经(通过它们在图像上的坐标或者特别是通过索引)在其上识别出所述飞行器的图像提交给神经网络。

检测子步骤E24A还可以包括从当前图像I1生成称为摇摄和扫描图像I2的新图像。检测子步骤E24A可以包括发送关于当前图像I1的前导飞行器AC2所位于的区域的信息(例如,界定完全包含前导飞行器AC2的矩形框8的点A、B、C和D的坐标),而不是发送摇摄和扫描图像I2。如图7所表示的,这样的摇摄和扫描图像I2对应于当前图像I1的完全包含(或包围)前导飞行器AC2的部分。

在特定实施例中,摇摄和扫描图像I2由完全包含前导飞行器AC2的最小矩形框界定。

在检测子步骤E24A期间,可以根据对前导飞行器AC2的空气动力学特性(例如飞行器的形式、前导飞行器AC2的翼展或发动机的数量)的分析来确定前导飞行器AC2的三维模型。还可以在跟随飞行器AC1的飞行之前例如通过知道前导飞行器AC2的航班号或其登记号来确定前导飞行器AC2的三维模型。三维模型12有利地考虑前导飞行器AC2在飞行中的变形。

初始化步骤E24进一步包括由提取单元9实施的提取子步骤E24B,该提取子步骤包括接收在检测子步骤E24A中提供的摇摄和扫描图像I2以及对所述摇摄和扫描图像I2应用图像处理操作以确定与前导飞行器AC2的廓线10对应的一组点,如图8B所表示的。提取子步骤E24B还可以包括接收关于当前图像I1的前导飞行器AC2所位于的区域的信息(关于由点A、B、C和D界定的矩形框8的信息)并且对当前图像I1的此区域应用图像处理操作,以确定与前导飞行器AC2的廓线10相对应的一组点。

在特定实施例中,在提取子步骤E24B中实施的图像处理包括针对摇摄和扫描图像I2的每个像素计算局部梯度。局部梯度信息使得可以确定像素是否属于廓线。这种计算是通过应用滤波器、尤其是高斯和Sobel滤波器来执行的。

初始化步骤E24还包括由确定单元13实施的确定子步骤E24C,该确定子步骤包括根据存储在数据库11中的前导飞行器AC2的三维模型12以及跟随飞行器AC1相对于前导飞行器AC2的初始位置来确定前导飞行器AC2的轮廓。轮廓14A是三维模型12的可视化,其定位大致对应于前导飞行器AC2的轮廓在摇摄和扫描图像I2上的定位。

图像处理步骤E2包括继续步骤E26,该继续步骤包括提取前导飞行器AC2的廓线10的子步骤E26A。如果检测到与低于预定阈值的得分匹配的先前迭代,则执行此继续步骤E26。此继续步骤E26在先前迭代的初始化步骤E24之后,也就是说,仅在实施先前迭代的初始化步骤E24之后才实施继续步骤E26。在先前迭代的初始化步骤E24和继续步骤E26之间存在各种步骤。换句话说,先前迭代的初始化步骤E24和继续步骤E26并不直接跟随彼此。

图像处理步骤E2还包括由配准单元15执行的调整步骤E28,该调整步骤包括接收廓线10和轮廓14A,然后比较它们,以确定为了获得根据预定义标准的最优匹配而必须应用的调整。更具体地,调整步骤E28包括通过廓线配准算法根据前导飞行器的廓线与其轮廓的比较来确定经优化的轮廓14C,以及根据比较的廓线和轮廓之间的偏差来计算迭代的得分的值。

为此,调整步骤E28实时且迭代地实施以下子步骤:

-在存在先前迭代的情况下,由确定元件16实施的确定子步骤E28A,该确定子步骤包括根据前导飞行器的三维模型并根据来自先前迭代的数据确定前导飞行器AC2的新轮廓14B。第一次迭代使用轮廓14A来启动一系列操作;

-由比较元件17实施的比较子步骤E28B,该比较子步骤包括将轮廓14A或新轮廓14B(取决于迭代)的像素与廓线10的像素进行比较;

-由识别元件19实施的识别子步骤E28C,该识别子步骤包括识别前导飞行器AC2的廓线10的分别与轮廓14A或新轮廓14B的对照点相对应的对照点,以便获得对照点对24。识别子步骤E28C可以是基于对局部梯度的测量的;以及

-由计算元件20实施的计算子步骤E28D,该计算子步骤包括计算每个对照点对24的对照点之间的距离以及确定轮廓14B是否足够接近廓线10(在这种情况下,轮廓对应于经优化的轮廓14C并且一系列操作被停止)或者是否有必要触发新的迭代。因此,调整步骤E28包括实施廓线配准算法,以根据前导飞行器的廓线与轮廓14A或新轮廓14B(取决于迭代)的比较来确定经优化的轮廓14C。在该计算子步骤E28D期间,计算与针对这组点对确定的距离之和相对应的迭代的得分的值。

最后,处理步骤E2包括在调整步骤E28之后的由确定单元21实施的确定步骤E30。确定步骤E30包括根据经优化的轮廓14C和前导飞行器AC2的三维模型12确定跟随飞行器AC1相对于前导飞行器AC2的定位。特别地,此确定步骤E30的目的是从这些数据中确定关于跟随飞行器AC1相对于前导飞行器AC2的定位(X1,Y1,Z1;ΔΦ,ΔΘ,ΔΨ)R2的信息。

方法P最后包括在确定步骤E30之后的由发送单元22实施的发送步骤E4。此发送步骤E4包括将跟随飞行器AC1相对于前导飞行器AC2的定位数据23发送到用户装置25,以便建立针对跟随飞行器AC1的飞行指令并执行编队飞行。

19页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种建筑工程垂直度检测装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!