无人机光电视频目标的检索方法、电子设备及介质
阅读说明：本技术 无人机光电视频目标的检索方法、电子设备及介质 (Unmanned aerial vehicle photoelectric video target retrieval method, electronic device and medium ) 是由 黄欣宇 陈文� 吴也 陈翔 魏瀚 于 2021-07-13 设计创作，主要内容包括：本申请公开了一种无人机光电视频目标的检索方法、电子设备及介质。该方法可以包括：接收无人机的光电视频数据与其对应的位置数据；通过目标识别算法将目标分类,按照光电视频数据的类别与位置数据进行数据结构化存储；生成指定目标类别的区域密度图；在区域密度图中选择目标区域,检索目标区域的光电视频数据。本发明基于接收无人机光电的图像数据和目标位置数据,为检索人员提供目标区域密度图,并对源视频段落进行带有目标类别信息的时间轴详查,最终检索感兴趣目标成功并获取相关时空上下文信息。(The application discloses a retrieval method, electronic equipment and medium for photoelectric video targets of unmanned aerial vehicles. The method can comprise the following steps: receiving photoelectric video data of the unmanned aerial vehicle and corresponding position data; classifying the targets through a target identification algorithm, and performing data structured storage according to the category and position data of the photoelectric video data; generating a regional density map of the specified target category; and selecting a target area in the area density map, and retrieving photoelectric video data of the target area. The invention provides a target area density map for searching personnel based on receiving photoelectric image data and target position data of the unmanned aerial vehicle, and carries out detailed time axis searching with target category information on a source video section, and finally successfully searches an interested target and obtains related space-time context information.)
技术领域
本发明涉及目标检索技术领域，更具体地，涉及一种无人机光电视频目标的检索方法、电子设备及介质。
背景技术
近年来，随着无人机系统技术的成熟，无人机已被广泛应用。机载光电是无人机进行目标侦察的主要手段，其产生的光电视频具有复杂动态背景多、视角变化大、内容变化大、目标类别多等特点，为有效利用无人机机载光电产生的光电视频数据，各种使用策略和算法应运而生。
当前主流的无人机视频目标检索方法，主要是基于目标分类存储的电子设备和介质，以目标分类算法得到的标签进行视频目标分类检索，这种方法对分类算法的先验学习数据集类别数量要求很高，在数据集类别较少时对于无人机光电视频目标的检索结果通常不尽如人意，而无人机的数据集获取又受到诸多限制，往往数量和质量上不能完全满足使用需求。
因此，有必要开发一种无人机光电视频目标的检索方法、电子设备及介质。
公开于本发明
背景技术
部分的信息仅仅旨在加深对本发明的一般背景技术
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提出了一种无人机光电视频目标的检索方法、电子设备及介质，其能够基于接收无人机光电的图像数据和目标位置数据，为检索人员提供目标区域密度图，并对源视频段落进行带有目标类别信息的时间轴详查，最终检索感兴趣目标成功并获取相关时空上下文信息。
第一方面，本公开实施例提供了一种无人机光电视频目标的检索方法，包括：
接收无人机的光电视频数据与其对应的位置数据；
通过目标识别算法将目标分类，按照所述光电视频数据的类别与位置数据进行数据结构化存储；
生成指定目标类别的区域密度图；
在所述区域密度图中选择目标区域，检索所述目标区域的光电视频数据。
优选地，还包括：
所述目标区域的光电视频数据通过带有目标类别标签的时间轴的方式播放。
优选地，还包括：
在所述时间轴上选取存在所需目标类别的时间点，确认是否为所需目标类别。
优选地，所述目标识别算法为通过基于先验样本深度学习的目标识别算法。
优选地，将所述光电视频数据按照视频段落-视频图像帧号-目标编号-目标类别-目标位置的结构组成进行关联性结构化存储。
优选地，所述区域密度图以区域中每平方公里内包含指定目标类别的目标数量划分密度梯度。
优选地，通过位置数据，将所述目标区域中对应的视频段落筛选到视频段落列表中。
作为本公开实施例的一种具体实现方式，
第二方面，本公开实施例还提供了一种电子设备，该电子设备包括：
存储器，存储有可执行指令；
处理器，所述处理器运行所述存储器中的所述可执行指令，以实现以下步骤：
接收无人机的光电视频数据与其对应的位置数据；
通过目标识别算法将目标分类，按照所述光电视频数据的类别与位置数据进行数据结构化存储；
生成指定目标类别的区域密度图；
在所述区域密度图中选择目标区域，检索所述目标区域的光电视频数据。
优选地，还包括：
所述目标区域的光电视频数据通过带有目标类别标签的时间轴的方式播放。
优选地，还包括：
在所述时间轴上选取存在所需目标类别的时间点，确认是否为所需目标类别。
优选地，所述目标识别算法为通过基于先验样本深度学习的目标识别算法。
优选地，将所述光电视频数据按照视频段落-视频图像帧号-目标编号-目标类别-目标位置的结构组成进行关联性结构化存储。
优选地，所述区域密度图以区域中每平方公里内包含指定目标类别的目标数量划分密度梯度。
优选地，通过位置数据，将所述目标区域中对应的视频段落筛选到视频段落列表中。
第三方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的无人机光电视频目标的检索方法。
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的
具体实施方式
中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的一个实施例的无人机光电视频目标的检索方法的步骤的流程图。
图2示出了根据本发明的一个实施例的目标标签选择界面的示意图。
图3示出了根据本发明的一个实施例的目标区域密度设置界面的示意图。
图4示出了根据本发明的一个实施例的区域对应源视频段落列表的示意图。
图5示出了根据本发明的一个实施例的带有目标标签的时间轴的示意图。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
本发明提供一种无人机光电视频目标的检索方法，包括：
接收无人机的光电视频数据与其对应的位置数据；
通过目标识别算法将目标分类，按照光电视频数据的类别与位置数据进行数据结构化存储；
生成指定目标类别的区域密度图；
在区域密度图中选择目标区域，检索目标区域的光电视频数据。
在一个示例中，还包括：
目标区域的光电视频数据通过带有目标类别标签的时间轴的方式播放。
在一个示例中，还包括：
在时间轴上选取存在所需目标类别的时间点，确认是否为所需目标类别。
在一个示例中，目标识别算法为通过基于先验样本深度学习的目标识别算法。
在一个示例中，将光电视频数据按照视频段落-视频图像帧号-目标编号-目标类别-目标位置的结构组成进行关联性结构化存储。
在一个示例中，区域密度图以区域中每平方公里内包含指定目标类别的目标数量划分密度梯度。
在一个示例中，通过位置数据，将目标区域中对应的视频段落筛选到视频段落列表中。
具体地，本发明提供一种无人机光电视频目标的检索方法，包括：
在接收无人机数据时，同时接收包括无人机光电视频数据和光电视频数据中对应目标的位置数据；
通过目标识别算法将目标分类，根据光电视频数据的类别与位置数据，将同一帧目标的类别和位置信息作为目标的结构化标签进行存储，即将光电视频数据按照视频段落-视频图像帧号-目标编号-目标类别-目标位置的结构组成进行关联性结构化存储，其中，目标识别算法为通过基于先验样本深度学习的目标识别算法；
检索人员在检索时，确定感兴趣的目标类别后，数据库自动筛选目标类别标签，并将其关联的目标位置信息绘制成目标区域密度图叠加到数字化地图中，区域密度图以区域中每平方公里内包含指定目标类别的目标数量划分密度梯度；
检索人员通过观察区域密度图，在区域密度图中选择目标区域，根据选择的目标区域与数据库中目标位置的信息匹配，检索目标区域的光电视频数据；目标区域的光电视频数据通过带有目标类别标签的时间轴的方式播放；在时间轴上选取存在所需目标类别的时间点，确认是否为所需目标类别。
通过位置数据，将目标区域中对应的视频段落筛选到视频段落列表中，选择筛选出的视频段落进行播放，播放时间轴将显示该时间点包含的特定类别目标是否存在，通过对时间轴上的同类别目标进行检查，可以精准获取检索人员需要的感兴趣目标，并且由于感兴趣目标存在于连续的视频段落中，其运动关联信息非常完整，检索人员可以根据任务需求对感兴趣目标的时空上下文信息进行进一步处理，获取更加立体的感兴趣目标情报信息。
本发明还提供一种电子设备，电子设备包括：存储器，存储有可执行指令；处理器，处理器运行存储器中的可执行指令，以实现以下步骤：
接收无人机的光电视频数据与其对应的位置数据；
通过目标识别算法将目标分类，按照光电视频数据的类别与位置数据进行数据结构化存储；
生成指定目标类别的区域密度图；
在区域密度图中选择目标区域，检索目标区域的光电视频数据。
在一个示例中，还包括：
目标区域的光电视频数据通过带有目标类别标签的时间轴的方式播放。
在一个示例中，还包括：
在时间轴上选取存在所需目标类别的时间点，确认是否为所需目标类别。
在一个示例中，目标识别算法为通过基于先验样本深度学习的目标识别算法。
在一个示例中，将光电视频数据按照视频段落-视频图像帧号-目标编号-目标类别-目标位置的结构组成进行关联性结构化存储。
在一个示例中，区域密度图以区域中每平方公里内包含指定目标类别的目标数量划分密度梯度。
在一个示例中，通过位置数据，将目标区域中对应的视频段落筛选到视频段落列表中。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的无人机光电视频目标的检索方法。
为便于理解本发明实施例的方案及其效果，以下给出三个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
实施例1
图1示出了根据本发明的一个实施例的无人机光电视频目标的检索方法的步骤的流程图。
如图1所示，该无人机光电视频目标的检索方法包括：步骤101，接收无人机的光电视频数据与其对应的位置数据；步骤102，通过目标识别算法将目标分类，按照光电视频数据的类别与位置数据进行数据结构化存储；步骤103，生成指定目标类别的区域密度图；步骤104，在区域密度图中选择目标区域，检索目标区域的光电视频数据。
首先同时接收包括无人机光电视频数据和光电视频数据中对应目标的位置数据。
对于光电视频图像，选择深度学习神经网络的目标识别算法对接收的光电视频数据进行目标识别，按先验数据集样本的机器学习结果为基础对目标进行分类。具体来说，本实施例采用ShuffleNet神经网络架构进行目标识别和先验数据集样本学习，提高深度学习效率；在目标学习阶段采用网络数据集和实际无人机光电采集数据数量1:1的先验数据集样本，将目标类别设置为人、汽车、建筑、武装车辆四类无人机主要目标并进行先验数据集样本学习；考虑无人机目标识别时，目标在视频图像中尺度占比较小，为了提升对多尺度小目标的识别率，采用UNET结构的目标识别算法进行目标识别，若当前视频图像帧中有人、汽车、建筑、武装车辆四类目标中的一类或多类，对视频及其目标附属信息进行关联性结构化存储，将其与当前视频图像一起存储形成视频段落-视频图像帧号-目标编号-目标类别形式的数据库，每个视频段落10分钟。
对于光电视频数据中对应目标的位置数据，在接收时对视频及其目标位置信息进行关联性结构化存储，获得视频段落-视频图像帧号-目标编号-目标类别-目标位置形式的数据库。
通过目标的类别和位置数据生成特定类别目标的区域密度图。
图2示出了根据本发明的一个实施例的目标标签选择界面的示意图。
图3示出了根据本发明的一个实施例的目标区域密度设置界面的示意图。
在结构化数据库的基础上，检索人员选择人、汽车、建筑、武装车辆四类目标中感兴趣的某一类，如图2所示，再在密度图设置选项卡中设置密度梯度线数量、对应的每一个梯度线区域目标密度(每平方公里目标个数)，如图3所示，最后在数字地图上生成目标区域密度图。
选择区域密度图中感兴趣的区域，自动筛选数据库中感兴趣区域对应的视频段落。
图4示出了根据本发明的一个实施例的区域对应源视频段落列表的示意图。
在目标区域密度图中选择感兴趣的目标区域，如图4所示，本实施例中目标区域为矩形框，检索人员设置好矩形框位置、大小后，在区域视频源选项卡中会刷新对应的视频段落列表，视频段落数量最大值设置为15个，筛选选择关联目标位置数量最多且符合最少一个对应目标的视频段落。
视频段落通过带有目标列别标签的时间轴的方式播放。
图5示出了根据本发明的一个实施例的带有目标标签的时间轴的示意图。
检索人员选择区域视频源选项卡中的视频段落进行详查，打开视频段落后，在时间轴上显示当前图像帧的目标类别存在情况，如图5所示，时间轴上浅灰色的部分代表存在“人”这个类别的目标。
在时间轴上选取所需类别目标的时间点，确认是否为所需目标。
检索人员拖动时间轴，在不同时间点查找感兴趣目标，由于前面的步骤中选择了感兴趣的区域，在时间轴上拖动时，视频中的目标区域基本都是感兴趣区域，检索人员可以更加便捷地进行针对性查找。在确定感兴趣目标之后，感兴趣目标所在的源视频段落可以提供连续的时间空间上下文信息，对于感兴趣目标关联的环境信息或者其它关联目标信息的提取都十分便捷。
应用本发明提供的无人机光电视频目标的检索方法，在实际检索过程中，检索人员对指定区域感兴趣目标的检索时间缩短3到4倍，对指定区域感兴趣目标相关联信息的获取效率提升2倍以上。
实施例2
本公开提供一种电子设备包括，该电子设备包括：存储器，存储有可执行指令；处理器，处理器运行存储器中的可执行指令，以实现上述无人机光电视频目标的检索方法。
根据本公开实施例的电子设备包括存储器和处理器。
该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令。
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
实施例3
本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的无人机光电视频目标的检索方法。
根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例方法的全部或部分步骤。
上述计算机可读存储介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。