一种目标对象查找方法、系统、电子设备及存储介质

文档序号:1798809 发布日期:2021-11-05 浏览:17次 >En<

阅读说明:本技术 一种目标对象查找方法、系统、电子设备及存储介质 (Target object searching method, system, electronic equipment and storage medium ) 是由 张挺杰 叶建林 于 2021-08-12 设计创作,主要内容包括:本发明涉及电子信息技术,提供了一种目标对象查找方法、系统、电子设备及存储介质,其中,所述方法包括:获取影像数据;将影像数据输入预先训练的两个预设类型识别模型,得到结构化信息数据和描述性信息数据;根据描述性信息数据得到主体信息数据;将同一描述性信息数据对应的所有主体信息数据建立关系作为第一关系;将结构化信息数据和对应的主体信息数据建立关系作为第二关系;响应用户输入的查询数据,计算查询数据与结构化信息的相似度,当相似度大于第一预设值时,根据相似度对应结构化信息数据以及第二关系,得到查询主体信息数据;根据查询主体信息数据以及第一关系,得到查询主体信息数据对应的其他主体信息数据。监控人员的工作量较小。(The invention relates to an electronic information technology, and provides a target object searching method, a target object searching system, electronic equipment and a storage medium, wherein the method comprises the following steps: acquiring image data; inputting image data into two pre-trained preset type recognition models to obtain structured information data and descriptive information data; obtaining main information data according to the descriptive information data; establishing a relation between all main body information data corresponding to the same descriptive information data as a first relation; establishing a relationship between the structured information data and the corresponding main body information data as a second relationship; responding to query data input by a user, calculating similarity between the query data and the structured information, and when the similarity is greater than a first preset value, corresponding to the structured information data and a second relation according to the similarity to obtain query main body information data; and obtaining other main body information data corresponding to the query main body information data according to the query main body information data and the first relation. The workload of monitoring personnel is small.)

一种目标对象查找方法、系统、电子设备及存储介质

技术领域

本发明涉及电子信息技术,尤其涉及一种目标对象查找方法、系统、电子设备及存储介质。

背景技术

安防监控系统是利用视频探测技术,在监控设防区域内显示和记录现场图像的系统,可以实时、形象、真实地反映被监控的对象,主要包含前端设备、传输设备、处理/控制设备和记录/显示设备四部分,从而实现代替人工进行长时间监控,并让人能够看到被监控区域的实际发生的一切情况。

当前安防领域,每天从摄像头中产生大量的信息。当发生突发事件时,需要监控人员进行人为从海量的视频中寻找突然事件相关目标对象的线索,监控人员的工作量大,难以及时对目标对象进行追踪,进一步导致时间上的延误,容易错失找到目标对象的最佳时机。

发明内容

鉴于以上内容,本发明提供一种目标对象查找方法、系统、电子设备及存储介质,其目的在于解决目前寻找目标对象的方法导致监控人员的工作量大,难以及时对目标对象进行追踪,进一步导致时间上的延误,容易错失找到目标对象的最佳时机的技术问题。

为实现上述目的,本发明提供一种目标对象查找方法,所述方法包括:

获取影像数据;

将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;

将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

在其中一实施例中,所述预先训练的第二预设类型识别模型包括编码器和解码器;所述将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据包括:

将所述影像数据输入所述编码器,得到中间向量;将中间向量输入所述解码器,得到描述性信息数据。

在其中一实施例中,所述根据所述描述性信息数据,得到主体信息数据包括:

将描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则匹配成功时,将描述性信息数据中与预设规则匹配成功的信息作为主体信息数据。

在其中一实施例中,所述根据所述描述性信息数据,得到主体信息数据包括:

将所述描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则不匹配时,计算所述描述性信息数据与预设数据库中的实体信息数据的相似度作为第二相似度,当第二相似度大于第二预设值时,将与第二相似度对应的所述实体信息数据作为主体信息数据。

在其中一实施例中,所述方法还包括判断预设数据库中是否存在所述主体信息数据,当预设数据库中未存在所述主体信息数据时,在预设数据库中新建所述主体信息数据作为实体信息数据。

在其中一实施例中,所述将所述结构化信息数据和对应的主体信息数据建立关系包括:

通过预设的人工词典将所述结构化信息数据和对应的主体信息数据建立关系。

在其中一实施例中,所述第二预设类型识别模型为长短期记忆模型。

为实现上述目的,本发明还提供一种目标对象查找系统,所述系统包括:

获取模块,用于获取影像数据;

输入模块,用于将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;

建立模块,用于将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

计算模块,用于响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

为实现上述目的,本发明还提供一种电子设备,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的目标对象查找方法。

为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有目标对象查找程序,所述目标对象查找程序被处理器执行时,实现如上所述的目标对象查找方法的步骤。

本发明提出的目标对象查找方法、系统、电子设备及存储介质,获取影像数据;将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。如此,本发明可根据用户输入的查询数据较为及时方便地查询到相关的主体信息数据,监控人员的工作量较小,较为方便及时地对目标对象进行追踪,有效降低时间上的延误,更为容易地抓住找到目标对象的最佳时机。

附图说明

图1为本发明电子设备较佳实施例的示意图;

图2为本发明目标对象查找系统较佳实施例的模块示意图;

图3为本发明目标对象查找方法较佳实施例的流程图;

本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

参照图1所示,为本发明电子设备1较佳实施例的示意图。

该电子设备1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述电子设备1的内部存储单元,例如该电子设备1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述电子设备1的外部存储设备,例如该电子设备1配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件,例如目标对象查找程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行目标对象查找程序10的程序代码等。

显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面,例如显示数据统计的结果。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。

图1仅示出了具有组件11-14以及目标对象查找程序10的电子设备1和云端数据库2,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。

可选地,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

该电子设备1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。

在上述实施例中,处理器12执行存储器11中存储的目标对象查找程序10时可以实现如下步骤:

获取影像数据;

将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;

将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

关于上述步骤的详细介绍,请参照下述图2关于目标对象查找系统100实施例的功能模块图以及图3关于目标对象查找方法实施例的流程图的说明。

参照图2所示,为本发明目标对象查找系统100的功能模块图。

本发明所述目标对象查找系统100可以安装于电子设备中。目标对象查找系统100可以采用浏览器/服务器模式(Browser/Server,B/S)架构管理平台。根据实现的功能,所述目标对象查找系统100可以包括获取模块110、输入模块120、建立模块130和计算模块140。本发明中所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

获取模块110,用于获取影像数据。

在本实施例中,例如,控制摄像机采集影像数据,从而获取得到影像数据。当然也可接收用户输入的影像数据。其中,影像数据包括视频和/或图片。

输入模块120,用于将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据。

在本实施例中,可以将获取到的影像数据复制一份或者多份,其中一份影像数据输入第一预设类型识别模型,另一份影像数据输入第二预设类型识别模型。预先训练的第一预设类型识别模型是预先训练完成的深度学习模型,可以将影像数据转换为结构化信息数据。预先训练的第二预设类型识别模型为预先训练完成的长短期记忆模型。当影像数据为视频时,第一预设类型识别模型会分别识别出每帧图像的结构化信息数据,第二预设类型识别模型会分别识别出每帧图像的描述性信息数据。在一些实施例中,描述性信息数据中包括主体信息数据,可以从描述性信息数据中直接提取出主体信息数据。

例如,将一个包含行人和车辆的图片输入第一预设类型识别模型,第一预设类型识别模型输出的结构化信息数据为两组。其中一组结构化信息数据为“年龄:青年、是否佩戴安全帽:是、上身颜色:黄色、性别:男”。另一组结构化信息数据为“车型:卡车、颜色:红色、车牌:XX”。将同样的图片输入第二预设类型识别模型,第二预设类型识别模型输出的描述性信息数据为“一个穿着黄色上衣的青年在卡车附近经过”。

可选地,所述预先训练的第二预设类型识别模型包括编码器和解码器;所述将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据包括:将所述影像数据输入所述编码器,得到中间向量;将中间向量输入所述解码器,得到描述性信息数据。

可以理解的是,编码器采用的是深度卷积神经网络,用于把图像转换为固定长度的中间向量。解码器为循环神经网络,并用于生成目标语句。

可选地,所述根据所述描述性信息数据,得到主体信息数据包括:将描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则匹配成功时,将描述性信息数据中与预设规则匹配成功的信息作为主体信息数据。

可以理解的是,预设规则是预先设定完成的,规则可以包括卡车、青年、少年、自行车等。以前述的图片所得到的描述性信息数据为例,可以将该描述性信息数据进行分词处理,得到目标分词,将“一个穿着黄色上衣的青年在卡车附近经过”对应的目标分词与预设规则相匹配,该描述性信息数据目标分词中的“青年”和“卡车”与预设规则匹配成功,则将“青年”和“卡车”作为两个主体信息数据。

可选地,所述根据所述描述性信息数据,得到主体信息数据包括:将所述描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则不匹配时,计算所述描述性信息数据与预设数据库中的实体信息数据的相似度作为第二相似度,当第二相似度大于第二预设值时,将与第二相似度对应的所述实体信息数据作为主体信息数据。

可理解的是,从原始信息中获取的信息比较散乱无章,有时甚至出现描述性信息和结构化信息差异很大的情况。预先设置的数据库中存储有实体信息数据,实体信息数据为人工定义的较为标准的信息数据。可以通过相似度计算来得到描述性信息数据对应的主体信息数据。当第二相似度小于或等于第二预设值时,返回无主体信息数据的结果来提示用户,以利于用户及时进行人工标注。

可选地,所述系统还包括判断模块,用于判断预设数据库中是否存在所述主体信息数据,当预设数据库中未存在所述主体信息数据时,在预设数据库中新建所述主体信息数据作为实体信息数据。

可理解的是,当预设数据库中未存在所述主体信息数据时,在预设数据库中新建所述主体信息数据作为实体信息数据,可以更新数据库中的实体信息数据。

建立模块130,用于将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系。

在本实施例中,所述将所述结构化信息数据和对应的主体信息数据建立关系包括:通过预设的人工词典将所述结构化信息数据和对应的主体信息数据建立关系。具体地,采用词典匹配法,通过构造人工字典的方式进行映射,这里采用人工的方式定义一些常见的结构化信息与主体信息之间映射关系。

以前述的主体信息数据和结构化信息数据为例,将属于同一描述性信息数据的两个主体信息数据“青年”和“卡车”建立关系。将结构化信息数据“年龄:青年、是否佩戴安全帽:是、上身颜色:黄色、性别:男”与主体信息数据“青年”建立关系。将结构化信息数据为“车型:卡车、颜色:红色、车牌:XX”与主体信息数据“卡车”建立关系。

计算模块140,用于响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

本实施例中,例如用户输入查询数据“黄色上衣男子”,计算出该查询数据与结构化信息“上身颜色:黄色、性别:男”的相似度,该相似度大于第一预设值,根据该相似度对应结构化信息数据“上身颜色:黄色、性别:男”以及该结构化信息数据“上身颜色:黄色、性别:男”和对应的主体信息数据“青年”之间的关系,可以得到该结构化信息数据对应的主体信息数据“青年”。然后,根据该主体信息数据“青年”以及该主体信息数据“青年”与属于同一描述性信息数据的另一个主体信息数据“卡车”之间的关系,得到与该主体信息数据“青年”相关联的主体信息数据“卡车”。较为准确地找到了目标对象的相关线索。根据该主体信息数据“卡车”以及该主体信息数据“卡车”和对应的结构化信息数据“车型:卡车、颜色:红色、车牌:XX”之间的关系,可以得到该主体信息数据“卡车”对应的结构化信息数据“车型:卡车、颜色:红色、车牌:XX”,从而方便地找到卡车,并联系卡车司机。

可选地,所述系统还包括计算子模块,用于计算图像数据的数量,判断图像数据是否为多个(两个及以上),当图像数据数量为多个时,所述将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据,将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系包括:

将多个图像数据分别输入预先训练的第一预设类型识别模型,得到每个图像数据对应的结构化信息数据;将多个图像数据分别输入预先训练的第二预设类型识别模型,得到每个图像数据对应的描述性信息数据;根据每个图像数据对应的描述性信息数据,得到每个图像数据对应的主体信息数据;

将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

所述系统还包括计算关联模块,用于判断所有描述性信息数据对应的所有主体信息数据中是否存在相同的主体信息数据,当存在相同的主体信息数据时,将所述相同的主体信息数据作为关联主体信息数据,将关联主体信息数据对应的多个描述性信息数据均作为关联信息数据,将所有关联信息数据对应的所有主体信息数据建立关系。如此,可形成得到知识图谱。

响应用户输入的查找数据,计算所述查找数据与所述结构化信息的相似度作为第三相似度,判断所述第三相似度是否大于第三预设值,当所述第三相似度大于第三预设值时,根据所述第三相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第三相似度对应结构化信息数据相对应的主体信息数据作为查找主体信息数据;根据所述查找主体信息数据以及查找主体信息数据与所述关联关系,得到与所述查找主体信息数据具有关系的其他主体信息数据。

可理解的是,对象A和对象B出现在图像一中,对象C和对象B出现在图像二中,如此,经过如上步骤,可得到图像一对应的结构化信息数据一和描述性信息数据一,以及图像二对应的结构化信息数据二和描述性信息数据二。从而,得到描述性信息数据一对应的主体信息数据“对象A”和“对象B”,以及描述性信息数据二对应的主体信息数据“对象C”和“对象B”。判断出“对象B”为两描述性信息数据的相同主体信息数据,将“对象B”作为关联主体信息数据,将“对象B”对应的描述性信息数据一和描述性信息数据二均作为关联信息数据,将描述性信息数据一和描述性信息数据二的所有主体信息数据“对象A”、“对象B”和“对象C”建立关系。如此当查询出对象A时,可根据对象A以及对象A与对象B”、“对象C”之间的关系,得到对象B”和“对象C”。

本发明提出的目标对象查找系统,获取影像数据;将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。如此,本发明可根据用户输入的查询数据较为及时方便地查询到相关的主体信息数据,监控人员的工作量较小,较为方便及时地对目标对象进行追踪,有效降低时间上的延误,更为容易地抓住找到目标对象的最佳时机。

此外,本发明还提供一种目标对象查找方法,该方法应用于电子设备。参照图3所示,为本发明目标对象查找方法的实施例的方法流程示意图。电子设备1的处理器12执行存储器11中存储的目标对象查找程序10时实现目标对象查找方法的如下步骤:

步骤S10:获取影像数据。

在本实施例中,例如,控制摄像机采集影像数据,从而获取得到影像数据。当然也可接收用户输入的影像数据。其中,影像数据包括视频和/或图片。

步骤S20:将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据。

在本实施例中,可以将获取到的影像数据复制两份,其中一份影像数据输入第一预设类型识别模型,另一份影像数据输入第二预设类型识别模型。预先训练的第一预设类型识别模型是预先训练完成的深度学习模型,可以将影像数据转换为结构化信息数据。预先训练的第二预设类型识别模型为预先训练完成的长短期记忆模型。当影像数据为视频时,第一预设类型识别模型会分别识别出每帧图像的结构化信息数据,第二预设类型识别模型会分别识别出每帧图像的描述性信息数据。在一些实施例中,描述性信息数据中包括主体信息数据,可以从描述性信息数据中直接提取出主体信息数据。

例如,将一个包含行人和车辆的图片输入第一预设类型识别模型,第一预设类型识别模型输出的结构化信息数据为两组。其中一组结构化信息数据为“年龄:青年、是否佩戴安全帽:是、上身颜色:黄色、性别:男”。另一组结构化信息数据为“车型:卡车、颜色:红色、车牌:XX”。将同样的图片输入第二预设类型识别模型,第二预设类型识别模型输出的描述性信息数据为“一个穿着黄色上衣的青年在卡车附近经过”。

可选地,所述预先训练的第二预设类型识别模型包括编码器和解码器;所述将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据包括:将所述影像数据输入所述编码器,得到中间向量;将中间向量输入所述解码器,得到描述性信息数据。

可以理解的是,编码器采用的是深度卷积神经网络,用于把图像转换为固定长度的中间向量。解码器为循环神经网络,并用于生成目标语句。

可选地,所述根据所述描述性信息数据,得到主体信息数据包括:将描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则匹配成功时,将描述性信息数据中与预设规则匹配成功的信息作为主体信息数据。

可以理解的是,预设规则是预先设定完成的,规则可以包括卡车、青年、少年、自行车等。以前述的图片所得到的描述性信息数据为例,可以将该描述性信息数据进行分词处理,得到目标分词,将“一个穿着黄色上衣的青年在卡车附近经过”对应的目标分词与预设规则相匹配,该描述性信息数据目标分词中的“青年”和“卡车”与预设规则匹配成功,则将“青年”和“卡车”作为两个主体信息数据。

可选地,所述根据所述描述性信息数据,得到主体信息数据包括:将所述描述性信息数据与预设规则进行匹配,当所述描述性信息数据与预设规则不匹配时,计算所述描述性信息数据与预设数据库中的实体信息数据的相似度作为第二相似度,当第二相似度大于第二预设值时,将与第二相似度对应的所述实体信息数据作为主体信息数据。

可理解的是,从原始信息中获取的信息比较散乱无章,有时甚至出现描述性信息和结构化信息差异很大的情况。预先设置的数据库中存储有实体信息数据,实体信息数据为人工定义的较为标准的信息数据。可以通过相似度计算来得到描述性信息数据对应的主体信息数据。当第二相似度小于或等于第二预设值时,返回无主体信息数据的结果来提示用户,以利于用户及时进行人工标注。

可选地,所述方法还包括判断预设数据库中是否存在所述主体信息数据,当预设数据库中未存在所述主体信息数据时,在预设数据库中新建所述主体信息数据作为实体信息数据。

可理解的是,当预设数据库中未存在所述主体信息数据时,在预设数据库中新建所述主体信息数据作为实体信息数据,可以更新数据库中的实体信息数据。

步骤S30:将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系。

在本实施例中,所述将所述结构化信息数据和对应的主体信息数据建立关系包括:通过预设的人工词典将所述结构化信息数据和对应的主体信息数据建立关系。具体地,采用词典匹配法,通过构造人工字典的方式进行映射,这里采用人工的方式定义一些常见的结构化信息与主体信息之间映射关系。

以前述的主体信息数据和结构化信息数据为例,将属于同一描述性信息数据的两个主体信息数据“青年”和“卡车”建立关系。将结构化信息数据“年龄:青年、是否佩戴安全帽:是、上身颜色:黄色、性别:男”与主体信息数据“青年”建立关系。将结构化信息数据为“车型:卡车、颜色:红色、车牌:XX”与主体信息数据“卡车”建立关系。

步骤S40:响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

本实施例中,例如用户输入查询数据“黄色上衣男子”,计算出该查询数据与结构化信息“上身颜色:黄色、性别:男”的相似度,该相似度大于第一预设值,根据该相似度对应结构化信息数据“上身颜色:黄色、性别:男”以及该结构化信息数据“上身颜色:黄色、性别:男”和对应的主体信息数据“青年”之间的关系,可以得到该结构化信息数据对应的主体信息数据“青年”。然后,根据该主体信息数据“青年”以及该主体信息数据“青年”与属于同一描述性信息数据的另一个主体信息数据“卡车”之间的关系,得到与该主体信息数据“青年”相关联的主体信息数据“卡车”。较为准确地找到了目标对象的相关线索。根据该主体信息数据“卡车”以及该主体信息数据“卡车”和对应的结构化信息数据“车型:卡车、颜色:红色、车牌:XX”之间的关系,可以得到该主体信息数据“卡车”对应的结构化信息数据“车型:卡车、颜色:红色、车牌:XX”,从而方便地找到卡车,并联系卡车司机。

可选地,所述方法还包括计算图像数据的数量,判断图像数据是否为多个(两个及以上),当图像数据数量为多个时,所述将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据,将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系包括:

将多个图像数据分别输入预先训练的第一预设类型识别模型,得到每个图像数据对应的结构化信息数据;将多个图像数据分别输入预先训练的第二预设类型识别模型,得到每个图像数据对应的描述性信息数据;根据每个图像数据对应的描述性信息数据,得到每个图像数据对应的主体信息数据;

将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

所述方法还包括判断所有描述性信息数据对应的所有主体信息数据中是否存在相同的主体信息数据,当存在相同的主体信息数据时,将所述相同的主体信息数据作为关联主体信息数据,将关联主体信息数据对应的多个描述性信息数据均作为关联信息数据,将所有关联信息数据对应的所有主体信息数据建立关系作为关联关系。如此,可形成得到知识图谱。

响应用户输入的查找数据,计算所述查找数据与所述结构化信息的相似度作为第三相似度,判断所述第三相似度是否大于第三预设值,当所述第三相似度大于第三预设值时,根据所述第三相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第三相似度对应结构化信息数据相对应的主体信息数据作为查找主体信息数据;根据所述查找主体信息数据以及查找主体信息数据与所述关联关系,得到与所述查找主体信息数据具有关系的其他主体信息数据。

可理解的是,对象A和对象B出现在图像一中,对象C和对象B出现在图像二中,如此,经过如上步骤,可得到图像一对应的结构化信息数据一和描述性信息数据一,以及图像二对应的结构化信息数据二和描述性信息数据二。从而,得到描述性信息数据一对应的主体信息数据“对象A”和“对象B”,以及描述性信息数据二对应的主体信息数据“对象C”和“对象B”。判断出“对象B”为两描述性信息数据的相同主体信息数据,将“对象B”作为关联主体信息数据,将“对象B”对应的描述性信息数据一和描述性信息数据二均作为关联信息数据,将描述性信息数据一和描述性信息数据二的所有主体信息数据“对象A”、“对象B”和“对象C”建立关系。如此当查询出对象A时,可根据对象A以及对象A与对象B”、“对象C”之间的关系,得到对象B”和“对象C”。

本发明提出的目标对象查找方法,获取影像数据;将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。如此,本发明可根据用户输入的查询数据较为及时方便地查询到相关的主体信息数据,监控人员的工作量较小,较为方便及时地对目标对象进行追踪,有效降低时间上的延误,更为容易地抓住找到目标对象的最佳时机。

此外,本发明实施例还提出一种计算机可读存储介质,该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有目标对象查找程序10,所述目标对象查找程序10被处理器执行时实现如下操作:

获取影像数据;

将所述影像数据输入预先训练的第一预设类型识别模型,得到结构化信息数据;将所述影像数据输入预先训练的第二预设类型识别模型,得到描述性信息数据;根据所述描述性信息数据,得到主体信息数据;

将同一所述描述性信息数据对应的所有主体信息数据建立关系;将所述结构化信息数据和对应的主体信息数据建立关系;

响应用户输入的查询数据,计算所述查询数据与所述结构化信息的相似度作为第一相似度,判断所述第一相似度是否大于第一预设值,当所述第一相似度大于第一预设值时,根据所述第一相似度对应结构化信息数据以及结构化信息数据和对应的主体信息数据之间的关系,得到与所述第一相似度对应结构化信息数据相对应的主体信息数据作为查询主体信息数据;根据所述查询主体信息数据以及查询主体信息数据与同属于一所述描述性信息数据对应的其他主体信息数据之间的关系,得到与所述查询主体信息数据同属一描述性信息数据的其他主体信息数据。

需要强调的是,本发明之计算机可读存储介质的具体实施方式与上述目标对象查找方法的具体实施方式大致相同,在此不再赘述。

本发明之计算机可读存储介质的具体实施方式与上述目标对象查找方法的具体实施方式大致相同,在此不再赘述。

需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、系统、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、系统、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、系统、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子系统,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

17页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:面向多种心电信号存储的XML文档标准化方法及系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!