发明内容

本发明的技术任务是针对上述存在的问题，提供一种可以加快灾后的恢复过程，通过对灾后情况的现场了解，可以更快的制定灾后的恢复方案，物资调动等方案的实现灾后图像视觉问答的方法。

为实现上述目的，本发明提供了如下技术方案：

一种实现灾后图像视觉问答的方法，该方法使用无人飞行器收集的图像和视频，对图像中的对象进行分类，设定问题的类型，通过视觉算法和自然语言算法对图像进行特征提取及问题的语义表示，将特征组合后将任务制定为一个分类任务预测问题答案。

视觉问答系统集成无人飞行器采集的图像在重大灾难的灾后损伤评估具有很大的潜力，可以向受灾地区提供实时的数据评估和分析。视觉问答系统的主要问答范围是对现场清空提供和查询相关的答案。可以加快灾后的恢复过程，通过对灾后情况的现场了解，可以更快的制定灾后的恢复方案，物资调动等方案。

作为优选，数据集中图像包括碎片和建筑物，其中建筑物包括住宅和非住宅的结构，对不同属性的对象类型在生成问题和答案时，参照不同属性。

模型训练使用的数据集是飓风过后使用小型无人飞行器收集的图像和视频，所有图像的分辨率很高。首先对图像中的对象进行分类，设定问题的类型，再通过视觉算法和自然语言算法对图像进行特征提取，以及问题的语义表示，模型将两种特征进行组合后将任务制定为一个分类任务(给定的答案集)预测问题答案。数据集中的大多数图像包括碎片和建筑物，这些建筑物包括住宅和非住宅的结构，对于不同属性的对象类型在生成问题和答案的时候，也有参照这些属性。

作为优选，生成的问题包括简单计数类、复杂计数类和是否类。共有3197张图片可用，每张图片都与所有3种类型的问题相关联。

作为优选，简单计数类问题询问对象的存在数量。

作为优选，复杂计数类问题用于计算对象特定属性的存在。

作为优选，是否类问题用于检查对象的特定属性是否存在。

作为优选，图像的特征提取使用VGGNet进行表示，问题的语义使用LSTM模型进行表示，使用MFB模型对图像和问题的特征进行组合，并使用Softmax层得到预测的答案。

作为优选，使用VGG16网络提取图像的特征，提取得到1024维的图像特征向量，语义问题特征提取使用两层的LSTM模型得到1024维问题特征向量。

作为优选，使用MFB模型对特征向量和语义问题特征向量进行细粒度的组合，MFB模块对特征向量进行扩展和挤压。图像和问题特征向量在扩展过程中逐点相乘，然后是一个dropout层；在压缩步骤中，主要是进行池化和归一化。

作为优选，经MFB模块的特征组合，使用全连接层和softmax层，对给定的问题和图像，模型通过将问题定制为分类任务，对给定的答案集来预测问题的答案。

即对于图像的特征提取使用VGG16网络，提取得到1024维的图像特征向量，语义问题特征提取使用两层的LSTM模型同样得到1024维问题特征向量。使用MFB模块将图像特征向量和语义问题特征向量进行细粒度的组合。MFB模块对特征向量进行扩展和挤压。图像和问题特征向量在扩展过程中逐点相乘，然后是一个dropout层；在压缩步骤中，主要是进行池化和归一化。经过MFB模块的特征组合，使用全连接层和softmax层，对于给定的问题和一个图像，模型通过将问题定制为分类任务，对于给定的答案集来预测问题的答案。

与现有技术相比，本发明的实现灾后图像视觉问答的方法具有以下突出的有益效果：目前的灾后图像数据集是分辨率很低的卫星图像，无法对图像进行高准确率的分析，本发明所述实现灾后图像视觉问答的方法根据提出的问题对图像进行分析预测出答案，比如“图中有多少房屋受损？”、“图中道路受损情况”等。通过视觉问答系统可以减少人力对图像的判断，加快灾后恢复的计划和决策，通过对灾后情况的现场了解，可以更快的制定灾后的恢复方案，物资调动等方案，具有良好的推广应用价值。