具体实施方式

以下，参照附图对本发明的例示的实施方式进行说明。

以下，对设想在设计事务所使用的图像检索系统进行说明。

在设计事务所等蓄积有过去处理的案件的记录。在这里的信息中，除了设计方案、设计图等图像之外，也包括来自顾客的投诉(claim)、事故的事例、公司内部审查的记录等文档。本例示的实施方式所说明的图像检索系统通过利用这些信息，来支援设计业务的效率化。

＜系统结构＞

图1是示出在本例示的实施方式中使用的图像检索系统1的结构例的图。

图1所示的图像检索系统1包括：对与所输入的查询类似或关联的图像进行检索的检索服务器10；用于蓄积作为检索对象的图像的数据(以下称为“图像数据”)的数据库(＝Data Base)20；供输入查询的用户进行操作的终端30；以及将它们以能够通信的方式连接的网络40。另外，网络可以是局域网，也可以是因特网。图像检索系统1是检索系统的一例。

图1所示的检索服务器10具有：通过程序的执行而执行检索及其他处理的处理器11；存储程序和各种数据的存储装置12；实现与外部的通信的网络IF(＝InterFace)13；以及将它们连接的总线及其他的信号线14。

处理器11例如由CPU构成。存储装置12包括：例如存储有BIOS(＝Basic InputOutput System)等的ROM(＝Read Only Memory)；作为工作区域而使用的RAM(＝RandomAccess Memory)；以及存储有基本程序、应用程序等的硬盘装置。不过，不妨碍ROM、RAM包含在处理器11的一部分中。处理器11和存储装置12构成计算机。

在图1所示的数据库20中，除了设计方案、设计图等图像之外，还记录有来自顾客的投诉、事故的事例、公司内部审查的记录等文档。将这些信息统称为“过去的事例”。

与构成过去的事例的各个信息关联有检索用的标签。标签由各个信息所包含的特征量(以下称为“特征”)的集合提供。在本例示的实施方式中，也将特征的集合称为数据集。

图1所示的终端30是所谓的计算机。终端30可以是台式计算机，也可以是笔记本式计算机，还可以是智能手机或可穿戴终端等便携式计算机。在图1中，仅表示出1台终端30，但台数是任意的。

另外，检索服务器10无需是1台，也可以是协同配合的多台计算机。在本例示的实施方式中，也将检索服务器10称为检索系统的一例。

＜功能结构＞

图2是说明用于生成记录于数据库20的数据集的计算机50的功能上的结构的图。

计算机50的硬件上的结构与图1所示的检索服务器10相同。即，在计算机50中设置有用于与处理器、存储装置以及数据库20之间的通信的接口。

计算机50在从数据库20读出过去的事例时，由预处理部51进行预处理，将预处理完的结果提供给构造信息提取部52，该预处理部51是为了提取被分类为构造的表现的特征(以下称为“构造信息”)而准备的。在图2的情况下，构造信息提取部52通过使用学习了各个特征的推论模型而进行的推论，来推论过去的事例所包含的1个或多个特征，将推论出的特征的集合作为与过去的事例关联的数据集而向数据库20输出。

在本例示的实施方式的情况下，推论模型是按照每个特征而准备的。通过机器学习等事先生成推论模型。在图2中，将使用推论模型的推论称为AI(＝ArtificialIntelligence)推论。

计算机50在从数据库20读出过去的事例时，由预处理部53进行预处理，将预处理完的结果提供给感性信息提取部54，该预处理部53是为了提取被分类为感性的表现的特征(以下称为“感性信息”)而准备的。在本例示的实施方式的情况下，感性信息是指不包括构造的表现或定量的表现的特征。换言之，感性信息是指包括定性的或主观的表现的特征。

在图2的情况下，感性信息提取部54通过使用学习了感性信息的推论模型而进行的推论，来推论过去的事例所包含的1个或多个感性信息，将推论出的感性信息的集合作为与过去的事例关联的数据集而向数据库20输出。在本例示的实施方式的情况下，推论模型是按照每个感性信息而准备的。通过机器学习等事先生成推论模型。

这样，在蓄积于数据库20的过去的事例中，属于构造信息和感性信息中的两方或一方的1个或多个特征被关联起来。

图3是说明从数据库20检索与作为查询而输入的图像(以下称为“查询图像”)类似或关联的图像的检索服务器10的功能上的结构的图。

检索服务器10作为如下各部发挥功能：按照对象对查询图像进行分类的分类部101；向查询图像施加预先决定的处理的预处理部102；提取查询图像所包含的特征量(以下称为“特征”)的特征提取部103；对包括构造的表现的文本(以下称为“构造信息文本”)的表现上的波动进行校正的归一化部104；对包括感性的表现的文本(以下称为“感性信息文本”)的表现上的波动进行校正的归一化部105；对应特征分类部106，其对将构成构造信息文本、感性信息文本的字符串对应起来的特征进行分类；对向检索引擎108提供的特征进行校正的特征校正部107；以及从数据库20检索与校正后的特征的关联性高的事例的检索引擎108。

这些功能通过由处理器11(参照图1)执行程序来实现。另外，检索服务器10中的除了检索引擎108的结构是检索条件确定系统的一例。

本例示的实施方式中的检索服务器10从终端30(参照图1)输入前提信息、图像信息、构造信息文本以及感性信息文本作为查询(以下也称为“检索查询”)。

但是，无需将这四种信息全部作为查询而输入。此外，在本例示的实施方式的情况下，无需明确地区分构造信息文本和感性信息文本。实际上，对于文本的输入所使用的表现上的种类没有制约。因此，用户能够在不区分两者的情况下以字符串的形式输入对想要检索的过去的事例要求的期望。

图4是说明从供用户操作的终端30作为查询而输入的信息的图表。

前提信息是即便在用户输入的查询中也与其他查询相比优先程度高的构造信息或定量信息。另外，前提信息也包括法令等。前提信息是与检索的对象关联的条件的一例。不过，法令等无需由用户输入。

在本例示的实施方式的情况下，将与建筑物相关的图像作为检索对象。

因此，前提信息例如提供一下信息：住所、土地的大小、地皮的条件、周边环境、房屋的种类、预算、有无庭院、有无车、有无车库、家庭的结构、户数。在房屋的种类中例如具有大厦、公寓、独栋。

图像信息是所谓的查询图像。图像信息例如以手绘图、照片、传单、CG(＝ComputerGraphics)提供。在本例示的实施方式的情况下，图像信息与其他种类的查询相比，优先程度较低。

构造信息文本是包括构造的表现的文本。在构造信息文本中例如具有两代住宅、徒步10分钟、3LDK、木制房屋。

感性信息文本是包括感性的表现的文本。在感性信息文本中例如具有开放感、家庭团聚、日式空间、木制的温暖。

另外，有时在没有明确区分的情况下输入构造信息文本和感性信息文本。在混合存在构造的表现和感性的表现的文本中，例如具有“具有开放感的明亮的起居室”。“起居室”是能够明确地确定的名词，因此是构造的表现，“开放感”和“明亮”是表示感觉的状态的形容词，因此是感性的表现。

返回图3的说明。

分类部101按照对象对用户输入的查询图像进行分类。在本例示的实施方式的情况下，查询图像被分类为起居室的图像、厨房的图像、外观的图像中的任意一种。当然，分类目标的候选不限于3种。在其他候选例如存在儿童房、寝室、浴室、厕所、玄关、庭院等。分类部101将分类的结果作为各个查询图像的属性而进行附加。

预处理部102对输入的查询图像施加预先决定的处理。在预先决定的处理中例如具有尺寸调整、对比度调整、边缘强调、噪声去除等。

此外，在图3所示的预处理部102中，作为预处理之一而准备有从查询图像中去除与其他条件矛盾的部分的功能。例如在前提信息中指定为不需要车库而在查询图像中包括车库的情况下，预处理部102进行从查询图像去除车库的部分的校正。这里的“矛盾”以不同时成立或者不并存这样的含义来使用。另外，在本例示的实施方式中，也将矛盾的部分称为不匹配的部分。

不过，与其他条件矛盾的部分的校正不是必须的。

特征提取部103通过与利用机器学习等按照每个特征而准备的推论模型之间的对照，提取查询图像所包含的1个或多个特征。

图5是说明基于特征提取部103的特征的提取例的图。在图5的情况下，从作为查询图像而输入的起居室的照片中提取“高顶棚”、“高处的窗”、“梯子”、“地板”、“木制的温暖”、“开放的”、“吊扇”、“聚光灯”等作为特征。

返回图3的说明。

归一化部104对用户作为查询而输入的构造信息文本的表现上的波动进行校正。例如字符种类的统一、拼写或表记的波动被吸收。

归一化部105对用户作为查询而输入的感性信息文本的表现上的波动进行校正。此外，通过归一化部105，也对每个人的表现的偏差进行校正。

对应特征分类部106针对构成构造信息文本、感性信息文本的字符串是对应于构造的特征、还是对应于感性的特征、或者是对应于这两方进行分类。

特征校正部107执行对向检索引擎108提供的特征进行校正的处理，使得容易得到用户意图的检索结果。本例示的实施方式中的特征校正部107去除提取出的特征间的矛盾。例如特征校正部107执行如下校正：将从查询图像提取出的特征中的与前提信息矛盾的特征去除。此外，例如特征校正部107执行将在多个查询图像之间矛盾的特征去除的校正。

＜校正特征的处理＞

以下，对去除从自查询图像提取的特征中得到用户非意图的检索结果的原因的校正进行说明。

图6是说明使检索的精度下降的原因之一的图表。

在图6中，设想提供起居室的照片作为查询图像的情况。查询图像是为了传递用户用语言不能完全表示的细微差别而使用的，但在大多情况下，查询图像不仅包括用户意图的信息，也包括与用户的意图不同的信息。

例如从查询图像#1中提取出作为用户非意图的特征的“梯子”和“吊扇”。此外，从查询图像#2中提取出同样作为用户非意图的特征的“顶灯”、“狭小通道”、“地毯”、“低位置的窗”、“裸露梁”。关于查询图像#3及#4，也提取出用户非意图的1个或多个特征。

另外，在用户意图的特征中，也包括用户在无意识的状态下提取的特征。

这样，无论在哪个查询图像中都包括用户非意图的特征，因此，当将由特征提取部103(参照图3)提取的全部特征用于检索时，在检索的结果中容易包括与用户的意图没有关系的图像。

在本例示的实施方式中，针对多个查询图像，将出现的频度高的特征作为用户意图的特征来处理，相反，将出现的频度低的特征作为用户非意图的特征来处理。

此外，在本例示的实施方式中，为了提高用户意图的特征和非意图的特征的判别的精度，采用按照查询图像的对象对从查询图像中提取的特征进行判别的方法。

图7是说明在例示的实施方式中使用的特征提取部103(参照图3)所执行的概要处理的图。

特征提取部103具有从查询图像中提取特征组的特征组提取部131、以及按照种类对特征组进行判别的特征组判别部132。

如上所述，特征组提取部131通过与预先准备的推论模型的对照，从查询图像中提取特征。这里，不区分所提取的特征是1个还是多个，而是表现为特征组。

本例示的实施方式中的特征组判别部132将构成特征组的各个特征判别为图像的分类、整体特征、局部特征中的任意一种。

图像的分类是与查询图像的对象相关的分类。在本例示的实施方式的情况下，对图像的分类使用建筑物的部位。例如使用起居室、厨房、外观等。针对1个查询图像而决定1个图像的分类。

整体特征是与从查询图像的整体感受到的印象相关的分类。例如“木制的温暖”、“开放的”被判别为整体特征。有时多个整体特征与1个查询图像对应起来。

局部特征是与构成查询图像的局部相关的分类。例如查询图像所包含的物体、配置、构造被判别为局部特征。有时1个局部特征与1个查询图像对应起来。

在图7中，使用特征组提取部131和特征组判别部132将特征组判别为3个种类中的任意一个，但也可以从所输入的查询图像中直接提取不同种类的特征。

图8是说明基于特征组判别部132的判别的动作的图。

在图8的情况下，设想查询图像为起居室的照片#1的情况。在该例的情况下，从查询图像中提取“起居室”、“高顶棚”、“高处的窗”、“梯子”、“地板”、“木制的温暖”、“开放的”、“吊扇”、“聚光灯”。另外，这些特征中的“起居室”被判别为“图像的分类”，“木制的温暖”和“开放的”被判别为“整体特征”，剩余的特征被判别为“局部特征”。

图9是说明在例示的实施方式中使用的特征校正部107所执行的处理的内容的图。

在本例示的实施方式的情况下，特征校正部107通过检索项目决定部171来受理从特征提取部103(参照图3)输入的特征组。

检索项目决定部171按照用户对检索项目的设定，来决定用于检索的特征组。在本例示的实施方式的情况下，检索项目决定部171决定是否按照图像的分类来汇总从特征提取部103输入的特征组。例如在选择了按照图像的分类来汇总特征组的模式的情况下，检索项目决定部171汇总属于相同分类的特征组并将其提供给后级的处理部。

图10是说明基于检索项目决定部171的概要处理的图。在图10的情况下，按照判别了各个查询图像得到的图像的分类来汇总特征组。即，按照起居室、厨房、外观来汇总特征组。

另外，在未选择按照图像的分类来汇总特征组的模式的情况下，检索项目决定部171将从特征提取部103输入的特征组直接提供给后级的处理部。根据图10的例子，不区分上级所示的特征组而将其提供给后级的处理部。

图11是说明用于检索的设定的画面200的例子的图。

在图11所示的画面200中配置有：要求用户进行的操作的说明文201；与按钮202对应的说明文203，该按钮202用于指定是否按照图像的分类来汇总特征组；与按钮204对应的说明文205，该按钮204用于指定是否将整体特征包含于检索条件；用于确定选择的按钮206；以及用于取消选择而返回之前的画面的按钮207。

在图11的情况下，示出按钮202被选择的状态和按钮204未被选择的状态。在未选择的状态下操作按钮时，转移至选择的状态。相反，在操作被选择的状态下的按钮时，返回未选择的状态。

返回图9的说明。

检索项目决定部171输出的特征组被提供给图像间矛盾去除部172。

图像间矛盾去除部172去除特征间的矛盾，其中，该特征间的矛盾成为检索的结果与用户的意图不同的原因。本例示的实施方式中的图像间矛盾去除部172在被判别为局部特征的特征组之间去除矛盾。

在本例示的实施方式的情况下，关于是否为矛盾的特征，以出现的频度为基准而进行判定。

图12是说明由图像间矛盾去除部172(参照图9)执行的处理的一例的图。

在图12的情况下，将被分类为起居室的查询图像中的被判别为局部特征的特征组301提供给图像间矛盾去除部172。

在本例示的实施方式的情况下，图像间矛盾去除部172为了减少表现上的波动而生成将类似的特征彼此分组后的特征组302。通过将类似的特征分组，与不分组的情况相比，容易判断为特征的出现率高，从用于检索的特征中被排除的可能性降低。

在图12的情况下，在特征组302中标注了下划线的特征是分组后的特征。

例如将“高顶棚”、“二层楼梯井”等特征转换成“高顶棚/楼梯井”这样的特征。此外，例如将“聚光灯”、“筒灯”等特征转换成“射灯/筒灯”这样的特征。另外，“/”以“或”的含义来使用。

其结果是，从起居室的照片#3、#4、#5分别提取出“聚光灯”和“筒灯”这两方，但将它们置换成1个用语。

不过，关于将类似的特征彼此分组的处理，也可以限定于在用户进行了选择的情况执行。

之后，图像间矛盾去除部172将查询图像的数量用作分母，对每个特征的出现频度进行归一化。即，执行处理303。以下，将归一化后的出现频度称为出现率。出现率以最大值为1的小数来表现。

出现率越接近1，越意味着是在多个查询图像中共同的特征。换言之，出现率接近1的特征意味着是用户意图的特征的可能性高。

另一方面，出现率越接近0，越意味着是与其他查询图像的共同性少的特征。换言之，出现率接近0的特征意味着是用户非意图的特征的可能性高。

接着，图像间矛盾去除部172对计算出的出现率与预先决定的阈值进行比较，将出现率为阈值以下的特征作为矛盾的特征而排除。

在图12的情况下，阈值为0.5。因此，除了针对5个查询图像而在3个以上的查询图像中确认到出现的特征、即“高顶棚/楼梯井”、“高处的窗”、“射灯/筒灯”、“地板”、“框架楼梯”这5个特征之外，将其他特征排除。

这里，如果被排除的特征残留，则与用户的意图不同的图像容易混杂在检索的结果中。

另外，阈值的值除了作为初始值而提供之外，也可以由用户自由地指定。

另外，也不能说通过出现率与阈值的比较而使残留的多个特征完全不包含矛盾。例如“高顶棚”的出现率和“低顶棚”的出现率有时均超过阈值。

当残留有矛盾的特征时，作为检索的结果而输出的图像的印象有较大不同的可能性变高。对此，在本例示的实施方式中，在发现了矛盾的特征的情况下，采用残留相应的特征的任意1个的处理。

例如残留出现率较高的一方的特征，排除出现率较低的一方的特征。此外，例如也可以将矛盾的特征向用户提示，使其选择任意一方。

另外，在矛盾的特征之间出现率之差小于预先决定的阈值的情况下，存在哪一个特征都没有被用户重视的可能性。因此，在矛盾的特征的出现率之差较小的情况下，也可以采用将这些特征都排除的方法。

然而，从查询图像中提取的局部特征的数量与图像的分类无关，是不相同的。例如从以建筑物的外观为对象的查询图像中提取的局部特征的数量具有少于从以起居室或厨房为对象的查询图像中提取的局部特征的数量的倾向。

因此，当忽略图像的分类的差异而使用共同的阈值时，排除用户意图的特征的可能性变高。

图13是说明从图像的分类为外观的查询图像中提取出的局部特征与阈值的关系的例子的图。

在图13的情况下，将被分类为外观的查询图像中的被判别为局部特征的特征组311提供给图像间矛盾去除部172。

在图13的情况下，作为出现率的阈值而使用0.45。在图13中，除了针对4个查询图像而在2个以上的查询图像中确认到出现的特征、即“二层楼”、“黑墙壁”、“车库”、“玄关屋檐”、“围墙”这5个特征之外，将其他特征排除。这里的5个特征中的“车库”的出现率为0.5。该出现率比用于起居室的阈值即0.5小。这样，“车库”在阈值为0.5的情况下被删除，但通过使用外观用的阈值，能够将其残留。

另外，在图13的例子中，没有类似的表现的特征，因此，未进行分组化。

返回图9的说明。

在去除了图像间的矛盾后，AND检索条件生成部173生成局部特征的逻辑与(＝AND)。在本例示的实施方式中，选择了按照图像的分类的检索，因此，按照每个相同的分类，生成局部特征的逻辑与作为检索条件。

另外，也将检索项目决定部171的输出提供给OR检索条件生成部174。OR检索条件生成部174在将查询图像的整体特征包含于检索条件的设定为有效的情况下执行处理。在设定为有效的情况下，OR检索条件生成部174生成查询图像的整体特征的逻辑或(＝OR)。查询图像的整体特征是“木制的温暖”、“开放的”这样的查询图像的整体印象，例如使用推论模型来提取。

向检索引擎108提供作为AND检索条件生成部173、OR检索条件生成部174的输出的特征。

另外，向检索引擎108提供的特征组的最小结构是至少从查询图像中提取的局部特征。在最小结构的情况下，关于局部特征，未进行基于图像的分类的筛选。在该情况下，将在从用户输入的全部查询图像中提取出的特征组之间去除了矛盾后的特征向检索引擎108输出。

另外，在按照图像的分类而汇总的选择成为有效的情况下，将按照分类而去除了特征间的矛盾后的特征的逻辑与向检索引擎108输出。

此外，在将图像的整体特征包含于检索条件的选择成为有效的情况下，将从图像中提取出的图像的整体特征的逻辑或向检索引擎108输出。

图14是说明向检索引擎108提供的检索条件的一例的图。另外，图14所示的检索条件是用户选择了按照图像的分类而进行的筛选和整体特征的追加的情况的例子。

在图14的情况下，提供如下的与起居室的局部特征相关的检索条件：“高顶棚或楼梯井”且“高处的窗”且“射灯或筒灯”且“地板”且“框架楼梯”。此外，提供如下的与起居室的整体特征相关的检索条件：“木制的温暖”或“开放的”或“时髦的”。

省略关于厨房和外观的检索条件。

＜检索查询的生成动作的整体＞

以下，使用图15及图16，来说明在处理器11(参照图1)中执行的检索查询的生成动作的动作例。

图15是示出在被提供了查询图像的情况下执行的处理动作的一例的流程图。图16是示出由图像间矛盾去除部172(参照图9)执行的处理动作的一例的流程图。另外，图15及图16中的记号S是指步骤。

当输入查询图像时，处理器11从查询图像中提取特征(步骤11)。

接着，处理器11按照每个种类对特征组进行判别(步骤12)。具体而言，特征组被分类为图像的分类、整体特征、局部特征。

接下来，处理器11针对全部的查询图像，判定判别是否完成(步骤13)。在残留有判别未完成的查询图像的情况下，处理器11在步骤13中得到否定结果。得到否定结果的处理器11返回步骤11，从其他的查询图像中提取特征。

与此相对，在确认到针对全部的查询图像的判别完成的情况下，处理器11在步骤13中得到肯定结果。得到肯定结果的处理器11基于图像的分类对图像的特征进行分组(步骤14)。

接着，处理器11将按照图像的分类而分组后的图像的整体特征以逻辑或条件加入检索条件(步骤15)。

接下来，处理器11从按照图像的分类而分组后的图像的局部特征中去除图像间的矛盾(步骤16)。

在步骤16中，处理器11对类似的特征进行分组(步骤161)。关于特征的类似，例如将各特征修改为单词，通过基于Word2Vec的类似度进行分组。

接着，处理器11以分组后的特征为单位，对特征的出现频度进行计数(步骤162)。

进而，处理器11利用查询图像的数量对特征的出现频度进行归一化(步骤163)。

之后，处理器11判定是否针对全部的特征而完成了归一化(步骤164)。在存在未进行归一化的特征的情况下，处理器11在步骤164中得到否定结果。在该情况下，处理器11返回步骤162。

另一方面，在不存在未进行归一化的特征的情况下，处理器11在步骤164中得到肯定结果。

在该情况下，处理器11判定出现率是否为阈值以下(步骤165)。

在出现率为阈值以下的情况下，处理器11在步骤165中得到肯定结果，将相应的特征排除(步骤166)。

与此相对，在出现率比阈值大的情况下，处理器11在步骤165中得到否定结果。

在这些处理之后，处理器11判断是否针对全部的特征而结束了判定(步骤167)。

另外，在残留有未被判定的特征的情况下，处理器11在步骤167中得到否定结果，返回步骤165。

另一方面，在全部的特征判定完的情况下，处理器11在步骤167中得到肯定结果，结束步骤16的处理。

在步骤16的处理结束后，处理器11将按照图像的分类而分组后的图像的局部特征以逻辑与条件加入检索条件(步骤17)。另外，在步骤161中分组后的特征以逻辑或条件结合。

之后，处理器11判断是否针对全部的图像的分类而完成了检索条件的生成(步骤18)。

在残留有未生成检索条件的图像的分类的情况下，处理器11在步骤18中得到否定结果，返回步骤15。

另一方面，在针对全部的图像的分类生成了检索条件的情况下，处理器11在步骤18中得到肯定结果，结束检索条件的生成处理。

＜其他例示的实施方式＞

以上，对本发明的例示的实施方式进行了说明，但本发明的技术的范围不限于上述记载的范围。根据权利要求书的记载可知，对上述例示的实施方式加以各种变更或改良后的实施方式也包含在本发明的技术范围内。

在上述例示的实施方式中，使用了利用出现率将在查询图像之间被看作是矛盾的特征排除的方法，但也可以基于出现频度的相对顺位而将被看作是矛盾的特征排除。例如也可以将预先决定的顺位以下的特征排除。

在上述例示的实施方式中，例示了设想在设计事务所使用的图像检索系统，但只要是输入查询图像的图像检索系统即可，使用领域不限于与建筑相关。例如还可以有效利用于网络检索、文档的检索。

另外，上述各实施方式中的处理器是指广义上的处理器，除了通用的处理器(例如CPU(＝Central Processing Unit)等)之外，还包括专用的处理器(例如GPU(＝GraphicalProcessing Unit)、ASIC(＝Application Specific Integrated Circuit)、FPGA(＝FieldProgrammable Gate Array)、可编程逻辑装置等)。

此外，上述各实施方式中的处理器的动作可以由1个处理器单独地执行，但也可以由存在于物理上分离的位置的多个处理器协同配合地执行。此外，处理器中的各动作的执行顺序不仅仅限定于上述各实施方式所记载的顺序，也可以单独地变更。