具体实施方式

以下将参考附图详细描述本公开的示例性实施例。使用相同的附图标记表示说明书和附图中具有基本上相同的功能配置的部件，并不再赘述。

<注释的概述>

监督式学习是针对基于所谓的机器学习来训练机器学习模型(即，构建机器学习模型)的技术的示例。在监督式学习中，将包括训练数据的数据集用于构建机器学习模型，在该训练数据中，要输入到学习模型的数据与要基于该数据预测的正确答案标签相关联。在构建机器学习模型的情况下，例如，如果这样的数据集不存在或不完整，则通过注释操作来构建该数据集，所述注释操作是在收集要输入的数据之后，将正确的答案标签作为注释添加到该数据。在某些情况下，使用包括如下功能的注释工具，该功能用于辅助用户执行向数据添加正确答案标签的操作，使得用户能够更容易地执行注释操作。

注释工具将要注释的关于图像、文档等的数据(以下也称为目标数据)提示给用户，并从用户接收对要作为注释而向目标数据添加的正确答案标签的指定。然后，注释工具将用户指定的正确答案标签添加到目标数据，从而生成在数据集中所要包括的训练数据。

在各种类型的注释工具中，存在如下一种工具，该工具使用基于初级机器学习构建的机器学习模型(以下也称为“经过训练的模型”)有效地执行标签操作来将正确答案标签添加到如上所述的目标数据。作为特殊示例，使用经过训练的模型的工具使经过训练的模型分析目标数据，以提取要作为注释向目标数据添加的标签候选，并将提取的标签候选提示给用户。这使得用户能够从由注释工具提示的标签候选中选择要作为正确答案标签向目标数据添加的候选。

为了创建具有更高性能的机器学习模型，可能期望使用更准确的正确答案信息来添加到训练数据中，并使用更大量的训练数据。因此，一些注释工具具有辅助用户的功能，使得用户可以更有效地向用以训练目的的目标数据添加更准确的正确答案信息。

作为由上述注释工具提供的这种用户辅助功能的示例，提出了一种如下功能，该功能是基于正确答案信息对添加了正确答案信息的数据进行分类，并作为参考信息来提示分类的数据。

另一方面，随着添加有正确答案信息的数据的数量的增加，要用于提示参考信息的候选数据的数量也增加。在这种情况下，用户检查所有数据可能变得非常困难。另外，即使随机提取了一些数据以用于提示参考信息，用于提取的条件也可能并不总是合适的。因此，当用户确定要将哪个正确答案信息添加到目标数据时，基于提取结果提示的参考信息可能并不总是用作参考。

因此，本公开提出了一种与注释工具有关的技术，该注释工具能够以更理想的模式协助用户选择要作为注释向目标数据添加的标签。

在下文中，现有的经过训练的机器学习模型也被称为预训练模型，并且在下文中，将要被选择为要被添加到要注释的数据的正确答案信息的候选的标签也被称为候选标签。在下文中，要进行注释操作的数据也被称为目标数据，并且在下文中，已经添加了正确答案信息作为注释的数据也被称为标记数据。

将参照图1描述根据本公开的示例性实施例的信息处理装置100的硬件配置的示例。如图1所示，根据本示例性实施例的信息处理装置100包括中央处理单元(CPU)111、只读存储器(ROM)112和随机存取存储器(RAM)113。信息处理装置100还包括辅助存储设备114、输出设备115、输入设备116和通信接口(I/F)117。CPU111、ROM 112、RAM113、辅助存储设备114、输出设备115、输入设备116和通信I/F 117经由总线118互连。

CPU 111是控制信息处理装置100的各种操作的中央处理单元。例如，CPU 111可以控制整个信息处理装置100的操作。ROM 112存储能够由CPU 111执行的控制程序、引导程序等。RAM 113是CPU 111的主存储器，并且用作用于加载各种程序的工作区域或临时存储区域。

辅助存储设备114存储各种数据和各种程序。通过诸如以硬盘驱动器(HDD)和固态驱动器(SSD)为代表的非易失性存储器等能够临时或持久存储各种数据的存储设备实现辅助存储设备114。

输出设备115是输出各种信息并用于向用户提示各种信息的设备。在本示例性实施例中，通过诸如显示器等的显示设备实现输出设备115。输出设备115显示各种显示信息，从而向用户提示信息。在另一示例中，可以由输出诸如语音或电子声音等声音的声音输出设备来实现输出设备115。在这种情况下，输出设备115输出诸如语音或电子声音之类的声音，从而向用户提示信息。可以根据被用于向用户提示信息的介质来适当地改变用作输出设备115的设备。

输入设备116用于从用户接收各种指令。在本示例性实施例中，输入设备116包括诸如鼠标、键盘和触摸面板等的输入设备。在另一个示例中，输入设备116可以包括声音收集设备，例如麦克风，以收集用户说出的语音。在这种情况下，对收集的语音执行各种分析处理，例如声学分析和自然语言处理，从而可以将语音指示的内容识别为来自用户的指令。可以根据识别来自用户的指令的方法来适当地改变用作输入设备116的设备。可以将多种类型的设备用作输入设备116。

通信I/F 117用于经由网络与外部装置的通信。可以根据通信路径的类型或要应用的通信方法来适当地改变用作通信I/F 117的设备。

CPU 111将存储在ROM 112或辅助存储设备114中的程序加载到RAM 113中并执行该程序，从而实现图2、图11和图14中所示的功能配置。通过执行程序来实现图5、图8、图10、图12、图13和图15的流程图中例示的处理。

作为用于提供程序的存储介质，例如，可以使用软盘、硬盘、光盘和磁光盘。存储介质的其他示例可以包括光盘(CD)-ROM、可记录CD(R)、磁带、非易失性存储卡、ROM和数字多功能光盘(DVD)。

可以由计算机直接执行程序，或者可以在诸如计算机上运行的操作系统(OS)等的基础软件的管理下执行程序。

可以由安装在计算机上的功能扩展板、与计算机连接的功能扩展单元等处理从存储介质读取的程序。

以下将描述本公开的第一示例性实施例。为了将根据第一示例性实施例的信息处理装置与根据其他示例性实施例的信息处理装置区分开，在下文中，为了便于说明，将根据第一示例性实施例的信息处理装置称为信息处理装置200。

在本示例性实施例和下述其他示例性实施例中，为了便于说明本公开的技术特征，可以通过着眼于以下情况来进行描述：将图像数据用作添加有正确答案信息(标签)作为注释的数据。然而，图像数据仅是示例，并不旨在限制通过应用根据本公开的技术的信息处理装置添加了正确答案信息的数据的类型。换句话说，可以在不脱离根据本公开的技术的基本理念的范围内适当地改变添加有正确答案信息的数据的类型。

(功能配置)

将参照图2描述根据本示例性实施例的信息处理装置200的功能配置的示例。信息处理装置200包括预训练模型读取单元201、标记数据管理单元202、得分估计单元203、估计结果管理单元204、候选数据确定单元206和候选数据提取单元207。信息处理装置200还包括标签候选输入单元205、候选数据输出单元208，以及候选数据输入单元209。

预训练模型读取单元201读取通过对模型进行预先的训练而构建的学习模型(预训练模型)。读取预训练模型的单元没有特别限制，只要该单元可以被预训练模型读取单元201参考即可。预训练模型读取单元201可以将读取的预训练模型加载到信息处理装置200的存储器中。

标记数据管理单元202管理标记数据(例如，标记图像数据)。例如，标记数据管理单元202可以以能够分别读取每条标记数据的方式存储多条标记数据。标记数据管理单元202可以使用数据库等来管理标记数据。

例如，图3示出了用于管理标记数据的数据结构的示例。在图3所示的示例中，向每条标记数据分配标识(ID)，并且使关于被添加到标记数据的标签的信息和关于到达标记数据的路径的信息与该ID相关联。作为具体示例，将“标签A”作为标签添加到被分配了“1”作为ID的标记数据，并且将标记数据存储在由“AAA\BBB\CCC”指示的位置。

在图3所示的示例中，管理作为文件的标记数据。然而，用于管理标记数据的方法没有特别限制，只要能够管理数据即可。作为具体示例，标记数据管理单元202可以将标记数据作为Base64格式数据进行管理。在这种情况下，标记数据管理单元202可以根据需要将标记数据的文件转换为Base64格式数据。

得分估计单元203基于读取的预训练模型，估计可以添加到要注释的目标数据的正确答案信息(标签)和表示目标数据是由正确答案信息指示的数据的可能性的得分。具体地，得分估计单元203可以使用由预训练模型读取单元201读取的预训练模型来估计指示目标数据的标签，并且估计表示目标数据是由该标签指示的数据的可能性的得分。例如，以标签指示目标数据的概率(即，目标数据是由标签所指示的数据的概率)的形式来表示得分。

估计结果管理单元204管理可以添加到目标数据的正确答案信息(标签)和由得分估计单元203估计的针对正确答案信息的得分。

例如，图4示出了用于管理估计结果的数据结构的示例，所述估计结果是针对每个目标数据的、关于可以添加到目标数据的标签和标签的得分的估计结果。在图4所示的示例中，与每个标签的得分估计结果相对应的信息与分配给每条标记数据的ID相关联。在图4所示的示例中，针对“标签A”、“标签B”、“标签C”和“标签D”中的每一个的得分估计结果与ID相关联。作为具体示例，被分配了“1”作为ID的标记数据表示“标签A”的得分为“0.7”、“标签B”的得分为“0.4”、“标签C”的得分为“0.2”、“标签D”的得分为“0.1”。

标签候选输入单元205从执行注释操作的用户接收对要作为注释向目标数据添加的标签的候选(以下也称为候选标签)的指定。作为具体示例，在用户想知道将哪个标签添加到目标数据的情况下，标签候选输入单元205用作用于将标签候选输入到信息处理装置200的界面。

候选数据确定单元206将用于向执行注释操作的用户提示参考信息的标记数据确定为候选数据。具体地，候选数据确定单元206基于经由标签候选输入单元205输入的一个或多个候选标签以及由估计结果管理单元204管理的信息来确定候选数据。下文将详细描述由候选数据确定单元206执行的处理。

候选数据提取单元207从标记数据管理单元202读取与期望条件匹配的标记数据。例如，候选数据提取单元207可以从由标记数据管理单元202管理的数据提取由候选数据确定单元206确定为候选数据的标记数据。

候选数据输出单元208将与由候选数据提取单元207提取的候选数据(标记数据)相对应的信息输出到预定的输出目的地。因此，候选数据输出单元208可以将与候选数据相对应的信息作为参考信息提示给用户，用户可以基于该参考信息确定要向目标数据添加哪个正确答案信息。

候选数据输入单元209从用户接收对候选数据的指定，该候选数据在意义上更接近向用户提示了信息的候选数据中的目标数据。作为具体示例，候选数据输入单元209可以从用户接收针对由候选数据输出单元208向用户提示的候选数据中更靠近目标数据的候选数据的指定。

(处理)

接下来，下文将描述根据本示例性实施例的信息处理装置200要执行的处理的示例。将参考图5描述用于提示参考信息以向目标数据添加标签的一系列处理过程的示例。

在步骤S501中，标签候选输入单元205从用户接收对要作为注释添加到目标数据的标签的候选的指定。例如，图6示出了操作画面(用户界面)的示例，在该操作画面上，从用户接收候选标签的指定。

操作画面600包括图像显示区域610、标签候选提示区域620、确定按钮601和样本图像显示按钮602。图像显示区域610是显示与要注释的图像数据(目标数据)相对应的图像611的区域。标签候选提示区域620是这样的区域，在该区域中，提示一个或多个候选标签作为要作为注释向目标数据添加的标签的候选，并且从用户接收对一个或多个候选标签中的至少一部分的指定。确定按钮601是从用户接收用于将标签候选提示区域620中指定的候选标签确定为要添加到目标数据的标签的指令的按钮。样本图像显示按钮602是从用户接收用于显示样本图像的指令的按钮。

在图6所示的示例中，针对在图像显示区域610中显示的图像611指定要作为注释被添加标签的目标区域612。例如，根据用户使用指示器630进行的指定设置目标区域612。例如，为了操作指示器630，使用输入设备116，诸如连接至信息处理装置200的定点设备。作为具体示例，可以将具有与由指示器630在图像611上指定的四个点相对应的四个角的区域设置为目标区域612。该操作方法仅是示例，用于设置目标区域612的操作方法并无特别限制，只要可以指定图像611的至少一部分区域即可。

在图6所示的示例中，在标签候选提示区域620中提示与“标签A”至“标签D”的候选标签分别对应的候选按钮621至624。候选按钮621至624是分别用于从用户接收与对应的候选按钮相关联的候选标签的指定的按钮。

图6所示的示例仅是示例，并且用于提示关于接收候选标签的指定的信息的配置不必限于图6所示的示例。例如，标签候选提示区域620中提示的按钮个数不限于四个。例如，在其他实施例中，可以根据候选标签的数量改变按钮的数量。可以根据要注释的对象改变可以选择的候选标签。作为具体示例，可以根据基于针对包括在指定目标区域612中的部分图像的预训练模型的估计结果来确定可以选择的候选标签。在这种情况下，可以将作为估计结果而获得的一系列标签中得分较高的预定数量(例如，四个)的标签确定为候选标签。

在指定了目标区域612并且按下了候选按钮621至624中的任何一个之后，在样本图像显示按钮602被按下时，标签候选输入单元205获取与被按下的候选按钮相对应的标签作为候选标签。候选按钮621至624中的每一个的按下和样本图像显示按钮602的按下是通过例如使用定点设备等操作指示器630来实现的。

返回参考图5，在步骤S502中，候选数据确定单元206基于估计结果管理单元204管理的信息和在步骤S501中获取的候选标签，使用表示目标数据是候选标签所指示的数据的可能性的得分作为轴来设置特征空间。下面将参考图8详细描述用于设置特征空间的处理。

在步骤S503中，候选数据确定单元206通过使用在步骤S502中设置的特征空间，确定向用户提示了信息的候选数据(例如，候选图像)。下面将参照图10详细描述用于确定向用户提示了信息的候选数据的处理。

在步骤S504中，候选数据提取单元207根据步骤S503中的确定结果，从标记数据管理单元202管理的数据中提取候选数据。

在步骤S505中，候选数据输出单元208将与在步骤S504中提取的候选数据相对应的信息输出到预定的输出目的地，从而将信息提示给用户。作为具体示例，候选数据输出单元208可以使诸如显示器的显示设备显示与作为候选数据提取的图像数据相对应的图像，从而将图像提示给用户。例如，图7示出了用于向用户提示与候选数据相对应的信息的输出画面(用户界面)的示例。特别地，图7示出了用于向用户提示与作为候选数据提取的图像数据相对应的图像的画面的示例。

输出画面700包括候选图像显示区域710、结束按钮701和重新搜索按钮702。候选图像显示区域710是显示与作为候选数据提取的图像数据相对应的图像(以下也称为“候选图像”)。在图7所示的示例中，在候选图像显示区域710中，将候选图像711至714显示为与作为候选数据提取的图像数据相对应的图像。在候选图像711至714的每一个的附近，显示表示向候选图像711至714中的每一个添加的标签的信息。结束按钮701是用于从用户接收关于终止候选图像的显示的指令的按钮。重新搜索按钮702是用于从用户接收关于重新搜索候选图像的指令的按钮。

图7所示的示例仅是示例，并且用于提示与候选数据相对应的信息的配置不必限于图7所示的示例。例如，在候选图像显示区域710中显示的候选图像的个数不限于四个。可能会显示四个以上的图像，或者可能会显示四个以下的图像。如果难以在候选图像显示区域710中显示要显示的一系列候选图像，则可以将候选图像显示区域710配置为可通过使用滚动条等的滚动操作来滚动，从而扩展候选图像的显示区域。

再次参考图5，在步骤S506中，候选数据确定单元206确定是否指示终止用于提取候选数据的处理。例如，如果在图7所示的输出画面700上按下了结束按钮701，则候选数据确定单元206可以确定指示终止用于提取候选数据的处理。

在步骤S506中，如果候选数据确定单元206确定未指示终止用于提取候选数据的处理(步骤S506中为“否”)，则处理进入步骤S507。在步骤S507中，候选数据输入单元209从用户接收对在步骤S505中向用户提示了信息的候选数据中的至少一条的指定。此外，候选数据确定单元206从候选数据输入单元209获取候选数据，该候选数据的指定由候选数据输入单元209从用户接收。

作为具体示例，候选数据输入单元209在图7所示的输出画面700上接收对在候选图像显示区域710中显示的候选图像711至714中的任一个的指定。然后，当在指定候选图像711至714中的任何一个的状态下按下重新搜索按钮702时，候选数据输入单元209获取与所指定的候选图像相对应的候选数据(图像数据)，并将所获取的候选数据输出至候选数据确定单元206。然后，候选数据确定单元206基于候选数据获取结果执行步骤S502和后续步骤的处理。

另一方面，在步骤S506中，如果候选数据确定单元206确定指示了终止用于提取候选数据的处理的指令(步骤S506中为“是”)，则终止图5所示的一系列处理过程。

接下来，将参照图8描述关于图5中的步骤S502的处理所示的关于特征空间设置的处理的示例。

在步骤S801中，候选数据确定单元206使用在步骤S501中获取的每个候选标签作为轴来设置特征空间。

在步骤S802中，候选数据确定单元206基于通过估计结果管理单元204管理的信息(与得分估计单元203获得的估计结果相对应的信息)，在步骤S801中设置的特征空间中标绘标记数据。因此，在特征空间上定义了与标记数据相对应的点群数据。

在步骤S803中，候选数据确定单元206确定是否输入了在图5所示的步骤S507的处理中获取的候选数据(例如，与指定的候选图像相对应的图像数据)。

如果候选数据确定单元206确定在步骤S803中没有输入候选数据(步骤S803中为“否”)，则处理进入步骤S804。在步骤S804中，候选数据确定单元206获取定义特征空间的每个轴的各候选标签的得分的最大值和最小值作为在步骤S802中定义的点群数据在特征空间中的范围。

在步骤S805中，候选数据确定单元206针对关于特征空间的设置的每个轴(即，每个候选标签)计算在步骤S804中获取的最大值和最小值之间的中间值。

在步骤S806中，候选数据确定单元206基于针对关于特征空间的设置的每个轴获取或计算的最大值、最小值和中间值将至少是在特征空间中存在点群数据的区域划分为多个象限。因此，在至少是在特征空间中存在点群数据的区域中设置多个象限。

例如，图9A至图9F是各例示通过划分在特征空间中存在点群数据的区域来设置多个象限的处理的说明图。在图9A至图9F所示的示例中，为了便于说明根据本示例性实施例的技术特征，为方便起见，将特征空间900设置为使用标签A的得分作为横轴901，并且使用标签B的得分作为纵轴902的二维空间。

具体地，图9A示意性地示出了在步骤S801的处理中设置的特征空间900中，在步骤S802的处理中标绘与各个标记数据相对应的点903的状态。

图9B示意性地示出了存在点群数据的区域910。基于在步骤S804的处理中针对每个轴获取的最大值和最小值来定义区域910。

图9C示意性地示出了基于在步骤S805的处理中的中间值的计算结果将特征空间中存在点群数据的区域910划分为多个象限911至914的状态。具体地，在图9C所示的示例中，通过穿过标签A的得分的中间值并垂直于水平轴901的直线和穿过标签B的得分的中间值并垂直于垂直轴902的直线将区域910划分为多个象限911至914。

虽然图9A至图9F示出的示例示出了为了简化说明而使用两个候选标签的情况，可以使用三个或以上候选标签来设置特征空间。在这种情况下，在步骤S801中设置的特征空间是三维或以上的特征空间。

返回参考图8，在步骤S803中，如果候选数据确定单元206确定输入了候选数据(步骤S803中为“是”)，则处理进入步骤S807。在步骤S807中，候选数据确定单元206在特征空间中设置的点群数据中识别与在步骤S507的处理中获取的候选数据(用户指定的候选数据)相对应的点。然后，候选数据确定单元206获取特征空间中的识别点903的坐标。

在步骤S808中，候选数据确定单元206通过以在步骤S807中获取的坐标为中心将组合了在步骤S806中预先设置的四个象限的区域的各边的长度一分为二来设置新区域。

接下来，在步骤S806中，候选数据确定单元206基于与上述步骤S806的处理相似的处理将在步骤S808中设置的新区域划分为多个新象限。

返回参照图9A至9F，图9D示意性地示出了在步骤S807的处理中识别与在步骤S507中获取的候选数据相对应的点915的状态。图9E示意性地示出了以点915为中心来设置通过将组合了四个象限911至914的区域的各边的长度(即，区域910)一分为二而获得的新区域920的状态。因此，使用与用户指定的候选数据相对应的点915作为基点来设置新区域920。

图9F示意性地示出了在执行步骤S807和S808的处理之后的步骤S806的处理中将设置在特征空间中的新区域920划分为多个新象限921至924的状态。

图9A至图9F的示例示出了基于最大值和最小值之间的中间值，将基于各轴的最大值和最小值设置的区域划分为多个象限的情况。但是，这些示例并非旨在限制设置各象限的方法。作为具体示例，可以执行在步骤S802中设置的点群数据的聚类，并且可以将通过聚类设置的各群集设置为象限。

接下来，将参照图10描述用于确定图5中的步骤S503的处理所示的候选数据的处理的示例。

在步骤S1001中，候选数据确定单元206计算在图8所示的步骤S806的处理中所设置的各象限的中心点的位置(坐标)。

在步骤S1002中，候选数据确定单元206计算在步骤S1001中为每个象限计算出的中心点的位置与在图8所示的步骤S802的处理中设置的点群数据中包括的每个点的位置之间在特征空间中的距离。

在步骤S1003中，候选数据确定单元206基于在步骤S1002中获得的计算结果(即，每个象限的中心点和点群数据中包含的每个点之间的距离)为每个象限识别最靠近该象限的中心点的点。此外，候选数据确定单元206将与针对每个象限的识别点相对应的标记数据确定为表示该象限的候选数据。然后，候选数据提取单元207从由标记数据管理单元202管理的标记数据中提取由候选数据确定单元206确定为候选数据的标记数据。

通过上述控制处理，用户从作为参考信息提示的候选数据中顺序地指定(例如，选择)更可能的候选数据。因此，顺序地限制了特征空间中要作为参考信息被提示的候选数据的范围。因此，即使在多个不同标签中在可靠性上没有显着差异的情况下，用户也可以从所提示的候选数据中顺序地指定更多可能的候选数据，从而使得可以有效地缩小被提示了信息的候选数据的语义范围。

该配置使得用户能够通过简单的操作来选择期望添加到目标数据的标签，而不需要检查大量的候选数据(标记数据)。换句话说，利用根据本示例性实施例的技术，预计即使在指示不同被摄体的标签在可靠性上没有显着差异，从而用户有望仔细地执行标签操作的情况下，预计也可以以更期望的方式获得辅助用户执行标记操作的有益效果。

下面将描述本公开的第二示例性实施例。为了将根据第二示例性实施例的信息处理装置与根据其他示例性实施例的信息处理装置区分开，为了便于说明，以下将根据第二示例性实施例的信息处理装置称为信息处理装置1100。

在上述第一示例性实施例中，将设置的特征空间划分为多个象限，并且从每个象限中提取一个候选数据。在第二示例性实施例中，基于表示要注释的目标数据是由各候选标签指示的数据的可能性的得分来改变要从各象限提取的候选数据的数量。因此，下面将主要描述根据第二示例性实施例的技术的特征与根据第一示例性实施例的技术的特征之间的差异，并且不再详细描述与第一示例性实施例基本相同的部分。

(功能配置)

将参照图11描述根据本示例性实施例的信息处理装置1100的功能配置的示例。根据本示例性实施例的信息处理装置1100与图2所示的信息处理装置200的不同在于信息处理装置1100包括目标数据输入单元1101。

目标数据输入单元1101接收要注释的目标数据的输入。根据本示例性实施例的信息处理装置1100基于预训练模型估计可以被添加到目标数据输入单元1101接收的目标数据的标签和该标签的得分，并将估计结果用于用来确定候选数据的处理。下面将详细描述该处理以及将要通过根据本示例性实施例的信息处理装置1100执行的处理。

(处理)

接下来，下面将详细描述将要通过根据本示例性实施例的信息处理装置1100执行的处理的示例。

首先，将参照图12描述用于提示参考信息以向目标数据添加标签的一系列处理过程的示例。图12所示的示例与图5所示的示例的不同之处在于增加了步骤S1201和S1202的处理，并且改变了步骤S503的处理的一部分。

在步骤S1201中，目标数据输入单元1101接收要注释的目标数据的输入。为了接收目标数据的输入，例如，可以使用参照图6描述的操作画面(用户界面)600。

作为具体示例，当在图像显示区域610中指定了目标区域612之后按下样本图像显示按钮602时，可以获取在图像数据显示区域610中显示的图像中与目标区域612相对应的部分图像上的图像数据来作为目标数据。

在步骤S1202中，得分估计单元203估计可以添加到在步骤S1201中获取的目标数据的标签以及表示目标数据是该标签所指示的数据的可能性的得分。

随后，执行步骤S501和S502的处理，然后在步骤S503中执行用于确定候选数据的处理。

将参照图13描述图12所示的示例中的步骤S503的处理的示例。图13所示的示例与图10所示的示例的不同之处在于包括步骤S1301和S1302的处理来代替步骤S1003的处理。

在步骤S1301中，候选数据确定单元206基于在步骤S1202中为目标数据估计的每个标签的得分，在步骤S502中设置的特征空间中标绘目标数据。

在步骤S1302中，候选数据确定单元206计算在步骤S1301中在特征空间中标绘的目标数据的位置与在步骤S1001中设置的每个象限的中心点之间的距离。然后，候选数据确定单元206控制要从各象限确定的目标数据的数量，从而可以从更接近目标数据的位置的象限确定更大数量的候选数据。

作为具体示例，候选数据确定单元206可以从最接近目标数据的位置的象限中，确定最接近象限的中心点的三个候选数据。在这种情况下，候选数据确定单元206可以从与最接近目标数据的位置的象限共享一边的象限中，确定最接近该象限的中心点的两个候选数据。此外，候选数据确定单元206可以从与最接近目标数据的位置的象限共享一个点的象限中，确定一个最接近该象限的中心点的候选数据。然后，如图5所示的示例那样执行图12所示的步骤S504至S507的处理。

在上述示例中，根据与目标数据的位置的接近度将从各象限提取的候选数据的数量设置为固定数量。然而，根据本示例性实施例的信息处理装置的操作不必限于此方式。

作为具体示例，可以根据与目标数据的位置的接近度，基于用户的指定来改变要从各象限提取的候选数据的数量。在另一示例中，可以根据目标数据的位置与每个象限的中心点之间的距离来改变要从各象限提取的候选数据的数量。尽管在上述示例性实施例中将中心点用作各象限的代表点，但是可以使用除中心点以外的任何点。

以下将描述本公开的第三示例性实施例。为了将根据第三示例性实施例的信息处理装置与根据其他示例性实施例的信息处理装置区分开，为了便于说明，以下将根据第三示例性实施例的信息处理装置称为信息处理装置1400。

在上述第二示例性实施例中，基于表示要注释的目标数据是由各候选标签指示的数据的可能性的得分，改变要从各象限提取的候选数据的数量。在本示例性实施例中，如果在特征空间中用户选择的目标数据和候选数据之间的距离递增预定倍数以上，则基于表示目标数据是各候选标签所指示的数据的可能性的得分向用户提供预定信息。因此，下面将主要描述根据第三示例性实施例的技术的特征与根据第二示例性实施例的技术的特征之间的差异，并不再详细描述与第二示例性实施例的基本相同的部分。

(功能配置)

将参照图14描述根据本示例性实施例的信息处理装置1400的功能配置的示例。根据本示例性实施例的信息处理装置1400与图11所示的信息处理装置1100的不同在于信息处理装置1400包括通知单元1401。

通知单元1401使预定输出单元根据预定条件提供通知信息，从而将通知信息提示给用户。作为具体示例，如果在特征空间中用户选择的目标数据和候选数据之间的距离增大了预定倍数以上，则通知单元1401可以向用户提示表示警告的通知信息。

(处理)

接下来，下面将参考图15，尤其是通过将重点放在为向目标数据添加标签而提示参考信息的一系列处理过程上来描述根据本示例性实施例的信息处理装置1400要执行的处理的示例。图15所示的示例与图12所示的示例的不同之处在于添加了步骤S1501至S1504的处理作为步骤S507之后的处理。

在步骤S1501中，候选数据确定单元206计算在步骤S502中设置的特征空间中在步骤S1301中标绘的目标数据的位置与在步骤S507中指定的候选数据的位置之间的距离。

在步骤S1502中，候选数据确定单元206确定在连续执行多次步骤S507的处理的情况下，在步骤S1501中计算出的距离是否递增了预定倍数以上。作为具体示例，候选数据确定单元206可以确定在步骤S1501中计算出的距离是否递增了三倍以上。

在步骤S1502中，如果候选数据确定单元206确定在步骤S1501中计算出的距离没有递增预定倍数以上(步骤S1502中为“否”)，则处理返回到步骤S503。在这种情况下，再次执行步骤S503的处理和后续步骤。

另一方面，在步骤S1502中，如果候选数据确定单元206确定在步骤S1501中计算出的距离递增了预定倍数以上(步骤S1502中为“是”)，则处理进入步骤S1503。在步骤S1503中，通知单元1401使预定输出单元提供通知信息(例如，表示警告的通知信息)，从而将通知信息提示给用户。

例如，图16示出了作为显示信息向用户提示预定的通知信息的对话框(用户界面)的示例。对话框1600显示表示警告的通知信息(例如，字符信息)，从而将通知信息提示给用户。对话框1600包括OK按钮1601、重做按钮1602和关闭按钮1603。

OK按钮1601是用于从用户接收继续执行当前正在执行的处理的指令的按钮。恢复按钮1602是用于中断当前正在执行的处理并从用户接收重做用于确定候选数据的处理的指令(以根据特征空间的设置再次执行处理)的按钮。关闭按钮1603是用于从用户接收关闭对话框1600的指示的按钮。在本示例性实施例中，当按下关闭按钮1603时，应用与当按下确定按钮1601时执行的处理类似的处理。

在步骤S1504中，候选数据确定单元206确定是否选择了重做处理。作为具体示例，如果检测到在图16所示的对话框1600上按下了重做按钮1602，则候选数据确定单元206可以确定选择了重做处理。另一方面，如果检测到在对话框1600上按下了确定按钮1601或关闭按钮1603，则候选数据确定单元206可以确定未选择重做处理。

在步骤S1504中，如果候选数据确定单元206确定选择了重做处理(步骤S1504中为“是”)，则处理返回到步骤S502。在这种情况下，再次执行步骤S502的处理所例示的特征空间设置处理。

另一方面，在步骤S1504中，如果候选数据确定单元206确定未选择重做处理(步骤S1504中为“否”)，则处理返回至步骤S503。在这种情况下，再次执行步骤S503的处理所例示的用于确定候选数据的处理。

上面描述的本示例性实施例示出了当目标数据和所选择的候选数据之间的距离递增预定倍数以上时提供通知信息(例如，警告)的示例。然而，根据本示例性实施例的信息处理装置要执行的处理不必限于此。

作为具体示例，可以根据目标数据和所选择的候选数据是否彼此隔开预定距离以上来提供通知信息。在另一示例中，目标数据和候选数据之间的距离可以在每次选择候选数据时被累积，并且当距离的累积值超过阈值时可以提供通知信息。用于确定次数、距离、距离的累积值等的阈值可以是固定值，或者可以基于来自用户的指令而改变。

在上述处理的示例中，步骤S1504中的确定为用户提供了两个选项，即，继续处理的选项和从特征空间的设置起重做处理的选项。然而，用户可以在确定中选择的选项不限于该示例。

作为具体示例，可以提供从选择先前的候选数据的状态重新开始处理的选项。在这种情况下，可以添加用于存储在选择先前的候选数据时的特征空间的状态的处理。在这种情况下，可以在图16所示的对话框1600上提供用于从用户接收从选择了先前的候选数据的状态起重新开始处理的指令的界面(例如，按钮)。

本公开的各实施例还可以通过以下处理来实现，在该处理中，将用于实现根据上述示例性实施例的一个或多个功能的程序经由网络或记录介质提供给系统或装置，以及一个或多个系统或装置的计算机中的处理器读取并执行程序。各实施例还可以通过根据上述示例性实施例的用于实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。

上述实施例仅是示例，并且可以在不脱离根据本公开的技术范围的情况下以各种方式修改或改变。

例如，根据本示例性实施例的信息处理装置的功能可以由多个装置以协作的方式实现。作为具体示例，可以在不同于信息处理装置的外部设备中提供图2，图11和图14所示的信息处理装置的一些组件。此外，可以将由图2，图11和图14所示的信息处理装置的至少一些组件执行的处理上的负荷分配给多个装置。尽管通过将重点放在将图像数据主要用作添加有标签作为注释的数据的情况描述了示例性实施例，但是数据的类型不必限于上述图像数据。此外，可以根据添加有标签作为注释的数据的类型来适当地改变提示相关信息的方法和从用户接收目标数据的指定的方法。

根据本公开的各实施例，可以帮助用户以更期望的方式选择要作为注释添加的标签。

其他实施例

本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然本文中描述了示例性实施例，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。