信息处理装置、信息处理方法
阅读说明：本技术 信息处理装置、信息处理方法 (Information processing apparatus, information processing method, and computer program ) 是由 木村俊一 关野雅则 宋一宪 久保田聪 樱井拓也 藤原久美 上野邦和 越裕 于 2018-12-18 设计创作，主要内容包括：信息处理装置、信息处理方法。一种信息处理装置包括判定单元、第一至第三接收单元、第一和第二核对单元以及控制器。判定单元判定输入信息并且输出判定结果。第一至第三接收单元接收第一至第三人对输入信息的第一至第三判定结果的输入,并且第三接收单元输出第三判定结果。第一核对单元核对判定结果与第一判定结果。在匹配时输出匹配的判定结果。第二核对单元核对第一判定结果与第二判定结果。在匹配时,输出匹配的判定结果。在接收到输入信息时,控制器操作判定单元、第一接收单元以及第一核对单元。当第一核对单元的核对确定不匹配时,控制器进一步选择性地操作由第二接收单元和第二核对单元构成的单元组与第三接收单元中的一方。(An information processing apparatus and an information processing method. An information processing apparatus includes a determination unit, first to third reception units, first and second collation units, and a controller. The determination unit determines the input information and outputs the determination result. The first to third receiving units receive inputs of first to third determination results of the input information by the first to third persons, and the third receiving unit outputs the third determination result. The first collation unit collates the determination result with the first determination result. And outputting a matching judgment result in the matching process. The second collation unit collates the first determination result with the second determination result. And outputting a matching judgment result when the two pieces of the data are matched. Upon receiving the input information, the controller operates the determination unit, the first reception unit, and the first collation unit. The controller further selectively operates one of the group of cells constituted by the second receiving unit and the second collating unit and the third receiving unit when the collation determination by the first collating unit does not match.)
技术领域
本公开涉及信息处理装置、非暂时计算机可读介质以及信息处理方法。
背景技术
存在将手写或印刷在表格纸上的字符串转换成数字数据的数据录入系统。数据录入系统通过人读取表格并借助键盘输入来输入所读取信息的系统、使用光学字符识别(OCR)技术的字符识别器对表格上的图像执行字符识别的系统、或这些系统的组合来将表格纸上的字符串转换成数字数据。
许多字符识别器具有输出指示所执行识别处理的处理结果多么可靠的程度的功能。该程度被称为识别概率。
除了字符识别器之外，还存在对输入图像执行某一自动判定的单元。在这些自动判定单元中，一些单元输出所执行判定的准确度。
日本专利申请特开No.2016-212812公开了一种系统。在该系统中，对输入表格上的图像执行字符识别，并且获得作为字符识别结果的相似度。所获得的相似度与需要字符识别具有的预登记置信因子进行比较。基于比较结果，执行以下输出处理中的一个：对字符识别结果不需要人工验证处理的输出处理；对于字符识别结果提出字符识别候选选项并且提示人执行人工验证处理的输出处理；以及对于字符识别结果请求新人工输入和判定并且提示人人工执行输入的输出处理。
日本专利申请特开No.2011-237905公开了一种字符识别装置，该字符识别装置包括字符识别单元、特征提取单元、可靠性计算单元以及后处理控制器。字符识别单元识别手写字符的坐标点序列并且输出识别候选字符。特征提取单元计算手写字符的坐标点序列的平均书写速度，作为用于计算从字符识别单元输出的判定目标识别候选字符的可靠性得分的特征值。可靠性计算单元基于来自特征提取单元的特征值和样本数据的统计趋势计算判定目标识别候选字符的可靠性得分。后处理控制器基于来自可靠性计算单元的可靠性得分控制对判定目标识别候选字符的后处理。
日本专利申请特开No.2008-20506公开了一种方法。在该方法中，从输入文件图像提取逻辑分量。判定所提取的逻辑分量是否是字符串区域。使所辨别的字符串区域经受字符识别。如果识别结果的置信因子等于或大于阈值，则将字符串区域显示为文本。如果置信因子小于阈值，则将字符串区域显示为部分图像。
日本专利申请特开No.2016-212812所公开的信息处理装置的分类单元将字符识别目标分类到三个类型中的任一个。在分类单元将字符识别目标分类到第一类型时，提取单元提取特征识别目标的字符识别结果。在分类单元将字符识别目标分类到第二类型时，第一控制器施加控制使得提取字符识别目标的字符识别结果，并且人输入字符识别目标。在分类单元将字符识别目标分类到第三类型时，第二控制器施加控制，使得多人人工输入字符识别目标。
日本专利申请特开No.2011-237905公开了一种通过组合由人执行数据录入的数据录入系统与使用OCR的字符识别器获得的系统。
日本专利申请特开No.2008-20506描述了处理结合OCR识别结果和识别概率来执行的示例。
日本专利申请特开No.5-40853、No.5-20500、No.5-290169、No.8-101880、No.9-134410以及No.9-259226描述了计算字符识别的识别概率的各种方法。
暂时不将由字符识别器等执行的自动判定的结果按照原样用作来自系统的最终输出的情况考虑在内。在该情况下，根据自动判定的识别概率使用第一核对处理或第二核对处理。第一核对处理是核对来自自动判定的结果与来自人的判定结果的处理。第二核对处理是将来自两个不同人的判定结果与彼此核对的处理。在这种情况下，将识别概率处于较高范围内的输入传递到第一核对处理。将识别概率处于较低范围内的输入传递到第二核对处理。
由于低识别概率而被传递到第二核对处理的输入包括其结果被自动判定为正确的输入。这是由于因为识别概率是估计值而出现的误差而产生。在其结果被自动判定为正确的输入由于低识别概率而被传递到第二核对处理时，不使用来自自动判定的结果，相反，需要由人来执行判定从而浪费成本。由此，根据自动判定的识别概率来使用第一核对处理或第二核对处理的方法会不必要地花费用于人工判定的工时。
发明内容
本公开的非限制性实施方式的方面提供了一种方法，该方法与根据自动判定的识别概率来使用第一核对处理或第二核对处理的方法相比，实现用于人工判定的工时的减少。
根据本公开的第一方面，提供了一种信息处理装置，该信息处理装置包括判定单元、第一接收单元、第二接收单元、第三接收单元、第一核对单元、第二核对单元以及控制单元。判定单元对输入信息执行判定并且输出判定结果。第一接收单元接收第一人对输入信息的第一判定结果的输入。第二接收单元接收第二人对输入信息的第二判定结果的输入。第三接收单元接收第三人对输入信息的第三判定结果的输入，并且输出第三判定结果作为最终输出。第一核对单元核对判定结果与第一判定结果。判定结果由判定单元输出。第一判定结果由第一接收单元接收。在判定结果与第一判定结果匹配时，第一核对单元输出匹配的判定结果作为最终输出。第二核对单元核对第一判定结果与第二判定结果。第一判定结果由第一接收单元接收。第二判定结果由第二接收单元接收。在第一判定结果与第二判定结果匹配时，第二核对单元输出匹配的判定结果作为最终输出。在接收到输入信息时，控制单元使判定单元、第一接收单元以及第一核对单元工作。当在由第一核对单元执行的核对中确定来自判定单元的判定结果与由第一接收单元接收的第一判定结果不匹配时，控制单元进一步选择性地操作由第二接收单元和第二核对单元构成的单元组与第三接收单元中的一方。
根据本公开的第二方面，根据第一方面的信息处理装置还包括计算判定单元的判定准确度的单元。判定准确度对于输入信息而获得的。当在由第一核对单元执行的核对中确定来自判定单元的判定结果与由第一接收单元接收的第一判定结果不匹配时，如果判定准确度等于或大于第一阈值，则控制单元使第三接收单元工作，并且如果判定准确度小于第一阈值，则控制单元使第二接收单元和第二核对单元工作。
根据本公开的第三方面，在根据第二方面的信息处理装置中，如果判定准确度等于或大于比第一阈值大的第二阈值，则控制单元施加控制以将来自判定单元的判定结果用作最终输出。如果判定准确度小于第二阈值，则控制单元施加控制以操作判定单元、第一接收单元以及第一核对单元。当在由第一核对单元执行的核对中确定来自判定单元的判定结果与由第一接收单元接收的第一判定结果不匹配时，如果判定准确度小于第二阈值并且等于或大于第一阈值，则控制单元施加控制使第三接收单元工作，并且如果判定准确度小于第一阈值，则控制单元施加控制使第二接收单元和第二核对单元工作。
根据本公开的第四方面，提供了一种存储程序的非暂时计算机可读介质，该程序使得计算机执行处理。处理包括：执行判定操作，在该判定操作中，对输入信息执行判定，并且输出判定结果；执行第一接收操作，在该第一接收操作中，接收第一人对输入信息的第一判定结果的输入；执行第二接收操作，在该第二接收操作中，接收第二人对输入信息的第二判定结果的输入；执行第三接收操作，在该第三接收操作中，接收第三人对输入信息的第三判定结果的输入，并且输出第三判定结果作为最终输出；执行第一核对操作，在该第一核对操作中，核对判定结果与第一判定结果，并且在判定结果与第一判定结果匹配时，输出匹配的判定结果作为最终输出；执行第二核对操作，在该第二核对操作中，核对第一判定结果与第二判定结果，并且在第一判定结果与第二判定结果匹配时，输出匹配的判定结果作为最终输出；以及在接收到输入信息时，执行判定操作、第一接收操作以及第一核对操作，并且当在第一核对操作中确定判定结果与第一判定结果不匹配时，进一步选择性地执行由操作组由第二接收操作和第二核对操作构成的操作组与第三接收操作中的一方。
根据本公开的第五方面，提供了一种信息处理方法，该信息处理方法包括以下步骤：执行判定操作，在该判定操作中，对输入信息执行判定，并且输出判定结果；执行第一接收操作，在该第一接收操作中，接收第一人对输入信息的第一判定结果的输入；执行第二接收操作，在该第二接收操作中，接收第二人对输入信息的第二判定结果的输入；执行第三接收操作，在该第三接收操作中，接收第三人对输入信息的第三判定结果的输入，并且输出第三判定结果作为最终输出；执行第一核对操作，在该第一核对操作中，核对判定结果与第一判定结果，并且在判定结果与第一判定结果匹配时，输出匹配的判定结果作为最终输出；执行第二核对操作，在该第二核对操作中，核对第一判定结果与第二判定结果，并且在第一判定结果与第二判定结果匹配时，输出匹配的判定结果作为最终输出；以及在接收到输入信息时，执行判定操作、第一接收操作以及第一核对操作，并且当在第一核对操作中确定判定结果与第一判定结果不匹配时，进一步选择性地执行由第二接收操作和第二核对操作构成的操作组与第三接收操作中的一方。
根据本公开的第六方面，提供了一种信息处理装置，该信息处理装置包括判定单元、第一接收单元、第二接收单元、第一核对单元、第二核对单元以及控制单元。判定单元对输入信息执行判定并且输出判定结果。第一接收单元接收第一人对输入信息的第一判定结果的输入。第二接收单元接收第二人对输入信息的第二判定结果的输入。第一核对单元核对判定结果与第一判定结果。判定结果由判定单元输出。第一判定结果由第一接收单元接收。在判定结果与第一判定结果匹配时，第一核对单元输出匹配的判定结果作为最终输出。第二核对单元核对第一判定结果与第二判定结果。第一判定结果由第一接收单元接收。第二判定结果由第二接收单元接收。在第一判定结果与第二判定结果匹配时，第二核对单元输出匹配的判定结果作为最终输出。在接收到输入信息时，控制单元使判定单元、第一接收单元以及第一核对单元工作。当在由第一核对单元执行的核对中确定来自判定单元的判定结果与由第一接收单元接收的第一判定结果不匹配时，控制单元进一步使第二接收单元和第二核对单元工作。
根据本公开的第七方面，根据第六方面的信息处理装置还包括第三接收单元，该第三接收单元接收第三人对输入信息的第三判定结果的输入，并且输出第三判定结果作为最终输出。当在由第二核对单元执行的核对中确定由第一接收单元接收的第一判定结果与由第二接收单元接收的第二判定结果不匹配时，控制单元选择性地执行第一处理和第二处理。第一处理为输出第二判定结果作为最终输出的处理。第二处理为使第三接收单元工作的处理。
根据本公开的第八方面，根据第六方面的信息处理装置还包括第三接收单元，该第三接收单元接收第三人对输入信息的第三判定结果的输入，并且输出第三判定结果作为最终输出。当在由第二核对单元执行的核对中确定由第一接收单元接收的第一判定结果与由第二接收单元接收的第二判定结果不匹配时，控制单元使第三接收单元工作。
根据本公开的第九方面，提供了一种存储程序的非暂时计算机可读介质，该程序使得计算机执行处理。处理包括：执行判定操作，在该判定操作中，对输入信息执行判定，并且输出判定结果；执行第一接收操作，在该第一接收操作中，接收第一人对输入信息的第一判定结果的输入；执行第二接收操作，在该第二接收操作中，接收第二人对输入信息的第二判定结果的输入；执行第一核对操作，在该第一核对操作中，核对判定结果与第一判定结果，并且在判定结果与第一判定结果匹配时，输出匹配的判定结果作为最终输出；执行第二核对操作，在该第二核对操作中，核对第一判定结果与第二判定结果，并且在第一判定结果与第二判定结果匹配时，输出匹配的判定结果作为最终输出；以及在接收到输入信息时，执行判定操作、第一接收操作以及第一核对操作，并且当在第一核对操作中确定判定结果与第一判定结果不匹配时，进一步执行第二接收操作和第二核对操作。
根据本公开的第十方面，提供了一种信息处理方法，该信息处理方法包括以下步骤：执行判定操作，在该判定操作中，对输入信息执行判定，并且输出判定结果；执行第一接收操作，在该第一接收操作中，接收第一人对输入信息的第一判定结果的输入；执行第二接收操作，在该第二接收操作中，接收第二人对输入信息的第二判定结果的输入；执行第一核对操作，在该第一核对操作中，核对判定结果与第一判定结果，并且在判定结果与第一判定结果匹配时，输出匹配的判定结果作为最终输出；执行第二核对操作，在该第二核对操作中，核对第一判定结果与第二判定结果，并且在第一判定结果与第二判定结果匹配时，输出匹配的判定结果作为最终输出；以及在接收到输入信息时，执行判定操作、第一接收操作以及第一核对操作，并且当在第一核对操作中确定判定结果与第一判定结果不匹配时，进一步执行第二接收操作和第二核对操作。
根据第一、第二、第四、第五、第六、第九以及第十方面，与根据自动判定的识别概率来使用第一核对处理或第二核对处理的方法相比，可以减少用于人工判定的工时。
根据第三方面，与以下情况相比，可以减少用于人工判定的工时：即使来自判定单元的判定准确度等于或大于第二阈值，也核对来自判定单元的判定结果与来自人的判定结果。
根据第七和第八方面，与以下方法相比，可以减少用于人工判定的工时：在来自第一核对单元的核对结果指示失配时，该方法选择性地执行使第二接收单元和第二核对单元工作的操作和接收来自另一人的判定结果的操作。
附图说明
将基于以下附图详细地描述本公开的示例性实施方式，附图中：
图1是用于描述根据示例性实施方式的数据录入系统的处理机制的图；
图2是例示了实施根据示例性实施方式的机制的装置构造的图；
图3是例示了根据第一修改例的装置构造的图；
图4是例示了根据第二修改例的装置构造的图；
图5是例示了根据第三修改例的装置构造的图；以及
图6是用于描述现有数据录入系统的处理机制的图。
具体实施方式
在关于示例性实施方式的描述之前，将通过参照图6描述将与本示例性实施方式比较的现有数据录入系统的机制。
系统接收上面描述了字符串的图像作为输入图像。分类器60通过使用内部包括的字符识别器62来对输入图像执行字符识别。分类器60通过使用此时由字符识别器输出的识别概率P对输入图像分类。识别概率指示是来自字符识别器62的识别结果的文本代码正确描述在输入图像中包括的字符串(可以为手写的)的准确度。识别概率越高，作为识别结果的文本代码正确的(即，正确描述输入图像中的字符串)的可能性越高。特定阈值被设置为阈值T1。如果识别概率P高于阈值T1(P>T1)，则系统将来自字符识别器62的识别结果按照原样输出，作为来自系统的最终识别结果。这指示在图6中通过使用符号X指示的路径(处理路径)。在图6中，例示了三个字符识别器62。这些指示同一单个字符识别器。在图6中，为了帮助根据由分类器60执行的分类理解沿着分开的三个路径的处理，例示了沿着这些路径中的每一个使用的所有处理部件。因此，同一字符识别器62被例示多次。
在系统中，低于阈值T1的特定阈值被设置为阈值T2。如果识别概率P等于或小于T2(P≤T2)，则处理进行到路径Z。对于路径Z的情况，两个操作员(人B和人C)执行通过读取输入图像识别的字符串的键输入。这些输入由系统中的键输入单元72和74来接收。第二核对单元76将来自人B和人C的输入结果(文本数据)与彼此核对。如果核对结果指示输入结果彼此匹配，则输出匹配的输入结果作为来自系统的最终识别结果。如果核对结果指示输入结果不彼此匹配，则请求既不是人B也不是人C的人E输入由输入图像指示的字符串。输入由键输入单元78来接收。输出来自人E的输入，作为来自系统的最终识别结果。
如果识别概率P既不高也不低(即，T2<P≤T1)，则处理进行到路径Y，并且键输入单元64接收来自人A的输入图像的识别结果的键输入。第一核对单元66核对来自字符识别器62的识别结果与来自人A的键输入结果。如果核对结果指示识别结果匹配键输入结果，则输出匹配识别结果作为来自系统的最终识别结果。如果识别结果不匹配键输入结果，则请求不是人A的人D输入由输入图像指示的字符串。输入由键输入单元68来接收。输出来自人D的输入，作为来自系统的最终识别结果。
由此，沿着三个路径X、Y以及Z中的一个识别输入图像，并且获得在输入图像中包括的字符串代码“ABC”。
在该机制中，执行输入的人是五个人，人A至人E。然而，不是必须需要五个不同的人。如果满足人A和人D彼此不同且人B、人C以及人E彼此不同的条件，则可以使用少于五人。
由此，在现有系统中，来自字符识别器62的识别概率越低，则来自字符识别器62的识别结果的可靠性越低。因此，现有系统采用涉及较多人的系统。
识别概率仅是由字符识别器62执行的字符识别的可靠性的估计值。因此，识别概率包括误差。例如，如果识别概率P等于或小于作为下阈值的阈值T2，则处理在系统中进行到路径Z，并且在不使用字符识别器62的识别结果的情况下仅使用人工输入执行数据录入。然而，识别概率P仅是估计值。因此，即使识别概率P等于或小于阈值T2，来自字符识别器62的识别结果有时也可以是正确的。在这种情况下，由路径Z指示的方法产生浪费的人工输入成本，沿着路径Z，在不使用来自字符识别器62的识别结果的情况下，相反使用来自一个人的输入。
因此，在示例性实施方式中，提出以下机制。该机制尽可能多的减少由虽然来自字符识别器的识别结果是正确的但识别结果不用作数据录入的状态导致的浪费成本。
图1例示了根据示例性实施方式的数据录入系统的处理机制。图1用于与上述现有系统(图6)比较地描述示例性实施方式的特性。图1中的机制指示包括图6中的现有示例中的路径Y和Z的部分(在图6中为通过使用虚线围绕的部分600)的改进，并且不将路径X考虑在内。因此，可以使用通过将路径X添加到图1中的机制获得的机制(以下将描述该机制)。另外，图1中的机制可以被认为是将不单独用作系统最终输出的来自字符识别器的识别结果需要与来自人的识别结果进行核对的系统。
在该系统中，字符识别器12、键输入单元14以及第一核对单元16的组用作字符串分类器10。即，基于来自字符识别器12的识别结果与来自人的识别结果之间的核对结果执行路径Y(特别地为路径Y1)与路径Z之间的传递。通常，人所执行的字符识别具有远远高于由使用光学字符识别(OCR)技术的字符识别器执行的字符识别的识别准确度的识别准确度。因此，如果来自人的识别结果匹配来自字符识别器的识别结果，则识别结果是正确的可能性非常高。相反，如果来自人的识别结果不匹配来自字符识别器的识别结果，则来自字符识别器的识别结果错误的可能性高。在图1中，例示了使用虚线的块和使用实线的块。这些块指示相同内容。
即，在该系统中，总是向字符识别器12和单个人(例如，人A)呈现输入图像。获得来自字符识别器12的输入图像的字符识别结果，并且通过使用键输入单元14获得来自人A的输入图像的识别结果。然后，第一核对单元16将两个识别结果与彼此核对。如果核对结果指示两个识别结果彼此匹配，则输出匹配的识别结果作为来自系统的最终识别结果(图1中的路径Y1)。
相反，如果来自第一核对单元16的核对结果指示来自字符识别器12的识别结果不匹配由键输入单元14接收的人A的识别结果，则使得随后的处理根据给定标准沿着图1中的路径Y2或路径Z进行。
图1中的机制的重点在于，作为用于路径Y(特别地为Y1)与路径Z之间的传递(分类)的标准，不使用来自字符识别器12的识别概率P，相反，使用来自第一核对单元16的核对结果。即，在图1中的机制中，即使在识别概率P非常低时(P≤T2)，如果来自第一核对单元16的核对结果指示来自字符识别器12的识别结果匹配人A的识别结果，则最终输出匹配的识别结果。即，即使在识别概率P低的情况下，在来自字符识别器12的识别结果正确时，人工输入仅需要一人。相反，在图6中的现有系统中，在识别概率P非常低时，不使用来自字符识别器的识别结果，并且总是将来自两人的识别结果与彼此核对。因此，需要比图1中的机制中的工时多的工时。由此，在图1中的机制中，通过向路径Y(仅需要一人)传递在图6中的现有系统中根据识别概率传递到路径Z(需要两人)的一些输入图像而减少了工时。
在图1中的机制中，为了字符串分类器10的任务，总是接收识别结果的至少一人(人A)的输入。因此，来自一人的该输入还用作沿着路径Z彼此核对的两人识别结果中的一个。即，第二核对单元24核对由键输入单元14接收的人A的识别结果与由键输入单元22接收的来自不是人A的人B的识别结果。如果核对结果指示人A的识别结果匹配人B的识别结果，则第二核对单元24输出识别结果作为来自系统的最终处理结果。如果第二核对单元24发现人A的识别结果不匹配人B的识别结果，则由键输入单元26接收来自既不是人A也不是人B的人D的输入图像的识别结果。输出人D的识别结果作为来自系统的最终识别结果。
在上述描述中，没有描述在第一核对单元16发现两个识别结果不匹配彼此时执行的路径Y2与路径Z之间的识别处理的传递(分类)。对于该情况存在若干系统。一个示例是通过使用来自字符识别器12的输入图像的识别概率P执行传递的系统。这与图6中的现有系统的概念类似。即，在该系统中，如果识别概率P大于作为特定阈值的阈值T2，则字符串分类器10使得识别处理沿着路径Y2进行。如果识别概率P等于或小于阈值T2，则字符串分类器10使得识别处理沿着路径Z进行。对于路径Y2的情况，由键输入单元18接收来自不是人A的人C的输入图像的识别结果。输出该识别结果作为来自系统的最终识别结果。
基于来自字符识别器12的识别概率P的路径之间的传递为何有效的原因如下。
作为“前提”，假定，在图6中的现有系统中，用于确定到路径X、Y以及Z的传递的阈值T1和T2被设置为使得涉及来自人和字符识别器62的输出的识别准确度的最终识别准确度等于或高于特定准确度。即，这些阈值在考虑来自第二核对单元76的核对结果指示失配时执行的人D或人E的错误输入率的情况下来确定。
将讨论以下情况：在图1中的系统中，来自第一核对单元16的核对结果指示来自字符识别器的识别结果不匹配人A的识别结果。
首先，将讨论处理在来自第一核对单元16的核对结果指示失配时总是进行到路径Y2的情况。对于路径Y2的情况，人C的输入按照原样将为来自系统的最终输出。人C的错误输入率大于零。因此，与处理总是进行到路径Z的情况(即，双人工录入)相比，最终输入准确度变差。
接着，将讨论处理在来自第一核对单元16的核对结果指示失配时总是进行到路径Z的情况。在这种情况下，同样在字符识别器12的识别准确度高于单个人工录入的识别准确度时(即，在处理要进行到路径Y时)，处理进行到路径Z。因此，需要多于必要的工时来实现特定准确度。
考虑上述两个情况，在按照上述两个情况(即，全部进行到路径Y2的情况和全部进行到路径Z的情况)之间的中间比执行路径Y2与路径Z之间的传递的情况下，存在使得实现特定准确度的最优解。该最优解指示以下情况：在最终输入准确度等于或高于特定准确度的条件下，尽可能多的选择路径Y2。
根据上述“前提”，在识别概率P具有在执行到路径Y的传递的范围内的值时(即，识别概率P>T2的情况)，阈值T2被设置为使得路径Y的准确度等于或高于特定准确度。因此，在核对结果指示来自字符识别器12的识别结果不匹配人A的识别结果的情况下，在识别概率P>T2时选择路径Y2。由此，最终输入准确度可以等于或高于特定准确度。
由此，发现，为了在整个系统中实现特定准确度，可以将在现有系统(图6)中用于路径Y2与路径Z之间的传递的阈值T2用于路径Y2与路径Z之间的传递。
如从对于路径Y2和路径Z的两个情况不使用来自字符识别器12的识别结果的状态清楚的，基于来自字符识别器12的识别概率P与阈值T2之间的比较而执行的在路径Y2与路径Z之间的传递在技术上不重要。如果路径Y2与路径Z之间的传递可以以与基于识别概率P与阈值T2之间的上述比较的传递的比相同的比来执行，则可以采用另一方法。
例如，如果统计地确定了在基于识别概率P与阈值T2之间的比较进行传递的上述方法中的在路径Y2与路径Z之间的传递的比，则可以执行路径Y2与路径Z之间的传递以达到该比。为此，例如，可以暂时累积识别结果由第一核对单元16确定为指示失配的特定数量的输入图像，并且按比在路径Y2与路径Z之间传递所累积的输入图像。另一方法是在每当来自第一核对单元16的识别结果指示失配时，可以通过使用随机数执行传递，使得按比执行路径Y2与路径Z之间的传递。
另选地，不是按与基于识别概率P与阈值T2之间的比较的情况的比相同的比执行传递，可以按用户所预定的比执行路径Y2与路径Z之间的传递。
另外，作为执行用于达到整个系统的目标错误率的传递的方法，可以使用以下方法。
即，在该方法中，假定路径Y2的人C的错误率为α，并且整个路径Z的错误率为β。另外，假定被输入到图1中的系统(即，进行到路径Y和路径Z中的一个)的输入图像的总计数为N(或假定在累积N个输入图像时执行传递)。输入图像的数量例如可以是要识别的字符串的数量或要识别的字符帧的数量。在该方法中，假定在由第一核对单元16和第二核对单元24执行的核对中获得的匹配识别结果没有错误。
假定在总计数N个输入图像中，来自第一核对单元16的核对结果指示失配的识别结果的数量为M。假定整个系统的最终错误率的目标值为γ。在这种情况下，整个系统的最终错误计数的目标值最大为γN个。
假定在来自第一核对单元16的核对结果指示失配的M个识别结果中，被传递到路径Y2的识别结果的数量为Q。因为人C的错误率为α，所以路径Y2的错误计数为αQ。在来自第一核对单元16的核对结果指示识别结果匹配彼此时，这总是被视为是正确的。因此，包括路径Y1和路径Y2的整个路径Y的错误计数还是αQ。因为整个路径Z的错误率为β，所以整个路径Z的错误计数为β(M-Q)。
为了使得整个系统的错误率等于或小于目标值γ，将满足以下关系。
αQ+β(M-Q)≤γN 算式(1)
对于Q求解算式(1)，并且获得以下算式。
Q≤(γN-βM)/(α-β) 算式(2)
在来自第一核对单元16的核对结果指示失配的M个输入图像中，被传递到路径Y2的输入图像的数量被控制为使得满足算式(2)。由此，达到整个系统的目标识别率。Q在算式(2)中等于右边的情况是实现整个系统中的最小工时的最优解。
将通过参照图2描述用于实施图1中的方法的示例性装置构造。图2中的示例指示路径Y2与路径Z之间的传递基于来自字符识别器12的识别概率P来执行的示例。
在装置构造中，由字符识别器12和人A的终端接收作为识别目标的输入图像。字符识别器12对输入图像执行字符识别。字符识别器12向第一核对单元16发送借助字符识别获得的识别结果R和识别概率P。由字符识别器12执行的字符识别方法和计算识别概率的方法不特别限制。可以使用相关技术的方法，包括日本专利申请特开No.5-40853、No.5-20500、No.5-290169、No.8-101880、No.9-134410以及No.9-259226中描述的方法和将来将开发的方法中的任一个。
人A的终端例如可以通过因特网连接到图2中的装置。在这种情况下，显示输入图像并且接收输入图像的识别结果的输入的机制以网络服务的形式由键输入单元14提供到终端。人A识别在终端上显示的输入图像，并且从终端的键盘输入由输入图像指示的字符串。键输入单元14从终端接收由人A输入的字符串数据，并且将字符串数据发送到第一核对单元16。
第一核对单元16核对来自字符识别器12的识别结果R与由人A输入的字符串。在核对结果指示识别结果R匹配字符串时，输出识别结果R(这也是人A的识别结果)，作为该装置的最终识别结果。如果核对结果指示识别结果R不匹配字符串，则第一核对单元16向传递处理器17发送此时要识别的输入图像的识别信息、输入图像的人A的输入数据以及识别概率P，并且请求传递处理器17确定用于处理的路线。
如果识别概率P大于预定阈值T2，则传递处理器17使得处理进行到路径Y2。即，传递处理器17执行字符串分类器10的分类功能。
在图2中的示例中，如果识别概率P大于阈值T2，则传递处理器17选择路径Y2，并且向键输入单元18发送输入图像的识别信息。键输入单元18向预先登记的人C的终端提供与识别信息对应的输入图像，接收响应于输入图像的显示由人C输入的字符串数据，并且输出数据，作为输入图像的系统的最终识别结果。
如果识别概率P等于或小于阈值T2，则传递处理器17选择路径Z，向键输入单元22发送输入图像的识别信息，并且向第二核对单元24发送人A的输入数据。键输入单元22向预先登记的人B的终端提供与识别信息对应的输入图像，接收响应于输入图像的显示而由人B输入的字符串数据，并且向第二核对单元24发送该数据。第二核对单元24核对人A的输入数据与人B的输入数据。如果结果指示人A的输入数据匹配人B的输入数据，则第二核对单元24输出匹配的输入数据，作为输入数据的系统的最终识别结果。相反，如果来自第二核对单元24的核对结果指示人A的输入数据不匹配人B的输入数据，则键输入单元26向预先登记且既不是人A也不是人B的人D的终端提供与识别信息对应的输入图像。键输入单元26接收响应于输入图像的显示由人D输入的字符串数据，并且输出数据，作为系统的最终识别结果。
在图2中的示例中，传递处理器17基于对识别概率P的阈值处理来确定下游路径。另选地，传递在不按照上面描述的那样使用识别概率P的情况下可以按特定比在路径之间执行。
将通过参照图3描述图2中的装置构造的修改例。
在上述图2中的示例中，在键输入单元18中登记的人C所满足的条件是人C不是人A。在键输入单元22中登记的人B所满足的条件是人B不是人A(也不是人D)。因此，即使人B和人C是同一人，也满足这些条件。图3中的修改例是可以在人B和人C是同一人时采用的简化的装置构造示例。
在图3中的示例中，将描述与图2中的示例不同的部分。在该示例中，如果来自第一核对单元16的核对结果指示失配，则第一核对单元16向第二核对单元24发送人A的输入数据，并且向键输入单元22A发送输入图像的识别信息。键输入单元22A向预先登记的人B的终端提供与识别信息对应的输入图像，并且接收响应于输入图像的显示而由人B输入的字符串数据(该数据也是图2中的示例中的人C的输入数据)。键输入单元22A向第二核对单元24发送数据。
第二核对单元24核对从第一核对单元16接收的人A的输入数据与从键输入单元22A接收的人B的输入数据。如果核对结果指示人A的输入数据匹配人B的输入数据，则输出匹配的输入数据，作为系统的最终识别结果。相反，如果核对结果指示人A的输入数据不匹配人B的输入数据，则第二核对单元24向传递处理器17A发送输入图像的识别信息和人B的输入数据(需要时连同识别概率P)。
传递处理器17A执行是下游路径的路径Y2与路径Z之间的传递。传递可以与图2中的示例同样地基于识别概率P来执行，或者可以如上所述地执行以满足特定比。例如，在基于识别概率P执行传递时，如果识别概率P大于阈值T2，则选择路径Y2，并且输出人B的输入数据(与图2中的示例中的人C的输入数据对应)，作为最终识别结果(路径Y2)。如果识别概率P等于或小于阈值T2，则键输入单元26接收人D的输入数据，并且输出输入数据，作为最终识别结果(路径Z)。
在图3中的示例中，如果来自第一核对单元16的核对结果指示失配，则第二核对单元24总是将输入数据与彼此核对。因此，核对操作被执行两次，这可以产生关于输入数据是否正确的较高准确度的判定，并且还可以减少进行到路径Z的输入图像的数量的。如果减少了进行到路径Z的输入图像的数量，则降低了人D进行输入的成本。
将通过参照图4进一步描述修改例。图4中的示例指示从图2中的示例去除路径Y2后的构造，并且在该构造中，在来自第一核对单元16的核对结果指示失配时，处理总是进行到路径Z。
在图4中的示例中，将描述与图2中的示例不同的部分。在该示例中，如果来自第一核对单元16的核对结果指示失配，则第一核对单元16向第二核对单元24发送人A的输入数据，并且向键输入单元22发送输入图像的识别信息。键输入单元22向预先登记的人B的终端提供与识别信息对应的输入图像，并且接收响应于输入图像的显示而由人B输入的字符串数据。键输入单元22向第二核对单元24发送数据。
第二核对单元24核对从第一核对单元16接收的人A的输入数据与从键输入单元22接收的人B的输入数据。如果核对结果指示输入数据匹配彼此，则输出匹配的输入数据，作为系统的最终识别结果。相反，如果核对结果指示输入数据不匹配彼此，则第二核对单元24向键输入单元26发送输入图像的识别信息。键输入单元26向预先登记且既不是人A也不是人B的人D的终端提供与识别信息对应的输入图像，接收响应于输入图像的显示由人D输入的字符串数据，并且输出数据，作为系统的最终识别结果。
来自上述图2中的示例中的人C和人D的输入按照原样被输出作为系统的最终识别结果，不与另一识别结果核对。因此，来自人C和人D的输入对整个系统的识别率(准确率)的影响大于人A和人B(这些输入与另一识别结果核对)的影响。为了达到整个系统的识别率的目标值，需要人C和人D花费比人A和人B多的时间来额外小心地输入。另选地，需要人C和人D具有比人A和人B高的技术水平。由此，人C和人D的输入成本高于人A和人B的输入成本。
在图4中的示例中，在来自第一核对单元16的核对结果指示失配的情况下，省略了涉及人C的输入的路径(路径Y2)。相反，总是执行人B的输入。即使在这种情况下，因为人B的输入成本低于人C的输入成本，所以整个系统的人工输入成本低于图2中的示例的人工输入成本。
将通过参照图5进一步描述修改例。图5中的示例指示将与图6中的现有系统中的路径X对应的构造(即，传递处理器13)添加到图2中的示例的构造。
在图5中的示例中，传递处理器13接收从字符识别器12输出的识别结果R和识别概率P。如果所接收识别概率P大于阈值T1(T1>T2)，则传递处理器13输出来自字符识别器12的识别结果R，作为系统的最终识别结果。如果识别概率P等于或小于阈值T1，则传递处理器13向第一核对单元16输入识别结果R。第一核对单元16之后的处理流程与用于处理流程的装置构造与图2中相同。
由此，图1和图2中的构造还可以适用于在识别概率P非常高的范围内将来自字符识别器12的识别结果按照原样用作最终输出的装置构造。
以上描述了本公开的示例性实施方式及其修改例。然而，示例性实施方式和修改例仅是示例性的。可以在不偏离本公开的范围的情况下进行各种变更。
例如，在上述的示例性实施方式和修改例中，识别输入图像中的字符串。然而，在示例性实施方式和修改例中使用的方法不仅可以适用于字符识别，还总体上适用于判定输入数据并且输出判定结果的信息处理装置或系统。即，在示例性实施方式和修改例中使用的方法可以总体上适用于设备或系统，在该设备或系统中，机械判定单元(一个示例为字符识别器12)和人对输入数据进行判定，并且来自判定单元和人的结果全体用于判定设备或整个系统的判定结果。
根据上述示例性实施方式和修改例的设备或系统作为一个示例可以被形成为硬件逻辑电路。作为另一个示例，根据示例性实施方式和修改例的设备或系统例如可以通过内置计算机执行描述系统或设备中的功能模块的功能的程序来实施。计算机具有电路构造，在该电路构造中，硬件部件(例如，诸如中央处理单元(CPU)的处理器、诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器(主存储器)、控制HDD的硬盘驱动器(HDD)控制器、各种输入/输出(I/O)接口以及用于与诸如局域网的网络的连接的控制的网络接口)例如借助总线连接到彼此。另外，总线例如可以借助I/O接口连接到用于对便携式硬盘记录介质(诸如光盘(CD)或数字通用光盘(DVD))读取和/或书写的硬盘驱动器、用于对具有各种标准的便携式非易失性记录介质(诸如闪存)读取和/或书写的存储读写器等。描述上述功能模块的处理的程序经由诸如CD或DVD的记录介质或经由诸如网络的通信单元存储在诸如硬盘驱动器的固定储存器中。然后，程序安装在计算机中。在固定储存器中存储的程序被读取到RAM上，并且由诸如CPU的处理器执行。由此，实施上述功能模块。另外，根据示例性实施方式和修改例的设备或系统可以结合软件和硬件来形成。
对本公开的示例性实施方式的上述说明是为了例示和说明的目的而提供的。并非旨在对本公开进行穷尽，或者将本公开限于所公开的精确形式。显而易见的是，很多修改例和变型例对于本领域技术人员是明显的。选择了实施方式进行说明以最好地解释本公开的原理及其实际应用，以使本领域其它技术人员能够理解本公开的各种实施方式，以及适合于所设想的具体用途的各种变型。本公开的范围旨在由所附权利要求及其等同物来限定。