具体实施方式

以下将参考附图来详细说明典型实施例。以下的典型实施例并未将本发明限制在所附权利要求书的范围内。尽管在典型实施例中描述了多个特征，但并非所有的这多个特征对于本发明而言都是必不可少的，并且这多个特征可以以任意方式组合。另外，在附图中，向相同或相似的结构指派相同的附图标记，并且将省略对这些结构的重复说明。

<<1.系统概述>>

图1是示出根据典型实施例的图像处理系统100的结构的示例的示意图。图像处理系统100包括图像处理设备101、学习设备102、篡改检测服务器103和光学字符识别(OCR)服务器104。图像处理设备101、学习设备102、篡改检测服务器103和OCR服务器104经由网络105彼此连接。

图像处理设备101例如可以是具有打印和图像读取功能的多功能外设(MFP)、或者专用于图像读取的数字扫描器。图像处理设备101包括读取单元111和显示控制单元112。读取单元111读取原稿11以生成读取图像。更具体地，读取单元111获取原稿11的读取图像。原稿11典型地包括字符串，因而读取图像包括字符图像。

例如，图像处理设备101可以在学习阶段支持学习数据的生成。更具体地，操作者在所准备的空白学习原稿中手写字符，并且将手写的学习原稿放置到图像处理设备101。学习原稿例如可以是在一个或多个预定位置处具有写入栏的表格文档。学习原稿可以具有用于唯一地标识各个体学习原稿的视觉标识信息(例如，打印编号、条形码或二维码)。图像处理设备101也能够打印空白学习原稿。读取单元111读取所放置的学习原稿以生成读取图像12。将读取图像12作为学习原稿的原件的图像来处理。在本说明书中，读取图像12也被称为原始学习图像。操作者或其他人篡改所书写的学习原稿(即，原件)(例如，用笔对所书写的学习原稿写笔划)，并将篡改后的学习原稿放置到图像处理设备101。读取单元111读取篡改后的学习原稿以生成读取图像13。在本说明书中，读取图像13也被称为篡改学习图像。通过重复以下的序列来生成多对原始学习图像12和篡改学习图像13：在学习原稿中手写字符；用图像处理设备101读取原件(学习原稿)；故意篡改学习原稿；以及用图像处理设备101读取篡改后的学习原稿(篡改版本)。图像处理设备101将这些对的原始学习图像12和篡改学习图像13经由网络105发送至学习设备102。学习设备102如以下所述通过使用从这些对生成的学习数据来进行机器学习。无论以上说明如何，原始学习图像12和篡改学习图像13的生成也可以由不同于图像处理设备101的设备来进行。

在篡改检测阶段，图像处理设备101读取包括手写字符的对象原稿以生成读取图像21。根据本说明书，读取图像21也被称为处理对象图像。图像处理设备101将所生成的处理对象图像21经由网络105发送至篡改检测服务器103。图像处理设备101的显示控制单元112从篡改检测服务器103接收到检测结果数据32。该结果数据32指示通过使用处理对象图像21所进行的篡改检测的结果。然后，显示控制单元112基于检测结果数据32来控制篡改检测结果的画面显示。以下将具体说明显示控制的各种示例。

学习设备102可以是进行监督学习处理的诸如计算机和工作站等的信息处理设备。学习设备102包括数据处理单元121、学习单元122和存储单元123。数据处理单元121将由图像处理设备101(或其它设备)生成的上述多对原始学习图像12和篡改学习图像13累积在存储单元123中。数据处理单元121基于所累积的对来生成学习数据。学习单元122通过使用基于作为学习原稿的读取图像的学习图像(例如，原始学习图像12和篡改学习图像13的对)所生成的学习数据的机器学习处理，来生成和/或更新篡改检测用的经学习模型(学习模型)41。学习单元122指示存储单元123存储所生成和/或更新的经学习模型41。例如，如果使用神经网络模型作为机器学习模型，则经学习模型41是包括诸如针对神经网络的各节点的权重和偏置等的参数的数据集。可以使用基于多层神经网络的深度学习作为用于生成和/或更新神经网络模型的机器学习的技术的示例。以下将具体说明学习数据的生成以及经学习模型的生成和/或更新的一些示例。学习单元122响应于来自以下所述的篡改检测服务器103的请求，向篡改检测服务器103提供经学习模型41。

篡改检测服务器103可以是诸如计算机和工作站等的信息处理设备。篡改检测服务器103通过使用从图像处理设备101接收到的处理对象图像21来检测对象原稿中所包括的篡改部分。篡改检测服务器103包括图像获取单元131和检测单元132。图像获取单元131获取作为对象原稿的读取图像的处理对象图像21。检测单元132使用处理对象图像21来检测对象原稿中所包括的篡改部分。根据本典型实施例，检测单元132使用从学习设备102提供的上述经学习模型41来进行篡改检测。在本典型实施例中，检测单元132通过使用经学习模型41来估计处理对象图像21中的多个像素中的各像素是否属于篡改部分(例如，针对各像素的篡改检测)。可选地，以下将说明如下的变形例：检测单元132判断处理对象图像21中的一个或多个字符中的各字符是否包括篡改部分(例如，针对各字符的篡改检测)。作为篡改检测的结果，检测单元132生成指示处理对象图像21的哪个部分被判断为已篡改的检测结果数据32，并且向图像处理设备101提供所生成的检测结果数据32。检测结果数据32例如可以包括指示处理对象图像21的各像素是否属于篡改部分的位图数据。图像处理设备101将由检测结果数据32指示的篡改检测结果呈现给用户，并且用户对该结果进行验证。为了支持用户的验证，图像处理设备101或篡改检测服务器103生成指示强调处理对象图像21中已被判断为属于篡改部分的像素的强调图像。在篡改检测服务器103生成强调图像的情况下，篡改检测服务器103将所生成的强调图像连同上述位图数据一起发送至图像处理设备101。

根据本典型实施例，处理对象图像21可以以字符为单位应用于经学习模型41。因而，篡改检测服务器103将处理对象图像21发送至OCR服务器104，以请求OCR服务器104识别处理对象图像21中所包括的字符。OCR服务器104可以是诸如计算机和工作站等的信息处理设备。OCR服务器104响应于来自篡改检测服务器103的请求而进行光学字符识别(OCR)。OCR服务器104包括字符识别单元141。字符识别单元141使用已知技术针对处理对象图像21进行OCR，由此识别处理对象图像21中的字符和字符区域位置。字符识别单元141将指示识别结果的识别结果数据31发送至篡改检测服务器103。

<<2.设备结构>>

图2A是示出图像处理设备101的结构的示例的框图。图2B是示出学习设备102的结构的示例的框图。图2C是示出篡改检测服务器103的结构的示例的框图。

(1)图像处理设备

图像处理设备101包括中央处理单元(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)204、打印机装置205、扫描器装置206、输送装置207、存储装置208、输入装置209、显示装置210和外部接口(I/F)211。数据总线203是用于相互连接图像处理设备101中所包括的这些装置的通信线。

CPU 201被配置为控制整个图像处理设备101。CPU 201执行作为非易失性存储器的ROM 202中所存储的引导程序，以启动图像处理设备101的操作系统(OS)。CPU 201在OS下执行存储装置208中所存储的控制器程序。控制器程序是用于控制图像处理设备101的各个装置的程序。RAM 204用作CPU 201的主存储器装置。RAM 204向CPU 201提供临时存储区域(即，工作区域)。

打印机装置205被配置为在纸张(也称为记录材料或薄片)上打印图像。打印机装置205可以采用使用感光鼓或感光带的电子照相方法、用于从微喷嘴阵列排出墨以在纸张上直接打印图像的喷墨方法、以及任何其它打印方法。包括诸如用于光学地扫描原稿的电荷耦合器件(CCD)等的光学读取装置的扫描器装置206将从光学读取装置供给的电信号转换成读取图像的图像数据。可以是自动原稿进给器(ADF)的输送装置207将放置在ADF上的原稿逐一地输送至扫描器装置206。扫描器装置206不仅能够读取从输送装置207输送来的原稿，而且还能够读取放置在图像处理设备101的原稿定位板(未示出)上的原稿。

存储装置208可以是包括诸如硬盘驱动器(HDD)和固态驱动器(SDD)等的非易失性存储器的可写/可读的辅助存储装置。存储装置208存储包括上述的控制器程序、设置数据和图像数据的各种类型的数据。诸如触摸面板和硬件键等的输入装置209接收诸如来自用户的操作指示或信息输入等的用户输入。输入装置209将表示所接收到的用户输入的内容的输入信号发送至CPU 201。诸如液晶显示器(LCD)或阴极射线管(CRT)等的显示装置210将CPU 201所生成的图像(例如，用户界面图像)显示在画面上。例如，CPU 201可以基于指向位置和用户界面的分配来判断用户进行了什么操作。指向位置由从输入装置209接收到的输入信号指示。用户界面的分配由显示装置210显示。根据判断结果，CPU 201控制相应装置的操作或改变显示装置210所显示的内容。

外部接口(I/F)211经由网络105相对于外部设备发送和接收包括图像数据的各种类型的数据。网络105例如可以是局域网(LAN)、电话线、近距离无线(例如，红外)网络或任何其它类型的网络。外部I/F 211可以从诸如学习设备102和个人计算机(PC)(未示出)等的外部设备接收描述打印所用的绘制内容的页面描述语言(PDL)数据。CPU 201解释外部I/F211所接收到的PDL数据以生成图像数据。该图像数据可被发送至打印机装置205以进行打印，或者可被发送至存储装置208以进行存储。外部I/F 211可以将扫描器装置206所获取到的读取图像的图像数据发送至篡改检测服务器103以进行篡改检测，并且从篡改检测服务器103接收检测结果数据32。

(2)学习设备

学习设备102包括CPU 231、ROM 232、RAM 234、存储装置235、输入装置236、显示装置237、外部I/F 238和图形处理单元(GPU)239。数据总线233是用于相互连接学习设备102中所包括的这些装置的通信线。

CPU 231被配置为控制整个学习设备102。CPU 231执行作为非易失性存储器的ROM232中所存储的引导程序，以启动学习设备102的OS。CPU 231在该OS上执行存储装置235中所存储的学习数据生成程序和学习程序。学习数据生成程序是用于基于一对原始学习图像12和篡改学习图像13来生成学习数据的程序。学习程序是用于通过机器学习来生成和/或更新篡改检测所用的经学习模型(例如，神经网络模型)的程序。RAM 234用作CPU 231的主存储器装置，并且向CPU 231提供临时存储区域(例如，工作区域)。

存储装置235可以是包括诸如HDD和SDD等的非易失性存储器的可写/可读的辅助存储装置。存储装置235存储包括上述的程序、学习图像、学习数据和模型数据的各种类型的数据。诸如鼠标和键盘等的输入装置236接收诸如来自用户的操作指示和信息输入等的用户输入。诸如LCD和CRT等的显示装置237将CPU 231所生成的图像显示在画面上。外部I/F238经由网络105相对于外部设备发送和接收与学习处理有关的数据。外部I/F 238例如可以从图像处理设备101接收一对原始学习图像12和篡改学习图像13。外部I/F 238可以将通过机器学习所生成和/或更新的经学习模型41发送至篡改检测服务器103。作为能够进行高级并行处理的处理器的GPU 239与CPU 231协作促进用于生成和/或更新经学习模型41的学习处理。

(3)篡改检测服务器

篡改检测服务器103包括CPU 261、ROM 262、RAM 264、存储装置265、输入装置266、显示装置267和外部I/F 268。数据总线263是用于相互连接篡改检测服务器103中所包括的这些装置的通信线。

CPU 261是用于控制整个篡改检测服务器103的控制器。CPU 261执行作为非易失性存储器的ROM 262中所存储的引导程序，以启动篡改检测服务器103的OS。CPU 261在该OS上执行存储装置265中所存储的篡改检测程序。篡改检测程序是用于通过使用从客户端设备(例如，图像处理设备101)获取到的对象原稿的读取图像(即，处理对象图像)来检测对象原稿中所包括的篡改部分的程序。RAM 264用作CPU 261的主存储器设备。RAM 264向CPU261提供临时存储器(即，工作区域)。

存储装置265可以是包括诸如HDD和SDD等的非易失性存储器的可写/可读的辅助存储装置。存储装置265存储诸如上述的程序、图像数据和检测结果数据32等的各种类型的数据。诸如鼠标和键盘等的输入装置266接收诸如来自用户的操作指示和信息输入等的用户输入。诸如LCD和CRT等的显示装置267将CPU 261所生成的图像显示在画面上。外部I/F268经由网络105相对于外部设备发送和接收与篡改检测有关的数据。外部I/F 268例如可以从图像处理设备101接收处理对象图像21，并将检测结果数据32发送至图像处理设备101。外部I/F 268可以将用于提供经学习模型41的请求发送至学习设备102，并且从学习设备102接收到经学习模型41。外部I/F 268可以将用于进行OCR的请求发送至OCR服务器104，并且从OCR服务器104接收指示OCR结果的识别结果数据31。

尽管在图2C中未示出，但OCR服务器104的结构也可以与篡改检测服务器103的结构类似。

<<3.处理流程>>

图3A是示出由图像处理系统100进行的学习阶段中的示意处理流程的示例的序列图。图3B是示出由图像处理系统100进行的篡改检测阶段中的示意处理流程的示例的序列图。

<3-1.学习阶段>

在步骤S301中，操作者在学习阶段将充满手写字符的学习原稿放置在图像处理设备101上，并指示图像处理设备101读取该原稿。在这种情况下，操作者将指示所放置的学习原稿是未篡改的原件的信息经由输入装置209输入至图像处理设备101。在步骤S302中，根据操作者的指示，图像处理设备101的读取单元111读取所放置的学习原稿以生成读取图像12。读取单元111将指示读取图像12是原始学习图像的标志附加到读取图像12。在步骤S303中，操作者将篡改后的学习原稿放置到图像处理设备101，并指示图像处理设备101读取该原稿。在这种情况下，操作者将指示所放置的学习原稿包括篡改部分的信息经由输入装置209输入至图像处理设备101。在步骤S304中，根据操作者的指示，图像处理设备101的读取单元111读取所放置的学习原稿以生成读取图像13。读取单元111将指示读取图像13是篡改学习图像的标志附加到读取图像13。在步骤S302和S304中，读取单元111读取学习原稿中所包括的标识信息，以识别出原始学习图像12和篡改学习图像13是同一学习原稿的原件和篡改版本的对。读取单元111将用于标识所识别出的学习原稿的原稿标识符(ID)与原始学习图像12和篡改学习图像13相关联。读取单元111进一步将用于标识经学习模型生成/更新的单位的数据集ID与原始学习图像12和篡改学习图像13相关联。作为示例，在针对各图像处理系统生成和/或更新一个经学习模型的情况下，数据集ID可以是用于唯一地标识图像处理设备101的标识符。作为另一示例，在针对各用户生成和/或更新一个经学习模型的情况下，数据集ID可以是用于唯一地标识各用户的标识符。作为又一示例，在针对各用户组生成和/或更新一个经学习模型的情况下，数据集ID可以是用于唯一地标识各用户组的标识符。在步骤S305中，读取单元111将这样生成的这些学习图像和相关数据(例如，原始学习图像12、篡改学习图像13、标志、原稿ID和数据集ID)发送至学习设备102。

图4是示出空白学习原稿的示例的示意图。在图4所示的示例中，学习原稿401是包括八个字符写入栏402的表格形式文档。操作者在各字符写入栏402中输入任意字符，以生成学习原稿的原件。学习原稿401具有位于右上角的标识信息403。标识信息(也称为嵌入信息)403是用于唯一地标识学习原稿401的原稿ID的视觉表现的二维代码。由原稿ID标识的学习原稿中所包括的字符写入栏的位置和大小是预先定义的，并且与学习设备102共享。原稿ID例如可以是通用唯一标识符(UUID)。

图5是示出图像处理设备101为了接收用于读取原稿的指示所使用的图形用户界面(GUI)的示例的示意图。图5所示的操作窗口500例如可以显示在显示装置210的画面上。操作窗口500包括预览区域501、类型选择按钮502和503、扫描按钮505、以及开始发送按钮506。类型选择按钮502和503使得操作者能够指定要读取的原稿或所读取的原稿的类型(也称为属性)是原件还是篡改版本。在用户操作(例如，轻击)类型选择按钮502的情况下，读取单元111将指示读取图像是篡改学习图像的标志附加到读取图像。相比之下，在用户操作类型选择按钮503的情况下，读取单元111将指示读取图像是原始学习图像的标志附加到读取图像。在操作窗口500中，可以以强调方式来显示与所指定的类型(原件或篡改版本)相对应的按钮。扫描按钮505用于触发图像处理设备101上所放置的原稿的读取。当用户操作扫描按钮505并且扫描完成时，将读取图像的预览图像显示在预览区域501中。在开始数据发送之前，操作者可以将另一原稿放置在图像处理设备101上，并再次操作扫描按钮505以将多个读取图像和相关数据整体存储在图像处理设备101中。当至少一个学习原稿的扫描完成、然后指定原稿类型时，开始发送按钮506变得可操作。开始发送按钮506用于触发读取图像和相关数据的发送。当用户操作开始发送按钮506时，读取单元111将学习图像和相关数据发送至学习设备102(参见图3A所示的步骤S305)。

在图3A所示的步骤S305中，学习设备102的数据处理单元121从图像处理设备101接收学习图像和相关数据。在步骤S306中，数据处理单元121指示存储单元123存储所接收到的学习图像和相关数据。当累积了足够量的数据以供学习时，数据处理单元121和学习单元122开始机器学习所用的处理。在步骤S307中，数据处理单元121从存储单元123读取一对原始学习图像12和篡改学习图像13，以从所读取的这些图像生成学习数据。

图6A、图6B和图6C示出如何基于学习图像来生成学习数据。图6A和图6B分别示出原始学习图像12的示例和篡改学习图像13的示例。如上所述，形成一对的原始学习图像12和篡改学习图像13包括共同的字符写入栏。在图6A所示的示例中，将数字“1”输入到原始学习图像12的字符写入栏402a。相比之下，篡改学习图像13的字符写入栏402b的内容已被篡改。由于添加了笔划，因此字符写入栏402b中的字符看起来像数字“4”。数据处理单元121将字符写入栏的部分图像从原始学习图像12和篡改学习图像13切出，并计算从共同的字符写入栏切出的部分图像之间的差图像。数据处理单元121可以基于通过读取标识信息403所获取到的原稿ID来获取要切出的字符写入栏的位置。在差图像中，假定指示零或者等于或小于预定阈值的绝对值的像素不属于篡改部分，并且假定指示大于该阈值的绝对值的像素属于篡改部分。图6C所示的字符区域图像611是从篡改学习图像13的字符写入栏402b切出的部分图像。字符区域图像611用作由学习单元122输入到机器学习模型的输入学习图像。图6C所示的二值图像612是通过以下过程生成和/或更新的图像：从原始学习图像12的字符写入栏402a切出部分图像；从字符区域图像611中减去(在根据需要定位之后的)该部分图像；以及基于上述阈值对如此得到的图像进行二值化。在二值图像612中，指示真的像素(例如，白色像素)属于篡改部分，并且指示假的像素(例如，黑色像素)不属于篡改部分。二值图像612用作要作为学习单元122进行的机器学习所用的教师数据来处理的教师图像。

学习图像可以包括无相应的篡改学习图像13的原始学习图像12。在这种情况下，数据处理单元121可以生成从原始学习图像12的字符写入栏402a切出的部分图像作为输入学习图像，并且生成具有相同大小的所有像素都指示假(即，指示整个图像不包括篡改部分)的二值图像作为教师图像。

数据处理单元121基于与同一数据集ID相关的多对原始学习图像12和篡改学习图像13来生成多个上述的输入图像和相应的教师图像。在步骤S308中，学习单元122在同一数据集ID的范围内使用这些输入图像和教师图像来重复地进行学习处理，由此生成和/或更新篡改检测所用的经学习模型41。经学习模型41不限于特定模型，而且可以是全卷积网络(FCN)模型。例如，学习处理的一次重复可以包括以下过程：将输入图像输入到模型；计算针对基于(具有临时参数值的)模型所计算出的输出数据的教师数据的误差；以及调整用于减少该误差的参数值。例如，可以使用交叉熵作为该误差的指标。例如，可以使用反向传播法作为用于调整参数值的技术。学习单元122可以重复学习处理，直到判断为学习收敛为止、或者直到重复次数达到上限值为止。然后，学习单元122将所生成和/或更新的经学习模型41(构成经学习模型41的一组模型参数)与相应数据集ID相关联地存储在存储单元123中。学习单元122可以针对两个或更多个不同的数据集ID生成和/或更新不同的经学习模型41。学习单元122可以通过使用新获取到的学习图像的附加学习处理来更新先前生成和/或更新的经学习模型41。学习单元122还可以通过在线学习方法、批(batch)学习方法和小批(mini-batch)学习方法中的任一个来选择要输入到学习处理的学习数据。

<3-2.篡改检测阶段>

(1)示意处理流程

在篡改检测阶段，在步骤S351中，用户将对象原稿放置到图像处理设备101，并指示图像处理设备101读取该原稿。用户与在学习阶段涉及的操作者可以相同或不同。在步骤S352中，图像处理设备101的读取单元111根据用户指示来读取所放置的对象原稿以生成读取图像21。在步骤S353中，用户指示图像处理设备101检测针对对象原稿的篡改。在步骤S354中，读取单元111根据用于检测篡改的指示，将指示读取图像21是处理对象图像的标志附加到读取图像21，并(例如，从存储器)获取与篡改检测有关的设置数据。所获取到的设置数据例如可以包括用于标识要用于篡改检测的学习模型的数据集ID(例如，用于标识图像处理设备101以及用户或用户组的标识符)。在步骤S355中，读取单元111将处理对象图像21和相关数据连同篡改检测请求一起发送至篡改检测服务器103。

在步骤S355中，篡改检测服务器103的图像获取单元131从图像处理设备101接收作为对象原稿的读取图像的处理对象图像21及相关数据、以及篡改检测请求。图像获取单元131将所接收到的图像和数据输出到检测单元132。在步骤S356中，检测单元132请求学习设备102提供最新的经学习模型41。要发送至学习设备102的模型请求可以包括数据集ID。在接收到模型请求时，在步骤S357中，学习设备102的学习单元122从存储单元123读取最新的经学习模型41，并将所读取的经学习模型41发送至检测单元132。最新的经学习模型41例如由数据集ID标识。在步骤S358中，检测单元132将处理对象图像21发送至OCR服务器104，以请求OCR服务器104识别处理对象图像21中所包括的字符。在接收到OCR请求之后，在步骤S359中，OCR服务器104的字符识别单元141对处理对象图像21进行OCR，以识别处理对象图像21中的字符和字符区域位置。在步骤S360中，字符识别单元141将指示识别结果的识别结果数据31发送至检测单元132。在步骤S361中，检测单元132将处理对象图像21应用到从学习设备102提供的经学习模型41，由此检测对象原稿中所包括的篡改部分。如上所述，经学习模型41是通过使用学习图像作为学习原稿的读取图像的机器学习所生成和/或更新的模型。在篡改检测处理中，例如，检测单元132针对作为OCR的结果所识别的各字符区域，将处理对象图像21的部分图像应用于处理对象图像21。由此，针对在处理对象图像21中识别的各字符的字符区域，生成作为指示各像素是否属于篡改部分的位图数据的篡改检测结果。在步骤S362中，检测单元132将检测结果数据32发送至图像处理设备101。检测结果数据32包括通过整合针对各字符区域所获得的位图数据而生成的具有与(指示各像素是否属于篡改部分的)处理对象图像21相同的大小的整合位图数据。在以下的说明中，该整合位图数据被称为检测结果图像。检测单元132可以附加地生成强调图像，并将所生成的强调图像包括在检测结果数据32中，该强调图像强调作为利用处理对象图像21的篡改检测的结果而被判断为属于篡改部分的像素(以下称为篡改像素)。

图7A示出处理对象图像21a作为示例。图7B示出指示针对处理对象图像21a的篡改检测结果的检测结果图像32a。图7C示出强调处理对象图像21a的篡改部分的强调图像32b。处理对象图像21a是通过将合同书作为对象原稿读取所生成的图像。处理对象图像21a包括多个字符区域。字符区域701a中的字符看起来像数字“4”。这些字符区域可以是作为由OCR服务器104的字符识别单元141进行的OCR的结果所识别的。篡改检测服务器103的检测单元132从处理对象图像21a切出各字符区域中的字符区域图像，并将经学习模型41应用于各字符区域图像。这使得检测单元132能够判断各字符区域中的各像素是否属于篡改部分。检测结果图像32a是将篡改检测结果整合为整个图像的二值图像。在检测结果图像32a中，被判断为属于篡改部分的像素指示真(例如，黑色像素)，并且被判断为不属于篡改部分的像素指示假(例如，白色像素)。例如，字符区域701a中的构成数字“4”的一些笔划的像素表示真。这意味着如下可能性：笔画是为了篡改而在之后添加的。强调图像32b是通过将检测结果图像32a中指示真的像素的颜色改变为特定颜色而在处理对象图像21a中生成的图像。这种情况下的特定颜色不受限制，例如可以是红色(RGB＝[255,0,0])。在图7C所示的示例中，在强调图像32b内的字符区域701a中数字“4”的一些笔划的颜色改变。用于强调被判断为属于篡改部分的像素的技术不限于上述的用于改变颜色的技术。该技术可以采取诸如使线变粗或闪烁等的任何方法。

在图3B所示的步骤S362中，图像处理设备101的显示控制单元112从篡改检测服务器103接收上述的检测结果数据32。在步骤S363中，显示控制单元112基于检测结果数据32来将篡改检测结果显示在画面上。在本典型实施例中，在检测结果数据32指示在对象原稿中检测到篡改部分的情况下，显示控制单元112将包括篡改部分的区域的强调图像以及比较图像以对比方式显示在画面上。在这种情况下，强调图像是强调处理对象图像21中的篡改部分的图像，并且比较图像是在处理对象图像21中原样表示篡改部分的图像。这使得用户能够基于强调图像来掌握图像的哪部分被怀疑篡改，并且通过监视比较图像中的相关部分的色感或浓淡来判断图像是否已被篡改。以下将说明这样的对比显示的示例和比较图像的一些变化。

(2)篡改检测阶段的具体处理流程(图像处理设备)

图8是示出由图像处理设备101在篡改检测阶段进行的具体处理流程的示例的流程图。图8所示的处理由图像处理设备101在执行从存储装置208加载到RAM 204中的控制器程序的CPU 201的控制下进行。可以在经由图像处理设备101的输入装置209检测到用户的预定操作时开始该处理。

在步骤S801中，读取单元111通过使用扫描器装置206来读取放置在输送装置207上的对象原稿以生成处理对象图像。处理对象图像例如可以是全色(RGB这3个通道)图像。在步骤S802中，读取单元111经由输入装置209接收到用户所输入的篡改检测指示。在步骤S803中，读取单元111将处理对象图像和相关数据(例如，数据集ID)连同篡改检测请求一起经由外部I/F 211发送至篡改检测服务器103。在步骤S804中，显示控制单元112等待从篡改检测服务器103接收检测结果数据32。在经由外部I/F 211从篡改检测服务器103接收到检测结果数据32时(步骤S804中为“是”)，处理进入步骤S805。在步骤S805中，显示控制单元112判断检测结果数据32是否指示对象原稿包括篡改部分。在显示控制单元112判断为对象原稿包括篡改部分的情况下(步骤S805中为“是”)，处理进入步骤S806。相比之下，在显示控制单元112判断为对象原稿不包括篡改部分的情况下(步骤S805中为“否”)，处理进入步骤S810。在步骤S806中，显示控制单元112基于用户输入来判断是以对比方式显示强调图像和比较图像作为篡改检测结果、还是仅显示强调图像作为篡改检测结果。如果判断为以对比方式显示强调图像和比较图像(步骤S806中为“是”)，则处理进入步骤S807。如果判断为仅显示强调图像(步骤S806中为“否”)，则处理进入步骤S808。在步骤S807中，显示控制单元112将用于强调处理对象图像中的篡改部分的强调图像和在处理对象图像中原样表示篡改部分的比较图像以对比方式显示在显示装置210的画面上。以下将参考图13A、图13B和图15来进一步说明对比显示的示例。在步骤S808中，显示控制单元112将用于强调处理对象图像中的篡改部分的强调图像显示在显示装置210的画面上。以下将参考图11B和图12来进一步说明显示的示例。在步骤S810中，显示控制单元112将指示在处理对象图像中未检测到篡改的信息显示在显示装置210的画面上。除了显示这样的篡改检测结果之外，图像处理设备101还可以将处理对象图像以及强调图像和比较图像作为图像数据存储在存储装置208中。可选地，图像处理设备101可以将这些图像经由外部I/F 211发送至其它设备。可选地，可以利用打印机装置205打印这些图像中的一个或多个。

(3)篡改检测阶段的具体处理流程(篡改检测服务器)

图9是示出由篡改检测服务器103在篡改检测阶段进行的具体处理流程的示例的流程图。图9所示的处理由篡改检测服务器103在执行从存储装置265加载到RAM 264中的控制器程序的CPU 261的控制下进行。可以在经由外部I/F 268从图像处理设备101接收到篡改检测请求时开始该处理。可以在篡改检测服务器103的电源接通(ON)时开始等待篡改检测请求的处理。

在步骤S901中，图像获取单元131经由外部I/F 268从图像处理设备101接收到处理对象图像和相关数据(例如，数据集ID)以及篡改检测请求。在步骤S902中，检测单元132将用于提供经学习模型的请求经由外部I/F 268发送至学习设备102，并且从学习设备102获取到经学习模型。检测单元132获取由例如连同篡改检测请求一起接收到的数据集ID所标识的经学习模型。检测单元132例如在RAM 264上建立神经网络模型，并且将从学习设备102接收到的模型参数的值反映到所建立的模型。在步骤S903中，检测单元132将用于对处理对象图像进行OCR的请求连同处理对象图像一起经由外部I/F 268发送至OCR服务器104，并且从OCR服务器104接收到表示OCR结果的识别结果数据。在步骤S904中，检测单元132将在处理对象图像中识别出的字符中的一个字符区域图像从处理对象图像切出，并将所切出的字符区域图像应用于在步骤S902中获取到的经学习模型。检测单元132由此判断字符区域图像内的多个像素中的各像素是否属于篡改部分。字符区域图像在被应用到经学习模型之前可被进行灰阶化。该判断的结果是与图6C所示的二值图像612类似的位图数据。在步骤S905中，检测单元132判断在处理对象图像中是否剩余任何未处理的字符区域。如果在处理对象图像中剩余未处理的字符区域(步骤S905中为“是”)，则处理返回到步骤S904。在步骤S904中，检测单元132对下一字符区域重复步骤S904的判断。相比之下，如果在处理对象图像中没有剩余未处理的字符区域(步骤S905中为“否”)，则处理进入步骤S906。在步骤S906中，检测单元132将作为步骤S904的重复的结果而针对各个字符区域所获取到的检测结果整合到一个位图数据中，由此生成检测结果图像。在步骤S907中，检测单元132生成用于强调处理对象图像中的篡改部分的强调图像。在步骤S908中，检测单元132将包括检测结果图像和强调图像的检测结果数据32经由外部I/F 268发送至图像处理设备101。

在上述示例中，检测单元132基于OCR结果来从处理对象图像切出字符区域图像。然而，没有必要一定使用OCR。例如，如果对象原稿是具有已知格式的表格，则检测单元132可以根据已知格式来将预定位置处的部分区域(例如，正方形区域)中的图像作为字符区域图像从处理对象图像切出。

<<4.显示控制的详情>>

图10是示出用于设置和指定篡改检测的GUI的示例的示意图。可以在图像处理设备101的显示控制单元112的控制下将该GUI显示在显示装置210的画面上。图10所示的设置窗口1000包括预览区域1001、强调篡改按钮1002、改变文件名按钮1003、文件夹分配按钮1004、扫描按钮1005和开始发送按钮1006。强调篡改按钮1002用于设置是否启用在显示篡改检测结果时的篡改部分的强调。改变文件名按钮1003用于基于篡改检测结果来设置是否启用读取图像数据的文件名的自动改变。文件夹分配按钮1004用于基于篡改检测结果来设置是否启用针对读取图像数据的自动文件夹分配。在设置窗口1000中，可以以强调方式显示与启用的设置相对应的按钮。扫描按钮1005用于触发图像处理设备101上所放置的原稿的读取。当用户操作扫描按钮1005并且扫描完成时，将读取图像的预览图像显示在预览区域1001中。在开始数据发送之前，用户可以将另一原稿放置在图像处理设备101上并再次操作扫描按钮1005以指示图像处理设备101将多个读取图像和相关数据整体存储在图像处理设备101中。当至少一个对象原稿的扫描完成时，开始发送按钮1006变得可操作。开始发送按钮1006用于输入用于触发处理对象图像和相关数据的发送的篡改检测指示。当用户操作开始发送按钮1006时，读取单元111将处理对象图像和相关数据连同篡改检测请求一起发送至篡改检测服务器103。

图11A和11B是示出用于显示篡改检测结果的列表和篡改检测结果的详情的GUI的示例的示意图。可以在显示控制单元112的控制下将该GUI显示在显示装置210的画面上。图11A所示的列表窗口1100包括列表区域1101、改变文件名按钮1103、文件夹分配按钮1104和OK按钮1105。列表区域1101显示与三个不同对象原稿的篡改检测结果相对应的三个列表项1102a、1102b和1102c的列表。各列表项包括用于标识对象原稿(或相应的读取图像)的数据项“原稿ID”、指示何时进行了篡改检测的“日期和时间”、以及指示在原稿中是否检测到篡改的“篡改的有无”。在各列表项的右端，预览读取图像。在图11A所示的示例中，作为篡改检测的结果，具有原稿ID＝“Scan1”和“Scan3”的两个对象原稿被判断为包括篡改部分。相比之下，具有原稿ID＝“Scan2”的对象原稿被判断为不包括篡改部分。显示控制单元112可以判断为在检测结果数据32中所包括的检测结果图像中一个或多个像素被判断为属于篡改部分的对象原稿是“有篡改”。当用户操作(例如，轻击)列表项1102a时，显示控制单元112将用于显示由原稿ID＝“Scan1”标识的对象原稿的详细窗口1150(图11B)显示在画面上。改变文件名按钮1103基于篡改检测结果来触发读取图像数据的文件名的自动改变的执行。如果用户操作改变文件名按钮1103，则显示控制单元112自动改变与复选框已被选中的对象原稿相对应的读取图像数据的文件名。例如，在“有篡改”的读取图像数据的情况下，可以向读取图像数据的文件名应用意味着存在篡改的预定前缀或后缀(例如，“有篡改”)。在“无篡改”的读取图像数据的情况下，可以向文件名应用意味着不存在篡改的预定前缀或后缀(例如，“无篡改”)。文件夹分配按钮1104基于篡改检测结果来触发读取图像数据的自动文件夹分配的执行。如果用户操作文件夹分配按钮1104，则显示控制单元112将与复选框已被选中的对象原稿相对应的读取图像数据自动分配到多个文件夹其中之一。例如，可以将“有篡改”的读取图像数据存储在第一文件夹(例如，文件夹名“有篡改”)中。可以将“无篡改”的读取图像数据存储在第二文件夹(例如，文件夹名“无篡改”)中。当用户操作OK按钮1105时，显示控制单元112结束列表窗口1100的显示。

图11B所示的详细窗口1150包括图像显示区域1151、纠正按钮1153、对比显示按钮1154、发送按钮1155、打印按钮1156和OK按钮1157。图像显示区域1151是用于显示列表窗口1100中所指定的对象原稿的强调图像的区域。在图11B所示的示例中，在图像显示区域1151中显示强调图像32b。当用户操作纠正按钮1153时，显示控制单元112将用于使得用户能够纠正篡改检测结果的(以下所述的)纠正窗口1200显示在画面上。当用户操作对比显示按钮1154时，显示控制单元112将强调图像和比较图像以对比方式布置于的(以下所述的)对比显示窗口1300或1350显示在画面上。对比显示按钮1154仅针对作为篡改检测的结果而被判断为包括篡改部分的对象原稿才能够变得可操作。当用户操作发送按钮1155时，显示控制单元112将所指定的对象原稿的处理对象图像和强调图像中的任一个或这两者发送至其它设备。该图像发送可以通过使用任何方法(诸如将图像附加至电子邮件、或者发送描述文件服务器上的图像的链接的电子邮件或其它消息等)来进行。发送目的地可以是在图像处理设备101中登记的目的地，或者可以由用户经由目的地弹出窗口(未示出)指定。当用户操作打印按钮1156时，显示控制单元112指示打印机装置205打印所指定的对象原稿的处理对象图像和强调图像中的任一个或这两者。当用户操作OK按钮1157时，显示控制单元112结束详细窗口1150的显示，并且将列表窗口1100重新显示在画面上。

图12是示出用于使得用户能够纠正篡改检测结果的GUI的示例的示意图。可以在显示控制单元112的控制下将该GUI显示在显示装置210的画面上。图12所示的纠正窗口1200包括图像显示区域1201、指定篡改像素按钮1203、取消篡改像素按钮1204和OK按钮1205。图像显示区域1201是用于显示所指定的对象原稿的强调图像的区域。在图12所示的示例中，在图像显示区域1201中显示强调图像32b。当用户操作指定篡改像素按钮1203时，显示控制单元112将用户在图像显示区域1201中指定的像素改变为篡改检测结果中属于篡改部分的像素。当用户操作取消篡改像素按钮1204时，显示控制单元112将用户在图像显示区域1201中指定的像素改变为篡改检测结果中不属于篡改部分的像素。当用户操作OK按钮1205时，显示控制单元112将用户所进行的篡改检测结果的纠正反映到检测结果数据32，并且结束纠正窗口1200的显示。当用户以这种方式纠正篡改检测结果时，可以基于纠正后的篡改检测结果来进行文件名的自动改变或自动文件夹分配。这些自动功能是通过在图11A所示的列表窗口1100中操作按钮1103或1104所触发的。这使得可以基于纠正之后的篡改检测结果来在验证篡改的有无之后(根据文件夹名或存储文件夹)更准确地进行人工或系统的原稿处理。

当用户经由上述纠正窗口1200纠正篡改检测结果时，显示控制单元112可以基于纠正之后的篡改检测结果来更新经学习模型。更具体地，显示控制单元112将处理对象图像和纠正之后的检测结果图像的对连同模型更新请求一起发送至学习设备102。当接收到来自显示控制单元112的模型更新请求时，学习设备102的学习单元122可以通过使用针对处理对象图像中的各字符区域的字符区域图像作为输入图像、并且使用针对检测结果图像中的相同字符区域的字符区域图像作为教师图像，来更新经学习模型。因而，对有可能被当前经学习模型误检测到的像素的模式进行再学习，由此有效地提高利用经学习模型的篡改检测的精度。

图13A是示出强调图像和比较图像以对比方式布置于的GUI的第一示例的示意图。可以在显示控制单元112的控制下将该GUI显示在显示装置210的画面上。在第一示例中，GUI显示表示整个对象原稿的强调图像和比较图像。图13A所示的对比显示窗口1300包括强调图像显示区域1301、比较图像显示区域1302、基于字符的显示按钮1303、纠正按钮1305和OK按钮1306。在图13A所示的示例中，在强调图像显示区域1301中显示强调图像32b，并且在比较图像显示区域1302中显示比较图像21a。强调图像32b是强调对象原稿的读取图像中被判断为属于篡改部分的像素的图像。与处理对象图像21a相同的比较图像21a将被判断为属于篡改部分的像素原样(无强调地)表示在读取图像中。当用户操作基于字符的显示按钮1303时，显示控制单元112将画面改变为针对各字符区域所切出的强调图像和比较图像以对比方式布置于的(以下所述的)对比显示窗口1350。当用户操作纠正按钮1305时，显示控制单元112将使得用户能够纠正篡改检测结果的上述纠正窗口1200显示在画面上。当用户操作OK按钮1306时，显示控制单元112结束对比显示。

图13B是示出强调图像和比较图像以对比方式布置于的GUI的第二示例的示意图。可以在显示控制单元112的控制下将该GUI显示在显示装置210的画面上。在第二示例中，GUI将强调图像和比较图像显示为基于字符的部分图像(字符区域图像)。图13B所示的对比显示窗口1350包括列表区域1351、整体显示按钮1353、改变比较模式按钮1354和OK按钮1356。列表区域1351将在对象原稿中识别的一个或多个字符的字符区域以可垂直滚动的方式用列表形式显示。在图13B所示的示例中，在列表区域1351中显示两个列表项1352a和1352b。各列表项可以由对象原稿的原稿ID和赋予至各字符区域的编号(“No.”)的组合来唯一地标识。列表区域1351包括中央的强调图像显示区域1361和右端的比较图像显示区域1362。各强调图像显示区域1361显示包括强调的篡改部分的强调图像中的一个字符区域的部分图像。在这种情况下，部分图像也被称为强调图像。各比较图像显示区域1362显示包括未被强调的篡改部分的处理对象图像中的一个字符区域的部分图像。在这种情况下，部分图像也被称为比较图像。然而，比较图像显示区域1362中所显示的比较图像的内容可以根据(以下所述的)比较模式而改变。当用户操作(例如，轻击)强调图像显示区域1361或比较图像显示区域1362时，显示控制单元112将使得用户能够纠正针对各字符区域的篡改检测结果的(以下所述的)纠正窗口1500显示在画面上。当用户操作整体显示按钮1353时，显示控制单元112将画面改变为上述的对比显示窗口1300。当用户操作改变比较模式按钮1354时，显示控制单元112根据用户输入来改变比较模式设置(如下所述)。当用户操作OK按钮1356时，显示控制单元112结束对比显示。

显示控制单元112可以仅支持单个比较模式、或者将对比显示所用的比较模式在多个比较模式的候选之间动态地切换。在单个比较模式的情况下，对比显示窗口1350无需包括改变比较模式按钮1354。在切换对比显示所用的比较模式的情况下，比较模式的候选例如可以包括以下模式中的两个或更多个：

*比较模式C1：比较图像是包括未强调的篡改部分的字符区域的图像。

*比较模式C2：比较图像包括包含未强调的篡改部分的字符区域以及该字符区域的周边区域。

*比较模式C3：比较图像包括表示与由强调图像表示的字符相同的字符的另一字符区域的图像。

*比较模式C4：比较图像是包括被抑制或未显示的篡改部分的字符区域的图像。

显示控制单元112可以将这些比较模式的候选的列表显示在画面上，以使得用户能够指定期望的比较模式。可选地，可以通过对改变比较模式按钮1354的每个用户操作来按预定顺序拨动(顺次改变)比较模式的设置。显示控制单元112可以根据用户以这种方式指定的比较模式，来改变要显示在对比显示窗口1350内的比较图像显示区域1362中的比较图像的内容。

图14A示出比较模式C1中的比较图像的示例。图14A所示的比较图像1401是以与相应的强调图像所表示的字符的字符区域相同的位置和相同的大小从处理对象图像切出的图像。在比较图像1401中，篡改部分未被强调，而是原样在通过读取对象原稿所生成的读取图像中表示。比较模式C1使得用户能够看一眼就掌握强调图像和比较图像中的字符构成的部分之间的对应关系。

图14B示出比较模式C2中的比较图像的示例。图14B所示的比较图像1402是从包括比较图像1401的周边区域的处理对象图像切出的图像。另外，在比较图像1402中，篡改部分未被强调，而是原样在通过读取对象原稿所生成的读取图像中表示。比较模式C2使得用户能够通过被怀疑篡改的字符前后的字符来评价诸如色感、浓淡和笔划特征等的要素，由此验证篡改检测结果。

图14C示出比较模式C3中的比较图像的示例。比较模式C3使得用户能够将例如比较图像1401和1403显示在对比显示窗口1350内的比较图像显示区域1362中。比较图像1403是表示与在相应强调图像的字符区域中所表示的字符相同的字符的另一字符区域的图像。显示控制单元112可以例如基于OCR结果来判断在不同位置输入的两个字符是否相同。另外，在比较图像1403中，篡改部分未被强调，而是原样在通过读取对象原稿所生成的读取图像中表示。比较模式C3使得用户能够参考与被怀疑篡改的字符相同的字符的诸如色感、浓淡和笔划特征等的要素，由此验证篡改检测结果。

图14D示出比较模式C4中的比较图像的示例。图14D所示的比较图像1404是以与相应的强调图像所表示的字符的字符区域相同的位置和相同的大小从处理对象图像切出的图像。然而，不同于比较图像1401，比较图像1404中的篡改部分被抑制或未显示。比较模式C4使得用户能够在不存在有可能通过篡改而添加的笔划的状态下查看原稿的内容，并且通过仅关注于被判断为不属于篡改部分的像素来验证篡改检测结果。

图15是示出用于使得用户能够纠正篡改检测结果的GUI的另一示例的示意图。可以在显示控制单元112的控制下将该GUI显示在显示装置210的画面上。图15所示的纠正窗口1500包括强调图像显示区域1501、比较图像显示区域1502、改变比较模式按钮1503、指定篡改像素按钮1504、取消篡改像素按钮1505和OK按钮1506。强调图像显示区域1501是用于显示所指定的对象原稿中的字符区域的强调图像的区域。在图15所示的示例中，在强调图像显示区域1501中显示强调图像1511。比较图像显示区域1502是用于显示所指定的对象原稿中的字符区域的比较图像的区域。在图15所示的示例中，在比较图像显示区域1502中显示比较图像1512。在该示例中，设置上述的比较模式C1。当用户操作改变比较模式按钮1503时，显示控制单元112将比较模式的设置在上述两个或更多个比较模式的候选之间改变，并且将与新设置的比较模式相对应的比较图像显示在比较图像显示区域1502中。当用户操作指定篡改像素按钮1504时，显示控制单元112将用户在强调图像显示区域1501中指定的像素改变为篡改检测结果中属于篡改部分的像素。当用户操作取消篡改像素按钮1505时，显示控制单元112将用户在强调图像显示区域1501中指定的像素改变为篡改检测结果中不属于篡改部分的像素。当用户操作OK按钮1506时，显示控制单元112将用户对篡改检测结果的纠正反映到检测结果数据32，并且结束纠正窗口1500的显示。

图16是示出在检测到对象原稿的篡改的情况下由图像处理设备101进行的具体显示控制处理流程的示例的流程图。图16所示的处理由图像处理设备101在执行从存储装置208加载到RAM 204的控制器程序的CPU 201的控制下进行。该处理可以等同于图8所示的步骤S807。

在步骤S1601中，显示控制单元112判断基于字符的对比显示和整体对比显示中的哪个被指定为对比显示的显示模式。例如，当用户操作图11B所示的详细窗口1150的对比显示按钮1154或图13B所示的对比显示窗口1350的整体显示按钮1353时，显示控制单元112可以判断为指定了整体对比显示。相比之下，当用户操作图13A所示的对比显示窗口1300的基于字符的显示按钮1303时，显示控制单元112可以判断为指定了基于字符的对比显示。如果显示控制单元112判断为指定了基于字符的对比显示(步骤S1601中为“是”)，则处理进入步骤S1602。相比之下，如果显示控制单元112判断为指定了整体对比显示(步骤S1601中为“否”)，则处理进入步骤S1620。

在步骤S1602中，显示控制单元112获取表示图像中的一个或多个字符区域的位置和大小的字符区域数据。例如，显示控制单元112可以将指示由OCR服务器104进行的字符识别的结果的识别结果数据31以及检测结果数据32一起从篡改检测服务器103接收作为字符区域数据。可选地，如果对象原稿是具有已知格式的表格，则显示控制单元112可以从存储装置208中获取以已知格式所包括的包含字符区域的预定义的位置和大小的字符区域数据。针对包括在由字符区域数据指示的字符区域中的包含基于检测结果数据32而被判断为属于篡改部分的像素的各字符区域，重复后续步骤S1603和S1612。参考图7A所示的处理对象图像21a和检测结果图像32a，例如，字符区域701a和字符区域701a的右侧的两个相邻的正方形字符区域是包括被判断为属于篡改部分的像素的字符区域。因而，对于这三个字符区域重复步骤S1603至S1612。

在步骤S1603中，显示控制单元112选择包括篡改部分的字符区域其中之一。在下文，所选择的字符区域被称为选择区域。在步骤S1604中，显示控制单元112根据在字符区域数据中指示的位置和大小来从强调图像切出选择区域的部分图像。在步骤S1605中，显示控制单元112判断当前设置的比较模式是否是比较模式C2。如果当前设置了比较模式C2(步骤S1605中为“是”)，则处理进入步骤S1606。如果当前设置了比较模式C1、C3或C4(步骤S1605中为“否”)，则处理进入步骤S1607。在步骤S1606中，显示控制单元112从读取图像切出包括选择区域和该选择区域外侧的周边区域的部分图像。作为示例，包括周边区域的部分图像的大小可以在水平方向上是选择区域的大小的W倍且在垂直方向上是选择区域的大小的H倍(倍率W和H大于预设值1，例如，W＝4和H＝2)。作为另一示例，可以将周边区域动态地设置为包括选择区域的附近的N个字符(N是预设整数)的区域。在比较模式C2中(步骤S1605中为“是”)，在步骤S1606中切出的部分图像用作比较图像。在比较模式C1、C3或C4中(步骤S1605中为“否”)，处理进入步骤S1607。在步骤S1607中，显示控制单元112从读取图像切出选择区域的部分图像。在当前设置了比较模式C1的情况下，在步骤S1607中切出的部分图像用作比较图像。在当前设置了比较模式C3的情况下(步骤S1608中为“是”)，处理进入步骤S1609。在步骤S1609中，显示控制单元112从读取图像切出表示与在选择区域中表示的字符相同的字符的其它一个或多个字符区域的部分图像。其它字符区域期望地是不包括被判断为属于篡改部分的像素的区域。显示控制单元112可以请求OCR服务器104进行OCR，并且基于从OCR服务器104返回的字符识别结果来识别表示与在选择区域中表示的字符相同的字符的另一字符区域。如果在对象原稿中不存在这样的其它字符区域，则可以跳过步骤S1609。在比较模式C3中，在步骤S1607和S1609中切出的部分图像的组合(例如，包括并排布置的两个部分图像的图像)用作比较图像。在当前设置了比较模式C4的情况下(步骤S1608中为“否”、步骤S1610中为“是”)，处理进入步骤S1611。在步骤S1611中，显示控制单元112抑制在步骤S1607中切出的部分图像中的被判断为属于篡改部分的像素的值。抑制的示例是：显示控制单元112将像素值纠正为诸如白色等的与背景颜色相同的颜色、或者接近于背景颜色的颜色。在比较模式C4中，以这种方式处理的部分图像用作比较图像。在步骤S1612中，显示控制单元112判断是否存在包括被判断为属于篡改部分的像素的未处理的字符区域。如果剩余这样的未处理的字符区域(步骤S1612中为“是”)，则处理返回到步骤S1603。然后，显示控制单元112对下一字符区域重复上述步骤S1603至S1611。如果没有剩余未处理的字符区域(步骤S1612中为“否”)，则处理进入步骤S1613。

在步骤S1613中，显示控制单元112将针对各字符区域的一对或多对强调图像和比较图像以对比方式显示在对比显示窗口中。这样的基于字符的对比显示使得用户能够基于强调图像来掌握各字符构成的哪部分有可能被篡改，并且通过检查比较图像中的相关部分的色感或浓淡来判断各字符是否已被篡改。

在步骤S1620中，显示控制单元112将表示整个对象原稿的强调图像和比较图像(读取图像)以对比方式显示在对比显示窗口中。如上所述，本典型实施例使得能够在表示整个原稿的整体对比显示和上述基于字符的对比显示之间进行平滑切换。由此，用户可以在整体显示中原稿中的哪个位置的字符有可能被篡改的概略掌握与基于字符的显示中的各个体字符的验证之间切换，因而用户可以通过对象原稿高效地验证篡改检测结果。

在图16中，显示控制单元112利用从篡改检测服务器103接收到的强调图像。然而，显示控制单元112可以基于篡改检测结果来从处理对象图像(读取图像)生成强调图像。

<<5.变形例>>

以上主要集中于用于将各字符区域中的字符区域图像应用于经学习模型以判断该字符区域中的各像素是否属于篡改部分的技术说明了典型实施例。然而，用于篡改检测的技术不限于上述示例。例如，作为第一变形例，篡改检测可以不是以像素为单位而是以字符为单位进行。基于字符的篡改检测例如可以利用通过代替使用指示各像素是否属于篡改部分的教师图像(例如，图6C所示的二值图像612)而是使用指示各字符图像是否包括篡改部分的标志作为教师数据所生成和/或更新的经学习模型。经学习模型可以是输出用于指示一个字符区域图像(输入图像)是否包括篡改部分的位的任何判断型模型。例如，可以利用作为一种神经网络模型的视觉几何组(VGG)。

图17示出根据第一变形例的基于针对各字符的篡改检测的结果来以对比方式布置强调图像和比较图像的GUI的示例。图17所示的对比显示窗口1700包括强调图像显示区域1701、比较图像显示区域1702、基于字符的显示按钮1703、纠正按钮1305和OK按钮1306。在图17所示的示例中，在强调图像显示区域1701中显示强调图像1732，并且在比较图像显示区域1702中显示比较图像1721。强调图像1732是用于强调对象原稿的读取图像中被判断为包括篡改部分的字符区域中的字符的图像。比较图像1721与处理对象图像21a相同。比较图像1721是在读取图像中原样(无强调地)表示被判断为包括篡改部分的字符区域中的字符的图像。当用户操作基于字符的显示按钮1703时，显示控制单元112可以将画面改变为针对各字符区域所切出的强调图像和比较图像以对比方式布置于的对比显示窗口(未示出)。

在第二变形例中，代替使用判断型模型，可以通过使用用于对字符区域图像进行编码以提取字符的特征量的自动编码器型模型(例如，变分自编码器(VAE))来进行篡改检测。VAE的学习处理包括用于基于输入图像来计算降维特征量的编码器处理和用于基于所计算出的特征量来恢复输入图像的解码器处理。编码器具有神经网络结构，并且解码器具有编码器的逆结构。模型误差被评价为输入图像和恢复图像之间的差(例如，交叉熵)。通过例如反向传播法来调整模型参数的值，使得误差减小。在这种情况下，不使用篡改学习图像和教师数据。在学习阶段，学习设备102通过使用多个原始学习图像的学习处理来生成和/或更新用于从字符区域图像中提取未篡改字符的特征量的经学习模型。通常，生成和/或更新可以针对所有字符提取合适的特征量所根据的单个模型是不现实的。因此，学习设备102可以针对各字符类型学习不同模型参数的值。例如，可以将字符“1”、“2”和“3”作为不同的字符类型来处理。在篡改检测阶段，例如，篡改检测服务器103将各字符区域图像应用于与作为OCR的结果所识别的字符类型相对应的经学习模型的编码器，并且从字符区域图像中提取特征量。篡改检测服务器103获取针对具有相同字符类型的已知未篡改字符区域图像所预先提取的参考特征量。如果两个特征量之间的差满足预定条件(例如，如果曼哈顿距离(Manhattan distance)等于或小于阈值)，则篡改检测服务器103可以判断为字符区域图像不包括篡改部分。相比之下，如果从字符区域图像中提取的特征量与参考特征量之间的曼哈顿距离超过上述阈值，则篡改检测服务器103可以判断为字符区域图像包括篡改部分。根据本变形例，与第一变形例相同，篡改检测服务器103判断在处理对象图像中识别的各个字符是否包括篡改部分(即，基于字符的篡改检测)。可以以与以上参考图17所述的示例类似的方式进行根据本变形例的强调图像和比较图像的对比显示。

上述典型实施例主要集中于强调图像和比较图像水平地布置在对比显示窗口中的示例。然而，强调图像和比较图像可以沿除水平方向以外的任何期望方向布置。强调图像和比较图像也可以显示在不同的窗口中。作为第三变形例，强调图像和比较图像代替在空间上以对比方式布置，也可以在不同的定时显示。例如，可以在单个图像显示区域中交替地且重复地进行X秒的强调图像显示和X秒的比较图像显示。根据本说明书的术语“对比显示”包括所有的这些显示模式。

<<6.总结>>

以上参考图1至图17详细说明了本发明的典型实施例。根据上述典型实施例，通过使用对象原稿的读取图像来检测对象原稿中所包括的篡改部分，并且将用于强调读取图像中的篡改部分的强调图像和在读取图像中原样表示篡改部分的比较图像以对比方式显示在画面上。当用户验证篡改检测结果时，上述结构使得能够清楚地向用户呈现图像中的哪个部分有可能被篡改，同时向用户呈现比较图像中的相关部分的原始色感和浓淡。这使得用户能够掌握篡改部分的位置，并且基于相关部分的色感或浓淡来容易地验证检测结果。

上述典型实施例使得能够根据用户从比较图像的内容不同的两个或更多个比较模式中选择的比较模式来以对比方式显示强调图像和比较图像。第一比较模式使得用户能够立即掌握强调图像和比较图像中的字符构成的部分之间的对应关系。第二比较模式使得用户能够基于有可能被篡改的字符前后的字符来评价诸如色感、浓淡和笔划特征等的要素，由此验证篡改检测结果。第三比较模式使得用户能够参考与有可能被篡改的字符相同的(另一字符区域中的)字符的诸如色感、浓淡和笔划特征等的要素，由此验证篡改检测结果。第四比较模式使得用户能够在不存在有可能通过篡改而添加的笔划的状态下查看原稿的内容，并且通过仅关注于被判断为不属于篡改部分的像素来验证篡改检测结果。允许在这些比较模式之间进行灵活切换使得用户能够有效地进行用于验证篡改检测结果的操作。

上述典型实施例可以向用户提供使得用户能够纠正指示读取图像的哪个部分被判断为已被篡改的篡改检测结果的用户界面。当用户通过监视强调图像和比较图像的对比显示发现检测错误时，上述结构使得用户能够立即纠正该检测错误。这使得可以在验证篡改的有无之后，将用户适当纠正后的篡改检测结果平稳地传递到人工的或系统的处理。

特定典型实施例使得可以判断读取图像中的多个像素中的各像素是否属于篡改部分，并且在强调图像中强调被判断为属于篡改部分的像素。在这种情况下，可以从视觉上向用户呈现详细的篡改检测结果。例如，在向各个体字符添加了笔划的篡改的情况下，仅强调这些笔划。特定变形例使得可以判断读取图像中的一个或多个字符区域中的各字符区域是否包括篡改部分，并且在强调图像中强调被判断为包括篡改部分的字符区域中的字符。在这种情况下，由于篡改检测所需的计算处理的负荷低，因此即使读取图像具有大量数据，也可以将篡改检测结果迅速地呈现给用户。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。