阅读说明：本技术 图像形成装置、图像形成方法、系统以及非临时记录介质 (Image forming apparatus, image forming method, system, and non-transitory recording medium ) 是由 奥村允 栋朝洋树 景山洋行 于 2020-04-23 设计创作，主要内容包括：本发明提供能够提高用户的操作性的图像形成装置等。图像形成装置(10)具备控制部(100)、显示部(150)以及图像形成部(130),并能够通过声音操作来执行处理功能,其特征在于,控制部(100)通过根据来自用户的声音操作来开始操作这样的指令,在显示部(150)显示包含指令的声音操作用画面,基于声音输入了根据声音操作执行任务的指令,在图像形成部(130)中执行任务。(The invention provides an image forming apparatus and the like capable of improving operability of a user. An image forming apparatus (10) is provided with a control unit (100), a display unit (150), and an image forming unit (130) and is capable of executing a processing function by voice operation, wherein the control unit (100) displays a voice operation screen including a command on the display unit (150) by starting an operation in accordance with a voice operation from a user, and executes a task in the image forming unit (130) in accordance with a voice input of the command for executing the task in accordance with the voice operation.)

图像形成装置、图像形成方法、系统以及非临时记录介质

技术领域

本发明涉及图像形成装置等。本申请对2019年4月26日在日本提出申请的日本专利特愿2019-86054主张优先权的利益，并且通过参考将使其全部内容并入至本申请中。

背景技术

以往的图像形成装置为了满足用户的要求，在通常的复印操作中也存在许多设定项目。因此，对于不熟悉操作的用户而言，难以理解操作方法，存在操作失误、在操作上耗费时间这样的问题。

因此，为了解决该问题，作为以往技术，公开有：具备专利文献1所述的“简易设定”、专利文献2所述的“简易复印”等功能而能够供用户简易地指示基本操作。

对于“简易设定”、“简易复印”等功能而言，其目的在于：通过预先准备多组经常使用的设定项目和各设定值的组合并显示为选项，或者对设定项目进行限定，从而简化用户的操作。

另一方面，在近年来的图像形成装置中，已知有具备声音输入部，通过用户和装置的对话，根据基于用户声音的指示，进行任务的设定、处理，用户不进行手动操作而执行任务。

然而，在欲根据声音的指示进行简易操作的情况下，使用基于上述以往技术的“简易设定”、“简易复印”等功能也并不容易。

现有技术文献

专利文献

专利文献1：日本专利特开2018-157241号公报

专利文献2：日本专利特开2017-5475号公报

发明内容

本发明所要解决的技术问题

在专利文献1所公开的技术中，例如产生如下问题：在“简易设定”中显示有组合了复印属性值的三个选项的情况下，如何“发话”进行指示并不容易。

例如，用户可以读完显示的词句，并对装置进行声音指示，但产生以下问题：若指示内容多(词句较长)，则声音指示变繁琐，反而变成麻烦的操作。

另外，例如产生以下问题：若如“倍率为100％、3份、浓度淡、输出到托盘2、无装订、无打孔、有分类”等那样词句较长，则声音识别失败的概率变高。

另外，在专利文献2所公开的技术中，例如产生如下问题：在“简易复印”的设定中，变更与浓度、供纸托盘相关的设定值的情况下，如何“发话”进行指示并不容易。

这样，在以往的图像形成装置中，虽然通过上述的专利文献1、2而公开了关于能够实现简易操作的画面UI，但无法容易地通过声音操作简易地进行指示。

本公开是鉴于上述以往的课题而完成的，其目的在于提供能够提高用户的操作性的图像形成装置等。

解决问题的方案

本公开所涉及的图像形成装置具备控制部、显示部以及图像形成部，并能够通过声音操作来执行处理功能，其特征在于，通过上述控制部，在上述显示部显示包含指令显示的声音操作用画面，基于通过声音操作声音输入指令而在上述图像形成部中执行处理功能。

另外，本公开所涉及的图像形成方法为具备控制部、显示部以及图像形成部，并能够通过声音操作来执行处理功能的图像形成装置的图像形成方法，其特征在于，具备：在上述显示部显示包含指令显示的声音操作用画面的工序；和基于通过声音操作声音输入指令而在上述图像形成部中执行处理功能的工序。

另外，本公开所涉及的非临时记录介质存储有程序，记录有具备控制部、显示部以及图像形成部并能够通过声音操作执行处理功能的图像形成装置的程序，其特征在于，上述程序使计算机实现：显示功能，在上述显示部显示包含指令显示的声音操作用画面；和执行功能，基于通过声音操作声音输入指令而在上述图像形成部中执行处理功能。

发明效果

根据本公开的图像形成装置等，能够容易且明确地进行声音操作，因此能够提高用户的操作性。

附图说明

图1是表示采用了第一实施方式所涉及的图像形成装置的图像形成系统的结构的说明图。

图2是表示上述图像形成装置的整体结构的说明图。

图3是表示上述图像形成装置的电气结构的框图。

图4是表示构成上述图像形成系统的声音装置的结构的框图。

图5是表示构成上述图像形成系统的声音识别服务器的结构的框图。

图6是表示构成上述图像形成系统的对话服务器的结构的框图。

图7是表示上述对话服务器的存储部所存储的MFP能力/状态管理表的一个例子的说明图。

图8是表示上述图像形成装置的显示部所显示的待机画面的一个例子的说明图。

图9是表示在上述图像形成装置中开始声音操作时，显示部所显示的第一声音操作用画面的一个例子的说明图。

图10是表示在上述图像形成装置的声音操作中指示了指令时，显示部所显示的第二声音操作用画面的一个例子的说明图。

图11是表示在上述图像形成装置的声音操作中执行任务时的任务执行画面的一个例子的说明图。

图12是表示在第一实施方式所涉及的图像形成系统中进行声音指示的情况下的动作处理的序列图。

图13是表示上述图像形成系统中的图像形成装置的显示部的声音操作用画面所显示的文本消息的一个例子的说明图。

图14是表示上述文本消息的其他例子的说明图。

图15是表示在第二实施方式所涉及的图像形成装置中通过声音操作进行复印份数设定的声音操作用画面的一个例子的说明图。

图16是表示在上述图像形成装置中通过声音操作进行色彩模式设定的声音操作用画面的一个例子的说明图。

图17是表示在上述图像形成装置中通过声音操作进行双面印刷设定的声音操作用画面的一个例子的说明图。

图18是表示构成第五实施方式所涉及的图像形成系统的图像形成装置的电气结构的框图。

图19是表示构成上述图像形成系统的对话服务器的结构的框图。

图20是表示上述图像形成装置的存储部所存储的管理表的一个例子的说明图。

图21是表示在上述图像形成系统中进行声音指示的情况下的动作处理的序列图。

具体实施方式

(第一实施方式)

以下，参照附图对本发明的第一实施方式进行说明。

图1是实施发明的形式的一个例子，其是表示采用了本发明的第一实施方式所涉及的图像形成装置的图像形成系统的结构的说明图，图2是表示上述图像形成装置的整体结构的说明图，图3是表示上述图像形成装置的电气结构的框图，图4是表示构成上述图像形成系统的声音装置的结构的框图，图5是表示构成上述图像形成系统的声音识别服务器的结构的框图，图6是表示构成上述图像形成系统的对话服务器的结构的框图，图7是表示上述对话服务器的存储部所存储的管理表的一个例子的说明图。

(图像形成系统的结构)

如图1所示，图像形成系统具有：图像形成装置10、声音装置20、作为外部服务器的声音识别服务器30、以及对话服务器40。各装置、服务器经由网络NW而通信连接。

图像形成系统1在声音识别服务器30中识别从声音装置20输入的声音，转换为文本数据并发送至对话服务器40。接着，对话服务器40基于接收到的文本数据对图像形成装置10指示指令。

在第一实施方式中，图像形成装置10向对话服务器40进行轮询而获取指示。接着，图像形成装置10基于获取到的指示，在显示部显示包含指令的显示(文本)的声音操作用画面。图像形成装置10的特征在于：基于来自声音装置20的声音的指令，执行任务。

(图像形成装置的结构)

如图1所示，图像形成装置10能够经由网络NW与声音装置20、声音识别服务器30以及对话服务器40以能够通信的方式连接。另外，图像形成装置10是通过电子照相方式输出图像的信息处理装置。

如图3所示，图像形成装置10主要具备控制部100、图像输入部110、原稿读取部112、图像处理部120、图像形成部130、操作部140、显示部150、存储部160以及通信部170而构成。

控制部100控制图像形成装置10的整体。控制部100通过读出并执行各种程序而实现各种功能，例如由一个或者多个运算装置(例如，CPU(Central Processing Unit，中央处理单元))等构成。

图像输入部110读取输入至图像形成装置10的图像数据。图像输入部110与读取原稿图像的原稿读取部112连接，输入从原稿读取部112输出的图像数据。图像输入部110将所输入的图像数据存储于存储部160的读取数据1602中。

另外，图像输入部110也可以从USB(Universal Serial Bus，通用串行总线)存储器、SD卡等存储介质输入图像数据。另外，也可以是图像输入部110具备与其他终端装置进行连接的通信部，从其他终端装置输入图像数据。

图像处理部120将基于图像数据的输出数据形成于记录介质(例如记录纸张)。例如，如图2所示，图像处理部120从供纸托盘122供给记录纸张。图像处理部120在记录纸张的表面形成图像，将记录纸张从排纸托盘124排出。图像处理部120例如由利用了电子照相方式的激光打印机等构成。

图像形成部130对图像数据实施各种图像处理。图像形成部130基于被实施了图像处理的图像数据而形成输出图像。

操作部140受理用户的操作指示。操作部140由作为硬件开关的键开关、通过检测基于接触的输入的装置等而实现的软件开关构成。用户经由操作部140输入所使用的功能、输出条件。

显示部150是用于对用户显示各种信息的功能部，例如由LCD(Liquid crystaldisplay，液晶显示器)、有机EL面板、电子纸等构成。

此外，如图2所示，图像形成装置10也可以具备操作面板141和显示部150一体形成的触摸面板。在这种情况下，检测触摸面板的输入的方式例如为电阻膜方式、红外线方式、电磁感应方式、静电电容方式之类的常规检测方式即可。

存储部160存储包含图像形成装置10的动作所需要的控制程序1601的各种程序、包含读取数据1602的各种数据、用户信息1603。存储部160例如由作为半导体存储器的SSD(Solid State Drive，固态驱动器)、HDD(Hard Disk Drive，硬盘驱动器)等构成。

在第一实施方式中，图像形成装置10在显示部150显示受理触摸操作的待机画面作为初始画面。存储部160存储有用于显示待机画面的待机画面信息1611。

通信部170经由网络NW与对话服务器40以能够通信的方式进行连接。

图像形成装置10(控制部100)经由通信部170从对话服务器40获取图像形成装置10的动作所涉及的指示。控制部100从对话服务器40获取与输入至后述的声音装置20的声音指令对应的指示。

在第一实施方式中，图像形成装置10在开始声音操作时，通过控制部100，基于来自对话服务器40的指示在显示部150显示显示画面(第一显示画面)。第一显示画面是能够供用户用于声音操作的显示画面(第一声音操作用画面)。

另外，在第一实施方式中，图像形成装置10(控制部100)的特征在于：将声音操作用的显示画面(第一声音操作用画面)切换显示为其他声音操作用的显示画面(第二声音操作用画面)。

(声音装置的结构)

如图4所示，声音装置20主要具备控制部200、声音输入部(麦克风)210、声音输出部(扬声器)220以及通信部270而构成。

控制部200控制声音装置20的整体。

控制部200例如由一个或者多个运算装置(例如CPU(Central Processing Unit，中央处理单元))等构成。

声音输入部210输入由用户发出的声音，作为声音数据而输出。声音输入部210通常为麦克风等输入装置，但也可以是与外部连接的装置。另外，也可以是声音输入部210仅将所输入的声音信号输出到控制部200，由控制部200作为声音数据而输出。

声音输出部220输出声音数据。声音输出部220通常为扬声器等输出装置，但也可以是与外部连接的装置。此外，也可以是声音输出部220对输入了声音数据的部分进行解调而作为声音输出。也可以是声音输出部220接收控制部200从声音数据解调后的声音并将其输出。

此外，声音装置20也可以是作为麦克风以及扬声器发挥功能的所谓智能扬声器等会话型声音装置。另外，声音装置20可以直接与网络NW连接，也可以直接与图像形成装置10连接。

(声音识别服务器的结构)

如图5所示，声音识别服务器30主要具备控制部300、存储部360、通信部370以及识别声音的声音识别部380而构成。

控制部300控制识别声音的服务器(声音识别服务器)30的整体。

控制部300通过读出并执行各种程序而实现各种功能，例如由一个或者多个运算装置(例如CPU(Central Processing Unit，中央处理单元))等构成。

存储部360存储包含声音识别服务器30的动作所需要的控制程序3601的各种程序、各种数据、用户信息。存储部360例如由作为半导体存储器的SSD(Solid State Drive，固态驱动器)、HDD(Hard Disk Drive，硬盘驱动器)等构成。

通信部370经由网络NW而与图像形成装置10和对话服务器40进行通信连接。

声音识别部380输入用户发话的声音并识别声音，将其转换为文本数据。控制部300将声音识别部380中基于用户发话的声音而转换后的文本数据向对话服务器40发送。作为声音识别的方法，可以利用先前的声音识别方法中的任一种方法。例如，可以利用日本专利特开2018-49230号公报(发明名称：辞典制作装置、辞典制作程序、声音识别装置、声音识别程序以及记录介质)、日本专利特开2004-219693号公报(发明名称：声音识别装置、声音识别方法、声音识别程序以及程序记录介质)中所公开的方法。

(对话服务器的结构)

如图6所示，提供对话服务的对话服务器40主要具备控制部400、存储部460以及通信部470而构成。

控制部400控制对话服务器40的整体。

控制部400通过读出并执行各种程序而实现各种功能，例如由一个或者多个运算装置(例如CPU(Central Processing Unit，中央处理单元))等构成。

在第一实施方式中，控制部400基于从声音识别服务器30发送的数据(例如以文本表示的文本数据)，对图像形成装置10进行特定的指示。

存储部460存储包含对话服务器40的动作所需要的控制程序4601的各种程序、各种数据、用户信息。存储部460例如由作为半导体存储器的SSD(Solid State Drive，固态驱动器)、HDD(Hard Disk Drive，硬盘驱动器)等构成。

在第一实施方式中，存储部460还存储用于声音操作的应用程序4610。

存储部460存储第一显示画面的信息亦即第一声音操作用画面信息4611、第二显示画面的信息亦即第二声音操作用画面信息4612、执行任务时显示的显示画面的信息亦即任务执行画面信息4613作为用于应用程序4610的显示画面的信息。并且，存储部460存储MFP能力/状态管理表4614。显示画面的信息(画面信息)是用于在图像形成装置10中生成画面的信息。画面信息例如由HTML5、XML等表示。

如图7所示，MFP能力/状态管理表4614针对三台MFP，将MFP的ID、名称、IP地址、能力信息以及状态作为MFP的信息而存储。

具体而言，MFP能力/状态管理表4614关于由MFP的ID管理的三台图像形成装置的名称亦即“办公用1～3号机”，存储各个IP地址(例如“192.168.0.11”)、图像形成装置的能力信息(例如图像形成装置能够对应的印刷纸张尺寸、能够设定的印刷种类(彩色印刷、黑白印刷)、印刷面(双面、单面)、后处理(有/无装订))、状态(例如“可印刷”)的信息作为MFP的能力信息。此处，状态表示图像形成装置的状态。例如，状态能够表示图像形成装置为能够印刷的状态亦即“可印刷”，无法印刷的状态亦即“无法印刷”、表示错误的“缺纸”、“卡纸”、表示硬件故障的“不可通信”等。

通信部470经由网络NW而与声音识别服务器30和图像形成装置10进行通信连接。

在第一实施方式中，对话服务器40基于从声音识别服务器30发送的文本数据，对图像形成装置10发送声音操作用的显示画面。另外，对话服务器40对图像形成装置10指示将显示画面从受理触摸操作的待机画面切换为声音操作用的画面。

关于声音操作用的显示画面的切换，也可以根据声音操作用的指示，每次由对话服务器40将声音操作用的显示画面发送到图像形成装置10。另外，也可以是图像形成装置10存储最初由对话服务器40发送的声音操作用的显示画面的信息，其后，根据声音操作用的指示，在图像形成装置10中切换显示画面。

此外，声音操作用的显示画面也可以预先存储于图像形成装置10。该情况下，图像形成装置10根据来自对话服务器40的切换操作画面的指示，将显示画面从受理触摸操作的待机画面切换到声音操作用的画面。

另外，在第一实施方式中，对话服务器40通过控制部400，基于从声音识别服务器30发送的文本数据(例如与指令对应的文本数据)，对图像形成装置10发送与上述文本数据对应的声音操作用的显示画面。对话服务器40对图像形成装置10指示切换显示为与上述文本数据对应的声音操作用的显示画面(例如指示指令所涉及的设定的显示画面)。

(图像形成装置的声音操作中的操作画面的转变)

接下来，参照附图对第一实施方式所涉及的在图像形成装置10中，由声音操作指示指令时的显示部150所显示的显示画面进行说明。

图8是表示第一实施方式所涉及的图像形成装置的显示部所显示的待机画面的一个例子的说明图，图9是表示在上述图像形成装置中开始了声音操作时，显示部所显示的第一声音操作用画面的一个例子的说明图，图10是表示在上述图像形成装置的声音操作中指示了指令时，显示部所显示的第二声音操作用画面的一个例子的说明图，图11是表示在上述图像形成装置的声音操作中执行了任务时的第三显示画面亦即任务执行画面的一个例子的说明图。

(待机画面(触摸操作用基本菜单画面))

首先，如图8所示，图像形成装置10的显示部150显示触摸操作用基本菜单画面151作为触摸操作模式的待机画面。

触摸操作用基本菜单画面151是图像形成装置10的触摸操作模式中的初始设定画面。触摸操作用基本菜单画面151基于图像形成装置10的存储部160所存储的待机画面信息1611而形成。

在触摸操作用基本菜单画面151显示有设定所执行的处理的处理功能设定区域1511；进行装置状态的引导、详细设定的信息/设定区域1512。

在处理功能设定区域1511显示有分别与作为处理功能而具备的简易复印功能、简易传真功能、简易扫描功能、桌面显示功能对应的操作键1511a、1511b、1511c、1511d。

在信息/设定区域1512显示有调色剂余量显示部1512a、操作指南键1512b、文字模式设定键1512c、设定键1512d、总使用张数显示部1512e、亮度调整键1512f、通知键1512g。

调色剂余量显示部1512a显示每种颜色的调色剂余量。

操作指南键1512b通过触摸操作显示与各操作相关的指南。

文字模式设定键1512c设定文字的大小。

设定键1512d进行各种详细设定。

亮度调整键1512f进行亮度的调整。

通知键1512g向用户通知装置的状态、管理状态等。

(开始声音操作时的第一声音操作用画面)

在图像形成装置10中，若根据基于用户声音的指示开始声音操作，则如图9所示那样，显示部150将触摸操作模式的待机画面切换显示为声音操作模式的第一声音操作用画面152。

具体而言，用户发出希望开始声音操作的内容的声音(例如包含关键词的会话、声音指令等)。用户的声音经由声音装置20、声音识别服务器30以文本数据的形式发送到对话服务器40。对话服务器40对文本数据进行识别/分析，将第一声音操作用画面切换指示发送到图像形成装置10。图像形成装置10基于第一声音操作用画面切换指示，从触摸操作模式的待机画面切换显示为第一声音操作用画面152。

第一声音操作用画面152是图像形成装置10的声音操作模式中的声音操作时所显示的声音操作用画面。图像形成装置10基于对话服务器40的存储部460所存储的第一声音操作用画面信息4611而生成第一声音操作画面152。

在第一声音操作用画面152显示有能够在图像形成装置10中通过声音操作来进行指示的处理功能。具体而言，图像形成装置10在第一声音操作用画面152显示：希望执行什么操作的主旨的消息1521；复印显示1522，显示表示作为可执行的处理功能的复印处理的图标以及文本；扫描显示1523，显示表示可执行的扫描处理功能的图标以及文本。此外，在声音操作模式(显示有第一声音操作用画面152的模式)中，与图标一起显示文本，从而使用户容易视认可通过图像形成装置10而执行的处理功能，容易发话。因此，能够期待图像形成装置10能够提高用户的操作性之类的效果。

此处所说的图标是指使供用户识别操作、状态的将文字、图画文字、符号等图形化的区别显示。此外，图标可以将一个文本文字、汇总多个数字文字的内容作为图标。即，显示能够识别操作的信息的图标、用于说明操作内容的文本即可。

消息1521作为声音操作中的发话所使用的文本信息而发挥功能。即，显示于消息内的文本的一部分成为发话时在声音操作中有效的声音数据。

在没有扫描功能的图像形成装置的情况下，如图9所示地在第一声音操作用画面152中，以灰化状态显示虚线部区域的扫描显示1523。

另外，在第一声音操作用画面152，为了能够目视在图像形成装置10中通过声音操作来执行输入操作的情况而显示有声音输入显示1524。换而言之，显示有令用户视认当前的输入操作模式为声音操作模式的图标。此外，第一声音操作用画面152并不构成为能够通过触摸操作来进行操作。

这样，在第一声音操作用画面152中，与声音操作对应地响应的注释被显示为文本的消息1521，且显示有表示可执行的处理功能的复印显示1522和扫描显示1523，显示有声音输入显示1524。因此，用户能够容易地确认接下来可以通过声音操作来指示什么。

此外，第一声音操作用画面152也可以不进行图标显示而仅进行表示可执行的处理功能的显示。另外，表示处理功能的显示也可以直接作为指令。例如，在图9的情况下，“复印”是指令或者指令的一部分。若由用户发出包含“复印”的语言，则图像形成装置10执行复印功能。

另外，如图9所示，图像形成装置10也可以显示包含指令的消息。图像形成装置10若受理由用户发出的指令或者包含指令的语言，则执行与指令对应的功能。

即，如图8所示，通常的显示画面(触摸操作用的显示画面)显示模式的切换、状态的显示、设定变更之类的项目(状态项目)。但是，如图9所示，进行声音操作时的显示画面(声音操作用的显示画面)仅单纯地显示指令。与通常的显示画面相比而言，声音操作用的显示画面仅显示指令。另外，优选声音操作用的显示画面并不显示通常的显示画面中所显示的状态项目(模式的切换、状态的显示、设定变更之类的项目)。

另外，指令以易于理解的方式显示于声音操作用的显示画面中。例如，文字尺寸显示得比通常大。另外，并不显示与声音操作无关的项目、状态。图像形成装置10能够在声音操作用的显示画面中显示除指令以外的项目，但在该情况下，优选突出显示指令。

这样，优选与通常的显示画面(触摸操作用的显示画面)比较而言，声音操作用的显示画面不显示额外的项目。即，将用于触摸操作的项目设为非显示，显示声音操作所需要的项目。

(通过声音操作指示任务设定时的第二声音操作用画面)

在图像形成装置10中显示有第一声音操作用画面152时，通过用户的发话设定执行的任务时，如图10所示，第一声音操作用画面152切换显示为第二声音操作用画面153。

第二声音操作用画面153是在图像形成装置10中的声音操作时所显示的声音操作用画面。图像形成装置10基于对话服务器40的存储部460所存储的第二声音操作用画面信息4612而生成第二声音操作用画面153。

在第二声音操作用画面153显示有在图像形成装置10中通过声音操作而受理设定(执行任务时所参照的设定)的任务内容。具体而言，图像形成装置10在第二声音操作用画面153显示进行怎样的设定这样的主旨的消息1531、作为指令显示(示出对装置指示的指令)的复印份数显示1532、印刷色彩模式显示(彩色还是单色)1533、双面印刷显示(单面：一面，双面：两面)1534。

另外，在第二声音操作用画面153，为了能够由用户目视在图像形成装置10中通过声音操作来执行输入操作的情况而显示有声音输入显示1535。

在没有装订功能的图像形成装置的情况下，如图10所示，图像形成装置10也可以在第二声音操作用画面153中以灰化状态显示虚线部区域的装订显示1536。此外，第二声音操作用画面153并不构成为能够通过触摸操作来进行操作。

另外，在第一声音操作用画面和第二声音操作用画面中所显示的消息显示区域可以显示于相同的位置。

这样，图像形成装置10在声音操作用的显示画面突出显示指令。优选图像形成装置10仅显示可声音操作的项目、设定内容。图像形成装置10也能够进行除可声音操作的项目以外的显示，但此时优选突出显示可声音操作的项目、设定内容。例如，图像形成装置10使可声音操作的项目、设定内容显示得比其他显示大，或者使项目的周围的留白变大，或者对背景进行区别显示，从而明确地显示。

(声音操作时的任务执行画面)

在图像形成装置10中，当显示有第二声音操作用画面153时通过声音操作执行任务时，如图11所示地将第二声音操作用画面153切换显示为任务执行画面154。

任务执行画面154是在图像形成装置10中的声音操作时所显示的声音操作用画面。图像形成装置10基于对话服务器40的存储部460所存储的任务执行画面信息4613，生成任务执行画面154。

在任务执行画面154显示有表示所执行的任务的显示图像1541。具体而言，当图像形成装置10执行复印时，如图11所示地在任务执行画面154中显示可知道为“复印处理”那样的显示图像1541。

(图像形成系统中的基于声音操作的动作处理)

接下来，参照附图对在第一实施方式所涉及的图像形成系统1中，用户通过声音指示对图像形成装置10进行操作时的动作处理进行说明。

图12是用户(利用者)通过声音指示进行图像形成装置10的操作的情况下的序列图。首先，用户通过声音对声音装置20指示操作开始(S1)。例如，用户通过发出“电脑，打开复印机(Computer,open Copier)”的声音而进行指示。声音装置20将由用户输入的声音作为第一声音指令而发送到声音识别服务器30(S201)。

声音识别服务器30在声音识别部380中将第一声音指令的声音数据转换为文本数据。接着，声音识别服务器30识别开始声音操作的“唤醒词”，将“唤醒词”发送到对话服务器40(S301)。“唤醒词”包括用于切换为声音操作模式的语言，为指令、会话。在本实施方式中，“唤醒词”对应于“电脑(Computer)”。

对话服务器40开始进行图像形成装置10和MFP(Multi function Printer，多功能打印机)能力信息的同步(S401)。对话服务器40可以定期(例如每5分钟，每1小时，每当启动时等)同步，也可以在从声音识别服务器30接收到指令、单词的时刻进行同步。

对话服务器40若接收到从声音识别服务器30发送的“唤醒词”(S403)，则对图像形成装置10进行从待机画面切换为用于进行声音操作的第一声音操作用画面152的指示(S405)。此时，对话服务器40对图像形成装置10发送与第一声音操作用画面相关的信息(第一声音操作用画面信息4611)。

图像形成装置10显示基于触摸操作的触摸操作用基本菜单画面151作为待机画面(S101)。另外，图像形成装置10开始进行对话服务器40和MFP能力信息的同步(S103)。

图像形成装置10若从对话服务器40接收到切换为第一声音操作用画面152的指示，则将触摸操作模式的待机画面(触摸操作用基本菜单画面151)切换为声音操作模式的第一声音操作用画面152而显示于显示部150(S105)。

此外，也可以是在图像形成装置10的启动之后或者在第一声音操作用画面152的显示状态下的规定的时间内没有接收到下一个声音指令的情况下，图像形成装置10显示用于受理触摸操作的触摸操作用基本菜单画面151。

对话服务器40和图像形成装置10同步MFP状态信息/能力信息(S407、S107)。接着，对话服务器40对声音识别服务器30发送基于文本的第一响应(S408)。

声音识别服务器30将从对话服务器40发送的文本转换为声音数据(S303)。另外，声音识别服务器30经由声音装置20通过声音对用户进行“您好，需要怎样帮助您？(Hi,Howcan I help？)”、“您要做什么？”这样的主旨第一响应。

用户听到(确认)第一响应，通过声音对声音装置20指示“复印并装订(Copy withstaple)”、“复印并进行装订处理”这样的主旨(S2)。声音装置20将所输入的声音作为第二声音指令向声音识别服务器30发送(S203)。

声音识别服务器30在声音识别部380中从第二声音指令的声音数据转换为进行复印这样的主旨的文本数据。并且，声音识别服务器30向对话服务器40发送进行复印的主旨的文本数据(S305)。

对话服务器40接收从声音识别服务器30发送的进行复印的主旨的文本数据(S409)。而且，对话服务器40对图像形成装置10进行从第一声音操作用画面152切换为用于通过声音操作而指示任务设定的第二声音操作用画面153的指示(S411)。此时，对话服务器40对图像形成装置10发送第二声音操作用画面信息4612。

在图像形成装置10与对话服务器40之间同步图像形成装置10的状态信息、能力信息。图像形成装置10也可以根据所同步的结果而生成第二声音操作用画面信息4612。例如，对话服务器40对不具有装订功能的图像形成装置10，生成并发送装订功能为灰化状态的第二声音操作用画面信息4612。由此，图像形成装置10显示装订功能为灰化状态的第二声音操作用画面。

图像形成装置10若从对话服务器40接收到切换为第二声音操作用画面153的指示，则将第一声音操作用画面152切换为第二声音操作用画面153并显示于显示部150(S109)。

此外，第二声音操作用画面153根据需要而适当地更新。虽将后述，但例如也可以是在S413中，对话服务器40在向用户确认可否执行指定的参数的判断的情况下，更新为显示有所需要的消息的第二声音操作用画面153。

对话服务器40基于MFP状态信息/能力信息，判断能否进行所指定的参数的执行(S413)。在判断为无法进行参数的执行的情况下，对话服务器40经由声音识别服务器30将“MFP没有整理器。可以并不装订地进行复印吗？(The MFP does not have“Finisher”.Isit OK to copy without staple)？”、“图像形成装置没有安装整理器，以无装订的方式进行复印吗？”这样的主旨的第二响应文本数据转换为声音数据，从声音装置20进行发话(S307)。另外，对话服务器40还可以同时对图像形成装置10发送第二声音操作用画面153的更新信息。

若将更新的信息从对话服务器40发送至图像形成装置10，则更新第二声音操作用画面153。例如图13所示，在第二声音操作用画面153显示“MFP没有整理器。可以并不装订地进行复印吗？(The MFP does not have“Finisher”.Is it OK to copy withoutstaple？)”、“图像形成装置没有安装整理器，无装订地复印吗？”这样的主旨的消息1537。并且，还可以在第二声音操作用画面153显示无法执行所指定的任务的主旨的消息。

另外，在S413中，判断为能够进行参数的执行的情况下，对话服务器40经由声音识别服务器30将“可以复印并装订吗？(Is it OK to copy with staple？)”、“带装订地复印吗？”这样的主旨的第二响应文本数据转换为声音数据，从声音装置20进行发话(S307)。

例如图14所示，在图像形成装置10的第二声音操作用画面153显示有“可以复印并装订吗？(Is it OK to copy with staple？)”、“带装订地复印吗？”这样的主旨的消息1538。

用户听到(确认)第二响应，通过声音对声音装置20指示“是”(S3)。声音装置20将所输入的声音作为第三声音指令发送到向声音识别服务器30。

声音识别服务器30在声音识别部380中从第三声音指令的声音数据转换为同意执行任务的主旨的文本数据(S309)。另外，声音识别服务器30将同意执行任务的主旨的文本数据发送到对话服务器40(S311)。

对话服务器40接收从声音识别服务器30发送的同意执行任务的主旨的文本数据(S417)。对话服务器40对图像形成装置10进行执行任务的指示(S419)。此时，对话服务器40对图像形成装置10发送任务执行画面154。

图像形成装置10接受执行任务的指示，在显示部150显示任务执行画面154并执行任务(S111)。

这样，图像形成系统1在对图像形成装置10进行声音操作时，将图像形成装置10所显示的触摸操作用基本菜单画面151切换显示为专用于声音操作用的显示画面。由此，用户能够一边观察声音操作用的显示画面一边明确地指示指令。因此，用户能够简易地执行任务。

由此，图像形成系统1能够消除如下问题：在以往的图像形成装置中的声音操作中，由于基于声音的指示是一维的操作接口而在通过声音操作图像形成装置时难以一起进行内容确认。另外，图像形成系统1能够消除如下问题：在以往的声音操作中，如果希望通过基于声音的消息进行指示的确认，则过于耗费时间。

另外，在以往的图像形成装置的声音操作中，通过基于声音的指示进行各种操作的情况下，需要记住发话方法、指示内容等，或者由用户学习操作。但是，图像形成系统1通过在显示部150显示声音操作用的显示画面，能够令用户简易地进行声音操作。

并且，在以往的图像形成装置中，能够基于声音操作的输入、变更的设定、功能通常多数情况下比能够通过画面操作而操作的功能少，因此在不考虑声音操作的UI画面中，用户有时会误解关于能够通过声音操作而操作的功能。针对这样的问题，图像形成系统1通过在显示部150显示声音操作用的显示画面，从而能够提供使可通过声音操作而操作的功能明确，对于用户而言容易操作的UI画面。

另外，在第一实施方式中，如图9、图10所示，在第一声音操作用画面152和第二声音操作用画面153中将显示消息1521、1531的消息显示区域设为共用的位置。因此，用户容易识别消息。

由于如以上那样地构成，所以根据第一实施方式，在图像形成系统1中，图像形成装置10根据声音操作在显示部150切换显示包含指令的第一声音操作用画面152和第二声音操作用画面153，并基于通过用户的声音操作从声音装置20声音输入指令，从而在图像形成装置10中执行任务。用户能够确认在第一声音操作用画面152、第二声音操作用画面153所显示的指令的显示图像、文本显示，从而供用户明确地进行声音输入。因此，用户能够容易且明确地进行所希望的任务的设定、指示处理的声音操作。

另外，在第一实施方式中，对话服务器40根据用户的声音操作使图像形成装置10切换显示画面而显示第一声音操作用画面152、第二声音操作用画面153、任务执行画面154。因此，用户能够在接下来进行声音操作时一边确认与指令、设定对应的显示图像、文本显示，一边明确地进行声音操作。

此外，在第一实施方式中，声音装置20经由网络NW而与图像形成装置10通信连接，但例如也可以是具备相当于声音装置20的声音输入部和声音输出部的图像形成装置10对声音识别服务器30输入声音。

(第二实施方式)

接下来，对第二实施方式进行说明。

第二实施方式的特征在于：在构成能够通过声音操作执行任务的图像形成系统的图像形成装置中，基于用户的声音操作，随时转变声音操作用的显示画面。

图15是表示在第二实施方式所涉及的图像形成装置中通过声音操作进行复印份数设定的声音操作用画面的一个例子的说明图，图16是表示在上述图像形成装置中通过声音操作进行色彩模式设定的声音操作用画面的一个例子的说明图，图17是表示在上述图像形成装置中通过声音操作进行双面印刷设定的声音操作用画面的一个例子的说明图。

此外，第二实施方式所涉及的图像形成装置的装置结构与第一实施方式所涉及的图像形成装置10大体一致。为了方便说明，对与第一实施方式所涉及的图像形成装置10相同的结构，标注相同的编号并省略说明。在第二实施方式中，对与第一实施方式不同的结构标注附图标记进行说明。

第二实施方式所涉及的图像形成装置10的特征在于：在进行声音操作的情况下，进行印刷的设定时，每当进行一个设定时切换显示画面，显示进行接下来的设定的显示画面。

例如，图像形成装置10在通过声音操作来进行复印份数的设定的情况下，如图15所示地在显示部150显示复印份数设定画面2152。

在复印份数设定画面2152显示有进行怎样的设定这样的主旨的消息2152a和复印份数显示2152b。

如果基于声音操作的复印份数的设定结束，则图像形成装置10如图16所示地显示对通过声音操作进行印刷的色彩模式进行设定的色彩模式设定画面2153作为接下来的设定画面。

在色彩模式设定画面2153显示进行怎样的设定这样的主旨的消息2153a和设定全彩色/单色的色彩模式显示2153b。

如果基于声音操作的色彩模式的设定结束，则图像形成装置10如图17所示地显示通过声音操作进行双面印刷(单面还是双面)的设定的双面印刷设定画面2154作为接下来的设定画面。

在双面印刷设定画面2154显示进行怎样的设定这样的主旨的消息2154a和将印刷面设定为单面(一面)/双面(两面)的任一个的印刷面显示2154b。

由于如以上那样地构成，所以根据第二实施方式，在图像形成装置中进行声音操作的情况下，进行印刷的设定时，每当进行一个设定时切换显示画面，显示进行接下来的设定的显示画面。由此，用户能够按每个与各设定对应的声音操作用的设定画面明确地进行声音操作的详细设定，能够减少声音操作的错误操作。

即，也可以是图像形成装置10在显示画面(声音操作用显示画面)显示变更任务设定的项目、指令。例如，在由用户将印刷份数之类的数值作为声音而发出的情况下，图像形成装置10设定复印份数。另外，在用户将“有装订”这样的指令作为声音发出的情况下，图像形成装置10变更装订的设定。另外，也可以是图像形成装置10在显示画面显示菜单编号而代替显示指令。

(第三实施方式)

接下来，对第三实施方式进行说明。

第三实施方式的特征在于：在构成能够通过声音操作来执行任务的图像形成系统的图像形成装置中，基于用户的声音指示，显示声音操作用的显示画面，上述显示画面能够进行基于触摸操作的输入处理。

在第三实施方式中，例如图9所示，在第一实施方式中显示于图像形成装置10的显示部150的第一声音操作用画面152中，使复印显示1522、扫描显示1523具有触摸操作功能。此外，在第三实施方式中，也可以是使复印显示1522作为复印选择键发挥功能，并且使扫描显示1523作为扫描选择键发挥功能。

通过如以上那样地构成，从而根据第三实施方式，例如在图像形成装置10中，在进行声音操作时显示于显示部150的声音操作用的显示画面具备触摸操作功能。因此，即便在声音操作无法顺利进行的情况下，用户也能够通过触摸操作而可靠地进行输入处理。

(第四实施方式)

接下来，对第四实施方式进行说明。

在第四实施方式中，构成能够通过声音操作来执行任务的图像形成系统的图像形成装置在操作图像形成装置时，进行用户注册。并且，也可以是第四实施方式中的图像形成装置在声音操作时，辨别用户，根据进行操作的用户例如显示“收藏的设定画面”。此外，用户的辨别还可以使用声音，也可以是由用户输入登录ID、密码，或者使用用户所持的ID卡。

“收藏的设定画面”可以存储于图像形成装置10的存储部160，也可以存储于对话服务器40的存储部460，还可以存储于其他能够进行通信连接的存储装置中。

由于如以上那样地构成，所以根据第四实施方式，在构成能够通过声音操作来执行任务的图像形成系统的图像形成装置中，在操作图像形成装置时，基于用户的声音，与操作上述图像形成装置的用户对应地显示“收藏的设定画面”。由此，图像形成装置能够令用户在惯于操作的声音操作用的显示画面操作，因此能够提供操作性优异的用户界面。

(第五实施方式)

接下来，对第五实施方式进行说明。

第五实施方式特征在于：在构成能够通过声音操作来执行任务的图像形成系统的图像形成装置中，对话服务器成为仅将声音识别结果的文本传送到各MFP的简单的结构，令用于响应的文本(例如与发话相关的发话文文本、会话等)从各MFP经由对话服务器而发话。

图18是表示构成第五实施方式所涉及的图像形成系统的图像形成装置的电气结构的框图，图19是表示构成上述图像形成系统的对话服务器的结构的框图，图20是表示上述图像形成装置的存储部所存储的管理表的一个例子的说明图。

此外，第五实施方式所涉及的图像形成装置50和对话服务器60、与第一实施方式所涉及的图像形成装置10和对话服务器40的装置结构大体一致。为了方便说明，对与第一实施方式所涉及的装置相同的结构标注相同的编号并省略说明。在第五实施方式中，对与第一实施方式不同的结构标注附图标记并进行说明。

(图像形成装置的结构)

如图18所示，第五实施方式所涉及的图像形成装置50主要具备控制部500、图像输入部110、原稿读取部112、图像处理部120、图像形成部130、操作部140、显示部150、存储部560以及通信部170而构成。

控制部500控制图像形成装置50的整体。

存储部560存储包含图像形成装置50的动作所需要的控制程序1601的各种程序、包含读取数据1602的各种数据、用户信息1603、用于显示待机画面的待机画面信息1611。在第五实施方式中，存储部560进一步具备第一声音操作用画面信息5611、第二声音操作用画面信息5612、任务执行画面信息5613作为显示画面的信息，且进一步具备MFP能力/状态管理表5614。

如图20所示，MFP能力/状态管理表5614针对MFP，将MFP的ID、名称、IP地址、能力信息以及状态作为MFP的信息而进行管理。

具体而言，MFP能力/状态管理表5614针对通过MFP的ID管理的办公用1号机，对作为MFP的能力信息的印刷纸张尺寸A3、印刷种类(彩色印刷、黑白印刷)、印刷面(双面、单面)、后处理(有装订)的信息进行管理。

(对话服务器的结构)

如图19所示，对话服务器60主要具备控制部600、存储部660以及通信部470。

控制部600控制对话服务器60的整体。

在第五实施方式中，控制部600基于从声音识别服务器30发送的文本数据，对图像形成装置50进行特定的指示。

存储部660存储包含对话服务器60的动作所需要的控制程序4601的各种程序。在第五实施方式中，存储部660进一步具备声音的操作所利用的应用程序4610。

在第五实施方式中，对话服务器60基于从声音识别服务器30发送的文本数据，对图像形成装置50指示将显示画面从受理触摸操作的待机画面切换为声音操作用的画面。

关于声音操作用的显示画面的切换，图像形成装置50根据来自对话服务器60的切换操作画面的指示，基于存储于图像形成装置50的画面信息，将显示画面从待机画面切换为声音操作用的画面。

(图像形成系统中的基于声音操作的动作处理)

接下来，参照附图，对在第五实施方式所涉及的图像形成系统5中，用户通过声音指示对图像形成装置50进行操作时的动作处理，进行说明。

图21是表示在第五实施方式所涉及的图像形成系统中进行声音指示的情况下的动作处理的序列图。

此外，第五实施方式所涉及的图像形成系统5中的动作处理与第一实施方式所涉及的图像形成系统1中的动作处理大体一致。为了方便说明，对与第一实施方式所涉及的图像形成系统1不同的动作处理进行说明。

在图像形成系统5中，用户(利用者)通过声音指示进行图像形成装置50的操作的情况下，如图21所示，首先，用户通过声音对声音装置20指示操作开始(S1)。声音装置20将所输入的声音作为第一声音指令向声音识别服务器30发送(S201)。

声音识别服务器30在声音识别部380中将第一声音指令的声音数据转换为文本数据。另外，声音识别服务器30识别开始声音操作的“唤醒词”，向对话服务器60发送“唤醒词”(S301)。

对话服务器60若接收到从声音识别服务器30发送的“唤醒词”(S403)，则对图像形成装置50进行从待机画面切换为用于进行声音操作的第一声音操作用画面152的指示(S405b)。图像形成装置50若从对话服务器60接收到切换的指示，则基于第一声音操作用画面信息5611而生成并显示第一声音操作用画面(S105b)。

这样，在第五实施方式中，图像形成装置50存储第一声音操作用画面信息5611。因此，图像形成装置50能够自己判断并显示与各MFP的能力对应的声音操作用画面。由此，对话服务器60和图像形成装置50不需要同步对话服务器60和图像形成装置50中的MFP能力信息。另外，对话服务器60不需要对图像形成装置50发送第一声音操作用画面信息。

图像形成装置50若从对话服务器60接收切换为第一声音操作用画面152的指示，则读出第一声音操作用画面信息5611并生成声音操作模式的第一声音操作用画面152。而且，图像形成装置50从触摸操作模式的待机画面(触摸操作用基本菜单画面151)切换为声音操作模式的第一声音操作用画面152而显示于显示部150(S105b)。

若从对话服务器60对图像形成装置50进行从第一声音操作用画面152切换为用于通过声音操作指示任务设定的第二声音操作用画面153切换的指示(S411b)，则图像形成装置50将第一声音操作用画面152切换为第二声音操作用画面153而显示于显示部150(S109b)。

在第五实施方式中，在图像形成装置50存储有第二声音操作用画面信息5612。因此，图像形成装置50能够自己判断并显示与各MFP的能力对应的声音操作用画面。因此，对话服务器60和图像形成装置50不需要同步对话服务器60和图像形成装置50中的MFP能力信息。另外，对话服务器60不需要对图像形成装置50发送第二声音操作用画面信息。

而且，在第五实施方式中，图像形成装置50基于MFP状态信息/能力信息，判断可否进行所指定的参数的执行(S501)。

在S501中，在判断为能够进行参数的执行的情况下，图像形成装置50将“以有装订的方式进行复印吗？”这样的主旨的发话用文本数据发送到对话服务器60(S503)。对话服务器60若接收到发话用文本数据，则将文本数据发送到声音识别服务器30(S414)。

另一方面，在S501中，判断为无法进行参数的执行的情况下，图像形成装置50将“图像形成装置没有安装整理器，以无装订的方式复印吗？”这样的主旨的发话用文本数据发送到对话服务器60(S503)。对话服务器60若接收到发话用文本数据，则将文本数据发送到声音识别服务器30(S414)。

以下，与第一实施方式的图像形成系统1同样地进行基于声音操作的动作处理。

由于如以上那样地构成，所以根据第五实施方式，不需要在对话服务器60与图像形成装置(MFP)50之间同步MFP能力信息。另外，对话服务器60不需要将第一声音操作用画面信息5611及第二声音操作用画面信息5612以及任务执行画面信息5613发送到图像形成装置50。由此，图像形成系统5能够提高和与用户之间的声音响应相关的通信处理的速度，因此能够缩短对用户声音响应时的时滞，能够提供更自然的声音对话。

如以上那样，本发明不限定于上述的实施例、实施方式，能够在权利要求所示的范围内进行各种变更。不言而喻，只要是本领域技术人员，则可在权利要求范围所述的范畴内想到各种变更例或者修正例，也就是说，关于将在不脱离本发明的主旨的范围内适当地变更的技术方案组合而得到的实施方式，也包含于本发明的技术范围中。

附图标记说明

1：图像形成系统

10：图像形成装置

20：声音装置

30：声音识别服务器

40：对话服务器

150：显示部

151：触摸操作用基本菜单画面

152：第一声音操作用画面

153：第二声音操作用画面

154：任务执行画面

210：声音输入部