具体实施方式

下面将参考附图详细描述本技术的实施例。

图1是本技术的一个实施例中的信息处理系统1的一般配置图。另外，图2是示出操作设备10的外部外观的示例的图。如这些图所示，信息处理系统1包括操作设备10和信息处理设备50。假设本实施例中的操作设备10和信息处理设备50基于蓝牙(注册商标)标准等通过无线通信发送和接收数据。附带地，虽然在这种情况下通过无线通信执行数据发送和接收，但这不是限制性的。操作设备10和信息处理设备50可以例如通过使用诸如通用串行总线(USB)的标准以有线方式彼此连接以进行通信。

操作设备10例如是家用游戏机等的控制器。操作设备10包括控制电路11、音频信号处理电路12、扬声器13、耳机端子14、麦克风15、多个操作部件16、振动机构17和力感呈现机构18。

控制电路11是微处理器等。控制电路11执行用于控制操作设备10的每个部分的处理。具体地，控制电路11根据从信息处理设备50接收到的控制指令，输出用于操作振动机构17、力感呈现机构18等的控制信号。另外，控制电路11周期性地扫描每个操作部件16的状态，识别由用户执行的操作的内容，并将指示操作内容的操作信息发送给信息处理设备50。

另外，控制电路11从信息处理设备50接收用于再现的音频信号，并将用于再现的音频信号发送到音频信号处理电路12。另外，控制电路11从音频信号处理电路12接收所收集的声音音频信号，并将所收集的声音音频信号发送到信息处理设备50。为了发送和接收这样的各种音频信号，控制电路11和音频信号处理电路12彼此连接，以便能够通过诸如芯片(IC)间互联声音总线(I2)的接口标准进行相互数据通信。

音频信号处理电路12是数字信号处理器等。音频信号处理电路12对数字音频信号执行各种信号处理。具体地说，音频信号处理电路12对从控制电路11、从连接到耳机端子14或扬声器13的耳机接收到的用于再现的音频信号进行发声。另外，音频信号处理电路12对麦克风15收集的声音音频信号执行诸如噪声去除处理之类的音频信号处理，并将产生的音频信号发送到控制电路11。

扬声器13基于由音频信号处理电路12输出的用于再现的音频信号来再现声音。耳机可连接至耳机端子14。在耳机连接到耳机端子14的情况下，音频信号处理电路12也可以基于来自耳机的用于再现的音频信号来代替扬声器13来再现声音。

麦克风15收集操作设备10周围的声音，例如用户使用操作设备10发出的声音。附带地，麦克风15可以是包括多个麦克风元件的麦克风阵列。

多个操作部件16是对其执行用户的操作输入的部件。多个操作部件16可以包括各种类型的部件。假设在本实施例中，操作部件16包括至少一个触发按钮16a。

触发按钮16a是由用户按下操作的部件。触发按钮16a包括根据用户的操作移动的可移动部分，并且能够将可移动部分的按压量(操作量)测量为数值。因此，可以更详细地识别按压操作的内容，诸如用户始终保持轻微按压触发按钮16a或快速按下触发按钮16a的状态。

振动机构17是产生振动的设备，其可以是各种设备，诸如音圈马达。当振动机构17根据控制电路11的指令产生振动时，振动被传送到手持操作设备10的用户的手上。附带地，操作设备10可以包括多个振动机构17。在这种情况下，多个振动机构17可以是彼此不同种类的振动机构。

力感呈现机构18是当用户对操作部件16等执行操作时向用户呈现力感的设备。在本实施例中，力感呈现机构18具有与触发按钮16a的可移动部分接触的臂(力感呈现部件)，所述臂向所述可移动部分施加力。因此，当用户执行按下触发按钮16a的操作时，力感呈现机构18向执行该操作的手指呈现力感。

此外，假设在本实施例中，力感呈现机构18能够根据触发按钮16a的可移动部分的位置，根据来自控制电路11的指令，通过改变臂的目标位置来控制要呈现的力感的内容。具体地说，臂的位置根据来自控制电路11的指令的内容以及用户的手指按下触发按钮16a的可移动部分的力而改变。假设控制电路11根据臂的位置的改变来改变臂的控制内容。因此，力感呈现机构18可以根据触发按钮16a的操作量(即，触发按钮16a的可移动部分的按压量)的程度来改变要呈现给操作触发按钮16a的用户手指的力感的内容。例如，力感呈现机构18可以实现控制，使得仅当触发按钮16a的操作量包括在给定值范围内时向用户呈现力感，或者在触发按钮16a的操作量超过给定阈值时结束到目前为止执行的力感呈现。

在下面，假设控制电路11将力感呈现机构18的控制目标范围(即，臂的位置可以被移位以便与触发按钮16a的可移动部分联锁的范围)划分成P0到P9的10个范围，并且控制电路11根据臂的位置包括在这些范围中的哪个范围来执行力感呈现机构18的操作控制。因此，控制电路11可以根据用户按下触发按钮16a的程度，将力感呈现机构18的操作内容改变到这10个级别。附带地，这里的范围P0对应于几乎没有按下触发按钮16a的状态，并且范围P9对应于触发按钮16a被压到几乎最大的状态。这里，当力感呈现机构18的控制目标范围对应于触发按钮16a的可移动部分的移动范围时，力感呈现机构18的控制目标范围P0到P9与触发按钮16a的操作量的数值之间的对应关系不一定是固定的，这是由于每个操作设备10的臂与触发按钮16a等的可移动部分之间的位置关系中的个别差异。例如，当测量到触发按钮16a的操作量(按压量)在0到255的256级别上时，可能会出现这样的情况，例如，在某个操作设备10中，小于触发按钮16a的操作量30对应于力感呈现机构18的控制目标范围P0，而小于另一操作设备10中的操作量32对应于范围P0。

信息处理设备50例如是家用游戏机、个人计算机等。信息处理设备50包括控制单元51、存储单元52和接口单元53。另外，信息处理设备50连接到操作设备10和显示设备54。

控制单元51包括至少一个处理器。控制单元51根据存储在存储单元52中的程序执行各种信息处理。存储单元52包括至少一个存储元件。存储单元52存储由控制单元51执行的程序和要由该程序处理的数据。接口单元53包括用于向操作设备10和显示设备54发送信息和从其接收信息的通信接口。信息处理设备50经由接口单元53从操作设备10接收诸如操作信息的各种信息，并且经由接口单元53向操作设备10发送各种控制指令。另外，接口单元53输出要由显示设备54显示的视频信号。

下面将参考图3的功能框图描述由本实施例中的操作设备10和信息处理设备50实现的功能。如图3所示，操作设备10在功能上包括控制指令接收部分61、控制处理部分62和信息发送部分63。这些功能由控制电路11通过执行内置程序来实现。信息处理设备50在功能上包括第一处理执行部分64、第二处理执行部分65和设备控制部分66。这些功能通过控制单元51执行存储在存储单元52中的程序来实现。

控制指令接收部分61从信息处理设备50的设备控制部分66接收与力感呈现机构18的操作内容相关的控制指令。这里，假设从信息处理设备50接收到的控制指令指定力感呈现机构18的操作条件和操作内容。此外，假设操作条件包括与操作力感呈现机构18的时刻相关的条件。也就是说，当从信息处理设备50接收到控制指令时，控制电路11不会立即使力感呈现机构18执行与控制指令的内容相对应的实际操作，而是在用户的操作内容满足指定的操作条件的时刻时使力感呈现机构18执行指定内容的操作，如后面将描述的。附带地，假设在操作设备10具有多个触发按钮16a并且力感呈现机构18连接到相应的触发按钮16a的情况下，控制指令接收部分61接收针对每个力感呈现机构18的控制指令。

控制处理部分62执行与控制指令接收部分61接收到的控制指令相对应的处理。具体地，控制处理部分62监视用户对操作部件16的操作内容，并且当确定操作内容满足指定的操作条件时，控制处理部分62基于指定的操作内容执行操作力感呈现机构18的控制处理。

具体地，假设在本实施例中，控制指令指定预先确定的多个操作模式中的一个。当接收到控制指令时，控制处理部分62切换到由控制指令指定的操作模式。此后，控制处理部分62基于操作模式执行控制，直到给出用于切换到另一操作模式的指令。该操作模式定义了由力感呈现机构18执行的操作内容。也就是说，假设对于多个操作模式中的每一个，预先定义要由力感呈现机构18在操作模式下执行的操作内容，并记录在控制电路11中。

此外，假设控制处理部分62使力感呈现机构18操作在根据用户的操作内容在预先确定的多个操作状态中的变化确定的一个操作状态下，以对应于每个操作模式。即，力感呈现机构18在每种操作模式下以多个操作状态中的一个操作，并且控制处理部分62执行使力感呈现机构18在多个操作状态之间进行转换的控制。控制处理部分62根据用户对触发按钮16a执行的操作量，至少改变力感呈现机构18的操作状态。也就是说，由用户对触发按钮16a的操作的内容来确定要改变操作状态的时刻。

下面将描述操作模式的具体示例。作为示例，控制处理部分62使力感呈现机构18以反馈模式操作。在该操作模式中，当触发按钮16a的可移动部分的位置包括在预定区域中(即，臂的位置包括在控制目标范围P0到P9中预先指定的范围内)时，控制处理部分62呈现排斥用户的按压操作的力感。另一方面，当触发按钮16a的位置不包括在预定区域中时，控制处理部分62不呈现力感。也就是说，在该操作模式下，控制处理部分62根据触发按钮16a的按压量，在呈现排斥力的状态和不呈现排斥力的状态之间进行状态转换。

附带地，虽然这里假设仅在两种状态之间进行转换，但是控制处理部分62例如可以根据力感呈现机构18的控制目标范围将力感呈现机构18的操作状态改变为呈现强力感的状态、呈现弱力感的状态等。因此，可以以这样的方式执行控制，例如，在用户开始操作触发按钮16a的时刻没有力感，但是随着持续的按压操作而呈现逐渐增强的排斥力。在这种情况下，控制处理部分62在三种或更多种状态之间改变力感呈现机构18的操作状态。

作为另一个例子，控制处理部分62可以使力感呈现机构18操作在振动模式下。在该操作模式下，力感呈现机构18通过振动臂并将振动传递到与臂接触的触发按钮16a的可移动部分来向操作用户的手指呈现振动。同样在本示例中，与反馈模式一样，根据触发按钮16a的按压量在呈现振动的状态与不呈现振动的状态之间进行状态转换。另外，在本示例中，也如在反馈模式中一样，除了不呈现振动的状态之外，还可以在三种或更多种状态之间进行转换，例如呈现强振动的状态和呈现弱振动的状态。

另外，控制处理部分62可以使力感呈现机构18以触发模式操作。触发模式是用于模拟对枪等的扳机的操作的模式，并且是在三种状态(即，待机状态、扣动状态和开火状态)之间进行转换的操作模式，如图4所示。在触发模式中，不仅基于触发按钮16a上的当前操作量的程度，而且还根据当前操作状态来确定下一操作状态。

具体地，当触发按钮16a未被操作时，或者在开始操作之后保持小的按压量时(例如，当臂的位置在控制目标范围P0中时)，则设置待机状态，并且力感呈现机构18不在该状态下操作。这个状态对应于扣动扳机的允许部分的状态。

当触发按钮16a在待机状态下的操作量超过某个阈值时，控制处理部分62转换到扣动状态。这种状态对应于枪的扳机逐渐被扣动的状态。例如，当臂的位置在控制目标范围P1到P5时，控制处理部分62转换到扣动状态。在扣动状态下，力感呈现机构18在与用户的按压操作相反的方向上呈现力感。因此，用户可以有一种沉重的感觉，好像用户在扣动真正的扳机。

当用户从扣动状态进一步继续对触发按钮16a的按压操作并且可移动部分的位置超过一定的阈值时，控制处理部分62转换到开火状态。这种状态对应于枪的扳机被完全牵引出并且子弹被发射的状态。例如，当臂的位置移动到在扣动状态下的控制目标范围P6到P9中包括的位置时，控制处理部分62转换到开火状态。同样在该状态下，如在待机状态下一样，力感呈现机构18不呈现力感，因此用户可以操作触发按钮16a而不感受到阻力。附带地，一旦转换到开火状态，即使当用户减轻按压操作并且臂移动到控制目标范围P0到P5中包括的位置时，开火状态仍然保持。因此，有可能再现一种在子弹发射后扳机的阻力消失的状态。附带地，假设当在开火状态中满足给定条件时，例如当用户将手指从触发按钮16a上拿开并且达到操作量零的状态时，控制处理部分62从开火状态转换到待机状态。这允许用户再次执行扣动枪扳机的操作。

在该触发模式下，力感呈现机构18的控制内容不仅根据触发按钮16a的可移动部分的当前位置，而且根据从哪个状态进行转换而改变。例如，即使臂的位置在控制目标范围P4中，在扣动状态下也会呈现力感，但是一旦转换到开火状态后，状态中就不呈现力感。因此，当从操作设备10简单地将触发按钮16a的操作量(按压量)通知给信息处理设备50时，信息处理设备50可能难以掌握当前正在执行操作控制的状态。

另外，在执行力感呈现机构18的操作控制以便与触发按钮16a的可移动部分的位置联锁的同时，如前所述，触发按钮16a的操作量的检测值与力感呈现机构18的臂位置的控制目标范围之间的对应关系根据操作设备10的个体差异而变化。基于这样的因素，仅基于触发按钮16a的操作量的值(将该值通知给信息处理设备50)，可能难以精确地识别何时进行状态转换。因此，假设本实施例中的操作设备10的信息发送部分63周期性地向信息处理设备50发送指示力感呈现机构18的当前操作模式和当前操作状态的状态信息。

具体地，信息发送部分63以预定的时刻间隔发送指示用户对多个操作部件16的操作内容的操作信息(例如，按下了哪个操作按钮和触发按钮16a的当前按压量的程度)。与该操作信息一起，向信息处理设备50发送指示当前在多个操作状态中的哪个状态下正在执行力感呈现机构18的控制的状态信息。附带地，在操作设备10包括多个力感呈现机构18的情况下，发送指示每个力感呈现机构18的当前操作状态的状态信息。因此，可以将力感呈现机构18的操作状态清楚地通知给信息处理设备50，仅基于触发按钮16a的操作量的测量值难以识别在哪个操作状态。

附带地，虽然这里假设信息发送部分63将状态信息与操作信息一起发送，但是这不是限制性的。信息发送部分63可以在与发送操作信息的时刻不同的时刻发送状态信息。另外，信息发送部分63可以以与发送操作信息的发送频率不同的频率来发送状态信息。此外，信息发送部分63还可以发送控制位置信息，该控制位置信息不仅指示当前的操作状态，而且还指示臂的位置(例如，在多个控制目标范围中臂出现在哪个范围的位置)作为力感呈现机构18的状态信息。该控制位置信息指示控制处理部分62正在执行力感呈现控制的当前位置。

如后文所述，在信息处理设备50中执行的应用程序获得该操作信息，并根据操作信息的内容执行各种处理。该处理可包括输出用于操作振动机构17的控制指令的处理、输出用于再现的音频信号的处理等。因此，可以实现与力感呈现机构18的操作状态联锁的控制，例如，通过再现来自扬声器13的声音并使振动机构17在触发模式下从扣动状态转换到开火状态的时刻呈现振动。

信息处理设备50的第一处理执行部分64和第二处理执行部分65根据来自用户的操作输入的内容等，通过执行各自独立的处理来执行各种信息处理。在下面，作为具体示例，假设通过执行诸如游戏的应用程序来实现第一处理执行部分64，并且通过执行系统程序来实现第二处理执行部分65。在下面，由第一处理执行部分64实现的处理将被描述为第一处理，并且由第二处理执行部分65实现的处理将被描述为第二处理。

这些处理彼此独立执行。也就是说，第一处理和第二处理可以在同一时刻彼此并行执行，并且允许两个处理都被执行的状态。另外，在给定条件的基础上，选择性地选择其中一个处理作为聚焦处理。这里，假设聚焦处理是受用户操作的处理，并且从操作设备10发送的操作信息由聚焦处理获得和处理。

聚焦处理的切换在各种条件下进行。作为一个示例，当用户在第一处理执行部分64正在执行游戏程序时操作提供给操作设备10的系统按钮时，第二处理执行部分65启动系统程序并显示用于在显示设备54上呈现系统程序的处理结果的系统屏幕，并且聚焦处理由第一处理变为第二处理。当随后给出结束系统屏幕的指令时，聚焦处理从第二处理变为第一处理。附带地，当选择第二处理作为聚焦处理时，第一处理在后台操作并继续执行与游戏相关的各种处理。

在这种情况下，设备控制部分66根据来自每个处理的请求发送用于操作操作设备10的控制指令，并且根据聚焦处理的变化进行适当的调整。下面将详细描述由设备控制部分66执行的控制的内容。

首先，将参照图5的流程图描述在仅执行第一处理的情况下的处理流的示例。如前所述，操作设备10的信息发送部分63周期性地向信息处理设备50发送操作信息和状态信息。在该图中，操作信息和状态信息在特定时刻的发送由S1指示。

之后，第一处理执行部分64向设备控制部分66输出用于设置力感呈现机构18的操作模式的请求(S2)。这里，作为示例，假设第一处理执行部分64请求将操作模式更改为触发模式，因为用户已经能够在游戏中执行射击枪的操作。响应于该请求，设备控制部分66向操作设备10发送用于将操作模式设置为触发模式的控制指令(S3)。接收到该控制指令后，操作设备10的控制处理部分62将操作模式改变为触发模式。然而，如前所述，周期性地执行从操作设备10到信息处理设备50的信息发送。因此，新操作模式下的状态信息不会在操作模式改变后立即发送到信息处理设备50。在本示例中，在从操作设备10发送新操作模式下的状态信息之前，第一处理执行部分64向设备控制部分66发出操作状态获取请求(S4)。在该阶段，设备控制部分66还没有获得新操作模式下的状态信息。因此，作为对S4中的获取请求的响应，设备控制部分66返回在S1中发送的最新状态信息(S5)。

操作设备10的信息发送部分63随后在S6中发送新的操作信息和新的状态信息(S6)。这里，发送在S3中指定的新操作模式下的状态信息(例如，在触发模式下指示待机状态的信息)。当随后第一处理执行部分64再次发出操作状态获取请求时(S7)，设备控制部分66返回在S6中发送状态信息的触发模式下的状态信息(S8)。

因此，第一处理执行部分64结合处理的进度向设备控制部分66输出操作模式设置请求，并且此后通过获得从操作设备10周期性地发送的状态信息，能够掌握由操作设备10执行的操作状态的转换。附带地，假设当要控制音频再现等以便与状态转换联锁时，第一处理执行部分64在如此短的周期内重复地进行质询，以便能够进行这种控制。

接下来，将参考图6A和图6B的流程图描述在第一处理和第二处理彼此并行执行的情况下的处理流的示例。在本示例中，假设第二处理首先是聚焦处理。附带地，在图6A和图6B中，在第一处理执行部分64和第二处理执行部分65中，正在执行聚焦处理的执行部分用实线表示，并且正在执行另一处理的执行部分用虚线表示。

在本示例中，首先，第一处理执行部分64输出操作模式设置请求(S11)。如前所述，也正在执行除聚焦处理之外的处理(在本例中是第一处理)。因此，可以根据另一处理的处理进展情况输出操作模式设置请求。然而，此时，第二处理是聚焦处理，因此，当操作设备10根据第一处理的处理内容执行操作时，存在对用户造成混淆的担忧。因此，设备控制部分66忽略来自除聚焦处理之外的处理的操作模式设置请求，并且在此阶段限制对操作设备10的操作模式改变控制指令。然而，假设为第一处理后来成为聚焦处理的情况做准备，设备控制部66暂时保留由第一处理执行部64输出的设置请求的内容(S12)。

假设这次是第二处理执行部分65随后输出操作模式设置请求(S13)。此时，第二处理是聚焦处理，因此，设备控制部分66响应于设置请求向操作设备10发送用于改变操作模式的控制指令(S14)。在随后的时刻，执行来自操作设备10的周期性信息发送(S15)。

假设第一处理执行部分64在S11中的设置请求之后进一步输出状态信息获取请求(S16)。此时，不根据S11中的设置请求改变操作模式，并且第一处理不是聚焦处理。因此，设备控制部分66对来自第一处理的获取请求做出受到限制的效果的响应(S17)。

另一方面，当第二处理执行部分65输出状态信息获取请求(S18)时，第二处理是聚焦处理，因此设备控制部分66响应于该获取请求将在S15中发送的状态信息返回给第二处理执行部分65(S19)。

例如，假设用户随后执行结束系统屏幕的操作，并且聚焦处理因此从第二处理改变为第一处理。响应于聚焦处理的改变，设备控制部66向操作设备10发送与在改变后并保留的最近从聚焦处理接收到的设置请求(在这种情况下在S12中保留其内容的设置请求)相对应的控制指令(S20)。这样的控制可以根据第一处理的请求改变操作模式，而不需要第一处理执行部分64再次输出操作模式设置请求。附带地，在聚焦处理改变时，在改变之后不存在过去从聚焦处理接收到操作模式设置请求的情况下，设备控制部分66可以向操作设备10发送用于重置当前操作模式的控制指令。

在本示例中，在S20中的控制指令的发送之后立即从操作设备10发送信息(S21)。此时，未完成根据S20中的控制指令的操作模式的改变，并且发送与目前为止的操作模式相对应的状态信息。

当第一处理执行部分64在该状态下输出状态信息获取请求(S22)时，这一次选择第一处理作为聚焦处理，因此，将在S21中发送的状态信息提供给第一处理(S23)。此外，根据在S20中发送的控制指令改变操作模式，并且将改变后的操作模式中的状态信息发送到设备控制部分66(S24)。此后，响应于来自第一处理执行部分64的状态信息请求(S25)，返回S11中第一处理执行部分64请求的操作模式中的状态信息(S26)。

如上所述，在信息处理设备50执行多个处理并且选择性地选择多个处理中的一个作为聚焦处理的情况下，设备控制部分66输出用于响应从聚焦处理接收的请求来改变操作模式的控制指令。因此，可以避免基于来自用户当前要执行操作输入的聚焦处理以外的处理的请求来执行力感呈现机构18的操作控制。此外，设备控制部分66在选择处理作为聚焦处理时，预先临时保留从除聚焦处理以外的处理接收到的操作模式设置请求的内容，并发送与设置请求的保留内容相对应的控制指令。因此，无论处理本身当前是否是聚焦处理，每个处理都可以发出操作模式设置请求。

如上所述，根据本实施例，信息处理设备50可以根据操作设备10等的执行状态适当地执行控制。

应当注意，本技术的实施例不限于上述实施例。例如，在上述描述中，操作设备10被假定为家用游戏机的控制器。然而，这并不是限制性的。操作设备10可以是接收用户操作的各种设备。

此外，在上述描述中，假设控制处理部分62根据用户对触发按钮16a的操作量改变力感呈现机构18的操作状态。然而，这并不是限制性的。控制处理部分62可以根据用户对各个操作构件的操作内容控制力感呈现机构18的操作内容。此外，例如，控制处理部分62不仅可以根据用户对提供给操作设备10的操作部件的操作来执行对力感呈现机构18的操作控制，而且还可以控制诸如振动机构17等各种机构的操作内容。在任一情况下，当信息发送部分63周期性地向信息处理设备50发送指示当前在每个机构上执行的控制的状态信息时，信息处理设备50可以在适当的时刻执行与操作设备10的控制状态相对应的处理。

本领域技术人员应理解，只要在所附权利要求或其等价物的范围内，可以根据设计要求和其他因素发生各种修改、组合、子组合和变更。