阅读说明：本技术 终端设备中的消息处理 (Message handling in a terminal device ) 是由 乔斯·阿里约 拉尔斯·安德森 索马·塔亚门 扎伊德·阿-侯赛尼 于 2017-06-28 设计创作，主要内容包括：提供了用于终端设备中的消息处理的机制。一种方法由终端设备执行。该方法包括从网络控制器接收包括用户内容的消息。该方法包括将消息的通知提供给终端设备的用户接口。该方法包括从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。该方法包括根据已经播出的用户内容的量对消息执行动作。(Mechanisms for message handling in a terminal device are provided. A method is performed by a terminal device. The method includes receiving a message including user content from a network controller. The method includes providing a notification of the message to a user interface of the terminal device. The method includes receiving feedback from a user interface. The feedback indicates an amount of user content that has been played out on the user interface. The method includes performing an action on the message based on the amount of user content that has been played out.)

终端设备中的消息处理

技术领域

本文提出的实施例涉及用于终端设备中的消息处理的方法、终端设备、网络控制器、计算机程序和计算机程序产品。

背景技术

一般而言，触觉通信旨在通过向用户施加力、振动或运动来重建触摸感。这种刺激可用于在计算机仿真中帮助创建虚拟对象、控制此类虚拟对象、创建更直观的用户接口、改善媒体消费体验并增强对机器和设备的远程控制。

已经提出了使用触觉用户接口设备(例如，用户握持的操纵杆、触觉触摸屏或用户穿戴的手套)和视觉用户接口设备(例如，用户观看的屏幕或用户穿戴的头戴式显示器)的将触觉和视觉信息相结合的系统用户。

此外，可以将触觉信息与视觉信息以及音频信息和文本信息相结合的系统可以被集成在诸如终端设备之类的用户设备中。在下文中，将每种类型的用户内容(触觉信息、视觉信息、音频信息和文本信息)被称为用户内容的模态(modality)(或简称为模态)。

存在若干种用于向终端设备提供触觉反馈的机制，并且考虑到用户与用户接口的交互，或者通过根据终端设备显示的音频或视频内容提供触觉反馈。在其他情况下，均使用带有触觉设备的相应终端设备的两个用户可以通过与终端设备的显示器进行实时交互来相互传送触摸感。如果终端设备能够跟踪用户手指的位置，则每个用户接收有关用户接口、图像、对象或另一个用户手指在特定位置上的触觉属性(例如，纹理、摩擦、刚度)的触觉反馈。

尽管提高了终端设备播出用户内容的能力，但仍然可能使得特定终端设备只能播出少于其所有模态的用户内容。因此，处理不同模态的用户内容可能是麻烦的，但对于知道用户内容的类型(就模态而言)以向特定终端设备传递以及知道是否已在终端设备上正确播出该用户内容可以是必要的。

因此，仍然需要实现在终端设备中对消息的改进处理。

发明内容

本文的实施例的目的是使得能够在终端设备中高效地处理消息。

根据第一方面，提出了一种用于终端设备中的消息处理的方法。该方法由该终端设备执行。该方法包括从网络控制器接收包括用户内容的消息。该方法包括将消息的通知提供给终端设备的用户接口。该方法包括从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。该方法包括根据已经播出的用户内容的量对消息执行动作。

根据第二方面，提出了一种用于终端设备中的消息处理的终端设备。该终端设备包括处理电路。处理电路被配置为使终端设备从网络控制器接收包括用户内容的消息。处理电路被配置为使终端设备向终端设备的用户接口提供对消息的通知。处理电路被配置为使终端设备从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。处理电路被配置为使终端设备根据已经被播出的用户内容的量对消息执行动作。

根据第三方面，提出了一种用于终端设备中的消息处理的终端设备。所述终端设备包括处理电路和存储介质。该存储介质存储指令，该指令在由处理电路执行时使得终端设备执行操作或步骤。该操作或步骤使终端设备从网络控制器接收包括用户内容的消息。该操作或步骤使终端设备向终端设备的用户接口提供对消息的通知。这些操作或步骤使终端设备从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。这些操作或步骤使终端设备根据已播出的用户内容的量对消息执行操作。

根据第四方面，提出了一种用于终端设备中的消息处理的终端设备。该终端设备包括接收模块，该接收模块被配置为从网络控制器接收包括用户内容的消息。终端设备包括提供模块，该提供模块被配置为向终端设备的用户接口提供对消息的通知。终端设备包括接收模块，该接收模块被配置为从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。终端设备包括修改模块，该修改模块被配置为根据已经播出的用户内容的量对消息执行动作。

根据第五方面，提出了一种用于终端设备中的消息处理的计算机程序，所述计算机程序包括计算机程序代码，所述计算机程序代码在中终端设备的处理电路上运行时使终端设备执行根据第一方面的方法。

根据第六方面，提出了一种用于终端设备中的消息处理的方法。该方法由网络控制器执行。该方法包括向至少两个终端设备发送包括用户内容的消息。该方法包括从终端设备中已经接收到消息的至少一个终端设备接收对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。该方法包括向终端设备中已经接收到消息的任何剩余的终端设备发送对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。

根据第七方面，提出了一种用于终端设备中的消息处理的网络控制器。该网络控制器包括处理电路。处理电路被配置为使网络控制器向至少两个终端设备发送包括用户内容的消息。处理电路被配置为使得网络控制器从终端设备中已经接收到消息的至少一个终端设备接收对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。处理电路被配置为使网络控制器向终端设备中已经接收到消息的任何剩余的终端设备发送对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。

根据第八方面，提出了一种用于终端设备中的消息处理的网络控制器。所述网络控制器包括处理电路和存储介质。所述存储介质存储指令，所述指令在由处理电路执行时使所述网络控制器执行操作或步骤。该操作或步骤使网络控制器向至少两个终端设备发送包括用户内容的消息。该操作或步骤使得网络控制器从终端设备中已经接收到消息的至少一个终端设备接收对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。该操作或步骤使网络控制器向终端设备中已经接收到消息的任何剩余的终端设备发送对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。

根据第九方面，提出了一种用于终端设备中的消息处理的网络控制器。该网络控制器包括发送模块，该发送模块被配置为向至少两个终端设备发送包括用户内容的消息。该网络控制器包括接收模块，该接收模块被配置为从终端设备中已经接收到消息的至少一个终端设备接收对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。该网络控制器包括发送模块，该发送模块被配置为向终端设备中已经接收到消息的任何剩余的终端设备发送对在终端设备中的该至少一个处终端设备处已经播出的用户内容的量的指示。

根据第十方面，提出了一种用于终端设备中的消息处理的计算机程序，所述计算机程序包括计算机程序代码，所述计算机程序代码在中网络控制器的处理电路上运行时使网络控制器300执行根据第六方面的方法。

根据第十一方面，提出了一种计算机程序产品，其包括根据第五方面和第十方面中的至少一个方面的计算机程序、以及其上存储有计算机程序的计算机可读存储介质。计算机可读存储介质可以是非暂时性计算机可读存储介质。

有利地，这些方法、这些终端设备、这些网络控制器和这些计算机程序使得能够在终端设备中高效地处理消息。

有利地，这些方法、这些终端设备、这些网络控制器和这些计算机程序使得具有用户内容模态的消息(例如，触觉用户内容)能够由终端设备以适当的方式接收和处理。

根据以下详细公开、根据所附从属权利要求以及根据附图，所附实施例的其他目的、特征和优点将变得显而易见。

通常，除非本文另有明确定义，否则权利要求中使用的所有术语根据其在技术领域中的通常含义来解释。除非另有明确说明，否则对“一/一个/所述元件、设备、组件、装置、模块、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、模块、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以所公开的确切顺序来执行。

附图说明

现在参照附图以示例方式描述本发明构思，在附图中：

图1是示出了根据实施例的通信网络的示意图；

图2和图3是根据实施例的方法的流程图；

图4是示出了根据实施例的终端设备的功能单元的示意图；

图5是示出了根据实施例的终端设备的功能模块的示意图；

图6是示出了根据实施例的网络控制器的功能单元的示意图；

图7是示出了根据实施例的网络控制器的功能模块的示意图；以及

图8示出了根据实施例的包括计算机可读装置的计算机程序产品的一个示例。

具体实施方式

现在将在下文中参考示出本发明构思的某些实施例的附图更全面地描述本发明构思。然而，本发明构思可以以许多不同的形式实现，并且不应被解释为限于本文阐述的实施例；相反，这些实施例以示例方式提供，使得本公开将全面和完整，并且将本发明构思的范围完全传达给本领域技术人员。在说明书全文中，相似的标记指代相似的元件。由虚线示出的任何步骤或特征应当被视为可选的。

图1是示出了可以应用本文提出的实施例的通信网络100的示意图。通信网络100包括终端设备200a、200b、200c和网络控制器300。在一些方面，通信网络100是无线通信网络，例如，蜂窝通信网络。如本领域技术人员所理解的，图1所示的通信网络100是真实世界的通信网络的简化版本，其包括多个网络节点，诸如无线电接入网络部分中的无线电接入网络节点、核心网络部分中的核心网络节点、以及服务网络部分中的用户内容服务器。然而，在不失去一般性的前提下进行了简化，以便不妨碍如本文所公开的实施例。

每个终端设备200a、200b、200c可以是便携式无线设备、移动台、移动电话、手机、无线本地环路电话、用户设备(UE)、智能电话、智能手表、头戴式显示器、膝上型计算机、平板计算机、台式计算机、配备网络的交通工具等。

假定根据以下来配置终端设备200a、200b、200c中的至少一个(以下至少终端设备200a)。终端设备包括用于接收具有触觉、视觉和/或音频用户内容的消息的装置。终端设备包括用于经由触觉、视觉和/或音频致动器来渲染用户内容以供用户消费(感受、观看和/或收听用户内容)并具有触觉、视觉和/或音频反馈的装置。

用户内容可以具有每种模态的所要求的最低消费水平。换言之，为了使每个模态的用户内容被认为被播出，必须播出至少一些部分(对应于所要求的最低消费水平)。最低消费水平可以取决于致动器类型。例如，消息M的触觉、视觉和音频模态的最低消费水平被表示为Lr(M)＝[H，V，A]，其中H表示触觉水平，V表示视觉水平，A表示音频水平，它们是一个元组，并且每个值H、V和A取值范围在[0，1]之间，这取决于其消费水平。视觉用户内容的所要求的最低消费水平可以根据视觉用户内容在视觉用户接口上显示了多长时间(以秒为单位)和/或在视觉用户接口不能一次渲染完整的视觉用户内容的情况下视觉用户内容在视觉用户接口上显示了多大部分(以百分比为单位)来定义。可以根据音频用户内容在音频用户接口上显示了多长时间(以秒为单位)和/或音频用户内容以什么音频质量被播出等来定义音频用户内容的所要求的最低消费水平。下面将提供有关消费水平的示例和更多细节。

终端设备包括被配置为执行下文将公开的方法的装置。

可以设想，一个用户且同一个用户可以访问能够播出用户内容的各种模态的若干终端设备。

如上所述，处理不同模态的用户内容可能很麻烦。

因此，本文公开的实施例涉及终端设备200a中用于消息处理的机制。为了获得这种机制，提供了终端设备200a、由终端设备200a执行的方法、包括代码的计算机程序(例如，计算机程序产品形式的计算机程序)，当在终端设备200a的处理电路上运行时，所述代码使终端设备200a执行该方法。为了获得这样的机制，还提供了一种网络控制器300、由网络控制器300执行的方法、以及包括例如以计算机程序形式的代码在内的计算机程序产品，所述代码当在网络控制器300的处理电路上执行时，使网络控制器300执行所述方法。

图2是示出了由终端设备200a执行的用于终端设备200a中的消息处理的方法的实施例的流程图。图3是示出了由网络控制器300执行的用于终端设备200a中的消息处理的方法的实施例的流程图。这些方法有利地被作为计算机程序820a、820b来提供。

现在参考图2，其示出了根据实施例的如由终端设备200a执行的用于终端设备200a中的消息处理的方法。

假定终端设备200b、200c之一或另一终端设备或具有用户内容的服务器将消息发送给终端设备200a。该消息由网络控制器300转发给终端设备200a。因此，终端设备200a被配置为执行步骤S102：

S102：终端设备200a接收消息。该消息包括用户内容。从网络控制器300接收该消息。

用户内容将在终端设备200a的用户接口处被播出，以便用户内容被终端设备200a的用户所消费。因此，必须将该消息通知给用户。因此，终端设备200a被配置为执行步骤S104：

S104：终端设备200a将消息的通知提供给终端设备200a的用户接口。

这使用户有机会通过与用户接口进行交互来消费用户内容。特别地，用户可以请求用户接口播出用户内容。因此，用户接口指示已经播出了用户内容的数量。因此，终端设备200a被配置为执行步骤S106：

S106：终端设备200a从用户接口接收反馈。反馈指示已在用户接口上播出用户内容的量。

可以是没有播出用户内容，因此播出的用户内容的量为零。然后对消息执行动作。特别地，终端设备200a被配置为执行步骤S108：

S108：终端设备200a根据已经播出的用户内容的量对消息执行动作。

现在将公开与由终端设备200a执行的终端设备200a中的消息处理的进一步的细节有关的实施例。

在步骤S108中，可以对该消息执行不同类型的动作。根据第一实施例，该动作包括确定保持消息完整。如果已经播出的用户内容的量为零，或者如果已经播出小于所要求的最低消费水平的用户内容，则可以执行此动作。根据第二实施例，该动作包括确定消息将被修改。如果已经播出了一些(但不是全部)用户内容，则可以执行此动作。根据第三实施例，该动作包括确定该消息将从终端设备200a中被删除。如果已经播出了所有用户内容，或者如果已经播出的用户内容的量为零并且终端设备200a无法播出该用户内容，则可以执行该动作。在一些方面，这可能导致终端设备200a向网络控制器300请求具有用户内容的新消息，例如，其中终端设备200a指定终端设备200a能够播出什么类型的用户内容。

如上所公开的，用户内容可以有不同的模态。特别地，根据实施例，消息包括至少两种类型的用户内容，其中至少两种类型是从包括文本内容、音频内容、触觉内容和嗅觉内容的组中选择的。在另外的方面中，在消息包括至少两种类型的用户内容并且用户接口仅能够播出少于所有的该至少两种类型的用户内容的用户内容的情况下，从网络控制器300向终端设备200a提供用户接口仅能够播出的一种或多种类型的用户内容。

可以有不同的方法来确定已在用户接口处播出的用户内容的量。概括而言，本文所使用的术语“量”可以与消费的用户内容的数量(例如，持续时间)和/或质量(例如，消费用户内容的良好程度)。在一些方面，量与数量有关。例如，就音频内容而言，该量可以与已播出的音频内容的秒数有关。例如，就视觉内容而言，该量可以与所播出的视觉内容的数量以及在视觉内容的播出期间用户实际观看了视觉内容的哪一部分有关。在一些方面，量与质量有关。例如，就音频内容而言，该量可以与音频内容以什么比特率或音频质量播出有关。例如，就视觉内容而言，量可以与视觉内容以什么分辨率播出有关。例如，就触觉内容而言，该量可以与触觉内容利用多少个致动器播出以及用户消费了多少模态的触觉内容有关。

在一些方面，由终端设备执行对具有触觉和至少视觉和/或音频用户内容的消息的接收。该消息被临时或永久存储在终端设备处。

在一些方面，用户内容被保留在终端设备中，直到消费水平达到所定义的阈值水平以上。特别地，根据实施例，仅在已经在用户接口上播出的用户内容的量高于阈值之前，将用户内容存储在终端设备200a中。根据另一实施例，仅当用户接口能够播出用户内容时，用户内容才被存储在终端设备200a中。

在一些方面，将对接收消息的视觉和/或音频通知提供给用户接口。特别地，根据实施例，该通知指示消息中包括哪种类型的用户内容。因此，在一些方面，该通知具体示出了将在消息中传递触觉用户内容。

在其他方面，仅在终端设备具有用于传递该消息的所需的触觉致动器的情况下才显示该通知。特别地，根据实施例，如果终端设备200a确定其不能播出消息的任何剩余用户内容，则从用户接口移除该通知。根据另一实施例，如果用户接口不能播出消息的任何剩余用户内容，则从用户接口移除该通知。终端设备200a然后可以向网络控制器300通知可以播出什么用户内容，从而可以在网络控制器300处生成新的通知，或者可以在终端设备200a处生成新的通知。

仅在终端设备具有允许消费水平高于某个阈值的触觉致动器的情况下才显示该通知(这些水平和示例在下面详述)。也就是说，根据实施例，用户内容与所要求的消费水平相关联，并且如果终端设备200a不能将用户内容播出至低于所要求的消费水平的量，则从终端设备200a的用户接口移除该通知。

此外，如果适用，则可以显示说明终端设备不具有传递消息所需的致动器的通知。特别地，根据实施例，当用户接口不能播出用户内容时，该通知指示该用户接口不能播出消息的任何剩余用户内容。

在一些方面，每个模态的消费水平被推断并在区间中进行设置，例如，区间[0，1]。如上所述，用户内容的触觉、视觉和音频水平可以表示为L(M)＝[H，V，A]。例如，消费水平可能受到以下因素的影响：无法传递的模态(例如，在终端设备中禁用了触觉反馈，因此H＝0)，未被正确传递的模态(例如，用户无法正确看到视觉消息，因此V＝0)，或者在用户视觉内容被完全消费之前中断了消息读取(因此，V＜1)。在另一示例中，在终端设备处不存在所需的触觉反馈致动，因此将触觉消费水平设置为H＝0。在另一示例中，由于缺少或限制触觉反馈致动而仅执行部分触觉反馈，因此H＜1。

当用户内容是文本时，用户接口可以是可视用户接口，并且反馈指示在可视用户接口上已经显示了多少文本。当用户内容是音频时，用户接口可以是音频用户接口，并且反馈指示音频用户接口已经播出了多少音频。当用户内容为触觉时，用户接口可以包括运动传感器，并且该反馈指示在播出消息时已激活了多少运动传感器。例如，可以存在位置、速度和加速度的运动传感器，可以应用力传感器来测量用户手指施加的压力，或者可以测量从用户手指到表面的接触轮廓以确定所渲染的纹理是否被感受到(以及因此消费的用户内容)。当用户内容是嗅觉时，用户接口可以包括嗅觉传感器，并且该反馈指示在播出消息时已经激活了多少嗅觉传感器。

更详细地，可以经由用户眼睛跟踪、监测终端设备用户接口事件(例如，中断、在其被显示之后太快地禁用消息文本)以及推断终端设备显示器的状态(例如，活动/不活动)来执行对视觉模态的消费水平的推断。可以通过识别终端设备的扬声器的状态或监测当播出音频时由终端设备的扬声器产生的振动来执行对音频模态的消费水平的推断。可以通过监测终端设备触觉反馈输出(例如，通过放置在终端设备中的运动传感器)、终端设备的触觉反馈致动器的标识以及标识触觉致动器的状态来执行对触觉模态的消费水平的推断。消费水平的推断可能受当前用户活动和一天中的时间影响。例如，早晨用户在消费消息时可以和晚上具有不同的行为，并且这种行为可能会对消费水平产生影响。消费水平的推断也可以由用户决定，用户可以选择消费消息的用户内容的程度。

在一些方面，用户内容可以具有消费要求，其中不能单独进行对模态的消费。因此，根据实施例，至少两种类型的用户内容与联合要求的消费水平相关联，使得除非用户内容的播出量满足联合要求的消费水平，否则认为未播出该用户内容。

在其他方面，允许单独执行对不同模态的用户内容的消费，其中例如可能需要一起播出触觉用户内容和视觉用户内容，而同时播出相同消息的音频用户内容可能不是必需的。因此，根据实施例，至少两种类型的用户内容中的每一种与所要求的消费水平相关联，使得除非至少两种类型中的一种的用户内容的播出量满足至少两种类型中的这一种的所要求的消费水平，否则认为未播出至少两种类型中的这一种的用户内容。

通过引入消息M的所要求的最低消费水平Lr(M)＝[H，V，A]，可以将此类要求作为阈值加在每个消费水平变量H、V、A上。

在一些方面，当消费水平L低于最低消费水平Lr时，即当L＜Lr时，在所有终端设备中通知保持活动。

在一些方面，根据用户内容的消费来修改通知。也就是说，根据实施例，终端设备200a被配置为执行(可选的)步骤S110：

S110：终端设备200a根据已经在终端设备200a处播出的用户内容的量来修改通知。可替换地，终端设备200a在步骤S100中根据已经在终端设备200a处播出的用户内容的量来生成新的通知。

接下来将公开可以如何修改通知的示例。

在一些方面，在不能达到最低消费水平要求Lr的所有终端设备中停用该通知，这在被表示为La的可达到的消费低于消息所要求的最低消费水平(即La＜Lr)时会发生。特别地，根据实施例，用户内容与所要求的消费水平相关联，并且如果终端设备200a不能将用户内容播出至使得满足所要求的消费水平的量，则从用户接口移除该通知。

在一些方面，如果消费水平L低于最低消费水平要求Lr，则在所有终端设备中通知保持活动。也就是说，根据实施例，用户内容与所要求的消费水平相关联，并且仅在已经播出的用户内容的量小于所要求的消费水平的情况下，不对通知进行任何修改。

该通知可以在接收到相同消息的所有其他终端设备中保持活动。

在一些方面，当通知在终端设备中保持活动时，用户内容保持不变，并在用户访问消息时向用户重放。也就是说，根据实施例，只要通知未被修改以便从用户接口中被删除，那么用户内容在终端设备中保持不变，并且从用户内容的开始来播出用户内容。

在其他方面，当通知在终端设备中保持活动时，用户内容的消费水平已大于最低消费水平要求，即对于k∈[1，3]，L(k)＞Lr(k)，修改该用户内容以匹配最低消费水平要求。

例如，如果对于一条消息，不需要音频与视觉信息和/或触觉信息同时播出(例如，Lr＝[0.5，0.5，0])，则将用户内容的音频分量移除以不进行重放。在另一示例中，如果仅触觉反馈未被消费(也就是说，对于V＞0和A＞0，L＝[0，V，A])，并且触觉反馈可以独立于视频和音频来进行播出(也就是说，Lr＝[1，0，0])，则播出用户内容的触觉分量，同时禁用消息的视觉用户内容和音频用户内容。此外，可以引入变量P(M)，以便根据所要求的消费水平(Lr)定义可以独立播出的内容和需要播出的内容。例如，变量P(M)可以实现为3×3矩阵，其中行和列代表每个模态(H，V，A)，并且值1表示行模态必须与列模态一起播放，否则为0。这使得消费要求水平与联合播出要求的概念解耦合。

在其他方面，当通知在终端设备中保持活动时，用户内容的持续时间被修改。也就是说，根据实施例，修改消息，使得从终端设备200a删除已经播出的用户内容。另外地或备选地，恢复播出用户内容，以便跳过已经播出的用户内容。作为示例，如果消息具有持续时间T秒并且仅播出了用户内容的前Δt秒，则仅向用户重放长度为T-Δt秒的任何剩余的消息用户内容。

在一些方面，对其消费水平已经大于消费水平要求的用户内容进行修改以匹配消费水平要求。也就是说，根据实施例，用户内容与所要求的消费水平相关联，并且动作包括如果已经播出的用户内容满足所要求的消费水平则仅从终端设备200a删除已经被播出的用户内容。

在一些方面，当禁用一种模态的用户内容时，可以从终端设备移除禁用模态的用户内容，以便减少存储器利用并使得能够更容易地重放该用户内容。也就是说，根据实施例，修改消息，使得从终端设备200a删除不能由终端设备200a播出的用户内容。

在一些方面，其中在单独的终端设备中体验每种模态，可以在要发起消费时以及在消费结束/停止/完成时发送同步消息，以便通过考虑所有终端设备来显示和评估该消息的消费水平。

也就是说，根据实施例，终端设备200a仅能够播出少于所有至少两种类型的类型的用户内容，并且终端设备200a被配置为执行(可选)步骤S112：

S112：当终端设备200a已经播出了至少两种类型中终端设备200a能够播出的那些类型的用户内容时，终端设备200a向网络控制器300或已经接收到该消息的另一终端设备200b、200c提供指示。

在一些方面，在终端设备200a与终端设备200b、200c之间的直接链路上提供指示。在其他方面，该指示经由网络控制器300被提供给终端设备200b、200c。

可能需要在所有终端设备之间进行消息交换，来通知所执行的消费，以便针对每个终端设备根据上述方面和实施例确定要执行的动作(例如，启用/禁用对一种或多种模态的用户内容的播出)。因此，根据实施例，终端设备200a被配置为执行(可选的)步骤S114：

S114：终端设备200a从网络控制器300或已经接收到消息的另一终端设备200b、200c获得对所谓的另一终端设备200b、200c已经播出了至少两种类型的用户内容中的哪一种类型的用户内容的指示。

终端设备200相应地修改消息。具体地，根据该实施例，终端设备200a被配置为执行(可选的)步骤S116：

S116：终端设备200a根据已经在所谓的另一终端设备200b、200c处播出的用户内容的类型来修改消息。

这可能导致在步骤S104中提供给终端设备200a的用户接口的通知被修改。或者，这可能导致新的通知替换先前的通知。修改的或新的通知然后将反映尚未在所谓的另一终端设备200b、200c处播出的用户内容的类型。也就是说，在步骤S114中获得的指示可以触发在接收设备200b、200c处生成给接收终端设备200b、200c的用户的通知(由所谓的另一终端设备定义)。此外，该指示可以是由发送终端设备200a生成的通知(如果发送终端设备200a能够在不需要涉及网络控制器300的情况下生成通知(因此仅使用网络控制器来分发通知))。

在一些方面，在终端设备200a与终端设备200b、200c之间的直接链路上获得指示。在其他方面，该指示是通过网络控制器300从终端设备200b、200c获得的。

同样地，与终端设备200a在步骤S112中向另一终端设备200b、200c提供对终端已经播出了少于所有模态的用户内容的指示相同的方式，终端设备200a可以向另一终端设备200b、200c提供关于播出的用户内容的量的对应指示。具体地，根据实施例，终端设备200a被配置为执行(可选的)步骤S118：

S118：终端设备200a向网络控制器300或已经接收到该消息的另一终端设备200b、200c提供对已经(在终端设备200a处)播出的用户内容的量的指示。

在一些方面，在终端设备200a与终端设备200b、200c之间的直接链路上提供指示。在其他方面，该指示经由网络控制器300被提供给终端设备200b、200c。

这样的指示也可以从另一终端设备200b、200c获得。具体地，根据实施例，终端设备200a被配置为执行(可选的)步骤S120：

S120：终端设备200a从网络控制器300或已经接收到该消息的另一终端设备200b、200c获得已经在所述另一终端设备200b、200c处播出的用户内容的量的指示。

在一些方面，在终端设备200a与终端设备200b、200c之间的直接链路上获得指示。在其他方面，该指示是通过网络控制器300从终端设备200b、200c获得的。

终端设备200a然后可以相应地修改消息。也就是说，根据实施例，终端设备200a被配置为执行(可选的)步骤S122：

S122：终端设备200a根据已经在所谓的另一终端设备200b、200c处播出的用户内容的量来修改消息。

这可能导致在步骤S104中提供给终端设备200a的用户接口的通知被修改。或者，这可能导致新的通知替换先前的通知。修改的或新的通知然后将反映尚未在所谓的另一终端设备200b、200c处播出的用户内容的量。

现在参考图3，其示出了根据实施例的由网络控制器300执行的用于终端设备200a、200b、200c中的消息处理的方法。

S202：网络控制器300向至少两个终端设备200a、200b、200c发送包括用户内容的消息。

假设终端设备200a、200b、200c中的至少一个消费根据以上任何实施例的用户内容的至少一部分，并将其指示给网络控制器300。因此，网络控制器300被配置为执行步骤S204：

S204：网络控制器300从已经接收到消息的终端设备200a、200b、200c中的至少一个终端设备接收对在终端设备200a、200b、200c中的该至少一个处终端设备处已经播出的用户内容的量的指示。

然后，网络节点300向接收到该消息的任何剩余的终端设备200a、200b、200c、200d通知关于对用户内容的消费的消息。具体地，网络控制器300被配置为执行步骤S206：

S206：网络控制器300向已经接收到消息的任何剩余的终端设备200a、200b、200c发送对在终端设备200a、200b、200c中的该至少一个终端设备处已经播出的用户内容的量的指示。

现在将公开与由网络控制器300执行的终端设备200a、200b、200c中的消息处理的更多细节有关的实施例。

在一些方面，网络控制器300保存消息的本地副本。然后可以根据用户内容的消费来修改消息的本地副本。具体地，根据实施例，网络控制器300保持消息的本地副本，并被配置为执行(可选的)步骤S208：

S208：网络控制器300根据已经在终端设备200a、200b、200c中的至少一个处播出的用户内容的量来修改消息。

因此，当已经播出完整的用户内容时，网络控制器300可以移除其本地消息副本。

如上所述，根据实施例，该消息包括至少两种类型的用户内容。然后，网络控制器300可以被配置为执行步骤S210：

S210：网络控制器300从已经接收到消息的终端设备200a、200b、200c中的至少一个接收对终端设备200a、200b、200c中的所述至少一个已经播出至少两种类型的用户内容中的哪一种类型的指示。

可以将其指示发送给任何剩余的终端设备200a、200b、200c。因此，根据实施例，网络控制器300被配置为执行步骤S212：

S212：网络控制器300向任何剩余的已经接收到消息的终端设备200a、200b、200c发送对终端设备200a、200b、200c中的所述至少一个已经播出至少两种类型的用户内容中的哪一种类型的指示。

考虑用户A从一个终端设备向用户B发送具有视觉和触觉内容的消息，并且用户B有可以接收该消息的若干终端设备(例如，智能电话、智能手表和膝上型计算机)。此外，假设智能电话和智能手表能够播出触觉用户内容，而膝上型计算机则不能。

在这种情况下，用户B可以在膝上型计算机上消费视觉分量，但是无法在这种膝上型计算机上播出触觉用户内容。在该示例中，假设对于要播出的触觉内容，还必须播出视觉分量，而视觉内容可以由自已播出。因此，尽管用户通过在膝上型计算机中播出视觉分量来消费消息，但是在启用触觉反馈的其他终端设备中通知保持活动，在该其他终端设备中可以将触觉用户内容与视觉用户内容一起播出。

在另一种情况下，用户B可能无法适当地在智能电话上消费触觉用户内容(尽管智能电话能够播出触觉用户内容)，这是因为终端设备被放置在表面上而非用户B用手握持终端设备。在这种情况下，消息通知在终端设备中保持活动，直到用户适当地消费用户内容为止。

图4以多个功能单元的方式示意性地示出根据实施例的终端设备200a的组件。使用能够执行计算机程序产品810a(如图8中)(例如，具有存储介质230的形式)中存储的软件指令的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一种或多种的任意组合来提供处理单元210。处理电路210还可以被提供为至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。

具体地，处理电路210被配置为使得终端设备200a执行如上所公开的一组操作或步骤S102-S122。例如，存储介质230可以存储该操作集合，并且处理电路210可以被配置为从存储介质230获取该操作集合，以使终端设备200a执行该操作集合。该操作集合可以被提供为可执行指令的集合。因此，处理电路210由此被布置成执行如本文公开的方法。

存储介质230还可以包括持久性存储设备，例如，其可以是磁存储器、光存储器、固态存储器或甚至是远程安装的存储器中的任何单个存储器或组合。

终端设备200a还可以包括用于与网络控制器300和其他终端设备200b、200b进行通信的通信接口220。因此，通信接口220可以包括一个或多个发送器和接收器，该发送器和接收器包括模拟和数字组件。

处理电路210例如通过向通信接口220和存储介质230发送数据和控制信号、通过从通信接口220接收数据和报告、以及通过从存储介质230获取数据和指令来控制终端设备200a的总体操作。为了不模糊本文提出的构思，省略了终端设备200a的其他组件和相关的功能。

图5以多个功能模块的方式示意性地示出根据实施例的终端设备200a的组件。图5的终端设备200a包括多个功能模块：第一接收模块210a，被配置为执行步骤S102；第一提供模块210b，被配置为执行步骤S104；第二接收模块，被配置为执行步骤S106；以及动作模块210d，被配置为执行步骤S108。

图5的终端设备200a还可以包括多个可选功能模块，例如以下中的任何一个：第一修改模块或生成模块210e，被配置为执行步骤S110；第二提供模块210f，被配置为执行步骤S112；第一获得模块210g，被配置为执行步骤S114；第二修改模块210h，被配置为执行步骤S116；第三提供模块210i，被配置为执行步骤S118；第二获得模块210j，被配置为执行步骤S120；第三修改模块210k，被配置为执行步骤S122。

一般地，每个功能模块210a-210k可以以硬件或软件实现。优选地，一个或多个或所有功能模块210a-210k可以由可能与通信接口220和/或存储介质230协作的处理电路210来实现。处理电路210可以因此被布置为从存储介质230获取由功能模块210a-210k提供的指令，以及被布置为执行这些指令，由此执行本文公开的终端设备200a的任何步骤。

上面已经公开了终端设备200a的示例。

图6以多个功能单元的形式示意性地示出了根据实施例的网络控制器300的组件。使用能够执行计算机程序产品810b(如图8中)(例如，具有存储介质330的形式)中存储的软件指令的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一种或多种的任意组合来提供处理单元310。处理电路310还可以被提供为至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。

特别地，处理电路310被配置为使得网络控制器300执行如上所述的操作或步骤的集合S202-S212。例如，存储介质330可以存储该操作集合，并且处理电路310可以被配置为从存储介质330获取该操作集合，以使网络控制器300执行该操作集合。该操作集合可以被提供为可执行指令的集合。因此，处理电路310由此被布置成执行如本文公开的方法。

存储介质330还可以包括持久性存储设备，例如，其可以是磁存储器、光存储器、固态存储器或甚至是远程安装的存储器中的任何单个存储器或组合。

网络控制器300还可以包括用于与终端设备200a、200b、200c进行通信的通信接口320。因此，通信接口320可以包括一个或多个发送器和接收器，该发送器和接收器包括模拟和数字组件。

处理电路310例如通过向通信接口320和存储介质330发送数据和控制信号，通过从通信接口320接收数据和报告，以及通过从存储介质330获取数据和指令来控制网络控制器300的总体操作。省略网络控制器300的其它元件以及相关功能以不使本文提出的构思模糊。

图7以多个功能模块的形式示意性地示出了根据实施例的网络控制器300的组件。图7的网络控制器300包括多个功能模块：第一发送模块310a，被配置为执行步骤S202；第一接收模块310b，被配置为执行步骤S204；第二发送模块310c，被配置为执行步骤S106。图7的网络控制器300还可以包括多个可选的功能模块，例如以下中的任何一个：修改模块310d，被配置为执行步骤S208；第二接收模块310e；被配置为执行步骤S210；以及第三发送模块310f；被配置为执行步骤S212。

一般而言，每个功能模块310a-310d可以在硬件或在软件中实现。优选地，一个或多个或所有功能模块310a-310d可以由可能与通信接口320和/或存储介质330协作的处理电路310来实现。因此，处理电路310可以被布置为从存储介质330获取如由功能模块310a-310d提供的指令，并且执行这些指令，从而执行如本文所公开的网络控制器300的任何步骤。

网络控制器300可以被提供为独立设备或至少一个其他设备的一部分。例如，网络控制器300可被提供在无线电接入网络的节点中或被提供在核心网络的节点中或者甚至被提供在服务网络的节点中。备选地，网络控制器300的功能可以分布在至少两个设备或节点之间。这些至少两个节点或至少两个设备可以是相同网络部分(例如无线电接入网络或核心网络)的一部分，或者可以散布在至少两个这样的网络部分之间。

因此，由网络控制器300执行的指令的第一部分可以在第一设备中执行，并且由网络控制器300执行的指令的第二部分可以在第二设备中执行；本文公开的实施例不限于可以在其上执行由网络控制器300执行的指令的任何特定数量的设备。因此，根据本文公开的实施例的方法适于由驻留在云计算环境中的网络控制器300来执行。因此，尽管在图6中示出了单个处理电路310，但是处理电路310可以分布在多个设备或节点中。这同样适用于图7的功能模块310a-310f和图8的计算机程序820b(见下文)。

图8示出了包括计算机可读装置830在内的计算机程序产品810a、810b的一个示例。在该计算机可读装置830上，可以存储计算机程序820a，该计算机程序820a可以使处理电路210和在操作上耦合到处理电路210的实体和设备(例如，通信接口220和存储介质230)执行根据本文描述的实施例的方法。因此，计算机程序820a和/或计算机程序产品810a可以提供用于执行本文公开的终端设备200a的任何步骤的装置。在该计算机可读装置830上，可以存储计算机程序820b，该计算机程序820b可以使处理电路310和在操作上耦合到处理电路310的实体和设备(例如，通信接口320和存储介质330)执行根据本文描述的实施例的方法。因此，计算机程序820b和/或计算机程序产品810b可以提供用于执行本文公开的网络控制器300的任何步骤的装置。

在图8的示例中，计算机程序产品810a、810b被示出为光盘，例如CD(紧凑盘)或DVD(数字多功能盘)或蓝光盘。计算机程序产品810a、810b还可以体现为存储器，例如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、或电子可擦除可编程只读存储器(EEPROM)，并且更具体地体现为外部存储器(例如，USB(通用串行总线)存储器)或者闪存(例如，紧凑型闪存)中的设备的非易失性存储介质。因此，尽管计算机程序820a、820b这里示意性地示出为所描述的光盘上的轨道，计算机程序820a、820b可以用适于计算机程序产品810a、810b的任意方式进行存储。

已经参考一些实施例在上文中主要地描述了本发明构思。然而，本领域技术人员容易理解的是，上面公开的实施例之外的其它实施例在由所附专利权利要求所限定的本发明构思的范围之内同样是可能的。