由数字助理在组设备环境中对命令的标识和处理
阅读说明：本技术 由数字助理在组设备环境中对命令的标识和处理 (Identification and processing of commands in a group device environment by a digital assistant ) 是由 K·M·本-多尔 R·卡拉西克 A·迪亚曼特 A·米勒 于 2019-02-28 设计创作，主要内容包括：在本公开的非限制性示例中,提出了用于由数字助理在组设备环境中执行命令的系统、方法和设备。在事件的持续时间内,可以对具有数字助理的多个设备进行集群。群集的设备中的一个设备可以被指派为针对群集的仲裁器设备。用户可以发出由群集的数字助理可执行的口头命令。可以经由语音分析来标识发出口头命令的用户。可以关于口头命令是否对应于与群集的多个成员或群集的特定成员共享内容的意图做出确定,并且可以基于所确定的意图和执行设备的呈现能力来选择群集的设备以用于执行对口头命令的答复。(In a non-limiting example of the present disclosure, a system, method, and device are presented for executing commands by a digital assistant in a group device environment. Multiple devices with digital assistants may be clustered for the duration of an event. One of the devices of the cluster may be assigned as an arbiter device for the cluster. The user may issue spoken commands executable by the clustered digital assistants. A user issuing a spoken command may be identified via speech analysis. A determination may be made as to whether the spoken command corresponds to an intent to share content with multiple members of the cluster or a particular member of the cluster, and a device of the cluster may be selected for executing a reply to the spoken command based on the determined intent and a rendering capability of the executing device.)
背景技术
随着数字助理(例如，Cortana、Siri、Alexa)的能力的增强，它们在家庭和工作场所中的使用也得到增加。用户经常访问数字助理，以响应于口头命令而快速并且有效地获取答案，并且使内容浮现(surface)。随着数字助理的使用及其与各种计算设备的结合变得几乎无处不在，用户尝试在包括每个具有集成数字助理的多个设备的环境中与数字助理进行口头交互已经变得越来越普遍。
关于该一般技术环境，已经考虑了本文中公开的本技术的各方面。此外，尽管已经讨论了一般环境，但是应当理解，本文中描述的示例不应当限于在背景技术中确定的一般环境。
发明内容
提供本发明内容以便以简化的形式介绍一些概念，这些概念将在下面的
具体实施方式
部分中进一步描述。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。示例的其他方面、特征和/或优点将在下面的描述中部分地阐述，并且部分地从描述中很清楚，或者可以通过本公开的实践而获知。
本公开的非限制性示例描述了用于由数字助理在组设备环境中执行口头命令的系统、方法和设备。可以创建包括与数字助理集成的多个计算设备的群集。在一些示例中，可以基于一个或多个指示符来对多个设备自动集群，一个或多个指示符包括：设备的物理位置、设备的物理接近度、与设备相关联的群集事件、以及与群集事件相关联的位置。在其他示例中，可以基于用于创建或加入群集的用户选择来对多个计算设备进行集群。在创建群集之后，可以选择或将群集中的多个设备中的一个设备指派为仲裁器设备，以直接响应于来自群集成员的口头数字助理命令。当在集群的设备附近的群集成员发出口头数字助理命令时，仲裁器设备将这些命令发送给数字助理服务以进行处理。该处理可以包括标识发出该命令的群集成员并且标识与该命令相关联的命令意图。命令意图可以包括执行意图和隐私意图。在处理口头命令之后，数字助理服务可以基于执行意图和隐私意图来确定群集中的一个或多个设备，从该设备中对口头命令做出响应(例如，显示响应，以听觉方式传送响应)。
附图说明
参考以下附图描述非限制性和非穷举性示例：
图1是示出用于协助由数字助理在集群的设备组中执行口头命令的示例分布式计算环境的示意图。
图2示出了用于与集群的设备组中的多个成员共享内容的示例性环境。
图3示出了用于将个人内容浮现给集群的设备组中的特定用户的示例性环境。
图4示出了用于向设备群集中未包括的用户请求信息并且将该信息浮现给设备群集中的用户的示例性环境。
图5是用于协助由数字助理在集群的设备组中执行语音命令的示例性方法。
图6和图7是可以用于实践本公开的各方面的移动计算设备的简化图。
图8是示出可以用于实践本公开的各方面的计算设备的示例物理组件的框图。
图9是可以在其中实践本公开的各方面的分布式计算系统的简化框图。
具体实施方式
将参考附图详细描述各种实施例，其中贯穿若干视图，相同的附图标记表示相同的部件和组件。参考各种实施例没有限制所附权利要求的范围。另外，在本说明书中阐述的任何示例都不意图是限制性的，而是仅阐述所附权利要求的很多可能实施例中的一些。
以上描述的各种实施例和示例仅以说明的方式提供，而不应当解释为限制所附权利要求。本领域技术人员将容易认识到，在不遵循本文中示出和描述的示例实施例和应用并且不脱离权利要求的真实精神和范围的情况下，可以进行各种修改和改变。
本公开的示例提供了用于协助由数字助理在组设备环境中执行命令的系统、方法和设备，其中在物理接近度内的多个设备被与数字助理集成。在一些示例中，一个或多个数字助理也可以与一个或多个用户简档相关联。根据本文中描述的各方面，与数字助理集成的在彼此的物理接近度内的多个设备可以被集群以用于处理来自群集事件的一个或多个成员的口头命令。
根据示例，在确定多个设备在彼此的物理接近度阈值内时，可以对与数字助理集成的多个设备自动集群。在其他示例中，在确定群集事件与由多个设备中的每个设备执行的一个或多个应用相关联并且群集事件的开始时间已经发生或在发生时间阈值内时，可以对与数字助理集成的多个设备自动集群。例如，多个用户中的每个用户可以具有在与每个用户的设备相关联的日历应用中调度的联合会议，并且在达到会议的开始时间时，或者在达到该会议的开始时间的时间阈值时(例如，在会议开始之前5分钟)，可以在会议事件的持续时间内对每个用户的设备自动集群。在其他示例中，仅在以下情况下才可以对与数字助理集成的多个设备自动集群：多个设备中的每个设备在彼此的物理接近度阈值内，并且确定与多个设备中的每个设备相关联的联合群集事件的开始时间已经发生或者在发生时间阈值内。在其他示例中，可以经由群集登录过程来形成群集。例如，群集应用、或与由多个设备中的一个或多个设备执行的一个或多个应用相关联的群集特征可以由用户用来启动新群集或者加入针对群集事件的现有群集。
根据一些示例，在形成群集之后，数字助理命令被路由到的数字助理服务可以生成包括关于群集中的设备和/或这些设备的用户的信息的列表。该列表可以包括以下中的一项或多项：群集中的每个设备的身份、群集中的每个设备的呈现能力(例如，设备是否具有显示能力，设备是否具有扬声器能力，设备是否为个人设备，设备是否为组使用设备)、与群集中的每个设备相关联的用户ID、以及针对群集中的每个设备与用户ID相关联的帐户列表。
在一些示例中，在对与数字助理集成的多个设备进行集群之后，可以将多个设备中的一个设备(及其对应数字助理)指派为该群集的仲裁器设备或群集管理器。在其他示例中，在将多个设备中的一个设备(及其对应数字助理)指派为针对群集的仲裁器设备之后，可以禁用群集中的每个其他设备上的每个数字助理在群集的持续时间内直接响应于口头和/或手势命令。例如，在将多个设备中的一个设备指派为针对群集的仲裁器设备之后，可以禁用群集中的每个其他设备向数字助理服务发送请求。根据一些方面，群集成员可以推翻(override)禁用群集中的设备直接响应于口头命令。例如，群集成员可以通过例如与设备上的一键通特征交互来向群集中的设备提供关于与该设备相关联的数字助理应当直接处理口头命令而不管该设备不是群集的仲裁器的指示(例如，用户可以通过相对于与对应的集群的设备上的数字助理相关联的软麦克风用户界面元素执行鼠标单击和/或向与对应的集群的设备上的数字助理相关联的软麦克风用户界面元素的接近度内的触敏显示器提供触摸来启动群集中的设备的数字助理对语音命令的直接处理)。
可以基于与仲裁器设备和/或群集中的每个其他设备相关联的标准来自动选择仲裁器设备。例如，如果群集包括具有集成数字助理的多个个人设备，每个数字助理与单个用户或用户帐户相关联，并且群集包括与关联于多个用户或用户帐户的数字助理集成的一个组使用设备，则可以自动选择组使用设备作为针对群集的仲裁器设备。在其他示例中，如果群集包括具有集成数字助理的多个设备，并且多个设备中的一个设备能够单独地或与数字助理服务相结合地基于语音或语言分析来标识特定用户，则可以自动选择该一个设备作为针对群集的仲裁器设备。在其他示例中，如果群集包括具有集成数字助理的多个设备，并且多个设备中的一个设备能够单独地或与数字助理服务相结合地确定与用户请求和/或用户命令相关联的命令意图，则可以自动选择该一个设备作为针对群集的仲裁器设备。在其他示例中，可以基于确定设备具有在群集中的其他设备之中唯一的组呈现能力来选择该设备作为针对群集的仲裁器设备。
在一个示例中，如果群集中的多个设备中的一个设备与组显示器和/或组扬声器系统集成，则可以选择该一个设备作为该群集的仲裁器。在另一示例中，在群集应用或应用中的群集特征中，可以向群集成员(即，与群集中的设备相关联的用户)呈现可选择选项，以将群集的多个设备中的一个设备指派为该群集的仲裁器。例如，如果群集包括多个个人设备，其中每个设备与单个用户ID相关联，则可以在这些设备中的一个或多个设备上呈现可选择选项，以将群集的设备中的一个设备指派为该群集的仲裁器。在另一示例中，如果群集包括多个组使用设备(例如，具有与多个用户ID相关联的数字助理的设备、具有通常处理来自任何请求用户的请求的数字助理的设备)，则可以向群集的成员呈现可选择选项以指定这些组使用设备中的一个设备作为该群集的仲裁器。在其他示例中，在创建群集之后，可以呈现包括以下特征中的一个或多个特征的用户界面以选择群集中的多个设备中的一个设备作为群集的仲裁器：群集中的每个设备的名称、群集中的每个设备的图示、针对群集中的每个设备的一个或多个可用数字助理的身份、与群集中的每个设备相关联的一个或多个用户ID、针对群集中的每个设备与数字助理相关联的一个或多个用户ID、与群集中的每个设备相关联的语音识别能力、与群集中的每个设备相关联的意图标识能力、与群集中的每个设备相关联的显示能力、以及与群集中的每个设备相关联的声音/扬声器资源。
根据一些示例，本文中描述的设备集群和数字助理处理机制可以应用于从群集成员接收的语音命令。例如，根据本文中描述的各方面，一个或多个集群的设备可以与一个或多个麦克风集成以从群集成员向数字助理服务接收和发送口头通信以进行处理。在其他示例中，本文中描述的设备集群和数字助理处理机制可以应用于从群集成员接收的手势命令。例如，根据本文中描述的各方面，一个或多个集群的设备可以与一个或多个相机集成以向数字助理服务接收和发送群集成员的行为的视频和/或图像(例如，手势命令)以进行处理。例如，可以根据本文中描述的各方面而接收和处理的手势命令包括由Xbox
根据一些方面，一旦已经创建群集，并且已经将仲裁器设备指派为该群集的群集管理器，则用户可以提供语音和/或手势命令以供数字助理处理，并且可以提供与仲裁器设备相关联的对应数字助理服务。例如，当群集成员在群集的仲裁器设备的接近度内提供口头和/或手势命令时，该命令可以由仲裁器设备发送给数字助理服务以进行处理。在一些示例中，如果经由手势发出命令，则与相机集成的一个或多个设备可以接收该手势的视频数据和/或图像数据，并且经由仲裁器设备将所接收的手势的视频数据和/或图像数据发送给数字助理服务。在其他示例中，如果经由手势发出命令，则与相机集成的一个或多个设备可以接收手势的视频数据和/或图像数据，并且将所接收的手势的视频数据和/或图像数据直接发送给数字助理服务。
在与语音命令有关的一些示例中，处理命令可以包括对命令执行语音分析和/或语言分析(例如，应用一种或多种语言模型)，以及基于该分析来标识发出命令的用户。在标识发出命令的用户时，数字助理服务可以对语音分析和/或语言分析与关联于群集中具有向数字助理服务注册的数字助理ID的每个用户的一个或多个语音和/或语言简档进行匹配分析。
在与手势命令有关的其他示例中，处理命令可以包括对命令执行手势分析、身体运动分析和/或面部识别分析，并且基于该分析来标识发出命令的用户。在标识发出命令的用户时，数字助理可以对手势分析、身体运动分析和/或面部识别分析与关联于群集中具有向数字助理服务注册的数字助理ID的每个用户的一个或多个手势简档、运动简档和/或面部图像简档执行匹配分析。在其他示例中，发出手势命令的用户可以由数字助理服务基于在此相对于仲裁器设备和/或群集的一个或多个其他设备发出命令的所确定的物理位置来标识。
数字助理服务对口头命令的处理可以包括标识与口头命令相关联的命令意图。命令意图可以包括与命令相关联的隐私意图(即，共享意图)和与口头命令相关联的执行意图。隐私意图可以包括以下指示：发出口头命令的成员是否意图使数字助理服务响应于该命令使得：仅发出成员可以查看响应，所有群集成员都可以查看和/或侦听(hear)响应，群集成员的子集可以查看响应，或者仅特定群集成员可以查看响应。与口头命令相关联的执行意图可以包括数字助理服务应当响应于命令而执行的一个或多个操作的指示(例如，显示文档，发送电子消息，在调度应用中显示事件，在调度应用中创建事件，邀请非群集成员参加事件，在一个或多个计算设备中搜索对查询命令中的查询的相关响应，提供对查询命令的听觉响应)。
关于隐私意图，在一些示例中，群集成员可以指示并且数字助理服务可以经由所发出的数字助理命令中的语言来确定：该成员意图使数字助理服务以使得群集的所有成员都可以查看和/或侦听数字助理的答复的内容的方式来答复该命令。在其他示例中，群集成员可以指示并且数字助理服务可以经由所发出的数字助理命令中的语言来确定：该成员意图使数字助理服务以使得仅一个或多个特定成员(包括发出命令的成员)可以查看和/或侦听数字助理的答复的内容的方式来答复该命令。这样，当数字助理服务接收到口头命令时，数字助理服务可以分析命令中的一个或多个词或短语，并且基于该分析来确定用于提供数字助理服务对命令的响应的隐私级别意图(例如，公共意图、个人意图、低级隐私意图、高级隐私意图)。
在一些示例中，确定命令与低级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及确定内容不具有与之相关联的隐私级别，或者内容具有与其相关联的较低隐私级别。例如，与所标识的内容相关联的元数据可以指示与该内容相关联的隐私级别或安全级别。在其他示例中，确定命令与低级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及从内容中的一个或多个词、短语、数字和/或符号确定该内容不包含隐私问题的信息。在其他示例中，确定命令与低级隐私意图相关联可以包括分析命令中的一个或多个词或短语，以及基于该分析来确定发出该命令的群集成员意图使所有群集成员被呈现所标识的内容以响应于命令。
类似地，在一些示例中，确定与高级隐私意图相关联的命令可以包括分析所标识的内容以响应于命令，以及确定该内容具有与其相关联的隐私级别(或者该内容具有与其相关的隐私级别(低级隐私除外))。在其他示例中，确定命令与高级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及从内容中的一个或多个词、短语、数字和/或符号确定该内容包含隐私问题的信息。例如，数字助理服务可以将某些词或词类型、短语或阶段类型、数字或数字类型、符号或与其他内容相关的符号标记为与隐私问题相关联(例如，个人名称、诸如“机密”或“私人”等关键词、地址、电话号码、社会安全号码、美元符号)。在其他示例中，确定命令与高级隐私意图相关联可以包括分析命令中的一个或多个词或短语，以及基于该分析来确定发出该命令的群集成员意图仅群集成员的子集被呈现所标识的内容以响应于命令。
在确定与命令相关联的隐私意图、与命令相关联的执行意图和/或发出该命令的群集成员的身份之后，数字助理服务可以标识将从其提供对该命令的响应的群集的一个或多个设备。例如，如果确定与命令相关联的隐私意图包括共享内容的公共意图(即，与所有群集成员共享内容的意图)，则数字助理服务可以标识群集中具有向群集的所有成员呈现内容的呈现能力的一个或多个设备(例如，特定尺寸上的显示尺寸、相对于群集中的每个其他设备的最大显示尺寸、群集中的所有设备的最大或最高质量音频传输能力、相对于群集中的每个其他设备在群集中的最中心位置)。在一些示例中，数字助理服务可以从群集中的多个可用设备中确定用于响应于命令而显示或以听觉方式传送内容的单个组呈现设备。在其他示例中，如果组呈现设备在群集中不可用，则数字助理服务可以标识群集中具有显示和/或音频能力的每个设备，并且在具有响应于命令而呈现所标识的内容所必需的呈现能力的每个设备上显示和/或以听觉方式传送所标识的内容。
在另一示例中，如果确定与命令相关联的隐私意图包括个人意图(即，仅将内容呈现给发出命令的群集成员的意图)，则数字助理服务可以标识群集中仅与发出命令的成员相关联的设备，并且在所标识的设备上显示对该命令的响应。在其他示例中，如果确定与命令相关联的隐私意图包括与群集成员的子集(即，群集的一个或多个特定成员)共享内容的意图，则数字助理服务可以标识群集中与群集成员子集相对应的一个或多个设备，并且在所标识的一个或多个设备上显示对该命令的响应。
在一些示例中，如果确定与命令相关联的隐私意图包括低级隐私意图，则数字助理服务可以引起一个或多个标识的设备自动呈现对命令的响应。在其他示例中，如果确定与命令相关联的隐私意图包括高级隐私意图，则数字助理服务可以引起发出命令的成员的设备上的确认提示被浮现。确认提示可以包括：用于确认应当响应于命令而向一个或多个群集成员提供某些内容的可选择的用户界面元素；用于响应于命令而选择用于呈现内容的集群的设备的可选择的用户界面元素；和/或用于响应于命令而选择呈现内容的方式(例如，听觉呈现、显示呈现)的可选择的用户界面元素。
根据示例，机器学习可以被应用于确定与由群集成员发出的命令相关联的命令意图。在一些示例中，与群集成员命令相关联的历史信息可以被存储并且用于由这些群集成员处理和标识后续命令。例如，如果群集成员发出关于隐私意图和/或执行意图的不明确的命令，则数字助理服务可以引起对应群集中的一个或多个设备要求群集成员验证数字助理服务提出的命令响应。如果群集成员验证了数字助理服务提出的命令响应，则群集成员的类似命令可以按照类似方式被自动处理而无需验证。如果群集成员未验证数字助理服务提出的命令响应，或者明确指示由数字助理提出的响应不是期望的响应，则可以提出一个或多个不同的所提出响应以由群集成员验证。类似地，本文中描述的系统、方法和设备可以利用反馈机制，由此群集成员可以基于所接收的命令来指示由群集的一个或多个设备与数字助理服务相关联地提供的命令响应不适当，并且数字助理服务可以利用该反馈以不同的方式响应于由群集成员发出的类似性质的后续命令。在一些示例中，机器学习和历史数据可以用于基于每个群集或基于每个群集事件来标识与请求相关联的命令意图。在其他示例中，一个或多个用户可选择的设置可以用于向数字助理服务指示以下中的一项或多项：哪些群集成员利用机器学习和历史数据来标识命令意图，是否利用机器学习和历史数据来标识隐私意图，是否利用机器学习和历史数据来标识执行意图，用于标识命令意图的机器学习和历史数据是否仅应当在群集事件的持续时间内应用，以及是否应当将用于标识命令意图的机器学习和历史数据应用于包括一个或多个相同群集成员的后续群集。
在一些示例中，在确定与群集相对应的日历事件已经到期之后，可以解散群集。在其他示例中，当经由群集应用接收到关于应当解散群集的指示时，可以解散群集。在其他示例中，个体群集成员可以通过将对应的集群的设备从群集位置移动阈值距离来将自己从群集中移除。在其他示例中，个体群集成员可以通过向群集应用提供关于其想要从群集中被移除的指示来将自己从群集中移除。
图1是示出用于协助由数字助理在集群的设备组中执行命令的示例分布式计算环境100的示意图。分布式计算环境100包括设备群集子环境102、网络120、数字助理处理和存储子环境122、以及命令响应计算设备106B。
设备群集子环境102包括多个集群的计算设备(每个集群的计算设备被与数字助理集成)和与多个计算设备相关联的多个群集成员。具体地，设备群集子环境102包括笔记本电脑计算设备104、组音频数字助理设备114、平板计算设备108、智能电话计算设备110和组显示数字助理设备106A。群集成员112与笔记本电脑计算设备104相关联，群集成员116与平板计算设备108相关联，群集成员118与智能电话计算设备110相关联。这些群集成员中的每个与其对应设备的关联至少包括经由数字助理服务在成员与设备之间进行的数字助理帐户关联。
组音频数字助理设备114和组显示数字助理设备106A均与包括群集成员112、群集成员116和群集成员118在内的多个用户相关联。也就是说，组音频数字助理设备114和组显示数字助理设备106A中的每个与数字助理集成，该数字助理经由数字助理服务与群集成员112、群集成员116和群集成员118中的每个相关联。
在设备群集子环境102中，已经创建了群集，该群集包括笔记本电脑计算设备104、组音频数字助理设备114、平板计算设备108、智能电话计算设备110和组显示数字助理设备106A。群集可以已经基于数字助理处理和存储子环境122中的数字助理服务被创建，该数字助理服务经由网络120接收到以下指示：群集成员112、116和118中的每个具有在与其对应设备相关联的应用中调度的会议或其他群集事件；群集成员112、116和118中的每个已经经由群集应用或应用中的群集功能执行了群集登录过程；和/或设备群集子环境102中的多个设备被标识为彼此在阈值接近度内。
在数字助理处理和存储子环境122中的一个或多个计算设备(诸如服务器计算设备124)上执行的数字助理服务经由网络120接收关于设备群集子环境102中的设备群集的信息。例如，群集中的每个计算设备、或群集中的单个仲裁器设备可以发送包括以下中的一项或多项的信息：每个设备的内容呈现能力(例如，设备是否具有显示器，显示器的大小，设备是否具有扬声器，扬声器的质量，设备是否具有组呈现能力)；每个设备的数据输入能力(例如，每个设备的音频收集能力，每个设备的音频收集质量能力，每个设备的视频收集能力，每个设备的视频收集质量能力)；与每个设备相关联的一个或多个用户(即，群集成员)；与从每个设备访问的数字助理帐户相关联的一个或多个用户；以及来自数字助理服务可以访问的每个设备上的一个或多个帐户的信息。
在一些示例中，数字助理服务可以自动选择设备群集子环境102中的集群的设备中的一个集群的设备作为群集的仲裁器。该选择可以基于从上述每个设备接收的一条或多条信息。在其他示例中，该选择可以至少部分基于数字助理服务是否能够根据对从群集中的特定设备接收的口头通信的分析来标识正在讲话的用户。在其他示例中，该选择可以至少部分基于数字助理服务是否能够根据对从群集中的特定用户接收的口头通信的分析来标识命令意图。
在该示例中，数字助理服务已经选择或将组音频数字助理设备114指派为群集的仲裁器。例如，数字助理服务可以已经分析了与群集中的每个设备相关联的各种能力，并且确定组音频数字助理设备114的音频收集能力提供最高质量音频，用于基于对所接收的语音通信的分析来确定正在说话的群集成员的身份，以及用于确定与所接收的语音通信相关联的命令意图。
一旦数字助理服务选择组音频数字助理设备114作为群集的仲裁器，则仅指定该设备在群集的持续时间内直接处理数字助理语音命令。也就是说，当群集存在，并且群集成员在群集中的多个设备可接收接近度内说出数字助理命令时，只有在群集的仲裁器设备上运行的数字助理应用(在该示例中为组音频数字助理设备114)将该通信传输给数字助理服务以进行处理。在一些示例中，如果手势命令是由群集成员发出的，则与相机集成的群集中的一个或多个设备可以将与所发出的手势命令相关联的视频数据和/或图像数据发送给群集的仲裁器设备，用于与数字助理服务通信，以进一步处理该手势命令。在其他示例中，如果手势命令是由群集成员发出的，则与相机集成的群集的一个或多个设备可以将与所发出的手势命令相关联的视频数据和/或图像数据直接发送给数字助理服务，以进一步处理该手势命令。
如图所示，设备群集子环境102中的群集成员116已经在设备群集子环境102中的每个设备的可接收接近度内发出了口头命令128。在该示例中，由群集成员116说出的口头命令128是：“向我们展示我们的团队从去年开始的产品销售情况(show us our team’sproduct sales from last year)”。仲裁器设备(在这种情况下为组音频数字助理设备114)上的数字助理应用经由网络120将口头命令128发送给数字助理处理和存储子环境122中的数字助理服务。
在一些示例中，在接收到口头命令128之后，数字助理服务可以分析口头命令128的一个或多个语音特征和/或语言特征，并且确定发出命令的群集成员的身份。例如，数字助理存储库126可以包括具有与这些简档相关联的对应的语音和/或语言特性的多个数字助理用户简档(包括群集成员112、116和118中的每个的用户简档)，并且数字辅助服务可以将与口头命令128相关联的一个或多个语音和/或语言特征与存储在数字助理存储库126中的用户简档的特性匹配。不是对存储在数字助理存储库126中的每个用户简档上的口头命令128进行全面匹配分析，为了节省时间和处理成本，数字助理服务可以仅针对设备群集子环境102中的每个群集成员(即，群集成员112、群集成员116和群集成员118)对照用户简档来对口头命令128进行匹配分析。
在其他示例中，在接收到口头命令128之后，数字助理服务可以分析口头命令128并且标识与口头命令128相关联的命令意图。命令意图的标识可以包括标识与命令相关联的隐私意图(即，共享意图)和与语言命令相关联的执行意图。执行意图可以包括数字助理服务需要执行以响应于口头命令128的一个或多个操作的指示(例如，访问来自与群集成员设备和/或帐户相关联的辅助应用的信息，显示文档，发送电子消息，在计划应用中显示事件，在计划应用中创建事件，邀请非群集成员参加事件，在一个或多个计算设备中搜索对查询命令中的查询的相关响应，提供对查询命令的听觉响应)。隐私意图可以包括以下指示：发出口头命令128的成员是否意图使数字助理服务响应于该命令使得：仅一个发出成员可以查看响应；所有群集成员都可以查看和/或侦听响应；群集成员的子集可以查看响应；或者仅特定群集成员可以查看响应。
关于执行意图，在该示例中，数字助理服务分析与口头命令128相对应的短语“向我们展示我们的团队从去年开始的产品销售情况”，并且标识执行意图需要数字助理服务来执行以下操作中的一个或多个：从与一个或多个群集成员相关联的一个或多个应用访问产品销售数据；引起从销售数据生成图表，标识群集中具有显示能力的一个或多个设备，以及引起所生成的图形显示在一个或多个标识的设备上。
关于隐私意图，在该示例中，数字助理服务分析与口头命令128相对应的短语“向我们展示我们的团队从去年开始的产品销售情况”。数字助理服务可以确定：基于子短语“向我们展示我们的(show us our)”，口头命令128指示将响应内容显示给群集中的每个群集成员的意图。
在标识与口头命令128相关联的命令意图(即，短语“向我们展示我们的团队从去年开始的产品销售情况”的执行意图和隐私意图)之后，数字助理服务可以从与设备群集子环境102中的一个或多个群集成员相关联的一个或多个文档和/或一个或多个应用来访问产品销售数据，引起生成这些销售的图表，分析与群集中的每个设备相关联的显示能力，标识组显示数字助理设备106A是组显示设备，并且因此能够将所生成的图形显示给每个群集成员，并且引起所生成的图形被显示在组显示数字助理设备106B(其是与设备群集子环境102中描绘的组显示数字助理设备106A相同的设备)上。
在一些示例中，数字助理服务可以确定与口头命令128相关联的隐私级别。例如，数字助理服务可以基于对以下中的一项或多项的分析来确定高隐私级别或低隐私级别与口头命令128相关联：口头命令128中的一个或多个词或短语、要响应于口头命令128而呈现的内容中包括的一个或多个词、短语、数字和/或符号、与要响应于口头命令128而呈现的内容相关联的私有元数据、以及访问要响应于口头命令128而呈现的内容所需要的密码。根据一些示例，确定高隐私级别与语音命令128相关联，数字助理服务可以引起在发出语音命令128的群集成员的设备上显示确认提示，这必须在数字助理服务引起销售图被公开显示在组显示数字助理设备106B上之前选择。在示例中，确认提示可以包括：用于确认应当响应于命令而向一个或多个群集成员提供某些内容的可选择的用户界面元素；用于响应于命令而选择用于呈现内容的集群的设备的可选择的用户界面元素；和/或用于响应于命令而选择呈现内容的方式(例如，听觉呈现、显示呈现)的可选择的用户界面元素。
根据其他示例，如果确定低隐私级别与口头命令128相关联，则数字助理服务可以不要求在组显示数字助理设备上显示销售图之前由发出口头命令128的群集成员确认公共显示操作。
图2示出了用于与集群的设备组中的多个成员共享内容的示例性环境200。示例性环境200包括设备群集子环境202和数字助理命令答复子环境220。设备群集子环境202中的每个设备与数字助理应用集成。
设备群集子环境202包括集群的设备组，该集群的设备组包括：笔记本电脑计算设备204A、平板计算设备208、智能电话计算设备210和组音频数字助理设备206。笔记本电脑计算设备204A和与笔记本电脑计算设备204A集成的数字助理应用与群集成员212A/212B的数字助理服务用户简档相关联。平板计算设备208和与平板计算设备208集成的数字助理应用与群集成员216的数字助理服务用户简档相关联。智能电话计算设备210和与智能电话计算设备210集成的数字助理应用与组成员Jane 218的数字助理服务用户简档相关联。组音频数字助理设备206和与组音频数字助理设备206集成的数字助理应用与多个用户简档相关联。在该示例中，与组音频数字助理设备206及其集成数字助理应用相关联的多个用户简档包括群集成员212A/212B、群集成员216和群集成员Jane 218中的每个的用户简档，如群集成员元素214所示。
在该示例中，与设备群集子环境202中的每个集群的设备相关联的数字助理服务已经选择集群的设备中的一个集群的设备作为仲裁器设备。根据一些示例，数字助理服务可以已经创建了索引，该索引包括以下中的一项或多项：群集的每个群集成员的身份、群集中的每个设备的身份、与群集中的每个设备相关联的呈现能力、与群集中的每个设备相关联的数据接收能力、以及与群集中数字助理服务可访问的每个设备相关联的每个应用的身份。
如关于设备群集子环境202所示，群集成员218已经在设备群集子环境202中的每个集群的设备的接收接近度内发出了口头命令219。具体地，口头命令219包括与设备群集子环境202中的每个设备相关联的数字助理“与Jane共享FY18规划文档(Share the FY18planning document with Jane)”的命令。由数字助理服务选择的仲裁器设备将口头命令219传送给数字助理服务以进行处理。在处理口头命令219时，数字助理服务可以标识发出口头命令219的用户/群集成员，并且标识与口头命令219相关联的命令意图。标识命令意图可以包括标识与口头命令219相关联的执行意图，并且标识与口头命令219相关联的隐私意图。
在该示例中，在标识与口头命令219相关联的命令意图时，数字助理服务已经分析了短语“与Jane共享FY18规划文档”，并且确定发出口头命令219的群集成员(即，群集成员218)意图使数字助理服务标识“FY18规划文档(FY18 Planning Document)”，并且引起所标识的“FY18规划文档”被共享。在标识与口头命令219相关联的隐私意图时，数字助理服务已经分析了短语“与Jane共享FY18规划文档”，并且确定命令中的词“共享(share)”与短语“与Jane(with Jane)”相关联地表明发出口头命令219的成员意图使数字助理服务与群集的特定群集成员(即，群集成员Jane 212A/212B)共享所标识的FY18规划文档。
在确定如何答复口头命令219时，数字助理服务可以分析其生成的与设备群集子环境202中的群集相关联的信息的索引。对索引的分析可以包括确定群集中的一个或多个设备中的哪个设备与群集成员Jane 212A/212B相关联，而没有其他群集成员与此相关联。因此，数字助理服务已经确定笔记本电脑计算设备204A是群集中与群集成员Jane 212A/212B相关联的唯一设备，并且没有其他群集成员与此相关联。因此，在答复口头命令219时，数字助理服务引起所标识的FY18规划文档222仅显示在笔记本电脑计算设备204A的显示器204B上，如数字助理命令答复子环境220所示。
图3示出了用于向集群的设备组中的特定用户浮现个人内容的示例性环境300。示例性环境300包括设备群集子环境302和数字助理命令答复子环境320。设备群集子环境302中的每个设备与数字助理应用集成。
设备群集子环境302包括集群的设备组，该集群的设备组包括：笔记本电脑计算设备304、平板计算设备308A/308B、智能电话计算设备310和组音频数字助理设备306。笔记本电脑计算设备304和与笔记本电脑计算设备304集成的数字助理应用与群集成员312的数字助理用户简档相关联。平板计算设备308A/308B和与平板计算设备308A/308B集成的数字助理应用与群集成员316A/316B的数字助理服务用户简档相关联。智能电话计算设备310和与智能电话计算设备310集成的数字助理应用与群集成员318的数字助理服务用户简档相关联。分组音频数字助理设备306和与分组音频数字助理设备306集成的数字助理应用与多个用户简档相关联。在该示例中，与组音频数字助理设备306及其集成数字助理应用相关联的多个用户简档包括群集成员312、群集成员316A/316B和群集成员318中的每个的用户简档，如群集成员元素314所示。
在该示例中，与设备群集子环境302中的每个集群的设备相关联的数字助理服务已经选择集群的设备中的一个集群的设备作为仲裁器设备。根据一些示例，数字助理服务可以已经创建了索引，该索引包括以下中的一项或多项：群集的每个群集成员的身份、群集中的每个设备的身份、与群集中的每个设备相关联的呈现能力、与群集中的每个设备相关联的数据接收能力、以及与群集中数字助理服务可访问的每个设备相关联的每个应用的身份。
如关于设备群集子环境302所示，群集成员316A/316B已经在设备群集子环境302中的每个集群的设备的接收接近度在内发出了口头命令319。具体地，口头命令319是包括“我的日历上接下来有什么(What’s on my calendar next)”的对与设备群集子环境302中的每个设备相关联的数字助理的查询。由数字助理服务选择的仲裁器设备将口头命令319传送给数字助理服务以进行处理。在处理口头命令319时，数字助理服务可以标识发出口头命令319的用户/群集成员，并且标识与口头命令319相关联的命令意图。标识命令意图可以包括标识与口头命令319相关联的执行意图，并且标识与口头命令319相关联的隐私意图。
在该示例中，在标识与口头命令319相关联的命令意图时，数字助理服务已经分析了短语“我的日历上接下来有什么”，并且确定发出口头命令319的群集成员(即，群集成员316A/316B)意图使数字助理服务在群集成员316A/316B的日历应用中标识作为群集成员316A/316B的日历应用中的下一时间事件的日历事件，并且引起所标识的下一时间事件被呈现。在标识与口头命令319相关联的隐私意图时，数字助理服务已经分析了短语“我的日历上接下来有什么”，并且确定“我的(my)”与所分析的短语的其余部分相关联地表明发出口头命令的群集成员(即，群集成员316A/316B)意图使数字助理服务将所标识的下一时间事件仅呈现给发出口头命令的群集成员。
在确定如何答复口头命令319时，数字助理服务可以分析其生成的与设备群集子环境302中的群集相关联的索引信息。对索引的分析可以包括确定群集中的一个或多个设备中的哪个设备与发出口头命令319的群集成员相关联，并且没有其他群集成员与此相关联。因此，数字助理服务已经确定平板计算设备308A/308B是群集中与群集成员316A/316B相关联的唯一设备，并且没有其他群集成员与此相关联。因此，在答复口头命令319时，数字助理服务引起从群集成员316A/316B的日历应用中标识的下一时间事件322仅显示在平板计算设备308A/308B的显示器321上，如数字助理命令答复子环境320所示。
图4示出了用于向设备群集中未包括的用户请求信息并且将该信息浮现给设备群集中的用户的示例性环境400。示例性环境400包括集群的设备子环境402、数字助理答复子环境424、非集群的设备子环境416以及网络和数字助理服务子环境425。设备群集子环境402中的每个设备与数字助理应用集成。
集群的设备子环境402包括多个集群的设备。多个集群的设备包括笔记本电脑计算设备404A/404B、智能电话计算设备408A/408B和组音频数字助理设备412A/412B。笔记本电脑计算设备404A/404B和与笔记本电脑计算设备404A/404B集成的数字助理应用与群集成员406A/406B的数字助理服务用户简档相关联。智能电话计算设备408A/408B和与智能电话计算设备408A/408B集成的数字助理应用与群集成员410A/410B的数字助理服务用户简档相关联。组音频数字助理设备412A/412B和与组音频数字助理设备412A/412B集成的数字助理应用与多个用户简档相关联。在该示例中，与组音频数字助理设备412A/412B及其集成数字助理应用相关联的多个用户简档包括群集成员406A/406B、群集成员410A/410B和非群集成员420中的每个的用户档案，如群集成员元素414A/414B所示。
在该示例中，与设备群集子环境402中的每个集群的设备相关联的数字助理服务已经选择组音频数字助理设备412A/412B作为针对群集的仲裁器设备。这样，仅数字助理设备412A/412B将在群集的持续时间内直接处理所发出的口头命令。根据一些示例，数字助理服务可以已经创建了索引，该索引包括以下中的一项或多项：群集的群集成员的身份、群集中的每个设备的身份、与群集中的每个设备相关联的呈现能力、与群集中的每个设备相关联的数据接收能力、以及与群集中数字助理服务可访问的每个设备相关联的每个应用的身份。
如关于设备群集子环境402所示，群集成员410A/410B已经在设备群集子环境402中的每个集群的设备的接收接近度内发出了口头命令419。具体地，口头命令419包括与设备群集子环境402中的每个设备相关联的数字助理“查看Jane是否有空可以参加我们在星期三的下一次会议(“See if Jane is available to join our next meeting onWednesday)”的命令。由仲裁器设备(即，组音频数字助理设备412A/412B)将口头命令419传送给网络和数字助理服务子环境424中的数字助理服务以进行处理。
在处理口头命令419时，数字助理服务可以标识发出口头命令419的群集成员，并且标识与口头命令419相关联的命令意图。在标识命令意图时，数字助理服务可以标识与口头命令419相关联的执行意图和与口头命令419相关联的隐私意图。在该示例中，数字助理服务可以相对于与口头命令419相关联的执行意图的标识来确定发出口头命令419的群集成员意图使数字助理服务：在每个群集成员的事件调度应用中标识会议事件(即，群集成员的下一次联合会议)，标识与命令相关联的用户(在这种情况下为Jane 420)，确定在所标识的会议事件中指示的时间内是否有所标识的用户可用，提供对命令的响应。另外，关于与口头命令419相关联的隐私意图的标识，数字助理服务可以基于口头命令419中的一个或多个词或短语来确定发出口头命令419的群集成员意图使数字助理提供对该命令的公共响应。例如，数字助理服务可以确定短语“我们的下一次会议(our next meeting)”表示发出口头命令419的群集成员意图使数字助理服务提供对命令的公共响应。
在执行对口头命令419的响应时，数字助理服务可以标识与用户Jane 420相关联的用户ID、数字助理服务可访问的与用户Jane 420相关联的计算设备、数字助理服务可访问的与用户Jane 420相关联的一个或多个调度应用、和/或数字助理服务可以与用户Jane420传送的与用户Jane 420相关联的一个或多个消息传递ID。数字助理服务可以从以下中的一项或多项中标识该信息：与数字助理服务相关联的数字助理用户帐户存储库、以及与群集成员和/或群集成员的相关联的帐户或设备中的一个或多个相关联的联系人应用。
在该示例中，数字助理服务已经标识出Jane的平板计算设备418是其可访问的，并且引起关于口头命令419的查询422被显示在Jane的平板计算设备418上。向Jane呈现的查询420用例如可选择的用户界面元素来询问Jane 420是否“允许团队A访问您的日历以安排会议？(Allow Team A to access your calendar to schedule meeting？)”，以允许或禁止数字助理服务访问Jane的日历以安排与群集成员(即，团队A)的会议。
在所示示例中，Jane 420响应于查询422，以向数字助理服务指示Jane授予数字助理服务访问Jane的日历应用，以用于检查她是否有空可以在如口头命令419中指示的群集成员的下一次会议期间见面这一特定目的。这样，数字助理服务或在Jane的平板计算设备418上执行的数字助理服务访问Jane的日历应用，并且确定Jane有空可以在群集成员的下一次会议期间见面。在确定简有空可以在群集成员的下一次会议期间见面之后，数字助理服务将组音频数字助理设备412A/412B标识为具有组呈现能力以根据口头命令419的所确定的隐私意图提供对口头命令419的公共答复。因此，数字助理服务引起组音频数字助理设备412A/412B用短语“Jane有空。我是否应当向她发送邀请参加您的下一次会议？(Jane isavailable.Should I send her an invite to join your next meeting？)”来以听觉方式答复口头命令419，如数字助理答复子环境424所示。
图5是用于协助由数字助理在集群的设备组中执行语音命令的示例性方法500。该方法从开始操作开始，并且流程移动到操作502。
在操作502，创建包括集成有数字助理的多个计算设备的群集。在一些示例中，可以在确定以下中的一项或多项之后自动创建群集：与同一数字助理相关联的多个设备在彼此的阈值接近距离内，与多个设备相关联的一个或多个应用表明已经发生了多个设备的群集事件的时间，以及多个用户已经向群集应用或事件应用中的群集功能输入了加入群集请求。在一些示例中，在创建群集之后，与群集中的每个设备相关联的数字助理服务可以创建索引，该索引包括以下中的一项或多项：群集中的每个设备的标识、与每个群集成员相关联的数字助理简档的标识、数字助理服务可访问的群集成员的应用、群集中的每个设备的呈现能力、以及群集中的每个设备的设备输入能力。
从操作502，流程继续进行到操作504，在操作504中，将群集的设备中的一个设备指派为群集的仲裁器。可以基于与仲裁器设备和/或群集中的每个其他设备相关联的标准来自动指派仲裁器设备。在一些示例中，如果数字助理服务能够与群集的设备相关联地标识讲话用户，则可以将该设备指派为针对群集的仲裁器设备。在其他示例中，如果数字助理服务能够与群集的设备相关联地标识与数字助理命令相关联的命令意图，则可以将该设备指派为针对群集的仲裁器设备。在其他示例中，可以基于群集的设备满足一个或多个呈现或输入接收标准来将该设备指派为针对群集的仲裁器设备。在其他示例中，从群集的多个设备指派仲裁器设备可以基于用户选择。
在将设备指派为针对群集的仲裁器设备之后，可以禁用群集中的每个其他设备上的每个数字助理在群集的持续时间内直接响应于口头命令。例如，在将多个设备中的一个设备指派为针对群集的仲裁器设备之后，可以禁用群集中的每个其他设备向数字助理服务发送请求。
从操作504，流程继续进行到操作506，在操作506中，由与仲裁器设备相关联的数字助理服务接收由群集成员发出的口头命令。口头命令可以包括调用数字助理的指示，诸如数字助理关键字或短语。另外，由于在操作504已经指派了仲裁器设备，因此群集的仲裁器设备、特别是在仲裁器设备上执行的数字助理接收口头命令并且将其发送给基于云的数字助理服务，口头命令在该处在操作506处被接收以进行处理。
从操作506，流程继续进行到操作508，在操作508中，数字助理服务标识发出了口头命令的群集成员。在一些示例中，在创建群集之后，数字助理服务可以生成索引，该索引包括群集中的每个设备的身份和与群集中的每个设备相关联的每个用户的身份。这样，在标识发出了口头命令的群集成员时，数字助理服务可以对所接收的口头命令执行语音和语言分析，并且基于所生成的索引来确定是否存在与具有匹配的语音和/或语言特征的索引的群集成员相关联的数字助理用户简档。
从操作508，流程继续进行到操作510，在操作510中，数字助理服务标识与口头命令相关联的命令意图。命令意图可以包括执行意图和隐私意图。
隐私意图可以包括以下指示：发出口头命令的成员是否意图使数字助理服务响应于该命令使得：仅发出成员可以查看响应，所有群集成员都可以查看和/或侦听响应，群集成员的子集可以查看响应，或者仅特定群集成员可以查看响应。与口头命令相关联的执行意图可以包括数字助理服务应当响应于命令而执行的一个或多个操作的指示(例如，显示文档，发送电子消息，在调度应用中显示事件，在调度应用中创建事件，邀请非群集成员参加事件，在一个或多个计算设备中搜索对查询命令中的查询的相关响应，提供对查询命令的听觉响应)。
关于隐私意图，在一些示例中，群集成员可以指示并且数字助理服务可以经由所发出的数字助理命令中的语言来确定：该成员意图使数字助理服务以使得群集的所有成员都可以查看和/或侦听数字助理的答复的内容的方式来答复该命令。在其他示例中，群集成员可以指示并且数字助理服务可以经由所发出的数字助理命令中的语言来确定：该成员意图使数字助理服务以使得仅一个或多个特定成员(包括发出命令的成员)可以查看和/或侦听数字助理的答复的内容的方式来答复该命令。这样，当数字助理服务接收到口头命令时，数字助理服务可以分析命令中的一个或多个词或短语，并且基于该分析来确定用于提供数字助理服务对命令的响应的隐私级别意图(例如，公共意图、个人意图、低级隐私意图、高级隐私意图)。
在一些示例中，确定命令与低级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及确定内容不具有与之相关联的隐私级别，或者内容具有与其相关联的较低隐私级别。例如，与所标识的内容相关联的元数据可以指示与该内容相关联的隐私级别或安全级别。在其他示例中，确定命令与低级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及从内容中的一个或多个词、短语、数字和/或符号确定该内容不包含隐私问题的信息。在其他示例中，确定命令与低级隐私意图相关联可以包括分析命令中的一个或多个词或短语，以及基于该分析来确定发出该命令的群集成员意图使所有群集成员被呈现所标识的内容以响应于命令。
类似地，在一些示例中，确定与高级隐私意图相关联的命令可以包括分析所标识的内容以响应于命令，以及确定该内容具有与其相关联的隐私级别(或者该内容具有与其相关的隐私级别(低级隐私除外))。在其他示例中，确定命令与高级隐私意图相关联可以包括分析所标识的内容以响应于命令，以及从内容中的一个或多个词、短语、数字和/或符号确定该内容包含隐私问题的信息。例如，数字助理服务可以将某些词或词类型、短语或阶段类型、数字或数字类型、符号或与其他内容相关的符号标记为与隐私问题相关联(例如，个人名称、诸如“机密”或“私人”等关键词、地址、电话号码、社会安全号码、美元符号)。在其他示例中，确定命令与高级隐私意图相关联可以包括分析命令中的一个或多个词或短语，以及基于该分析来确定发出该命令的群集成员意图仅群集成员的子集被呈现所标识的内容以响应于命令。
从操作510，流程继续进行到操作512，在操作512中，由数字助理服务执行对口头命令的响应。在执行对口头命令的响应时，数字助理服务可以基于在操作510处标识的命令意图和与群集的每个设备相关联的呈现特征来确定用于呈现响应的群集的一个或多个设备。因此，数字助理服务可以将所标识的执行意图和隐私意图要求与所生成的索引中的每个设备的特征匹配，并且标识用于在操作512处在执行期间显示和/或以听觉方式传送响应的群集的一个或多个设备。
从操作512，流程继续进行到结束操作，并且方法500结束。
图6和图7示出了可以用于实践本公开的实施例的移动计算设备600，例如，移动电话、智能电话、可穿戴计算机(诸如智能眼镜)、平板计算机、电子阅读器、膝上型计算机、或其他AR兼容计算设备。参考图6，示出了用于实现各方面的移动计算设备600的一个方面。在基本配置中，移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605和允许用户向移动计算设备600中输入信息的一个或多个输入按钮610。移动计算设备600的显示器605也可以用作输入设备(例如，触摸屏显示器)。如果包括，可选的侧面输入元件615允许进一步的用户输入。侧面输入元件615可以是旋转开关、按钮、或任何其他类型的手动输入元件。在备选方面，移动计算设备600可以结合更多或更少的输入元件。例如，在一些实施例中，显示器605可以不是触摸屏。在又一备选实施例中，移动计算设备600是便携式电话系统，诸如蜂窝电话。移动计算设备600还可以包括可选的小键盘635。可选的小键盘635可以是在触摸屏显示器上生成的物理小键盘或“软”小键盘。在各种实施例中，输出元件包括用于示出图形用户界面(GUI)的显示器605、视觉指示器620(例如，发光二极管)、和/或音频换能器625(例如，扬声器)。在一些方面，移动计算设备600结合了用于向用户提供触觉反馈的振动传感器。在又一方面，移动计算设备600结合了用于向外部设备发送信号或从外部设备接收信号的输入和/或输出端口，诸如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)和视频输出(例如，HDMI端口)。
图7是示出移动计算设备的一个方面的架构的框图。也就是说，移动计算设备700可以结合了系统(例如，架构)702以实现一些方面。在一个实施例中，系统702被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息收发客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面，系统702被集成为计算设备，诸如集成的个人数字助理(PDA)和无线电话。
一个或多个应用程序766可以被加载到存储器762中并且在操作系统864上或与操作系统864相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传递程序等。系统702还包括存储器762内的非易失性存储区域768。非易失性存储区域768可以用于存储在系统702断电时不应当丢失的持久性信息。应用程序766可以使用信息并且在非易失性存储区域768中存储信息，诸如电子邮件或由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统702上，并且被编程为与驻留在主机计算机上的对应的同步应用交互，以使存储在非易失性存储区域768中的信息与存储在主机计算机处的对应信息保持同步。应当理解，其他应用可以被加载到存储器762中并且在移动计算设备700上运行，包括用于提供和操作数字助理群集计算平台的指令。
系统702具有电源770，电源770可以被实现为一个或多个电池。电源770还可以包括外部电源，诸如AC适配器或对电池进行补充或充电的电动对接支架。
系统702还可以包括执行发射和接收射频通信的功能的无线电接口层772。无线电接口层772经由通信运营商或服务提供商来促进系统702与“外部世界”之间的无线连接。与无线电接口层772之间的传输是在操作系统764的控制下进行的。换言之，由无线电接口层772接收的通信可以经由操作系统764散布到应用程序766，反之亦然。
视觉指示器620可以用于提供视觉通知，和/或音频接口774可以用于经由音频换能器625产生听觉通知。在所示的实施例中，视觉指示器620是发光二极管(LED)，并且音频换能器625是扬声器。这些设备可以直接耦合到电源770，使得它们在被激活时在通知机制指定的持续时间内保持开启状态，即使处理器760和其他组件可能为了节省电池电量而关闭。LED可以被编程为无限期地保持开启状态，直到用户采取措施指示设备的开机状态。音频接口774用于向用户提供听觉信号和从用户接收听觉信号。例如，除了耦合到音频换能器625，音频接口774还可以耦合到麦克风以接收听觉输入，诸如以便于电话交谈。根据本公开的实施例，麦克风也可以用作音频传感器以促进通知的控制，如将在下面描述的。系统702还可以包括视频接口776，该视频接口776使得车载相机630的操作能够记录静止图像、视频流等。
实现系统702的移动计算设备700可以具有其他特征或功能。例如，移动计算设备700还可以包括其他数据存储设备(可移动和/或不可移动)，诸如磁盘、光盘或磁带。这样的附加存储在图7中由非易失性存储区域768示出。
由移动计算设备700生成或捕获并且经由系统702存储的数据/信息可以如上所述地本地存储在移动计算设备700上，或者该数据可以存储在可以由该设备经由无线电接口层772或经由移动计算设备700和与移动计算设备700相关联的单独计算设备(例如，诸如互联网等分布式计算网络中的服务器计算机)之间的有线连接来访问的任何数目的存储介质上。应当理解，这样的数据/信息可以经由移动计算设备700、经由无线电接口层772或经由分布式计算网络来访问。类似地，这样的数据/信息可以根据包括电子邮件和协作数据/信息共享系统在内的众所周知的数据/信息传输和存储装置来在计算设备之间容易地传输以进行存储和使用。
图8是示出可以用于实践本公开的各方面的计算设备800的物理组件(例如，硬件)的框图。下面描述的计算设备组件可以具有用于协助在组设备环境中执行口头数字助理命令的计算机可执行指令。在基本配置中，计算设备800可以包括至少一个处理单元802和系统存储器804。根据计算设备的配置和类型，系统存储器804可以包括但不限于：易失性存储装置(例如，随机存取存储器)、非易失性存储装置(例如，只读存储器)、闪存、或这样的存储器的任何组合。系统存储器804可以包括适合于运行一个或数字助理群集程序的操作系统805。操作系统805例如可以适合于控制计算设备800的操作。此外，本公开的实施例可以结合图形库、其他操作系统或任何其他应用来实践，并且不限于任何特定应用或系统。该基本配置在图8中通过虚线808内的这些组件示出。计算设备800可以具有附加特征或功能。例如，计算设备800还可以包括其他数据存储设备(可移动和/或不可移动)，诸如例如磁盘、光盘或磁带。这样的附加存储在图8中通过可移除存储设备809和不可移除存储设备810来示出。
如上所述，很多程序模块和数据文件可以存储在系统存储器804中。当在处理单元802上执行时，程序模块806(例如，数字助理群集应用820)可以执行各种过程，包括但不限于本文中描述的各方面。根据示例，设备集群引擎811可以执行与确定设备是否应当由数字助理服务集群相关联的一个或多个操作。用户标识引擎813可以执行与分析口头命令并且基于语音分析和/或语言分析来确定发出命令的群集成员的身份相关联的一个或多个操作。意图标识引擎815可以执行与标识与口头命令相关联的执行意图以及标识与口头命令相关联的隐私意图相关联的一个或多个操作。设备执行选择引擎817可以执行与确定从其呈现对数字助理口头命令的响应的群集的一个或多个设备相关联的一个或多个操作。
此外，本公开的实施例可以在电路中实践，包括分立电子元件、包含逻辑门的封装或集成电子芯片、利用微处理器的电路，或者在包含电子元件或微处理器的单个芯片上实践。例如，本公开的实施例可以经由片上系统(SOC)来实践，其中图8所示的每个或很多组件可以集成到单个集成电路上。这样的SOC器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都作为单个集成电路集成(或“烧制”)到芯片基板上。当经由SOC操作时，本文中描述的关于客户端切换协议的能力的功能可以经由与单个集成电路(芯片)上的计算设备800的其他组件集成的专用逻辑来操作。本公开的实施例还可以使用能够执行诸如例如AND、OR和NOT等逻辑运算的其他技术来实践，包括但不限于机械、光学、流体和量子技术。此外，本公开的实施例可以在通用计算机内或在任何其他电路或系统中实践。
计算设备800还可以具有一个或多个输入设备812，诸如键盘、鼠标、笔、声音或语音输入设备、触摸、或滑动输入设备等。也可以包括(多个)输出设备814，诸如显示器、扬声器、打印机等。前述设备是示例，并且可以使用其他设备。计算设备800可以包括一个或多个通信连接816，以允许与其他计算设备850通信。合适的通信连接816的示例包括但不限于射频(RF)发射器、接收器和/或收发器电路系统；通用串行总线(USB)、并行和/或串行端口。
本文中使用的术语“计算机可读介质”可以包括计算机存储介质。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质，诸如计算机可读指令、数据结构或程序模块。系统存储器804、可移除存储设备809和不可移除存储设备810都是计算机存储介质示例(例如，存储器存储装置)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储、磁盒、磁带、磁盘存储或其他磁性存储设备、或者可以用于存储信息并且可以由计算设备800访问的任何其他制品。任何这样的计算机存储介质可以是计算设备800的一部分。计算机存储介质不包括载波或其他传播或调制数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块、或者诸如载波或其他传输机制等调制数据信号中的其他数据来体现，并且包括任何信息传递介质。术语“调制数据信号”可以描述其一个或多个特性以使得能够将信息编码在信号中的方式来设置或改变的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接等有线介质、以及诸如声学、射频(RF)、红外和其他无线介质等无线介质。
图9示出了用于处理在计算系统处从远程源(诸如个人/通用计算机904、平板计算设备906或移动计算设备908)接收的数据的系统的架构的一方面，如上所述。在服务器设备902处显示的内容可以存储在不同的通信信道或其他存储类型中。例如，可以使用目录服务922、web门户924、邮箱服务926、即时消息接发存储库928或社交联网站点930来存储各种文档。程序模块806可以由与服务器设备902通信的客户端使用，和/或程序模块806可以由服务器设备902使用。服务器设备902可以通过网络915向客户端计算设备(诸如个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如，智能电话))提供数据或从客户端计算设备提供数据。作为示例，以上关于图6至图8描述的计算机系统可以在个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如，智能电话)中体现。除了接收可用于在图形起源系统处进行预处理或在接收计算系统处进行后处理的图形数据，计算设备的这些实施例中的任何一个都可以从存储库916获取内容。
例如，以上参考根据本公开的各方面的方法、系统和计算机程序产品的框图和/或操作图示描述了本公开的实施例。框中记录的功能/动作可以不按任何流程图所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按照相反的顺序执行，这取决于所涉及的功能/动作。
本文中描述的系统、方法和设备提供了用于改善在组设备环境中与数字助理的交互的技术优势。根据本文中描述的各方面，在群集事件的持续时间内自动集群与数字助理集成的设备的能力提供了更好的用户体验，同时还减少了与在组设备环境中执行数字助理命令和请求相关联的时间和处理成本。由于群集具有消除多个设备响应于同一语音命令的能力，同时还提供了以与发出命令的群集成员的隐私意图相一致的方式来响应于请求的机制，因此可以实现更好的用户体验。例如，典型地，当数字助理响应于口头命令时，他们没有考虑其他用户在响应时出现在呈现区域中并且潜在地偷听和/或查看命令发出者想要保持私密性的数字助理响应的可能性。本文中描述的示例提供了用于确定与发出给数字助理的口头命令相关联的隐私意图并且基于该隐私意图来选择一个或多个适当的设备来发出对该口头命令的答复的机制。通过本文中描述的系统、方法和设备，还减少了与在组设备设置中处理口头命令相关联的成本。例如，通过如本文所述将仲裁器设备指派给设备群集，多个设备将不再直接响应于组设备设置中的请求，从而不仅减少了客户端处理，而且还减少了针对同一命令向数字助理服务提供多个数字助理客户端请求有关的网络业务，并且减少了与接收数字助理服务处理多个相同的数字助理命令相关联的成本。
本申请中提供的一个或多个方面的描述和说明不旨在以任何方式限制或约束如所要求保护的本公开的范围。本申请中提供的各方面、示例和细节被认为足以传达占有并且使得其他人能够制作和使用所要求保护的最佳模式。所要求保护的公开内容不应当被解释为限于本申请中提供的任何方面、示例或细节。无论是组合地还是单独地示出和描述，旨在选择性地包括或省略各种特征(结构和方法)以产生具有特定特征集的实施例。已经提供了本公开的描述和说明，本领域技术人员可以设想落入本申请中实施的总体发明构思的更广泛方面的精神内的变型、修改和替换方面，这些变型、修改和替换方面没有偏离所要求保护的公开内容的更广泛的范围。
上面描述的各种实施例仅以说明的方式提供，而不应当被解释为限制所附权利要求。本领域技术人员将容易认识到，在不遵循本文中图示和描述的示例实施例和应用并且不背离所附权利要求的真实精神和范围的情况下，可以进行各种修改和改变。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：用于语言模型个性化的系统和方法