用于评估声音呈现的系统

文档序号:54715 发布日期:2021-09-28 浏览:39次 >En<

阅读说明:本技术 用于评估声音呈现的系统 (System for evaluating sound presentation ) 是由 A·J·平库斯 D·格拉特 S·E·麦高文 C·汤普森 C·王 V·罗兹吉克 于 2020-03-17 设计创作,主要内容包括:一种具有传声器的可穿戴装置获取穿戴者语音的音频数据。处理音频数据以确定指示语音的感知到的情绪内容的情感数据。例如,情感数据可以包括基于音调随时间的特定变化的效价、基于语速的激活、基于音调上升和下降模式的优势等等中的一者或多者的值。简化的用户界面基于情感数据为穿戴者提供关于其语音的情感内容的信息。穿戴者可以使用该信息来评估其心理状态,促进与他人的互动等等。(A wearable device with a microphone acquires audio data of a wearer&#39;s voice. The audio data is processed to determine emotion data indicative of the perceived emotional content of the speech. For example, the emotion data may include values based on one or more of a valence of a particular change in pitch over time, based on activation of speech rate, based on a dominance of pitch rise and fall patterns, and so forth. The simplified user interface provides the wearer with information about the emotional content of their speech based on the emotion data. The wearer can use this information to assess their mental state, facilitate interaction with others, and so forth.)

具体实施方式

人员的幸福和情绪状态是相互关联的。糟糕的情绪状态可能直接影响人员的健康状况,就像疾病或其他健康事件可能影响人员的情绪状态一样。人员的情绪状态也可能影响与他们交流的其他人。例如,以生气语调和别人说话的人可能使听者产生焦虑情绪响应。

关于他们表达的情绪状态的信息可能有助于帮助人员。继续前面的示例,如果生气的人员正在和他们的朋友说话,则朋友可以让他们知道。有了这种意识,生气的人员就可能能够改变他们的行为。尽管这种反馈很有用,但是让朋友经常在场来告诉某人他们的声音表达何种情绪状态是不可行的。

本公开中描述了一种系统,所述系统处理用户语音的音频数据以确定指示情绪状态的情感数据并在用户界面中向用户呈现输出。用户授权所述系统处理他们的语音。例如,用户可以登记使用并同意获取和处理用户说话的音频。处理从一个或多个传声器获取的原始音频以提供与特定用户相关联的音频数据。然后处理该音频数据以确定音频特征数据。例如,音频特征数据可以由神经网络处理以生成表示音频数据和音频数据变化的特征向量。然后处理音频特征数据以确定所述特定用户的情感数据。例如,所述系统丢弃不与特定用户相关联的音频数据并从与特定用户相关联的音频数据生成音频特征数据。在生成音频特征数据之后,可以丢弃特定用户的音频数据。

可穿戴装置可以用于获取原始音频。例如,可穿戴装置可以包括带子、手镯、项链、耳环、胸针等等。可穿戴装置可以包括一个或多个传声器和计算装置。可穿戴装置可以与诸如智能手机的另一个装置进行通信。可穿戴装置可以向智能手机提供音频数据以供处理。可穿戴装置可以包括传感器,诸如心率监测器、心电图仪、加速度计等等。由这些传感器获得的传感器数据可以用于确定用户状态数据。例如,加速度计数据可以用于生成指示用户在前一天进行了多少运动的用户状态数据。

在其他实施方式中,所描述的系统的功能性可以由单个装置提供或分布在其他装置上。例如,服务器可以经由网络访问以提供本文描述的一些功能。

情感数据是通过分析如音频特征数据中表达的用户语音特性来确定的。音调、节奏等等随时间的变化可以指示各种情绪状态。例如,被描述为“兴奋”的语音的情绪状态可以对应于具有较快节奏的语音,而较慢节奏语音被描述为“无聊”。在另一个示例中,平均音调的增加可以指示“生气”的情绪状态,而接近基线值的平均音调可以指示“平静”的情绪状态。可以单独地或组合地使用各种技术来确定情感数据,所述技术包括但不限于信号分析技术、分类器、神经网络等。情感数据可以作为数值、向量、关联词等等而提供。

从用户的音频数据产生的情感数据可以用于提供输出。例如,输出可以包括由输出装置呈现给用户的图形用户界面(GUI)、语音用户界面、指示灯、声音等等。继续所述示例,情感数据可以包括呈现在电话的显示器上的GUI,所述GUI基于从前15分钟采样的音频数据示出对用户的语调或整体情绪状态(如通过他们的语音表达)的指示。该指示可以是数字颜色值、图表或特定颜色。例如,情感数据可以包括用于选择特定颜色的各种值。电话的显示器上的元件或可穿戴装置上的多色发光二极管可以操作以输出所述特定颜色,从而向用户提供对他们的声音似乎要传达何种情绪状态的指示。

输出可以指示各种时间跨度上(诸如前几分钟、上一次预定的预约期间、前一天期间等等)的情感数据。情感数据可以基于从与他人的对话、用户自言自语或其组合获取的音频。结果,用户可能能够更好地评估和改变他们的整体心情、行为以及与他人的互动。例如,当用户说话的声音指示他们处于兴奋状态时,系统可能会提醒用户,从而让他们有机会冷静下来。

系统可以使用情感数据和用户状态数据来提供建议。例如,用户状态数据可以包括诸如睡眠小时数、心率、所走的步数等信息。在几天内获取的情感数据和传感器数据可以被分析并用于确定当用户状态数据指示晚上休息时间大于7小时时,情感数据指示用户在第二天更愉快且不那么烦躁。然后可以在用户界面中向用户提供建议的输出,从而建议用户得到更多的休息。这些建议可以帮助用户调节他们的活动,提供反馈以改变为健康的生活方式,并最大限度地提高他们的健康质量。

说明性系统

图1是根据一种实施方式的处理用户的语音以确定情感数据的说明性系统100,所述情感数据指示由语音传达的情绪状态并呈现与所述情感数据相关的输出。

用户102(也称为穿戴者)可以在他们身上或周围有一个或多个可穿戴装置104。可穿戴装置104可以以各种物理形状因素来实施,所述物理形状因素包括但不限于以下各项:帽子、头带、项链、吊坠、胸针、金属饰环、臂饰、臂章、手镯、腕带等等。在该图示中,可穿戴装置104被描绘为腕带。

可穿戴装置104可以使用通信链路106来维持与计算装置108的通信。例如,计算装置108可以包括电话、平板计算机、个人计算机、服务器、支持互联网的装置、语音激活装置、智能家居装置等等。通信链路106可以实施蓝牙低功耗规范的至少一部分。数据可以在传输之前、作为传输的一部分进行加密,并在接收之后或作为接收的一部分进行解密。

可穿戴装置104包括壳体110。壳体110包括支撑传声器阵列112的一种或多种结构。例如,传声器阵列112可以包括两个或更多个传声器,所述传声器被布置为从壳体110中的不同位置处的端口获取声音。如下所述,传声器模式114可以使用波束成形算法提供增益或方向性。传声器阵列112可以检测到用户102或传声器阵列112的范围内的其他来源的语音116,并且可以获取原始音频数据118。在其他实施方式中,可以从其他装置获取原始音频数据118。

语音活动检测器模块120可以用于处理原始音频数据118并确定语音116是否存在。例如,传声器阵列112可以获得包含诸如交通、风等环境噪声的原始音频数据118。可以丢弃被认为不包含语音116的原始音频数据118。通过丢弃不包含语音116的原始音频数据118来最大程度地减少资源消耗。例如,通过限制进一步处理被确定为不可能包含语音116的原始音频数据118来最大程度地减少功耗、对存储器和计算资源的需求、通信带宽等等。

语音活动检测器模块120可以使用一种或多种技术来确定语音活动。例如,可以相对于阈值分析原始音频数据118中存在的信号的特性,诸如频率、能量、过零率等等,以确定被认为可能是人类语音的特性。

一旦已确定原始音频数据118的至少一部分包含语音116,音频预处理模块122就可以进一步处理该部分以确定第一音频数据124。在一些实施方式中,音频预处理模块122可以应用波束成形算法、降噪算法、滤波器等等中的一者或多者来确定第一音频数据124。例如,音频预处理模块122可以使用波束成形算法来提供方向性或增益,并提高来自用户102的语音116相对于语音116或来自其他来源的噪声的信噪比(SNR)。

可穿戴装置104可以包括生成传感器数据128的一个或多个传感器126。例如,传感器126可以包括加速度计、脉搏血氧计等等。关于图2更详细地讨论传感器126。

音频预处理模块122可以在操作期间使用来自一个或多个传感器126的信息。例如,来自加速度计的传感器数据128可以用于确定可穿戴装置104的取向。基于取向,波束成形算法可以操作以提供传声器模式114,所述传声器模式包括用户102的头部预期所在的位置。

数据传输模块130可以使用通信接口132来使用通信链路106将第一音频数据124、传感器数据128或其他数据发送到计算装置108。例如,数据传输模块130可以确定可穿戴装置104内的存储器已经达到预定数量的存储的第一音频数据124。通信接口132可以包括蓝牙低功耗装置,所述蓝牙低功耗装置响应于来自数据传输模块130的命令而操作以将存储的第一音频数据124发送到计算装置108。

在一些实施方式中,第一音频数据124可以在通过通信链路106传输之前被加密。加密可以在存储在可穿戴装置104的存储器中之前、在经由通信链路106传输之前或者在两者之前执行。一旦接收到,第一音频数据124就可以被解密。

可穿戴装置104与计算装置108之间的通信可以是持续的或间歇的。例如,即使与计算装置108的通信链路106不可用,可穿戴装置104也可以确定并存储第一音频数据124。稍后,当通信链路106可用时,第一音频数据124可以被发送到计算装置108。

可穿戴装置104可以包括一个或多个输出装置134。例如,输出装置134可以包括发光二极管、触觉输出装置、扬声器等。关于图2更详细地描述了输出装置134。

计算装置108可以包括通信接口132。例如,计算装置108的通信接口132可以包括蓝牙低功耗装置、WiFi网络接口装置等等。计算装置108经由通信链路106从可穿戴装置104接收第一音频数据124。

计算装置108可以使用回合检测模块136来确定第一音频数据124的部分与不同的说话者相关联。如下文关于图4更详细地描述,当超过一个人员说话时,“回合”是单个人员的连续说话部分。例如,第一回合可以包括第一人员说出的几个句子,而第二回合包括第二人员的响应。回合检测模块136可以使用第一音频数据124中的一个或多个特性来确定已经发生一回合。例如,可以基于语音116的停顿、音调变化、信号振幅的变化等等来检测回合。继续所述示例,如果词之间的停顿超过350毫秒,则可以确定指示一回合的数据。

在一种实施方式中,回合检测模块136可以处理第一音频数据124的片段以确定在片段开头说话的人与在结尾说话的人是否相同。第一音频数据124可以被划分为片段和子片段。例如,每个片段可以为六秒长,其中第一子片段包括片段的开始两秒,并且第二子片段包括片段的最后两秒。处理第一子片段中的数据以确定第一组特征,并且处理第二子片段中的数据以确定第二组特征。片段可以重叠,使得至少一些数据在连续片段之间重复。如果确定第一组特征和第二组特征在彼此的阈值内,则可以认为它们是由同一人说出的。如果第一组特征和第二组特征不在彼此的阈值内,则可以认为它们是由不同的人说出的。包括来自两个不同的人的语音的片段可以被指定为一个说话者与另一个说话者之间的中断。在该实施方式中,说话者之间的那些中断可以用于确定一回合的边界。例如,当片段包括来自两个不同的人的语音时,可以确定回合开始和结束。

在一些实施方式中,如下所述,回合检测模块136可以结合语音识别模块138或作为语音识别模块的一部分来操作。例如,如果语音识别模块138识别出第一片段由第一用户说出并且第二片段由第二用户说出,则可以确定指示回合的数据。

语音识别模块138可以访问用户简档数据140以确定第一音频数据124是否与用户102相关联。例如,用户简档数据140可以包括关于由用户102在登记过程期间提供的语音116的信息。在登记期间,用户102可以提供他们的语音116的样本,然后对所述样本进行处理以确定可以用于识别语音116是否可能来自用户102的特征。

语音识别模块138可以处理第一音频数据124的被指定为特定回合的至少一部分以确定用户102是否是说话者。例如,第一回合的第一音频数据124可以由语音识别模块138处理以确定第一回合是用户102在说话的置信度为0.97。可以指定阈值置信度值为0.95。继续所述示例,第二回合的第一音频数据124可以由语音识别模块138处理以确定第二回合是用户102在说话的置信度为0.17。

确定第二音频数据142,所述第二音频数据包括第一音频数据124的被确定为来自用户102的语音116的部分。例如,第二音频数据142可以由表现出大于阈值置信值0.95的置信度的语音116组成。结果,第二音频数据142省略了来自其他来源的语音116,诸如来自与用户102对话的某个人的语音。

音频特征模块144使用第二音频数据142来确定音频特征数据146。例如,音频特征模块144可以使用诸如信号分析、分类器、神经网络等等一个或多个系统来生成音频特征数据146。音频特征数据146可以包括值、向量等等。例如,音频特征模块144可以使用卷积神经网络,所述卷积神经网络接受第二音频数据142作为输入并且在向量空间中提供向量作为输出。音频特征数据146可以表示诸如音调随时间升高、语音韵律、每个音素的能量强度、回合的持续时间等等特征。

特征分析模块148使用音频特征数据146来确定情感数据150。人类语音涉及说话人员的部位上的生物系统的复杂相互作用。这些生物系统受到人员的身体和情绪状态的影响。结果,用户102的语音116可能表现出变化。例如,冷静的人员听起来与兴奋的人员不同。这可以被描述为“情绪韵律”,并且与所使用的词的含义分开。例如,在一些实施方式中,特征分析模块148可以使用音频特征数据146来评估情绪韵律而不评估所使用的词的实际内容。

特征分析模块148基于音频特征数据146来确定指示用户102的可能情绪状态的情感数据150。特征分析模块148可以确定被认为表示情绪状态的各种值。在一些实施方式中,这些值可以表示情绪原语。(参见Kehrein,Roland.(2002).The prosody of authenticemotions.27.10.1055/s-2003-40251。)例如,情绪原语可以包括效价、激活和优势。可以确定效价值,所述效价值表示用户语音的音调随时间的特定变化。指示音调的特定变化的某些效价值可能与某些情绪状态相关联。可以确定激活值,所述激活值表示用户语音随时间的节奏。与效价值一样,某些激活值可能与某些情绪状态相关联。可以确定优势值,所述优势值表示用户声音的音调随时间的上升和下降模式。与效价值一样,某些优势值可能与某些情绪状态相关联。效价、激活和优势的不同值可能对应于特定情绪。(参见Grimm,Michael(2007).Primitives-based evaluation and estimation of emotions inspeech.Speech Communication 49(2007)787-800。)

特征分析模块148可以使用其他技术。例如,特征分析模块148可以确定第二音频数据142的至少一部分的梅尔频率倒谱系数(MFCC)。然后可以使用MFCC来确定与所述部分相关联的情绪类别。情感类别可以包括生气、快乐、悲伤或中性中的一种或多种。(参见Rozgic、Viktor等人,(2012).Emotion Recognition using Acoustic and LexicalFeatures.2012年国际语音通信协会第13届年会,INTERSPEECH 2012.1.)。

在其他实施方式中,特征分析模块148可以包括分析所说出的词及其含义。例如,可以使用自动语音识别(ASR)系统来确定所说出的词的文本。然后可以使用该信息来确定情感数据150。例如,在第二音频数据142中存在与诸如赞美或表扬之类的正向解读相关联的词可以用于确定情感数据150。在另一个示例中,词干可以与特定的情感类别相关联。词干可以使用ASR来确定,并且确定特定的情感类别。(参见Rozgic、Viktor等人,(2012).Emotion Recognition using Acoustic and Lexical Features.2012年国际语音通信协会第13届年会,INTERSPEECH 2012.1.)。可以使用其他技术来至少部分地基于由用户说出的词的含义来确定情绪状态。

由特征分析模块148确定的情感数据150可以被表达为一个或多个数值、向量、词等等。例如,情感数据150可以包括复合单值,诸如数值、颜色等等。例如,效价、激活和优势值的加权和可以用于生成整体情感指数或“语调值”或“心情值”。在另一个示例中,情感数据150可以包括n维空间中的一个或多个向量。在又一示例中,情感数据150可以包括由诸如效价、激活和优势值之类的其他值的特定组合确定的关联词。情感数据150可以包括非规范值。例如,被表达为负数的情感值可能不表示被认为不好的情绪。

计算装置108可以包括传感器数据分析模块152。传感器数据分析模块152可以处理传感器数据128并生成用户状态数据154。例如,从可穿戴装置104上的传感器126获得的传感器数据128可以包括关于从加速度计获得的运动、从脉搏血氧计获得的脉搏率等等的信息。用户状态数据154可以包括诸如可穿戴装置104在特定时间间隔期间的总运动、在特定时间间隔期间的脉搏率等等的信息。用户状态数据154可以提供表示用户102的生理状态的信息。

建议模块156可以使用情感数据150和用户状态数据154来确定建议数据158。情感数据150和用户状态数据154可以各自包括时间戳信息。第一时间段的情感数据150可以与第二时间段的用户状态数据154相关联。历史数据可以用于确定趋势。这些趋势然后可以由建议模块156使用以确定建议数据158。例如,趋势数据可以指示当用户状态数据154指示用户102每晚睡眠少于7小时时,第二天他们的整体语调值低于他们的个人基线值。结果,建议模块156可以生成建议数据158以将这种情况通知用户102并建议更多休息。

在一些实施方式中,建议数据158可以包括语音推荐。这些语音推荐可以包括关于用户102可以如何管理他们的语音以改变或缓和由他们的语音呈现的表观情绪的建议。在一些实施方式中,语音推荐可以建议用户102说话更慢、停顿、更深呼吸、建议不同的声调等等。例如,如果情感数据150指示用户102看起来已经心烦意乱,则建议数据158可以是让用户102停止说话十秒钟然后继续以更平静的声音说话。在一些实施方式中,语音推荐可以与特定目标相关联。例如,用户102可能希望听起来更加肯定和自信。用户102可以提供指示这些目标的输入,其中所述输入用于设置由建议模块156使用的最小阈值。建议模块156可以关于这些最小阈值分析情感数据150以提供建议数据158。继续所述示例,如果情感数据150指示用户102的语音低于最小阈值,则建议数据158可以通知用户102并且还可以建议动作。

计算装置108可以从情感数据150或建议数据158中的一者或多者生成输出数据160。例如,输出数据160可以包括超文本标记语言(HTML)指令,所述HTML指令在由浏览器引擎处理时生成图形用户界面(GUI)的图像。在另一个示例中,输出数据160可以包括播放特定声音、操作蜂鸣器或操作灯以在特定强度下呈现特定颜色的指令。

然后可以使用输出数据160来操作一个或多个输出装置134。继续所述示例,GUI可以呈现在显示装置上,可以操作蜂鸣器,可以点亮灯等等以提供输出162。输出162可以包括用户界面164,诸如这里描绘的GUI,所述用户界面使用若干界面元素166提供关于昨天和前一小时的情感的信息。在该示例中,情感被呈现为关于与用户102相关联的典型情感范围的指示。在一些实施方式中,情感可以被表达为数值,并且具有与那些数值相关联的特定颜色的界面元素166可以呈现在用户界面中。例如,如果用户102的情感具有超过用户102的与快乐相关联的度量的典型范围的一个或多个值,则可以呈现着色为绿色的界面元素166。相反,如果用户102的情感具有低于用户102典型范围的一个或多个值,则可以呈现着色为蓝色的界面元素166。典型范围可以使用一种或多种技术来确定。例如,典型范围可以基于最小情感值、最大情感值,可以相对于平均或线性回归线来指定等等。

系统可以基于在各个时间间隔内获得的数据提供输出162。例如,用户界面164示出了昨天和最后一小时的情感。系统100可以呈现关于与其他时间段相关联的情感的信息。例如,可以使用在最后n秒中获得的原始音频数据118实时或接近实时地呈现情感数据150,其中n大于零。

应当理解,在该系统100中描述的各种功能、模块和操作可以由其他装置执行。例如,建议模块156可以在服务器上执行。

图2示出了根据一种实施方式的传感器126和输出装置134的框图200,所述传感器和输出装置可以在系统100的操作期间由可穿戴装置104、计算装置108或其他装置使用。如上文关于图1所描述,传感器126可以生成传感器数据128。

一个或多个传感器126可以与诸如可穿戴装置104、计算装置108等等计算装置集成或在它们内部。例如,传感器126可以在制造期间内置到可穿戴装置104中。在其他实施方式中,传感器126可以是另一个装置的一部分。例如,传感器126可以包括在计算装置108外部但使用蓝牙、Wi-Fi、3G、4G、5G、LTE、ZigBee、Z-Wave或另一种无线或有线通信技术与所述计算装置通信的装置。

一个或多个传感器126可以包括一个或多个按钮126(1),其被配置为从用户102接受输入。按钮126(1)可以包括机械、电容、光学或其他机构。例如,按钮126(1)可以包括机械开关,其被配置为从用户102的触摸接受所施加的力以生成输入信号。在一些实施方式中,来自一个或多个传感器126的输入可以用于发起原始音频数据118的获取。例如,按钮126(1)的激活可以发起原始音频数据118的获取。

血压传感器126(2)可以被配置为提供传感器数据128,所述传感器数据指示用户102的血压。例如,血压传感器126(2)可以包括相机,所述相机获取血管的图像并通过分析血管的直径随时间的变化来确定血压。在另一个示例中,血压传感器126(2)可以包括传感器换能器,所述传感器换能器与用户102的靠近血管的皮肤接触。

脉搏血氧计126(3)可以被配置为提供指示心脏脉搏率的传感器数据128和指示用户102的血液的氧饱和度的数据。例如,脉搏血氧计126(3)可以使用一个或多个发光二极管(LED)和对应的检测器来确定用户102的血液的表观颜色由于氧与血液中的血红蛋白结合导致的变化,从而提供关于氧饱和度的信息。由LED发出的光的表观反射率随时间的变化可以用于确定心脏脉搏。

传感器126可以包括一个或多个触摸传感器126(4)。触摸传感器126(4)可以使用电阻、电容、表面电容、投射电容、互电容、光学、内插式力感应电阻(IF5R)或其他机构来确定用户102的触摸或接近触摸的位置。例如,IFSR可以包括被配置为响应于所施加的力而改变电阻的材料。电阻变化在材料内的位置可以指示触摸的位置。

一个或多个传声器126(5)可以被配置为获取关于环境中存在的声音的信息。在一些实施方式中,可以使用多个传声器126(5)来形成传声器阵列112。如上所述,传声器阵列112可以实施波束成形技术以提供增益的方向性。

温度传感器(或温度计)126(6)可以提供指示对象温度的信息。计算装置中的温度传感器126(6)可以被配置为测量用户102附近的环境空气温度、用户102的体温等等。温度传感器126(6)可以包括硅带隙温度传感器、热敏电阻、热电偶或其他装置。在一些实施方式中,温度传感器126(6)可以包括红外检测器,所述红外检测器被配置为使用热辐射来确定温度。

传感器126可以包括一个或多个光传感器126(7)。光传感器126(7)可以被配置为提供与诸如照度水平的环境照明条件相关联的信息。光传感器126(7)可以对包括但不限于红外线、可见光或紫外线的波长敏感。与相机相比,光传感器126(7)通常可以提供一系列振幅(幅度)样本和颜色数据,而相机提供一系列二维样本(像素)帧。

一个或多个射频标识(RFID)读取器126(8)、近场通信(NFC)系统等等也可以作为传感器126包括在内。用户102、计算装置周围的对象、建筑物内的位置等等可以被配备有一个或多个射频(RF)标签。RF标签被配置为发射RF信号。在一种实施方式中,RF标签可以是被配置为在被外部信号激活时发射RF信号的RFID标签。例如,外部信号可以包括被配置为激励或激活RFID标签的RF信号或磁场。在另一种实施方式中,RF标签可以包括发射器和被配置为向发射器供电的电源。例如,RF标签可以包括蓝牙低功耗(BLE)发射器和电池。在其他实施方式中,标签可以使用其他技术来指示其存在。例如,声学标签可以被配置为生成由对应的声学接收器检测的超声信号。在又一实施方式中,标签可以被配置为发射光学信号。

一个或多个RF接收器126(9)也可以作为传感器126包括在内。在一些实施方式中,RF接收器126(9)可以是收发器总成的一部分。RF接收器126(9)可以被配置为获取与Wi-Fi、蓝牙、ZigBee、Z-Wave、3G、4G、LTE或其他无线数据传输技术相关联的RF信号。RF接收器126(9)可以提供与经由射频传输的数据、RF信号的信号强度等等相关联的信息。例如,来自RF接收器126(9)的信息可以用于促进确定计算装置的位置等等。

传感器126可以包括一个或多个加速度计126(10)。加速度计126(10)可以提供诸如所施加的加速度的方向和幅度、相对于局部竖直方向的倾斜等等信息。可以使用加速度计126(10)来确定诸如加速速率、方向变化的确定、速度、倾斜等等数据。

陀螺仪126(11)提供指示附连于其上的对象的旋转的信息。例如,陀螺仪126(11)可以指示装置是否已经旋转。

磁力计126(12)可以用于通过测量诸如地磁场的环境磁场来确定取向。例如,来自磁力计126(12)的输出可以用于确定包含传感器126的装置(诸如计算装置108)是否已经改变取向或以其他方式移动。在其他实施方式中,磁力计126(12)可以被配置为检测由另一个装置生成的磁场。

葡萄糖传感器126(13)可以用于确定用户102的血液或组织内的葡萄糖浓度。例如,葡萄糖传感器126(13)可以包括近红外光谱仪,所述近红外光谱仪确定组织中的葡萄糖或葡萄糖代谢物的浓度。在另一个示例中,葡萄糖传感器126(13)可以包括化学检测器,所述化学检测器测量用户皮肤的表面处的葡萄糖或葡萄糖代谢物的存在。

位置传感器126(14)被配置为提供指示位置的信息。位置可以是相对的或绝对的。例如,相对位置可以指示“厨房”、“卧室”、“会议室”等等。相比之下,绝对位置是相对于参考点或基准点而表达的,所述参考点或基准点诸如街道地址、包括指示纬度和经度的坐标的地理位置、方格等。位置传感器126(14)可以包括但不限于基于无线电导航的系统,诸如基于地面或卫星的导航系统。基于卫星的导航系统可以包括全球定位系统(GPS)接收器、全球导航卫星系统(GLONASS)接收器、伽利略接收器、北斗导航卫星系统(BDS)接收器、印度区域导航卫星系统等等中的一种或多种。在一些实施方式中,位置传感器126(14)可以被省略或者结合诸如提供位置信息的蜂窝网络运营商或蓝牙信标的外部资源来操作。

指纹传感器126(15)被配置为获取指纹数据。指纹传感器126(15)可以使用光学、超声、电容、电阻或其他检测器来获得指纹特征的图像或其他表示。例如,指纹传感器126(15)可以包括电容传感器,所述电容传感器被配置为生成用户102的指纹图像。

接近传感器126(16)可以被配置为提供传感器数据128,所述传感器数据指示对象的存在或不存在、到对象的距离或对象特性中的一者或多者。接近传感器126(16)可以使用光学、电、超声、电磁或其他技术来确定对象的存在。例如,接近传感器126(16)可以包括电容接近传感器,所述电容接近传感器被配置为提供电场并确定由于电场内对象的存在或不存在而导致的电容变化。

图像传感器126(17)包括成像元件以获取可见光、红外线、紫外线等等中的图像。例如,图像传感器126(17)可以包括互补金属氧化物(CMOS)成像元件或电荷耦合装置(CCD)。

传感器126也可以包括其他传感器126(S)。例如,其他传感器126(S)可以包括应变仪、防篡改指示器等等。例如,应变仪或应变传感器可以嵌入在可穿戴装置104内并且可以被配置为提供指示可穿戴装置104的至少一部分已经被拉伸或移位使得可穿戴装置104可能已经被戴上或者脱下的信息。

在一些实施方式中,传感器126可以包括硬件处理器、存储器和被配置为执行各种功能的其他元件。此外,传感器126可以被配置为通过网络进行通信或者可以直接与其他装置耦合。

计算装置可以包括或可以耦合到一个或多个输出装置134。输出装置134被配置为生成可以由用户102感知、可由传感器126检测或其组合的信号。

触觉输出装置134(1)被配置为向用户102提供产生触感的信号。触觉输出装置134(1)可以使用诸如电刺激或机械位移的一种或多种机制来提供信号。例如,触觉输出装置134(1)可以被配置为生成调制电信号,所述调制电信号在用户102的一个或多个手指中产生表观触感。在另一个示例中,触觉输出装置134(1)可以包括压电或旋转电机装置,所述压电或旋转电机装置被配置为提供可以被用户102感觉到的振动。

一个或多个音频输出装置134(2)被配置为提供声学输出。声学输出包括次声波、可听声音或超声波中的一种或多种。音频输出装置134(2)可以使用一种或多种机构来生成声学输出。这些机构可以包括但不限于以下各项:音圈、压电元件、磁致伸缩元件、静电元件等等。例如,压电蜂鸣器或扬声器可以用于通过音频输出装置134(2)提供声学输出。

显示装置132(3)可以被配置为提供可以由用户102看到或由诸如图像传感器126(17)或光传感器126(7)的光敏检测器检测到的输出。输出可以是单色的或彩色的。显示装置132(3)可以具有发射性、反射性或两者。诸如使用LED的发光显示装置132(3)被配置为在操作期间发光。相比之下,诸如使用电泳元件的反射式显示装置132(3)依赖环境光来呈现图像。背光灯或前灯可以用于照亮非发射式显示装置132(3)以在环境光水平低的条件下提供输出的可见性。

显示装置132(3)的显示机构可以包括但不限于微机电系统(MEMS)、空间光调制器、电致发光显示器、量子点显示器、硅基液晶(LCOS)显示器、胆甾显示器、干涉显示器、液晶显示器、电泳显示器、LED显示器等等。这些显示机构被配置为发射光、调制从另一个来源发射的入射光或两者。显示装置132(3)可以充当面板、投影仪等等。

显示装置132(3)可以被配置为呈现图像。例如,显示装置132(3)可以包括像素可寻址显示器。图像可以包括至少二维像素阵列或至少二维图像的向量表示。

在一些实施方式中,显示装置132(3)可以被配置为提供非图像数据,诸如文本或数字字符、颜色等等。例如,分段电泳显示装置132(3)、分段LED等等可以用于呈现诸如字母或数字的信息。显示装置132(3)也可以被配置为诸如使用多色LED区段改变区段的颜色。

也可以存在其他输出装置134(T)。例如,其他输出装置134(T)可以包括香味分配器。

图3示出了被配置为支持系统100的操作的计算装置300的框图。如上所述,计算装置300可以是可穿戴装置104、计算装置108等等。

一个或多个电源302被配置为提供适合于操作计算装置300中的部件的电力。在一些实施方式中,电源302可以包括可再充电电池、燃料电池、光伏电池、功率调节电路、无线功率接收器等等。

计算装置300可以包括一个或多个硬件处理器304(处理器),所述硬件处理器被配置为执行一个或多个存储的指令。处理器304可以包括一个或多个核心。一个或多个时钟306可以提供指示日期、时间、报时信号等等的信息。例如,处理器304可以使用来自时钟306的数据生成时间戳、触发预编程动作等等。

计算装置300可以包括一个或多个通信接口132,诸如输入/输出(I/O)接口308、网络接口310等等。通信接口132使得计算装置300或其部件能够与其他装置或部件进行通信。通信接口132可以包括一个或多个I/O接口308。I/O接口308可以包括诸如内部集成电路(I2C)、串行外围接口总线(SPI)、由通用串行总线(USB)实施者论坛颁布的USB、RS-232等等接口。

I/O接口308可以耦合到一个或多个I/O装置312。I/O装置312可以包括输入装置,诸如一个或多个传感器126。I/O装置312还可以包括输出装置134,诸如音频输出装置134(2)、显示装置134(3)等等中的一者或多者。在一些实施方案中,I/O装置312可以与计算装置300物理结合或者可以放置在外部。

网络接口310被配置为提供计算装置300与其他装置(诸如传感器126、路由器、访问装置等等)之间的通信。网络接口310可以包括被配置为耦合到有线或无线个域网(PAN)、局域网(LAN)、广域网(WAN)等等的装置。例如,网络接口310可以包括与以太网、Wi-Fi、蓝牙、ZigBee、4G、5G、LTE等等兼容的装置。

计算装置300还可以包括允许在计算装置300的各种模块和部件之间传输数据的一根或多根总线或其他内部通信硬件或软件。

如图3所示,计算装置300包括一个或多个存储器314。存储器314包括一种或多种计算机可读存储介质(CRSM)。CRSM可以是电子存储介质、磁存储介质、光学存储介质、量子存储介质、机械计算机存储介质等等中的任意一种或多种。存储器314为计算装置300的操作提供计算机可读指令、数据结构、程序模块和其他数据的存储。几种示例性功能模块被示为存储在存储器314中,但是相同的功能性可以替代地以硬件、固件实施或被实施为片上系统(SOC)。

存储器314可以包括至少一个操作系统(OS)模块316。OS模块316被配置为管理硬件资源装置,诸如I/O接口308、网络接口310、I/O装置312,并向在处理器304上执行的应用程序或模块提供各种服务。OS模块316可以实施由FreeBSD项目颁布的FreeBSD操作系统的变体;其他UNIX或类UNIX操作系统;由Linus Torvalds颁布的Linux操作系统的变体;来自美国华盛顿雷德蒙德微软公司的Windows操作系统;来自美国加利福尼亚州山景城谷歌公司的安卓操作系统;来自美国加利福尼亚州库比蒂诺苹果公司的iOS操作系统;或其他操作系统。

数据存储区318和以下模块中的一者或多者也存储在存储器314中。这些模块可以作为前台应用程序、后台任务、守护进程等等来执行。数据存储区318可以使用平面文件、数据库、链表、树、可执行代码、脚本或其他数据结构来存储信息。在一些实施方式中,数据存储区318或数据存储区318的一部分可以分布在包括计算装置300、网络附加存储装置等等一个或多个其他装置上。

通信模块320可以被配置为与其他计算装置300、传感器126等等中的一者或多者建立通信。通信可以被认证、加密等等。通信模块320还可以控制通信接口132。例如,通信模块320可以对数据进行加密和解密。

存储器314还可以存储数据获取模块322。数据获取模块322被配置为获取原始音频数据118、传感器数据128等等。在一些实施方式中,数据采集模块322可以被配置为操作一个或多个传感器126、传声器阵列112等等。例如,数据获取模块322可以确定传感器数据128满足触发事件。触发事件可以包括一个或多个传感器126的传感器数据128的值超过阈值。例如,如果可穿戴装置104上的脉搏血氧计126(3)指示用户102的脉搏已经超过阈值,则传声器阵列112可以操作以获取原始音频数据118。

在另一个示例中,可穿戴装置104上的数据获取模块322可以从计算装置108接收指令以在指定间隔、在预定时间等等获得原始音频数据118。例如,计算装置108可以每540秒发送指令以获取原始音频数据118持续60秒。然后可以用语音活动检测器模块120处理原始音频数据118以确定是否存在语音116。如果检测到语音116,则可以获得第一音频数据124,然后将其发送到计算装置108。

用户界面模块324使用I/O装置312中的一者或多者提供用户界面。用户界面模块324可以用于从用户102获得输入,向用户102呈现信息等等。例如,用户界面模块324可以在显示装置134(3)上呈现图形用户界面并使用触摸传感器126(4)接受用户输入。

一个或多个其他模块326(诸如语音活动检测模块120、音频预处理模块122、数据传输模块130、回合检测模块136、语音识别模块138、音频特征模块144、特征分析模块148、传感器数据分析模块152、建议模块156等等)也可以存储在存储器314中。

数据328可以存储在数据存储区318中。例如,数据328可以包括原始音频数据118、第一音频数据124、传感器数据128、用户简档数据140、第二音频数据142、情感数据150、用户状态数据154、建议数据158、输出数据160等等中的一者或多者。

一个或多个获取参数330可以存储在存储器314中。获取参数330可以包括诸如音频采样率、音频采样频率、音频帧大小等等参数。

阈值数据332可以存储在存储器314中。例如,阈值数据332可以指定由语音活动检测器模块120使用来确定原始音频数据118是否包括语音116的一个或多个阈值。

计算装置300可以维护历史数据334。历史数据334可以用于提供关于趋势或随时间的变化的信息。例如,历史数据334可以包括对前90天每小时的情感数据150的指示。在另一个示例中,历史数据334可以包括前90天的用户状态数据154。

其他数据336也可以存储在数据存储区318中。

在不同的实施方式中,不同的计算装置300可以具有不同的能力或容量。例如,与可穿戴装置104相比,计算装置108可以具有显著更多的处理器304能力和存储器314能力。在一种实施方式中,可穿戴装置104可以确定第一音频数据124并将第一音频数据124发送到计算装置108。在另一种实施方式中,可穿戴装置104可以生成情感数据150、建议数据158等等。在其他实施方式中可以使用数据处理和功能性的分布的其他组合。

图4在400处示出了根据一种实施方式的用户102与第二人员之间的对话的部分。在该附图中,时间402沿着页面向下增加。对话404可以包括由一个或多个人产生的语音116。例如,如这里所示,用户102可能正在与第二人员交谈。在另一种实施方式中,对话404可以包括来自用户102自言自语的语音116。这里示出了对话404的若干回合406(1)至(4)。例如,回合406可以包括单个人员的语音116的连续部分。在该示例中,第一回合406(1)是用户102说“你好,谢谢你今天来访”,而第二回合406(2)是第二人员回复“谢谢你邀请我。我很期待……”。第一回合406(1)是单个句子,而第二回合406(2)是若干句子。

系统100获取原始音频数据118,然后将其用于确定第一音频数据124。第一音频数据124在这里被示为框,其中不同的阴影指示相应的说话者。例如,框可以表示特定时间段、一组一个或多个音频数据帧等等。

回合检测模块136可以用于确定每个回合406的边界。例如,回合检测模块136可以基于说话者的声音的变化、基于时间等等来确定回合406。

语音识别模块138用于确定第一音频数据124的部分(诸如特定回合406)是否是来自用户102的语音116。在确定第二音频数据142时,省略与用户102不相关联的回合406的音频。结果,第二音频数据142可以由被认为表示来自用户102的语音116的音频数据组成。因此防止系统100处理第二人员的语音116。

处理第二音频数据142并且确定情感数据150。可以针对第二音频数据142的各个部分确定情感数据150。例如,可以针对如这里所示的特定回合406确定情感数据150。在另一个示例中,情感数据150可以基于来自超过一个回合406的音频来确定。如上所述,情感数据150可以被表达为效价值、激活值、优势值等中的一者或多者。这些值可以用于确定单个值,诸如语调值或情感指数。情感数据150可以包括一个或多个关联词408、关联图标、关联颜色等等。例如,效价值、激活值和优势值的组合可以描述多维空间。该空间内的各种体积可能与特定词相关联。例如,在所述多维空间内,效价值为+72、激活值为57和优势值为70可以描述与词“专业”和“愉快”相关联的体积内的点。在另一个示例中,所述点可以在与特定颜色、图标等相关联的体积内。

在其他实施方式中,其他技术可以用于根据从第二音频数据142获得的音频特征数据146来确定情感数据150。例如,可以训练包括分类器、神经网络等中的一者或多者的机器学习系统以将音频特征数据146中的特定音频特征与特定关联词408、关联图标、关联颜色等等相关联。

图5示出了根据一种实施方式的基于从分析用户的语音116获得的情感数据150来呈现输出162的过程的流程图500。过程可以由可穿戴装置104、计算装置108、服务器或其他装置中的一者或多者来执行。

在502处,获取原始音频数据118。可以确定何时获取原始音频数据118。例如,可穿戴装置104的数据获取模块322可以被配置为操作传声器阵列112并在计时器520到期时、在时钟306上的当前时间等于预定时间时(如522处所示)、基于传感器数据128(如524处所示)等等获取原始音频数据118。例如,传感器数据128可以指示按钮126(1)的激活、超过阈值的加速度计126(10)的运动等等。在一些实施方式中,各种因素的组合可以用于确定何时开始获取原始音频数据118。例如,当传感器数据128指示可穿戴装置104处于已被用户102批准的特定位置中时,数据获取模块322可以每540秒获取原始音频数据118。

在504处,确定第一音频数据124。例如,可以由语音活动检测器模块120处理原始音频数据118以确定是否存在语音116。如果确定不存在语音116,则可以丢弃非语音原始音频数据。如果未确定语音116持续阈值时间段,则可以停止获取原始音频数据118。包含语音116的原始音频数据118可以由音频预处理模块122处理以确定第一音频数据124。例如,波束成形算法可以用于产生传声器模式114,其中来自用户102的语音116的信噪比得到提高。

在506处,确定第一音频数据124的与第一人员相关联的至少一部分。例如,回合检测模块136可以确定第一音频数据124的第一部分包括第一回合406(1)。

在508处,确定用户简档数据140。例如,可以从存储区中检索用户102的注册到可穿戴装置104的用户简档数据140。用户简档数据140可以包括在登记过程期间从用户102获得的信息。在登记过程期间,用户102可以提供他们的语音116的样本,然后将所述样本用于确定指示用户语音116的特性。例如,用户简档数据140可以通过用卷积神经网络、分类器处理在登记期间获得的语音116、通过应用信号分析算法等等来生成,所述卷积神经网络被训练以确定表示语音116的特征向量。

在510处,基于用户简档数据140,确定第二音频数据142。第二音频数据142包括第一音频数据124的与用户102相关联的部分。例如,第二音频数据142可以包括第一音频数据124的所述部分,其中回合406包含在阈值水平内与用户简档数据140相对应的语音。

在512处,使用第二音频数据142确定音频特征数据146。音频特征模块144可以使用一种或多种技术,诸如一种或多种信号分析526技术、一种或多种分类器528、一种或多种神经网络530等等。信号分析526技术可以确定关于在第二音频数据142中表示的信号的频率、定时、能量等等的信息。音频特征模块144可以利用一种或多种神经网络530,所述神经网络被训练以确定音频特征数据146,诸如多维空间中表示语音116的向量。

在514处,音频特征数据146用于确定情感数据150。特征分析模块148可以使用一种或多种技术,诸如一种或多种分类器532、神经网络534、自动语音识别536、语义分析538等等,来确定情感数据150。例如,音频特征数据146可以由分类器532处理以产生指示“高兴”或“伤心”的值的情感数据150。在另一个示例中,音频特征数据146可以由一个或多个神经网络534处理,所述神经网络已经被训练以将特定音频特征与特定情绪状态相关联。

对情感数据150的确定可以表示情绪韵律。在其他实施方式中,所说出的词及其含义可以用于确定情感数据150。例如,自动语音识别536可以确定语音116中的词,而语义分析538可以确定这些词的意图是什么。例如,诸如赞美、亵渎、侮辱等等特定词的使用可以用于确定情感数据150。

在516处,基于情感数据150生成输出数据160。例如,输出数据160可以包括指导显示装置134(3)在用户界面164中呈现数值、特定颜色或其他界面元素166的指令。

在518处,基于输出数据160呈现输出162。例如,用户界面164示出在计算装置108的显示装置134(3)上。

图6示出了根据一种实施方式的其中将诸如关于用户健康状况的信息的用户状态数据154与情感数据150组合以提供建议输出的场景600。

在602处,从与用户102相关联的一个或多个传感器126确定传感器数据128。例如,在从用户102接收到批准之后,可穿戴装置104、计算装置108、支持互联网的装置等等中的传感器126可以用于获取传感器数据128。

在604处,处理传感器数据128以确定用户状态数据154。用户状态数据154可以指示关于用户102的信息的信息,诸如生物医学状态、运动、其他装置的使用等等。例如,该附图中所示的用户状态数据154包括关于星期一、星期二和星期三所走的步数和睡眠小时数的信息。继续所述示例,用户102在星期二只睡了6.2小时并且没有走那么多步。

在606处,确定情感数据150。如上所述,处理用户102的语音116以确定关于在他们的语音中指示的情绪状态的信息。例如,这里所示的情感数据150包括星期一、星期二和星期三的平均效价、平均激活和平均优势值。继续所述示例,情感数据150指示用户102在星期二经历了负平均效价、降低的平均激活和增加的平均优势。

在608处,建议模块156至少部分地基于情感数据150和用户状态数据154来确定建议数据158。例如,基于信息可用,当用户102的睡眠时间少于7小时时,与睡眠时间超过7小时的那些天相比,他们的语音116所指示的整体情绪状态在用户102的典型范围之外。然后可以使用建议数据158来生成输出数据160。例如,输出数据160可以包括询问用户102他们是否想要被提醒上床睡觉的建议。

在610处,呈现基于输出数据160的第一输出162。例如,图形用户界面形式的输出162(1)可以呈现在计算装置108的显示装置134(3)上,询问用户102他们是否想要添加上床睡觉提醒。

在612处,呈现第二输出162。例如,在那个晚上的指定时间晚些时候,可以在显示装置134(3)上呈现建议用户102上床睡觉的提醒。

通过使用系统100,可以改善用户102的整体幸福。如该图示所示,系统100通知用户102他们的休息量与他们第二天的心情之间的相关性。通过提醒用户102休息并且用户102根据该提醒采取行动,可以改善第二天用户102的心情。

图7和图8示出了根据一些实施方式的呈现给用户102的输出162的用户界面164的若干示例,所述输出是至少部分地基于情感数据150。情感数据150可以是非规范的。输出162可以被配置为呈现避免规范呈现的界面元素166。例如,与指示用户“高兴”或“悲伤”相比,输出162可以表示用户相对于他们的典型范围或基线值的情感。

第一用户界面702描绘了仪表板呈现,其中若干元素704至710提供基于情感数据150和用户状态数据154的信息。用户界面元素704描绘了过去一小时的情感值。例如,可以基于情感数据150中表达的一个或多个值来聚合情感值。情感值可以是非规范的或者可以被配置为避免规范评估。例如,数字情感值可以被指示在1至16而不是1至100的范围内,以最大程度地减少“100”情感值优于“35”情感值的规范评估。情感数据150可以相对于与用户102相关联的基线或典型范围。用户界面元素706描绘了指示用户102在过去一小时的运动的运动值。用户界面元素708描绘了前一晚的睡眠值。例如,睡眠值可以基于睡眠持续时间、睡眠期间的运动等等。用户界面元素710示出基于情感数据150的概要信息,指示今天早上用户102的总体情绪大于他们在特定时间的典型范围。

第二用户界面712描绘了描绘过去24小时内的历史数据334的线图。用户界面元素714描绘了过去24小时内的情感值的线图。用户界面元素716描绘了过去24小时内的心率的线图。用户界面元素718描绘了过去24小时内的运动的线图。第二用户界面712允许用户102比较这些不同的数据集并确定它们之间是否存在对应关系。用户界面元素720包括一对用户控件,允许用户102改变在图形中呈现的数据的时间跨度或日期。

第三用户界面722将关于情绪的信息描绘为用户界面中的颜色。用户界面元素724示出了用户界面722中的彩色区域,在所述彩色区域中,颜色表示过去一小时的整体情绪。例如,情感数据150可以基于在最后一小时期间发出的语音116指示情感指数为97。绿色可能与90至100之间的情感指数值相关联。结果,在该示例中,情感指数为97导致用户界面元素724为绿色。

细节部分包括若干用户界面元素726至730,它们为在情感数据150中指示的特定情绪原语提供彩色指示符。例如,用户界面元素726呈现基于效价值选择的颜色,用户界面元素728呈现基于激活值选择的颜色,并且用户界面元素730呈现基于优势值选择的颜色。

图8描绘了其中在条形图中呈现历史情感数据的用户界面802。在该用户界面802中,时间控件804允许用户102选择他们希望查看的情感数据150的时间跨度,诸如一天“1D”、一周“1W”或一个月“1M”。图形元素806呈现基于选定时间跨度的情感数据150的信息。例如,图形元素806可以呈现每天的平均整体情感指数、每天的最小和最大情感指数等等。在该图示中,每天的图形元素806由指示当天的整体情感的每日最小值和最大值的条形来表示。在图形元素806中还用虚线描绘了用户102的整体情感的典型范围的上限和下限。

控件808允许用户102执行实时检查,发起原始音频数据118的获取以用于情感数据150的后续处理和生成。例如,在用户102激活控件808之后,用户界面802可以呈现输出162,诸如情感指数的数字输出、具有基于情感数据150的颜色的用户界面元素等等。在另一种实施方式中,实时检查可以由用户102操作可穿戴装置104上的控件来发起。例如,用户102可以按下可穿戴装置104上的按钮,从而发起随后处理的原始音频数据118的获取。

用户界面810提供关于与特定预约相关联的情感数据150的概括信息。由系统100存储的或可访问的数据328可以包括预约数据,诸如用户的预定预约日历。预约数据可以包括预约类型、预约主题、预约位置、预约开始时间、预约结束时间、预约持续时间、预约参加者数据或其他数据中的一者或多者。例如,预约参加者数据可以包括指示预约受邀者的数据。

预约数据可以用于安排原始音频数据118的获取。例如,用户102可以配置系统100以在特定预约期间收集原始音频数据118。用户界面810示出具有诸如时间、位置、主题等等预约细节812的日历视图。用户界面810还包括情感显示814,其示出与预约相关联的时间跨度的情感数据150的关联词408。例如,在该预约期间,用户102看起来是“专业的”和“权威的”。还呈现了心率显示816,其指示预约的时间跨度期间的平均脉搏。还呈现了控件818,所述控件允许用户102保存或丢弃在情感显示814中呈现的信息。例如,用户102可以选择保存信息以供以后参考。

图8还描绘了具有时间控件822和绘图元素824的用户界面820。时间控件822允许用户102选择他们希望查看的情感数据150的时间跨度,诸如“现在”、一天“1D”、一周“1W”等等。绘图元素824基于选定的时间跨度的情感数据150沿着一个或多个轴线呈现信息。例如,这里描绘的绘图元素824包括两个相互正交的轴线。每个轴线可以对应于特定的度量。例如,水平轴线指示效价,而竖直轴线表示激活。诸如圆圈之类的标记可以指示关于这些轴线的选定时间段的情感数据。在一种实施方式中,绘图元素824的呈现可以使得与用户102相关联的典型值被表示为图表的中心、原点、轴线交点等等。通过该实施方式,通过观察基于情感数据150的标记的相对位移,用户102可能能够看到他们在选定时间跨度内的情绪与他们的典型情绪有何不同。

在这些图示中,诸如前一小时、前24小时等等各种时间跨度仅用作说明而非限制。应当理解,可以使用其他时间跨度。例如,可以向用户102提供允许选择不同时间跨度的控件。尽管描绘了图形用户界面,但是应当理解可以使用其他用户界面。例如,声音用户界面可以用于向用户102提供信息。在另一个示例中,当情感数据150中的一个或多个值超过一个或多个阈值时,触觉输出装置134(1)可以向用户102提供触觉输出。

可以在软件、硬件或其组合中实施本文讨论的方法。在软件的上下文中,所描述的操作表示存储在一种或多种非暂时性计算机可读存储介质上的计算机可执行指令,所述计算机可执行指令在由一个或多个处理器来执行时执行所叙述的操作。一般来说,计算机可执行指令包括执行特定功能或实施特定抽象数据类型的常规例程、程序、对象、部件、数据结构等。本领域普通技术人员将容易地认识到,上述附图中所示的某些步骤或操作可以被消除、组合或以替代顺序执行。任何步骤或操作都可以串行或并行执行。此外,描述操作的顺序不旨在被解释为限制。

实施方案可以作为包括其上存储有指令(以压缩或未压缩形式)的非暂时性计算机可读存储介质的计算机程序产品来提供,所述指令可以用于对计算机(或其他电子装置)进行编程来执行本文描述的过程或方法。计算机可读存储介质可以是电子存储介质、磁存储介质、光学存储介质、量子存储介质等等中的一种或多种。例如,计算机可读存储介质可以包括但不限于硬盘驱动器、软盘、光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、磁卡或光卡、固态存储器装置或适用于存储电子指令的其它类型的物理介质。此外,实施方案也可以作为包括暂时性机器可读信号(以压缩或未压缩形式)的计算机程序产品来提供。暂时性机器可读信号(无论是否使用载波来调制)的示例包括但不限于托管或运行计算机程序的计算机系统或机器可以被配置为访问的信号,包括由一种或多种网络传输的信号。例如,暂时性机器可读信号可以包括互联网的软件传输。

这些程序的独立实例可以在任意数量的独立计算机系统上执行或分布在其上。因此,尽管某些步骤已被描述为由某些装置、软件程序、过程或实体执行,但是这不一定是这种情况,并且本领域普通技术人员将理解各种替代实施方式。

另外,本领域普通技术人员将容易地认识到,上述技术可以用于各种装置、环境和情况。尽管已经以特定于结构特征或方法动作的语言描述了主题,但是应当理解,所附权利要求书定义的主题不必局限于所描述的具体特征或动作。更确切地,将具体特征和动作公开为实施权利要求的说明性形式。

条款

1.一种系统,其包括:

可穿戴装置,所述可穿戴装置包括:

传声器阵列;

第一蓝牙通信接口;

第一存储器,所述第一存储器存储第一计算机可执行指令;以及

第一硬件处理器,所述第一硬件处理器执行所述第一计算机可执行指令以:

使用所述传声器阵列获取原始音频数据;

确定第一音频数据,所述第一音频数据包括所述原始音频数据的表示语音的至少一部分;

对所述第一音频数据进行加密;

使用所述第一蓝牙通信接口将所述加密后的第一音频数据发送到第二装置;

所述第二装置包括:

显示装置;

第二蓝牙通信接口;

第二存储器,所述第二存储器存储第二计算机可执行指令;以及

第二硬件处理器,所述第二硬件处理器执行所述第二计算机可执行指令以:

使用所述第二蓝牙通信接口从所述穿戴式装置接收所述加密后的第一音频数据;

对所述加密后的第一音频数据进行解密;

确定第二音频数据,所述第二音频数据包括所述第一音频数据的由穿戴者说出的一部分;

使用所述第二音频数据确定第一组音频特征;

使用所述第一组音频特征确定情感数据,所述情感数据指示所述穿戴者的语音的一个或多个特性;以及

向所述显示装置呈现图形用户界面,所述图形用户界面指示被确定为由所述穿戴者的语音传达的情绪状态。

2.根据条款1所述的系统,其中语音的所述一个或多个特性包括:

效价值,所述效价值表示所述穿戴者声音的音调随时间的特定变化;

激活值,所述激活值表示所述穿戴者语音随时间的节奏;以及

优势值,所述优势值表示所述穿戴者声音的所述音调随时间的上升和下降模式;

基于所述效价值、所述激活值和所述优势值确定情感值;

确定与所述情感值相关联的颜色;并且

其中所述图形用户界面包括以所述颜色呈现的元素。

3.一种系统,其包括:

第一装置,所述第一装置包括:

输出装置;

第一通信接口;

第一存储器,所述第一存储器存储第一计算机可执行指令;以及

第一硬件处理器,所述第一硬件处理器执行所述第一计算机可执行指令以:

使用所述第一通信接口接收第一音频数据;

确定指示第一用户的语音的用户简档数据;

确定第二音频数据,所述第二音频数据包括所述第一音频数据的与所述用户简档数据相对应的一部分;

确定所述第二音频数据的第一组音频特征;

使用所述第一组音频特征确定情感数据;

基于所述情感数据确定输出数据;以及

使用所述输出装置基于所述输出数据的至少一部分呈现第一输出。

4.根据条款3所述的系统,其进一步包括:

第二装置,所述第二装置包括:

传声器;

第二通信接口;

第二存储器,所述第二存储器存储第二计算机可执行指令;以及

第二硬件处理器,所述第二硬件处理器执行所述第二计算机可执行指令以:

使用所述传声器获取原始音频数据;

使用语音活动检测算法确定所述原始音频数据的表示语音的至少一部分;以及

使用所述第二通信接口向所述第一装置发送所述第一音频数据,所述第一音频数据包括所述原始音频数据的表示语音的所述至少一部分。

5.根据条款3或4中任一项所述的系统,其进一步包括:

第二装置,所述第二装置包括:

一个或多个传感器,所述一个或多个传感器包括以下各项中的一者或多者:

心率监测器,

血氧计,

心电图仪,

相机,或者

加速度计,

第二通信接口;

第二存储器,所述第二存储器存储第二计算机可执行指令;以及

第二硬件处理器,所述第二硬件处理器执行所述第二计算机可执行指令以:

基于来自所述一个或多个传感器的输出确定传感器数据;

使用所述第二通信接口将所述传感器数据的至少一部分发送到所述第一装置;并且

所述第一硬件处理器执行所述第一计算机可执行指令以:

至少部分地基于与在第一时间段期间获得的所述第一音频数据相关联的所述情感数据与在第二时间段期间获得的所述传感器数据之间的比较来确定所述输出数据。

6.根据条款3至5中任一项所述的系统,其进一步包括:

所述第一硬件处理器执行所述第一计算机可执行指令以:

确定所述情感数据的至少一部分超过阈值;

确定第二输出数据;

使用所述第一通信接口将所述第二输出数据发送到第二装置;

所述第二装置包括:

用于维持所述第二装置靠近所述第一用户的结构;

第二输出装置;

第二通信接口;

第二存储器,所述第二存储器存储第二计算机可执行指令;以及

第二硬件处理器,所述第二硬件处理器执行所述第二计算机可执行指令以:

使用所述第二通信接口接收所述第二输出数据;并且

使用所述第二输出装置基于所述第二输出数据的至少一部分呈现第二输出。

7.根据条款3至6中任一项所述的系统,其进一步包括:

第二装置,所述第二装置包括:

至少一个传声器;

第二通信接口;

第二存储器,所述第二存储器存储第二计算机可执行指令;以及

第二硬件处理器,所述第二硬件处理器执行所述第二计算机可执行指令以:

使用所述至少一个传声器获取所述第一音频数据;并且

使用所述第二通信接口将所述第一音频数据发送到所述第一装置。

8.根据条款3至7中任一项所述的系统,其中所述情感数据包括以下各项中的一者或多者:

效价值,所述效价值表示所述第一用户的声音的音调随时间的特定变化;

激活值,所述激活值表示所述第一用户的语音随时间的节奏;或者

优势值,所述优势值表示所述第一用户的声音的所述音调随时间的上升和下降模式。

9.根据条款3至8中任一项所述的系统,所述第一装置进一步包括:

显示装置;并且

其中所述情感数据是基于效价值、激活值或优势值中的一者或多者;并且

所述第一硬件处理器执行所述第一计算机可执行指令以:

基于所述效价值、所述激活值或所述优势值中的一者或多者确定颜色值;并且

确定包括具有所述颜色值的至少一个元素的图形用户界面作为输出数据。

10.根据条款3至9中任一项所述的系统,其进一步包括:

所述第一硬件处理器执行所述第一计算机可执行指令以:

确定与所述情感数据相关联的一个或多个词;以及

其中所述第一输出包括所述一个或多个词。

11.一种方法,其包括:

获取第一音频数据;

确定指示第一用户的语音的第一用户简档数据;

确定所述第一音频数据的与所述第一用户简档数据相对应的一部分;

使用所述第一音频数据的与所述第一用户简档数据相对应的所述部分来确定第一组音频特征;

使用所述第一组音频特征确定情感数据;

基于所述情感数据确定输出数据;以及

使用输出装置基于所述输出数据的至少一部分呈现第一输出。

12.如条款11所述的方法,其进一步包括:

在所述第一音频数据的所述部分内,确定所述第一用户开始说话的第一时间;以及

在所述第一音频数据的所述部分内,确定所述第一用户结束说话的第二时间;并且

其中所述确定所述第一组音频特征使用所述第一音频数据的从所述第一时间延长到所述第二时间的一部分。

13.根据条款11或12所述的方法,其进一步包括:

确定包括以下各项中的一者或多者的预约数据:

预约类型,

预约主题,

预约位置,

预约开始时间,

预约结束时间,

预约持续时间,或者

预约参加者数据;

确定第一数据,所述第一数据指定在其间允许获取所述第一音频数据的一个或多个条件;并且

其中所述获取所述第一音频数据是响应于所述预约数据的至少一部分与所述第一数据的至少一部分之间的比较。

14.根据条款11至13中任一项所述的方法,其进一步包括:

确定包括以下各项中的一者或多者的预约数据:

预约开始时间,

预约结束时间,或者

预约持续时间;

确定在所述预约开始时间与所述预约结束时间之间获取所述第一音频数据;并且

其中所述第一输出呈现有关于与所述预约数据相关联的预约的信息。

15.根据条款11至14中任一项所述的方法,其进一步包括:

确定所述第一用户是以下各项中的一项或多项:在获取所述第一音频数据期间接近第二用户或与所述第二用户通信;并且

其中所述输出数据指示所述第一用户与所述第二用户之间的互动。

16.根据条款11至15中任一项所述的方法,其中:

所述情感数据指示所述第一用户的一种或多种情绪;并且

所述输出数据包括对所述第一用户的语音推荐。

17.根据条款11至16中任一项所述的方法,其进一步包括:

基于所述情感数据,确定与所述第一用户相关联的分数;并且

其中所述输出数据是至少部分地基于所述分数。

18.根据条款11至17中任一项所述的方法,其进一步包括:

从与所述第一用户相关联的一个或多个传感器获取传感器数据;基于所述传感器数据确定用户状态数据;以及

将所述用户状态数据与所述情感数据进行比较。

19.根据条款11至18中任一项所述的方法,其中所述情感数据包括一个或多个值;并且

其中所述输出数据包括图形表示,其中所述一个或多个值与一种或多种颜色相关联。

20.根据条款11至19中任一项所述的方法,其中所述情感数据包括一个或多个值;并且

确定与所述一个或多个值相关联的一个或多个词;并且

其中所述输出数据包括所述一个或多个词。

34页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:语音认证设备、语音认证方法以及记录介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!