具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1为本发明一实施例的用户情绪识别及回复方法的流程图，具体地，所述用户情绪识别及回复方法包括以下步骤：

S100：实时获取客服和用户会话过程中的流式语音流；

S200：从所述流式语音流中分离出用户语音流；采用端点监测技术和声音分离技术，可去除语音流中的静音部分同时可以将用户语音流从流式语音流中分离出来；

S300：根据所述用户语音流获得用户文本信息和用户情绪类型；

S400：根据用户文本信息和用户情绪类型匹配至少一种回复文本；

S500：向客服推送至少一种所述回复文本。

向客服推送所述用户情绪类型对应的至少一种回复文本。

本发明的用户情绪识别及回复方法通过实时获取客服和用户会话过程中的流式语音流并从中分离出用户语音流，根据所述用户语音流获得用户的实时情绪状态，根据用户情绪提供客服回复方案，帮助客服在第一时间迎合客户的需求、安抚客户负面情绪，提高客服服务质量，提升用户体验度。

在一些实时例中，S300步骤中的根据所述用户语音流获得用户情绪类型包括如下步骤：

S310：将所述用户语音流转化为用户文本信息，即从用户语音流中获取用户语义信息；此处的用户语音流的语音文本转化可以采用流式语音识别(Streaming SpeechRecognition，SSR)，可以理解为边采集客服或用户的会话语音信号边进行语音文本的识别，即客户或用户边说话时将其用户所说的语音转化为文本。

S320：获得所述用户文本信息的情绪的句子向量表示；所述句子向量表示可以通过对所述用户文本信息进行基于分词的句子向量表示处理获得；

S330：通过训练好的的文本情绪分类器对所述句子向量表示进行情绪分类获得用户的第一情绪识别结果；训练好的的文本情绪分类器可以是基于Word2VecEmbeddings神经网络进行深度学习方法获得。

S340：根据所述第一情绪识别结果获得用户情绪类型。所述用户情绪类型可以分为正面情绪、中性情绪或负面情绪等，即用户情绪类型可以包括正面情绪、中性情绪或负面情绪中的至少一种。所述正面情绪可以包括高兴、喜爱或愉快等，所述中性情绪可以包括惊讶或疑问等，所述负面情绪包括抱怨、愤怒、厌恶、恐惧或悲伤等。上述实施例中，S300步骤通过用户语音流中用户会话的语义信息获得用户的情绪类型。

在另一些实施例中，S300步骤中的根据所述用户语音流获得用户情绪类型包括如下步骤：

基于训练好的音频识别模型从所述用户语音流提取音频特征，识别所述音频特征获得用户的第二情绪识别结果；训练好的音频识别模型只要是通过识别用户语音流中的语音信号，即用户会话时语音的韵律属性来判断用户的情绪状态。

S320’：根据所述第二情绪识别结果获得用户情绪类型。上述实施例中，S300步骤通过用户语音流中用户会话时的语调，即语音流中的语音信号获得用户的情绪类型

针对于单独从用户语义信息或单独从用户语音信号中获得用户情绪类型出现错误情绪分类的情况，在另一些实施例中，S300步骤中的根据所述用户语音流获得用户情绪类型包括如下步骤：

S310：将所述用户语音流转化为用户文本信息；

S320：获得所述用户文本信息的情绪的句子向量表示；所述句子向量表示可以通过对所述用户文本信息进行基于分词的句子向量表示处理获得；

S330：通过训练好的的文本情绪分类器对所述句子向量表示进行情绪分类获得用户的第一情绪识别结果；

S310’：基于训练好的音频识别模型从所述用户语音流提取音频特征，识别所述音频特征获得用户的第二情绪识别结果；

S350：根据所述第一情绪识别结果和所述第二情绪识别结果获得用户情绪类型。S350步骤中，可以通过预先设定的从用户语义信息(文本信息)和从用户语音信号中识用户情绪的各自的置信度来最终确定用户情绪类型，即S350步骤通过同时评估用户会话的语义和会话时的语调来确定用户情绪类型，可以减少单独从用户语义信息或单独从用户语音信号中获得用户情绪类型时出现的情绪分类错误。

S400步骤中的根据用户文本信息和用户情绪类型匹配至少一种回复文本具体可以包括如下步骤：

S410：基于训练好的会话语境模型获得所述用户文本信息对应的会话语境标签；

S420：根据所述会话语境标签匹配获得对应的至少一回复文本。

在S420步骤获得至少一回复文本后，可以根据用户情绪类型对获得的多个回复文本进行排序，在S500步骤中则是将排序后的回复文本推送至客服，客服可以根据排序后的回复文本快速确定回复用户的方式，实现客服在第一时间迎合客户的需求、安抚客户情绪，提高客服服务质量，提升用户体验度。

本发明的用户情绪识别及回复方法的S100步骤至S500步骤实现实时通过监测客服和用户会话过程中用户的情绪类型并根据用户情绪类型自动提供给客服匹配的回复文本，另外一方面，本发明的方法还可以包括如下步骤：

S600：从所述流式语音流中分离出客服语音流；

S700：根据所述用户语音流获得客服文本信息和客服情绪类型；所述客服情绪类型同样地可以包括正面情绪、中性情绪或负面情绪中至少一种，所述正面情绪可以包括高兴、喜爱或愉快等，所述中性情绪可以包括惊讶或疑问等，所述负面情绪包括抱怨、愤怒、厌恶、恐惧或悲伤等。

S800：判断所述客服情绪类型是否为负面情绪，如是，则S900：向客服推送警示信息。

通过S600步骤至S900步骤本发明的用户情绪识别及回复方法在监测用户情绪类型的同时监测客服的情绪类型，当发现客服处于负面情绪状态时，则向其发送警示信息，起到提醒客服的作用。当然，上述S600步骤至S900步骤可以在监测到用户情绪类型为负面情绪时在启动，即S600步骤从所述流式语音流中分离出客服语音流之前，本发明的方法还包括如下步骤：

判断所述用户情绪类型是否为负面情绪，如所述用户情绪类型为负面情绪，则启动从所述流式语音流中分离出客服语音流步骤。

本发明的一些实施例还提供了一种用户情绪识别及回复系统，用于实现所述的用户情绪识别及回复方法，包括语音流获取模块M100、语音分离模块M200、分析模块M300、回复匹配模块M400和交互模块M500，其中：

所述语音流获取模块M100用于实时获取客服和用户会话过程中的流式语音流；

所述语音分离模块M200用于从所述流式语音流中分离出用户语音流；

所述分析模块M300用于根据所述用户语音流获得用户文本信息和用户情绪类型；

所述回复匹配模块M400用于根据用户文本信息和用户情绪类型匹配至少一种回复文本；

所述交互模块M500用于向客服推送至少一种所述回复文本。

实施例的用户情绪识别及回复系统中的各个功能模块的功能实现方式均可以采用上述用户情绪识别及回复方法中各个步骤的具体实施方式来实现。例如，语音流获取模块M100、语音分离模块M200、分析模块M300、回复匹配模块M400和交互模块M500，可以分别采用上述步骤S100至S500的具体实施方式实现其功能，此处不予赘述。本发明的用户情绪识别及回复系统在客服服务用户的过程中实时识别用户情绪类型，根据用户情绪类型提供客服回复方案，帮助客服在第一时间迎合客户的需求、安抚客户负面情绪，提高客服服务质量，提升用户体验度。

下面参照图3来描述根据本发明的这种实施方式的电子设备600。图3显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线628、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线628可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线628与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行实现用户情绪识别及回复方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图4所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，本发明提供了一种用户情绪识别及回复方法、系统、电子设备及存储介质，所述方法包括以下步骤：实时获取客服和用户会话过程中的流式语音流；从所述流式语音流中分离出用户语音流；根据所述用户语音流获得用户文本信息和用户情绪类型；根据用户文本信息和用户情绪类型匹配至少一种回复文本；向客服推送至少一种所述回复文本。本发明的用户情绪识别及回复方法通过在会话过程中实时识别用户情绪，并根据用户情绪为客服提供参考回复文本，当客户处于负面情绪时，帮助客服在第一时间迎合客户的需求、安抚客户负面情绪，提高客服服务质量，提升用户体验度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。