一种基于多传输路径进行声音数据传输的系统及方法

文档序号:554462 发布日期:2021-05-14 浏览:12次 >En<

阅读说明:本技术 一种基于多传输路径进行声音数据传输的系统及方法 (System and method for transmitting sound data based on multiple transmission paths ) 是由 不公告发明人 于 2017-12-07 设计创作,主要内容包括:本发明公开了一种基于多传输路径进行声音数据传输的方法及系统,其中方法包括:根据声音代理设备的进入反馈抑制模式的指示,基于多路径传输协议进入多路径传输模式,使用第一网络连接将用户输入的声音数据传输给声音代理设备,并且同时使用第二网络连接将用户输入的声音数据传输给多个声音输出单元中与距离移动终端位置最近的声音输出单元,在所述反馈抑制模式中,声音代理设备指示移动终端基于多路径传输协议进入多路径传输模式,使用位置最近的声音输出单元之外的声音输出单元基于声音代理设备所发送的输出指令和声音数据进行声音输出,所述距离移动终端位置最近的声音输出单元根据移动终端所发送的输出指令和声音数据进行声音输出。(The invention discloses a method and a system for transmitting sound data based on multiple transmission paths, wherein the method comprises the following steps: entering a multi-path transmission mode based on a multi-path transmission protocol in accordance with an instruction of the voice agent apparatus to enter a feedback suppression mode, transmitting voice data input by a user to the voice agent apparatus using a first network connection, and simultaneously transmits the voice data input by the user to a voice output unit closest to the mobile terminal among the plurality of voice output units using the second network connection, in the feedback suppression mode, the voice agent apparatus instructs the mobile terminal to enter a multipath transmission mode based on a multipath transmission protocol, performs voice output using a voice output unit other than the voice output unit located closest based on the output instruction and the voice data transmitted from the voice agent apparatus, and the sound output unit closest to the position of the mobile terminal outputs sound according to the output instruction and the sound data sent by the mobile terminal.)

一种基于多传输路径进行声音数据传输的系统及方法

分案申请

本申请是2017年12月7日提交的、申请号为2017112823643并且发明名称为“基于多路径数据传输进行声音数据输出的方法”的专利申请的分案申请。

技术领域

本发明涉及诸如网络通信领域、物联网通信领域、数据处理领域、语音处理领域等,并且更具体地,涉及一种基于多传输路径进行声音数据传输的系统及方法。

背景技术

目前,在电话会议或现场会议中,希望进行语音输出的用户通常需要利用诸如麦克风之类的语音输入设备进行语音输入并且随后通过诸如扬声器的语音输出设备进行语音输出。然而,通常的情况是,语音输入设备的数量不足。这种语音输入设备的数量不足会导致部分用户在希望进行语音输出时,要等待其他用户将语音输入设备传递过来。此外,当两个用户在针对相同的问题进行频繁交替地语音输出时,可能需要在这两个用户之间频繁地交换语音输入设备。

在这种情况下,一方面会导致用户进行语音输出时的延迟,例如需要等待语音输入设备,另一方面也会造成用户进行语音输出的不变,例如需要进行语音输入设备的切换。

此外,当用户希望在进行语音输出的同时还进行多媒体数据的输出时,现有技术中的方案无法实现这一要求。

发明内容

根据本发明的一个方面,提供一种基于多传输路径进行声音数据传输的方法,所述方法包括:

用户经由移动终端向声音代理设备发起声音输出请求,在通过声波传输从声音输出单元接收声波传输匹配码并且从声音代理设备接收准许进行声音输出的应答消息后,计算网络延迟并且将所述网络延迟发送给声音代理设备;

根据声音代理设备的进入反馈抑制模式的指示,基于多路径传输协议进入多路径传输模式,使用第一网络连接将用户输入的声音数据传输给声音代理设备,并且同时使用第二网络连接将用户输入的声音数据传输给多个声音输出单元中与距离移动终端位置最近的声音输出单元,

利用声音代理设备从移动终端接收的声音输出请求中提取声音样本、移动终端位置和声波传输匹配码,根据声音样本确定是否允许所述用户进行声音输出,并且在不考虑所述确定是否允许所述用户进行声音输出的结果的情况下将指示多个声音输出单元中距离移动终端位置最近的声音输出单元通过声波传输将声波传输匹配码发送给移动终端;

如果根据声音样本确定允许所述用户进行声音输出,则向移动终端发送应答消息并且从移动终端将接收网络延迟,如果所述网络延迟大于反馈阈值,则进入反馈抑制模式进行声音输出;

在所述反馈抑制模式中,声音代理设备指示移动终端基于多路径传输协议进入多路径传输模式,

使用多个声音输出单元中除距离移动终端位置最近的声音输出单元之外的声音输出单元基于声音代理设备所发送的输出指令和声音数据进行声音输出,所述距离移动终端位置最近的声音输出单元根据移动终端所发送的输出指令和声音数据进行声音输出。

根据本发明的一个方面,提供一种基于多路径数据传输进行声音数据输出的方法,所述方法包括:

用户使用移动终端通过第一无线网络向声音代理设备发送声音数据输出请求,所述声音数据输出请求包括声音样本、移动终端的当前位置和初始匹配码;

所述声音代理设备从移动终端接收所述声音数据输出请求,根据所述声音数据输出请求中的声音样本确定是否允许所述移动终端进行声音数据输出,如果确定允许所述移动终端进行声音数据输出,则向移动终端发送准许输出消息;

所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的目标声音输出单元,并且基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码,将所述第一声波传输匹配码发送给所述目标声音输出单元;

移动终端接收所述准许输出消息并且基于所述准许输出消息中的时间戳确定网络传输延迟,将所述网络传输延迟发送给所述声音代理设备;

所述声音代理设备对从移动终端接收的网络传输延迟进行判断,如果确定所述网络传输延迟小于延迟时间阈值,向移动终端发送用于指示所述移动终端通过多路径数据传输进行声音数据输出的指示消息;

响应于接收到指示消息,所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码并且基于声波通信将所述第二声波传输码广播给所述多个声音输出单元;

当所述多个声音输出单元中的目标声音输出单元确定所接收的第二声波传输匹配码与所述第一声波传输匹配码相同时,与所述移动终端通过第二无线网络建立无线通信连接;

响应于所述无线通信连接的建立,所述移动终端进入多路径数据传输模式:通过移动终端的声音获取器件来获取用户输入的原始声音数据,将所述原始声音数据进行降噪处理以生成经过降噪处理的声音数据,使用第一无线网络将所述经过降噪处理的声音数据传输给声音代理设备,所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元,并且同时,所述移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元;以及

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出,并且所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出。

在用户使用移动终端通过第一无线网络向声音代理设备发送声音数据输出请求之前还包括:通过移动终端的声音获取器件获取用户输入的声音样本。所述声音样本是用户在进行语音输出的现场环境中输入的一段语音。所述声音样本是用于表达用户观点的概述的一段语音。

所述声音样本是用于介绍用户身份的的一段语音。在用户使用移动终端通过第一无线网络向声音代理设备发送声音数据输出请求之前还包括:利用移动终端的定位器件获取移动终端的当前位置。

所述利用移动终端的定位器件获取移动终端的当前位置包括:所述定位器件根据室内辅助定位、室外辅助定位和/或接入点辅助定位对卫星定位数据进行校准,以获取移动终端的当前位置。

在用户使用移动终端通过第一无线网络向声音代理设备发送声音数据输出请求之前还包括:基于移动终端的媒体访问控制MAC地址生成初始匹配码,或基于移动终端的硬件地址生成初始匹配码。

所述根据所述声音数据输出请求中的声音样本确定是否允许所述移动终端进行声音数据输出包括:对所述声音样本进行语音识别以生成文字信息,当所述文字信息符合相应语言的表达习惯时,确定允许所述移动终端进行声音数据输出。

其中基于语义识别来确定所述文字信息是否符合相应语言的表达习惯。

根据文字信息的断句符号将所述文字信息划分为至少一个句子单元,对每个句子单元进行独立的语义分析以确定语义分数,将每个句子单元的语义分数的加权和大于表达阈值时确定所述文字信息符合相应语言的表达习惯。

声音代理设备预先获取并且存储所述多个声音输出单元中每个声音输出单元的位置。

基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的直线距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。

基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的声波传输距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。

所述基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码包括:将初始匹配码和随机生成的匹配随机数进行字符串连接以生成第一声波传输匹配码。

基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码包括:将初始匹配码和随机生成的匹配随机数进行加和以生成第一声波传输匹配码。

所述基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码包括:基于随机生成的匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第一声波传输匹配码。

所述声音样本用于指示以下内容中的至少一个:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。

当用户的语音清晰度大于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被语音识别服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,确定允许所述移动终端进行声音数据输出。

所述基于所述准许输出消息中的时间戳确定网络传输延迟包括:移动终端基于用于指示发送时间的时间戳和移动终端的当前时间确定网络延迟。

如果确定所述网络传输延迟大于或等于延迟时间阈值,向移动终端发送用于指示所述移动终端无法通过多路径数据传输进行声音数据输出的指示消息。

响应于接收无到法通过多路径数据传输进行声音数据输出的指示消息,所述移动终端通过单路径数据传输进行声音数据输出。

所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码包括:将初始匹配码和匹配随机数进行字符串连接以生成第二声波传输匹配码。

所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码包括:将初始匹配码和匹配随机数进行加和以生成第二声波传输匹配码。

所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码包括:基于匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第二声波传输匹配码。

所述目标声音输出单元将所接收到的至少一个第一声波传输匹配码进行存储。

所述多个声音输出单元中的每个将所接收到的至少一个第一声波传输匹配码进行存储。

所述多个声音输出单元中的每个在接收到第二声波传输码时,将所述第二声波传输码与所存储的至少一个第一声波传输匹配码进行比较。

在所述多路径数据传输模式中,所述移动终端通过两个不同的传输路径或至少两个不同的传输路径进行声音数据的传输。

其中所述原始声音数据是用户通过移动终端的声音获取器件所输入的原始声音数据流,并且所述经过降噪处理的声音数据是经过降噪处理的声音数据流。

所述使用第一无线网络将所述经过降噪处理的声音数据传输给声音代理设备包括:使用第一无线网络将所述经过降噪处理的声音数据流实时地传输给声音代理设备。

所述移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元包括:所述移动终端使用第二无线网络将原始声音数据流实时地传输给所述目标声音输出单元,并且将所述第二输出指令传输给所述目标声音输出单元。其中所述第一输出指令包括用于指示输出音量的音量值。其中所述第二输出指令包括:用于指示输出音量的音量值。

在所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元之前还包括:

确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(音量加权因子+1)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元之前还包括:

确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

在所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元之前还包括:

确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。所述初始音色分数包括:25分、26分、27分、28分以及29分。所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1+音量加权因子)。所述第一输出指令包括:用于指示所述输出音量的音量值和所述移动终端的当前位置。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

在所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元之前还包括:

确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。所述初始音色分数包括:25分、26分、27分、28分以及29分。所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

在所述移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元之前还包括:在所述第二输出指令中包括用于指示输出音量的音量值和所述网络传输延迟。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值并且以网络传输延迟的时间对所述原始声音数据进行延迟的声音输出,以使得所述目标声音输出单元和所述其它声音输出单元中的每一个在进行声音输出时能够保持时间一致。

当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中确定与所述移动终端的当前位置距离最近的至少两个声音输出单元时,从至少两个声音输出单元中随机选择一个声音输出单元作为目标声音输出单元。

当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元的描述信息发送给所述移动终端并且响应于用户的选择消息从至少两个声音输出单元中确定目标声音输出单元。

当声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备距离最远的声音输出单元确定目标声音输出单元。

当声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备距离最近的声音输出单元确定目标声音输出单元。

根据本发明的一个方面,提供一种基于多传输路径进行声音数据传输的系统,所述系统包括:

移动终端,向声音代理设备发起声音输出请求,在通过声波传输从声音输出单元接收声波传输匹配码并且从声音代理设备接收准许进行声音输出的应答消息后,计算网络延迟并且将所述网络延迟发送给声音代理设备;

响应于声音代理设备的进入反馈抑制模式的指示,基于多路径传输协议进入多路径传输模式,使用第一网络连接将用户输入的声音数据传输给声音代理设备,并且同时使用第二网络连接将用户输入的声音数据传输给多个声音输出单元中与距离移动终端位置最近的声音输出单元,

声音代理设备,从移动终端接收的声音输出请求中提取声音样本、移动终端位置和声波传输匹配码,根据声音样本确定是否允许所述用户进行声音输出,并且在不考虑所述确定是否允许所述用户进行声音输出的结果的情况下将指示多个声音输出单元中距离移动终端位置最近的声音输出单元通过声波传输将声波传输匹配码发送给移动终端;

如果根据声音样本确定允许所述用户进行声音输出,则向移动终端发送应答消息并且从移动终端将接收网络延迟,如果网络延迟大于反馈阈值,则进入反馈抑制模式进行声音输出;

在反馈抑制模式中,声音代理设备指示移动终端基于多路径传输协议进入多路径传输模式,

多个声音输出单元,所述多个声音输出单元中除距离移动终端位置最近的声音输出单元之外的声音输出单元基于声音代理设备所发送的输出指令和声音数据进行声音输出,所述距离移动终端位置最近的声音输出单元根据移动终端所发送的输出指令和声音数据进行声音输出。

根据本发明的一个方面,提供一种基于多路径数据传输进行声音数据输出的系统,所述系统包括:

移动终端,通过第一无线网络向声音代理设备发送由用户输入的声音数据输出请求,所述声音数据输出请求包括声音样本、移动终端的当前位置和初始匹配码;响应于接收到指示消息,所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码并且基于声波通信将所述第二声波传输码广播给多个声音输出单元;

声音代理设备,从移动终端接收所述声音数据输出请求,根据所述声音数据输出请求中的声音样本确定是否允许所述移动终端进行声音数据输出,如果确定允许所述移动终端进行声音数据输出,则向移动终端发送准许输出消息;基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的目标声音输出单元,并且基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码,将所述第一声波传输匹配码发送给所述目标声音输出单元;

其中,所述移动终端接收所述准许输出消息并且基于所述准许输出消息中的时间戳确定网络传输延迟,将所述网络传输延迟发送给所述声音代理设备;声音代理设备对从移动终端接收的网络传输延迟进行判断,如果确定所述网络传输延迟小于延迟时间阈值,向移动终端发送用于指示所述移动终端通过多路径数据传输进行声音数据输出的指示消息;

多个声音输出单元,当所述多个声音输出单元中的目标声音输出单元确定所接收的第二声波传输匹配码与所述第一声波传输匹配码相同时,与所述移动终端通过第二无线网络建立无线通信连接;

其中响应于所述无线通信连接的建立,所述移动终端进入多路径数据传输模式:通过移动终端的声音获取器件来获取用户输入的原始声音数据,将所述原始声音数据进行降噪处理以生成经过降噪处理的声音数据,使用第一无线网络将所述经过降噪处理的声音数据传输给声音代理设备,所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元,并且同时,所述移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元;以及

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出,并且所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出。

还包括:通过移动终端的声音获取器件获取用户输入的声音样本。所述声音样本是用户在进行语音输出的现场环境中输入的一段语音。所述声音样本是用于表达用户观点的概述的一段语音。所述声音样本是用于介绍用户身份的的一段语音。还包括:利用移动终端的定位器件获取移动终端的当前位置。

所述利用移动终端的定位器件获取移动终端的当前位置包括:所述定位器件根据室内辅助定位、室外辅助定位和/或接入点辅助定位对卫星定位数据进行校准,以获取移动终端的当前位置。

还包括:基于移动终端的媒体访问控制MAC地址生成初始匹配码,或基于移动终端的硬件地址生成初始匹配码。所述声音代理设备对所述声音样本进行语音识别以生成文字信息,当所述文字信息符合相应语言的表达习惯时,确定允许所述移动终端进行声音数据输出。

所述声音代理设备基于语义识别来确定所述文字信息是否符合相应语言的表达习惯。

所述声音代理设备根据文字信息的断句符号将所述文字信息划分为至少一个句子单元,对每个句子单元进行独立的语义分析以确定语义分数,将每个句子单元的语义分数的加权和大于表达阈值时确定所述文字信息符合相应语言的表达习惯。所述声音代理设备预先获取并且存储所述多个声音输出单元中每个声音输出单元的位置。所述声音代理设备基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的直线距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。所述声音代理设备基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的声波传输距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。所述声音代理设备将初始匹配码和随机生成的匹配随机数进行字符串连接以生成第一声波传输匹配码。所述声音代理设备将初始匹配码和随机生成的匹配随机数进行加和以生成第一声波传输匹配码。所述声音代理设备基于随机生成的匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第一声波传输匹配码。所述声音样本用于指示以下内容中的至少一个:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。

当用户的语音清晰度大于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被语音识别服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,所述声音代理设备确定允许所述移动终端进行声音数据输出。

所述移动终端基于用于指示发送时间的时间戳和移动终端的当前时间确定网络延迟。

如果确定所述网络传输延迟大于或等于延迟时间阈值,所述声音代理设备向移动终端发送用于指示所述移动终端无法通过多路径数据传输进行声音数据输出的指示消息。

响应于接收到无法通过多路径数据传输进行声音数据输出的指示消息,所述移动终端通过单路径数据传输进行声音数据输出。

所述移动终端将初始匹配码和匹配随机数进行字符串连接以生成第二声波传输匹配码。所述移动终端将初始匹配码和匹配随机数进行加和以生成第二声波传输匹配码。所述移动终端基于匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第二声波传输匹配码。所述目标声音输出单元将所接收到的至少一个第一声波传输匹配码进行存储。所述多个声音输出单元中的每个将所接收到的至少一个第一声波传输匹配码进行存储。所述多个声音输出单元中的每个在接收到第二声波传输码时,将所述第二声波传输码与所存储的至少一个第一声波传输匹配码进行比较。在所述多路径数据传输模式中,所述移动终端通过两个不同的传输路径或至少两个不同的传输路径进行声音数据的传输。其中所述原始声音数据是用户通过移动终端的声音获取器件所输入的原始声音数据流,并且所述经过降噪处理的声音数据是经过降噪处理的声音数据流。所述移动终端使用第一无线网络将所述经过降噪处理的声音数据流实时地传输给声音代理设备。

所述移动终端使用第二无线网络将原始声音数据流实时地传输给所述目标声音输出单元,并且将所述第二输出指令传输给所述目标声音输出单元。其中所述第一输出指令包括用于指示输出音量的音量值。其中所述第二输出指令包括:用于指示输出音量的音量值。

还包括所述声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

所述声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。

基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(音量加权因子+1)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

还包括所述声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。

所述预先设置的基准频率值为100Hz、120Hz或150Hz。

所述声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。

基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

还包括所述声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。

所述预先设置的基准频率值为100Hz、120Hz或150Hz。

所述声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。

基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1+音量加权因子)。所述第一输出指令包括:用于指示所述输出音量的音量值和所述移动终端的当前位置。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;

其中实际音量值=音量值×(1+距离加权因子)。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

还包括所述声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。

所述预先设置的基准频率值为100Hz、120Hz或150Hz。

所述声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。

所述初始音色分数包括:25分、26分、27分、28分以及29分。

所述基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。

基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。

所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。所述第一输出指令包括用于指示所述输出音量的音量值。所述第二输出指令包括用于指示原始音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;

其中实际音量值=音量值×(1+距离加权因子)。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

还包括,所述移动终端使在所述第二输出指令中包括用于指示输出音量的音量值和所述网络传输延迟。

所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值并且以网络传输延迟的时间对所述原始声音数据进行延迟的声音输出,以使得所述目标声音输出单元和所述其它声音输出单元中的每一个在进行声音输出时能够保持时间一致。

当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中确定与所述移动终端的当前位置距离最近的至少两个声音输出单元时,从至少两个声音输出单元中随机选择一个声音输出单元作为目标声音输出单元。

当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元的描述信息发送给所述移动终端并且响应于用户的选择消息从至少两个声音输出单元中确定目标声音输出单元。

当声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备距离最远的声音输出单元确定目标声音输出单元。

当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备距离最近的声音输出单元确定目标声音输出单元。

附图说明

通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:

图1a、1b和1c为根据本发明实施方式的基于多传输路径进行声音数据传输的系统的结构示意图;

图2为根据本发明实施方式的基于多传输路径进行声音数据传输的方法的流程图;

图3为根据本发明实施方式的确定输出音量的方法的流程图;

图4为根据本发明另一实施方式的确定输出音量的方法的流程图;

图5为根据本发明实施方式的对声音数据进行延迟输出的方法的流程图;以及

图6为根据本发明实施方式的确定目标声音输出单元的方法的流程图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。

除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。

图1a、1b和1c为根据本发明实施方式的基于多传输路径进行声音数据传输的系统100的结构示意图。系统100包括:声音代理设备101,声音输出单元102-1、102-2、102-3、102-4、102-5、102-6、102-7、102-8、102-9、102-10、102-11、102-12,以及移动终端103。如图1a所述,多个声音输出单元102-1、102-2、102-3、102-4、102-5、102-6、102-7、102-8、102-9、102-10、102-11以及102-12被布置在会场内,并且每个声音输出单元用于根据所接收的声音数据(例如,声音数据流)进行声音输出。通常,可以根据会场的面积来确定声音输出单元的数量并且可以根据会场的格局来确定每个声音输出单元的位置。优选地,每个声音输出单元能够通过有线网络与声音代理设备101进行通信,并且能够通过各种类型的无线网络与用户设备(例如,移动终端103)进行通信。每个声音输出单元具有能够对声音数据或声音数据流进行处理并且能够根据所接收的输出指令进行声音输出的能力。

如图1b所示,移动终端103可以位于会场内的观众区域(即,移动终端103的用户可以站立或坐着的位置)中的任何合适位置处。应当了解的是,会场内可以具多个移动终端。为了清楚起见,本申请以移动终端103为例进行说明。如图1b所示,移动终端103与输出单元102-6的距离最近,而与其它输出单元的距离在不同程度上较远。

如图1c所示,移动终端103与输出单元102-2、102-3和102-6的距离最近并且相等,而与其它输出单元的距离在不同程度上较远。应当了解的是,本申请以移动终端103距离三个输出单元的距离相等为例进行说明。实际上,与移动终端103距离相等的输出单元的数量可以是任何合理数值。

移动终端103向声音代理设备101发起声音输出请求。在通过声波传输从声音输出单元102-2、102-3和102-6接收声波传输匹配码并且从声音代理设备101接收准许进行声音输出的应答消息后,移动终端103计算网络延迟并且将所述网络延迟发送给声音代理设备101。响应于声音代理设备101发送的进入反馈抑制模式的指示,移动终端103基于多路径传输协议进入多路径传输模式。其中多路径传输模式是指移动终端通过至少两条路径来传输声音数据或声音数据流等以进行声音输出的方式。移动终端103使用第一网络连接将用户输入的声音数据传输给声音代理设备101,并且移动终端103同时使用第二网络连接将用户输入的声音数据传输给多个声音输出单元中与距离移动终端位置最近的声音输出单元(例如图1b中的输出单元102-6或图1c中输出单元102-2、102-3和102-6中的一个)。

声音代理设备101从移动终端103接收的声音输出请求中提取声音样本、移动终端位置和声波传输匹配码,并且根据声音样本确定是否允许所述用户进行声音输出,并且在不考虑所述确定是否允许使用移动终端103的用户进行声音输出的结果的情况下将指示距离移动终端位置最近的声音输出单元通过声波传输将声波传输匹配码发送给移动终端103。

如果声音代理设备101根据声音样本确定允许所述用户进行声音输出,则向移动终端103发送应答消息并且从移动终端103接收网络延迟,如果所述网络延迟大于反馈阈值,则声音代理设备101进入反馈抑制模式进行声音输出。在所述反馈抑制模式中,声音代理设备101指示移动终端103基于多路径传输协议进入多路径传输模式。

声音输出单元102-1、102-2、102-3、102-4、102-5、102-6、102-7、102-8、102-9、102-10、102-11以及102-12中的中除距离移动终端位置最近的声音输出单元之外的声音输出单元基于声音代理设备101所发送的输出指令和声音数据进行声音输出。距离移动终端位置最近的声音输出单元根据移动终端103所发送的输出指令和声音数据进行声音输出。

根据本发明的实施方式,系统100基于多路径数据传输进行声音数据输出并且包括:声音代理设备101,声音输出单元102-1、102-2、102-3、102-4、102-5、102-6、102-7、102-8、102-9、102-10、102-11、102-12,以及移动终端103。移动终端103通过第一无线网络(例如,广域无线通信网络、3G、4G或5G等)向声音代理设备101发送由用户输入的声音数据输出请求。声音数据输出请求包括声音样本、移动终端103的当前位置和初始匹配码。其中用户可以通过移动终端103的声音获取器件(例如,麦克风)获取用户输入或录入的声音样本。声音样本可以是用户在进行语音输出的现场环境中输入的一段语音、用于表达用户观点的概述的一段语音以及用于介绍用户身份的一段语音等。声音样本是用于确定是否准许用户进行声音数据输出的重要依据。

本申请利用移动终端103的定位器件获取移动终端103的当前位置。具体地,所述定位器件根据室内辅助定位、室外辅助定位和/或接入点辅助定位对卫星定位数据进行校准,以获取移动终端103的当前位置。通常,可以通过移动终端103的GPS芯片或北斗芯片来获取用户的位置信息。然后,本申请可以根据通信网络的室外辅助定位(例如,会场是室外会场)、室内辅助定位(例如,会场是室内会场)和/或接入点辅助定位(例如,会场内存在无线网络的接入点设备)对上述位置信息进行校准。

本申请基于移动终端103的媒体访问控制MAC地址生成初始匹配码,或基于移动终端103的硬件地址生成初始匹配码。例如,本申请可以将移动终端103的媒体访问控制MAC地址的全部或部分内容(字符串)确定为初始匹配码,或将移动终端103的硬件地址的全部或部分(字符串)内容确定初始匹配码。

声音代理设备101从移动终端103接收所述声音数据输出请求,并且根据所述声音数据输出请求中的声音样本确定是否允许所述移动终端103进行声音数据输出。声音代理设备101对所述声音样本进行语音识别以生成文字信息,当所述文字信息符合相应语言的表达习惯(例如,所表达的含义符合语言基本内容要求)时,确定允许所述移动终端103进行声音数据输出。所述声音代理设备101基于语义识别来确定所述文字信息是否符合相应语言的表达习惯。

所述声音代理设备101根据文字信息的断句符号将所述文字信息划分为至少一个句子单元,对每个句子单元进行独立的语义分析以确定语义分数,将每个句子单元的语义分数的加权和大于表达阈值时确定所述文字信息符合相应语言的表达习惯。将句子单元中文字的数量确定为句子单元的权重。例如,文字信息包括句子单元A和B。句子单元A包括5个汉字并且句子单元B包括10个汉字。句子单元A的语义分数为9分(满分10分,最低0分),并且句子单元B的语义分数为8分。句子单元A的权重为5/(5+10)=1/3,并且句子单元B的权重为10/(5+10)=2/3。文字信息的语义分数为句子单元A和B的语义分数的加权和,即9*(1/3)+8*(2/3)=8.33。表达阈值(大于0并且小于或等于10)例如可以是7、7.5、8或8.5等任何合理数值。

所述声音样本用于指示以下内容中的至少一个:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。当用户的语音清晰度大于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被语音识别服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,所述声音代理设备101确定允许所述移动终端103进行声音数据输出

如果确定允许所述移动终端103进行声音数据输出,则声音代理设备101通过第一无线网络向移动终端103发送准许输出消息。此外,声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的目标声音输出单元(例如图1b中的输出单元102-6或图1c中输出单元102-2、102-3和102-6中的一个)。声音代理设备101预先获取并且存储所述多个声音输出单元中每个声音输出单元的位置。所述声音代理设备101基于所述移动终端103的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的直线距离确定与所述移动终端103的当前位置距离最近的目标声音输出单元。可替换地,所述声音代理设备101基于所述移动终端103的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的声波传输距离确定与所述移动终端103的当前位置距离最近的目标声音输出单元。在这种情况下,当特定声音输出单元与移动终端103之间存在障碍物(例如,柱子)时,以声波传输的最短距离作为特定声音输出单元与移动终端103之间的距离。

当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中确定与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,从至少两个声音输出单元中随机选择一个声音输出单元作为目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元的描述信息发送给所述移动终端103并且响应于用户的选择消息从至少两个声音输出单元中确定目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备101距离最远的声音输出单元确定目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备101距离最近的声音输出单元确定目标声音输出单元。

声音代理设备101基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码,将所述第一声波传输匹配码发送给所述目标声音输出单元。所述目标声音输出单元将所接收到的至少一个第一声波传输匹配码进行存储。由于会场内存在多个移动终端,为此可能存在多个第一声波传输匹配码并且所述多个声音输出单元中的每个都可能会接收到至少一个第一声波传输匹配码。为此,多个声音输出单元中的每个将所接收到的至少一个第一声波传输匹配码进行存储。

声音代理设备101将初始匹配码和随机生成的匹配随机数进行字符串连接以生成第一声波传输匹配码。例如,初始匹配码是406188963D56并且匹配随机数25,那么第一声波传输匹配码为406188963D5625。或者,声音代理设备101将初始匹配码和随机生成的匹配随机数进行加和以生成第一声波传输匹配码。例如,初始匹配码是406188963D56并且匹配随机数25,那么第一声波传输匹配码为406188963D81。可替换地,声音代理设备101基于随机生成的匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第一声波传输匹配码。例如,初始匹配码是1001 1010 1101并且匹配随机数2,那么第一声波传输匹配码可以是初始匹配码循环右移2两位,即0110 0110 1011。例如,初始匹配码是1001 10101101并且匹配随机数为1001 1001 1001,那么第一声波传输匹配码可以是按位或运算,即1001 1011 1101。例如,初始匹配码是1101并且匹配随机数为0010,那么第一声波传输匹配码可以是按位进行交替拼接,即10100110,其中第一声波传输匹配码的第1、3、5和7位来自初始匹配码,并且第2、4、6和8来自匹配随机数。

其中,所述移动终端103接收所述准许输出消息并且基于所述准许输出消息中的时间戳确定网络传输延迟。所述移动终端103基于用于指示发送时间的时间戳和移动终端103的当前时间确定网络延迟。移动终端103将所述网络传输延迟发送给所述声音代理设备101。声音代理设备101对从移动终端103接收的网络传输延迟进行判断,如果确定所述网络传输延迟小于延迟时间阈值,向移动终端103发送用于指示所述移动终端103通过多路径数据传输进行声音数据输出的指示消息。如果确定所述网络传输延迟大于或等于延迟时间阈值,所述声音代理设备101向移动终端103发送用于指示所述移动终端103无法通过多路径数据传输进行声音数据输出的指示消息。响应于接收到无法通过多路径数据传输进行声音数据输出的指示消息,所述移动终端103通过单路径数据传输进行声音数据输出。即移动终端103仅通过第一无线网络与声音代理设备101进行通信,例如,将声音数据或声音数据流传送给声音代理设备101。

响应于接收到指示消息,移动终端103根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码并且基于声波通信将所述第二声波传输码广播给多个声音输出单元。所述移动终端103将初始匹配码和匹配随机数进行字符串连接以生成第二声波传输匹配码。或者,移动终端103将初始匹配码和匹配随机数进行加和以生成第二声波传输匹配码。或者,所述移动终端103基于匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第二声波传输匹配码。第二声波传输匹配码的生成方式与如上所述的第一声波传输匹配码的生成方式相同,因此不再赘述。

多个声音输出单元,当所述多个声音输出单元中的目标声音输出单元确定所接收的第二声波传输匹配码与所述第一声波传输匹配码相同时,与所述移动终端103通过第二无线网络建立无线通信连接。此外,所述多个声音输出单元中的每个在接收到第二声波传输码时,均将所述第二声波传输码与所存储的至少一个第一声波传输匹配码进行比较。

其中响应于所述无线通信连接的建立,所述移动终端103进入多路径数据传输模式。其中多路径传输模式是指移动终端通过至少两条路径来传输声音数据或声音数据流等以进行声音输出的方式。即在所述多路径数据传输模式中,所述移动终端103通过两个不同的传输路径或至少两个不同的传输路径进行声音数据的传输。通过移动终端103的声音获取器件来获取用户输入的原始声音数据,将所述原始声音数据进行降噪处理以生成经过降噪处理的声音数据。其中所述原始声音数据是用户通过移动终端103的声音获取器件所输入的原始声音数据流,并且所述经过降噪处理的声音数据是经过降噪处理的声音数据流。

使用第一无线网络将所述经过降噪处理的声音数据传输给声音代理设备101,所述声音代理设备101通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元,并且同时,所述移动终端103使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元。其中所述移动终端103使用第一无线网络将所述经过降噪处理的声音数据流实时地传输给声音代理设备101。所述移动终端103使用第二无线网络将原始声音数据流实时地传输给所述目标声音输出单元,并且将所述第二输出指令传输给所述目标声音输出单元。其中所述第一输出指令包括用于指示输出音量的音量值。其中所述第二输出指令包括:用于指示输出音量的音量值。

所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令和经过降噪处理的声音数据进行声音输出,并且所述目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出。

优选地,声音代理设备101确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音。其中预先设置的基准频率值为100Hz、120Hz或150Hz。

声音代理设备101确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。其中初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。其中基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子其中基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(音量加权因子+1)。

第一输出指令包括用于指示所述输出音量的音量值,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。所述目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

声音代理设备101确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。

声音代理设备101确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。所述初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。

第一输出指令包括用于指示所述输出音量的音量值,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。所述目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

声音代理设备101确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。预先设置的基准频率值为100Hz、120Hz或150Hz。

声音代理设备101确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1+音量加权因子)。

第一输出指令包括:用于指示所述输出音量的音量值和所述移动终端103的当前位置,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令中的移动终端103的当前位置确定与所述移动终端103的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。所述目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

声音代理设备101确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。预先设置的基准频率值为100Hz、120Hz或150Hz。

所述声音代理设备101确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。

所述第一输出指令包括用于指示所述输出音量的音量值,并且所述第二输出指令包括用于指示原始音量的音量值。所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备101所传输的第一输出指令中的移动终端103的当前位置确定与所述移动终端103的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。所述目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

优选地,所述移动终端103使在所述第二输出指令中包括用于指示输出音量的音量值和所述网络传输延迟。目标声音输出单元根据移动终端103所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值并且以网络传输延迟的时间对所述原始声音数据进行延迟的声音输出,以使得所述目标声音输出单元和所述其它声音输出单元中的每一个在进行声音输出时能够保持时间一致。

优选地,音色美感的评价主要依据是频谱曲线,并且根据意大利最佳美声线来判断,即从基音的强度点至第16个泛音点(在频谱曲线上)连接成一条直线,哪个音色的频谱曲线越接近这条线,哪个音乐就越优美、悦耳、动听。泛音还影响音色的特性,有的泛音和基音是完全谐和音关系;有的泛音和基音是不完全谐和音关系;有的泛音和基音是不谐和音的关系;完全谐和音的泛音丰满,则音质稳定性强;不完全谐和音泛音丰满,则音色富于表现力;不谐和音的泛音过多,则音色怪异难听(狼音)。某些弦乐器在不会演奏的人手中使用,就很容易发现狼音。

图2为根据本发明实施方式的基于多传输路径进行声音数据传输的方法200的流程图。方法200从步骤201处开始,在步骤201,用户使用移动终端通过第一无线网络(例如,广域无线通信网络、3G、4G或5G等)向声音代理设备发送声音数据输出请求,所述声音数据输出请求包括声音样本、移动终端的当前位置和初始匹配码。其中用户可以通过移动终端的声音获取器件(例如,麦克风)获取用户输入或录入的声音样本。声音样本可以是用户在进行语音输出的现场环境中输入的一段语音、用于表达用户观点的概述的一段语音以及用于介绍用户身份的一段语音等。声音样本是用于确定是否准许用户进行声音数据输出的重要依据。

本申请利用移动终端的定位器件获取移动终端的当前位置。具体地,所述定位器件根据室内辅助定位、室外辅助定位和/或接入点辅助定位对卫星定位数据进行校准,以获取移动终端的当前位置。通常,可以通过移动终端的GPS芯片或北斗芯片来获取用户的位置信息。然后,本申请可以根据通信网络的室外辅助定位(例如,会场是室外会场)、室内辅助定位(例如,会场是室内会场)和/或接入点辅助定位(例如,会场内存在无线网络的接入点设备)对上述位置信息进行校准。

本申请基于移动终端的媒体访问控制MAC地址生成初始匹配码,或基于移动终端的硬件地址生成初始匹配码。例如,本申请可以将移动终端的媒体访问控制MAC地址的全部或部分内容(字符串)确定为初始匹配码,或将移动终端的硬件地址的全部或部分(字符串)内容确定初始匹配码。

在步骤202,所述声音代理设备从移动终端接收所述声音数据输出请求,根据所述声音数据输出请求中的声音样本确定是否允许所述移动终端进行声音数据输出。声音代理设备对所述声音样本进行语音识别以生成文字信息,当所述文字信息符合相应语言的表达习惯(例如,所表达的含义符合语言基本内容要求)时,确定允许所述移动终端进行声音数据输出。所述声音代理设备基于语义识别来确定所述文字信息是否符合相应语言的表达习惯。

声音代理设备根据文字信息的断句符号将所述文字信息划分为至少一个句子单元,对每个句子单元进行独立的语义分析以确定语义分数,将每个句子单元的语义分数的加权和大于表达阈值时确定所述文字信息符合相应语言的表达习惯。将句子单元中文字的数量确定为句子单元的权重。例如,文字信息包括句子单元A和B。句子单元A包括5个汉字并且句子单元B包括10个汉字。句子单元A的语义分数为9分(满分10分,最低0分),并且句子单元B的语义分数为8分。句子单元A的权重为5/(5+10)=1/3,并且句子单元B的权重为10/(5+10)=2/3。文字信息的语义分数为句子单元A和B的语义分数的加权和,即9*(1/3)+8*(2/3)=8.33。表达阈值(大于0并且小于或等于10)例如可以是7、7.5、8或8.5等任何合理数值。

所述声音样本用于指示以下内容中的至少一个:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。当用户的语音清晰度大于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被语音识别服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,所述声音代理设备确定允许所述移动终端进行声音数据输出。如果确定允许所述移动终端进行声音数据输出,则通过第一无线网络向移动终端发送准许输出消息。

在步骤203,所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的目标声音输出单元。此外,声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的目标声音输出单元(例如图1b中的输出单元102-6或图1c中输出单元102-2、102-3和102-6中的一个)。声音代理设备预先获取并且存储所述多个声音输出单元中每个声音输出单元的位置。所述声音代理设备基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的直线距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。可替换地,所述声音代理设备基于所述移动终端的当前位置与所述多个声音输出单元中每个声音输出单元的位置之间的声波传输距离确定与所述移动终端的当前位置距离最近的目标声音输出单元。在这种情况下,当特定声音输出单元与移动终端之间存在障碍物(例如,柱子)时,以声波传输的最短距离作为特定声音输出单元与移动终端之间的距离。

当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中确定与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,从至少两个声音输出单元中随机选择一个声音输出单元作为目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元的描述信息发送给所述移动终端103并且响应于用户的选择消息从至少两个声音输出单元中确定目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备101距离最远的声音输出单元确定目标声音输出单元。当所述声音代理设备101基于所述声音数据输出请求中的所述移动终端103的当前位置在多个声音输出单元中检测到与所述移动终端103的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元中与声音代理设备101距离最近的声音输出单元确定目标声音输出单元。

基于所述声音数据输出请求中的初始匹配码和随机生成的匹配随机数确定第一声波传输匹配码,将所述第一声波传输匹配码发送给所述目标声音输出单元。所述目标声音输出单元将所接收到的至少一个第一声波传输匹配码进行存储。由于会场内存在多个移动终端,为此可能存在多个第一声波传输匹配码并且所述多个声音输出单元中的每个都可能会接收到至少一个第一声波传输匹配码。为此,多个声音输出单元中的每个将所接收到的至少一个第一声波传输匹配码进行存储。

声音代理设备将初始匹配码和随机生成的匹配随机数进行字符串连接以生成第一声波传输匹配码。例如,初始匹配码是406188963D56并且匹配随机数25,那么第一声波传输匹配码为406188963D5625。或者,声音代理设备将初始匹配码和随机生成的匹配随机数进行加和以生成第一声波传输匹配码。例如,初始匹配码是406188963D56并且匹配随机数25,那么第一声波传输匹配码为406188963D81。可替换地,声音代理设备基于随机生成的匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第一声波传输匹配码。例如,初始匹配码是1001 1010 1101并且匹配随机数为2,那么第一声波传输匹配码可以是初始匹配码循环右移2位,即0110 0110 1011。例如,初始匹配码是1001 1010 1101并且匹配随机数为1001 1001 1001,那么第一声波传输匹配码可以是按位或运算,即10011011 1101。例如,初始匹配码是1101并且匹配随机数为0010,那么第一声波传输匹配码可以是按位进行交替拼接,即10100110,其中第一声波传输匹配码的第1、3、5和7位来自初始匹配码,并且第2、4、6和8来自匹配随机数。

在步骤204,移动终端接收所述准许输出消息并且基于所述准许输出消息中的时间戳确定网络传输延迟,将所述网络传输延迟发送给所述声音代理设备。所述移动终端基于用于指示发送时间的时间戳和移动终端的当前时间确定网络延迟。移动终端将所述网络传输延迟发送给所述声音代理设备。

在步骤205,所述声音代理设备对从移动终端接收的网络传输延迟进行判断,如果确定所述网络传输延迟小于延迟时间阈值,向移动终端发送用于指示所述移动终端通过多路径数据传输进行声音数据输出的指示消息。声音代理设备对从移动终端接收的网络传输延迟进行判断,如果确定所述网络传输延迟小于延迟时间阈值,向移动终端发送用于指示所述移动终端通过多路径数据传输进行声音数据输出的指示消息。如果确定所述网络传输延迟大于或等于延迟时间阈值,所述声音代理设备向移动终端发送用于指示所述移动终端无法通过多路径数据传输进行声音数据输出的指示消息。响应于接收到无法通过多路径数据传输进行声音数据输出的指示消息,所述移动终端通过单路径数据传输进行声音数据输出。即移动终端仅通过第一无线网络与声音代理设备进行通信,例如,将声音数据或声音数据流传送给声音代理设备。

在步骤206,响应于接收到指示消息,所述移动终端根据所述初始输匹配码和所述指示消息中的匹配随机数确定第二声波传输匹配码并且基于声波通信将所述第二声波传输码广播给所述多个声音输出单元。所述移动终端将初始匹配码和匹配随机数进行字符串连接以生成第二声波传输匹配码。或者,移动终端将初始匹配码和匹配随机数进行加和以生成第二声波传输匹配码。或者,所述移动终端基于匹配随机数对所述初始匹配码进行循环移位、按位运算或按位拼接以生成第二声波传输匹配码。第二声波传输匹配码的生成方式与如上所述的第一声波传输匹配码的生成方式相同,因此不再赘述。

在步骤207,当所述多个声音输出单元中的目标声音输出单元确定所接收的第二声波传输匹配码与所述第一声波传输匹配码相同时,与所述移动终端通过第二无线网络建立无线通信连接。此外,所述多个声音输出单元中的每个在接收到第二声波传输码时,均将所述第二声波传输码与所存储的至少一个第一声波传输匹配码进行比较。

在步骤208,响应于所述无线通信连接的建立,所述移动终端进入多路径数据传输模式。其中多路径传输模式是指移动终端通过至少两条路径来传输声音数据或声音数据流等以进行声音输出的方式。即在所述多路径数据传输模式中,所述移动终端103通过两个不同的传输路径或至少两个不同的传输路径进行声音数据的传输。通过移动终端的声音获取器件来获取用户输入的原始声音数据,将所述原始声音数据进行降噪处理以生成经过降噪处理的声音数据。其中所述原始声音数据是用户通过移动终端的声音获取器件所输入的原始声音数据流,并且所述经过降噪处理的声音数据是经过降噪处理的声音数据流。

使用第一无线网络将所述经过降噪处理的声音数据传输给声音代理设备,所述声音代理设备通过有线网络将所述经过降噪处理的声音数据和第一输出指令传输给多个声音输出单元中除所述目标声音输出单元之外的其它声音输出单元,并且同时,所述移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元。其中所述移动终端使用第一无线网络将所述经过降噪处理的声音数据流实时地传输给声音代理设备。所述移动终端使用第二无线网络将原始声音数据流实时地传输给所述目标声音输出单元,并且将所述第二输出指令传输给所述目标声音输出单元。其中所述第一输出指令包括用于指示输出音量的音量值。其中所述第二输出指令包括:用于指示输出音量的音量值。

在步骤209,所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出,并且所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出。

图3为根据本发明实施方式的确定输出音量的方法300的流程图。方法300从步骤301处开始。在步骤301,确定所述经过降噪处理的声音数据的原始频率和原始音色。在步骤302,基于预先设置的基准频率值与所述频率的差值。确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子。在步骤303,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级。在步骤304,确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。

图4为根据本发明另一实施方式的确定输出音量的方法400的流程图。方法400从步骤401处开始。在步骤401,其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与移动终端的直线距离。在步骤402,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子。在步骤403,基于距离加权因子和第一输出指令的音量值计算实际音量值。在步骤404,根据实际音量值和经过降噪处理的声音数据进行声音输出。

图5为根据本发明实施方式的对声音数据进行延迟输出的方法500的流程图。方法500从步骤501处开始。在步骤501,在所述第二输出指令中包括用于指示输出音量的音量值和所述网络传输延迟。在步骤502,移动终端使用第二无线网络将原始声音数据和第二输出指令传输给所述目标声音输出单元。在步骤503,目标声音输出单元根据移动终端所传输的第二输出指令中的音量值并且以网络传输延迟的时间对所述原始声音数据进行延迟的声音输出,以使得所述目标声音输出单元和所述其它声音输出单元中的每一个在进行声音输出时能够保持时间一致。

图6为根据本发明实施方式的确定目标声音输出单元的方法600的流程图。方法600从步骤601处开始。在步骤601,当所述声音代理设备基于所述声音数据输出请求中的所述移动终端的当前位置在多个声音输出单元中检测到与所述移动终端的当前位置距离最近的至少两个声音输出单元时,将所述至少两个声音输出单元的描述信息发送给所述移动终端。在步骤602,响应于用户的选择消息从至少两个声音输出单元中确定目标声音输出单元。

针对于方法300-600,总结来说:声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音。其中预先设置的基准频率值为100Hz、120Hz或150Hz。

声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。其中初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。其中基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子其中基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(音量加权因子+1)。第一输出指令包括用于指示所述输出音量的音量值,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。所述预先设置的基准频率值为100Hz、120Hz或150Hz。声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。所述初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。所述基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。第一输出指令包括用于指示所述输出音量的音量值,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的音量值和经过降噪处理的声音数据进行声音输出。所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。预先设置的基准频率值为100Hz、120Hz或150Hz。声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1+音量加权因子)。第一输出指令包括:用于指示所述输出音量的音量值和所述移动终端的当前位置,并且第二输出指令包括用于指示原始音量的音量值。其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端103所传输的第二输出指令中的音量值和原始声音数据进行声音输出。声音代理设备确定所述经过降噪处理的声音数据的原始频率和原始音色,基于预先设置的基准频率值与所述频率的差值确定所述经过降噪处理的声音数据的频率等级,基于所述频率等级确定音色加权因子,确定所述原始音色的频谱曲线并且根据所述频谱曲线和预设的音色标准线的相似度确定所述经过降噪处理的声音数据的初始音色分数,基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级;确定所述经过降噪处理的声音数据的原始音量,基于所述音色等级确定音量加权因子,并且基于所述音量加权因子和原始音量确定输出音量。预先设置的基准频率值为100Hz、120Hz或150Hz。所述声音代理设备确定所述原始频率(例如60-300Hz)减去基准频率值的差值,计算所述差值除以间隔值(例如10)的结果中的整数,将所述整数确定为所述经过降噪处理的声音数据的频率等级,将所述频率等级的绝对值确定为音色加权因子。初始音色分数包括:25分、26分、27分、28分以及29分。基于所述音色加权因子和初始音色分数确定所述经过降噪处理的声音数据的音色等级包括:将初始音色分数减去所述音色加权因子所得到的差值作为所述经过降噪处理的声音数据的音色等级,并且将所述音色等级。基于所述音色等级确定音量加权因子包括:将所述音色等级除以100得到的数值所对应的百分比数值确定为音色加权因子。基于所述音量加权因子和原始音量确定输出音量包括:输出音量=原始音量×(1-音量加权因子)。

所述第一输出指令包括用于指示所述输出音量的音量值,并且所述第二输出指令包括用于指示原始音量的音量值。所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令和经过降噪处理的声音数据进行声音输出包括:所述其它声音输出单元中的每一个基于声音代理设备所传输的第一输出指令中的移动终端的当前位置确定与所述移动终端的直线距离,将所述直线距离除以1000得到的数值所对应的百分比数值确定为距离加权因子,基于所述距离加权因子和第一输出指令的音量值计算实际音量值,并且根据实际音量值和经过降噪处理的声音数据进行声音输出;其中实际音量值=音量值×(1+距离加权因子)。所述目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值和原始声音数据进行声音输出。

优选地,所述移动终端使在所述第二输出指令中包括用于指示输出音量的音量值和所述网络传输延迟。目标声音输出单元根据移动终端所传输的第二输出指令和原始声音数据进行声音输出包括:所述目标声音输出单元根据移动终端所传输的第二输出指令中的音量值并且以网络传输延迟的时间对所述原始声音数据进行延迟的声音输出,以使得所述目标声音输出单元和所述其它声音输出单元中的每一个在进行声音输出时能够保持时间一致。

此外,本申请还包括一种基于多传输路径进行声音数据传输的方法,所述方法包括:

用户经由移动终端向声音代理设备发起声音输出请求,在通过声波传输从声音输出单元接收声波传输匹配码并且从声音代理设备接收准许进行声音输出的应答消息后,计算网络延迟并且将所述网络延迟发送给声音代理设备;

根据声音代理设备的进入反馈抑制模式的指示,基于多路径传输协议进入多路径传输模式,使用第一网络连接将用户输入的声音数据传输给声音代理设备,并且同时使用第二网络连接将用户输入的声音数据传输给多个声音输出单元中与距离移动终端位置最近的声音输出单元,

利用声音代理设备从移动终端接收的声音输出请求中提取声音样本、移动终端位置和声波传输匹配码,根据声音样本确定是否允许所述用户进行声音输出,并且在不考虑所述确定是否允许所述用户进行声音输出的结果的情况下将指示多个声音输出单元中距离移动终端位置最近的声音输出单元通过声波传输将声波传输匹配码发送给移动终端;

如果根据声音样本确定允许所述用户进行声音输出,则向移动终端发送应答消息并且从移动终端将接收网络延迟,如果所述网络延迟大于反馈阈值,则进入反馈抑制模式进行声音输出;在所述反馈抑制模式中,声音代理设备指示移动终端基于多路径传输协议进入多路径传输模式,使用多个声音输出单元中除距离移动终端位置最近的声音输出单元之外的声音输出单元基于声音代理设备所发送的输出指令和声音数据进行声音输出,所述距离移动终端位置最近的声音输出单元根据移动终端所发送的输出指令和声音数据进行声音输出。

38页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于无线通信网络的网络接入系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!