一种由发起方控制的远程声音交互系统及方法

文档序号:11461 发布日期:2021-09-17 浏览:23次 >En<

阅读说明:本技术 一种由发起方控制的远程声音交互系统及方法 (Remote voice interaction system and method controlled by initiator ) 是由 闫智勇 于 2021-06-10 设计创作,主要内容包括:本发明公开的是一种由发起方控制的远程声音交互系统,包括智能声音终端设备、客户端软件和后台服务系统,所述智能声音终端设备、客户端软件均与后台服务系统连接,所述智能声音终端设备包括MCU中央控制处理单元、数据存储单元、Audio output单元、Audio pickup单元及网络通讯模组单元。本发明实时声音交互方式,将未经过压缩的声音通过指令转换为数字声音流并用实时推流的方式通过网络发送给对方,从而达到确保声音不延迟和不失真。同时,通过预置在智能声音终端设备上的控制指令,让声音发起主叫方可随时插入和插入对方的声音。本发明使用简单,通用性强,可广泛应用于居家、车载、办公等远程声音交互应用场景。(The invention discloses a remote voice interaction system controlled by an initiator, which comprises intelligent voice terminal equipment, client software and a background service system, wherein the intelligent voice terminal equipment and the client software are connected with the background service system, and the intelligent voice terminal equipment comprises an MCU central control processing unit, a data storage unit, an Audio output unit, an Audio pick up unit and a network communication module unit. The real-time voice interaction mode converts uncompressed voice into digital voice flow through the instruction and sends the digital voice flow to the opposite side through the network in a real-time plug flow mode, thereby ensuring that the voice is not delayed and distorted. Meanwhile, the voice initiating calling party can insert and insert the voice of the other party at any time through a control instruction preset on the intelligent voice terminal equipment. The invention has simple use and strong universality, and can be widely applied to remote voice interaction application scenes such as home, vehicle-mounted, office and the like.)

一种由发起方控制的远程声音交互系统及方法

技术领域

本发明涉及声音交互领域,具体的说是指一种由发起方控制的远程声音交互系统及方法。

背景技术

随着网络的发展,网络电话等即时声音交互系统和相关的硬件产品非常流行。在享声音交互系统的同时也发现,这些系统存在着以下几个问题:1、现有的远程实时声音交互系统在处理双方声音时会将声音压缩,从而导致声音失真;2、声音交互时存在延迟的问题;3、声音会话开始后,发起方无法插入和中断对方的声音,即无法控制对方的声音操作。基于此,本申请人经过潜心研究,遂有本案的产生。

发明内容

本发明提供的是一种由发起方控制的远程声音交互系统及方法,其主要目的在于克服现有的声音交互中存在声音失真、有延迟和无法插入及中断对方声音的问题。

为了解决上述的技术问题,本发明采用如下的技术方案:

一种由发起方控制的远程声音交互系统,包括智能声音终端设备、客户端软件和后台服务系统,所述智能声音终端设备、客户端软件均与后台服务系统连接,所述智能声音终端设备包括MCU中央控制处理单元、数据存储单元、Audio output单元、Audio pickup单元及网络通讯模组单元;

所述数据存储单元用于存储各类操作指令,与MCU中央控制处理单元相连;

所述Audio output单元用于播放声音,与MCU中央控制处理单元相连;

所述Audio pickup单元用于采集声音,与MCU中央控制处理单元相连;

所述网络通讯模组单元用于作为客户端软件、后台服务系统和智能声音终端设备进行指令和声音交互的通道,与MCU中央控制处理单元相连。

进一步的,所述智能声音终端设备还包括电源管理单元,该电源管理单元用于为内置于智能声音终端设备的电池充电,与MCU中央控制处理单元相连。

进一步的,所述网络通讯模组单元为wifi通讯模组单元或移动网通讯模组单元。

一种由发起方控制的远程声音交互方法,包括以下步骤:

S1、客户端软件的注册,用户首先需要输入手机号,然后点击“获取验证码”,客户端软件将手机号码通过网络发送至后台服务系统,后台服务系统将手机号码做预入数据库处理,并生成对应的验证码,然后将验证码以短信形式发送给用户;用户将验证码输入至客户端软件,然后输入登录密码,点击确认后客户端软件将手机号、验证码和密码通过网络发送至后台服务系统,后台服务系统将客户端软件发送来的手机号和验证码进行校验,当校验该验证码真实后,为该用户创建账户,生成与手机号和密码对应的身份ID,同时将身份ID发送至客户端软件,客户端软件将身份ID保存后完成注册;

S2、客户端软件与智能声音终端设备绑定,客户端软件获取智能声音终端设备的设备ID,然后客户端软件将身份ID和智能声音终端设备的设备ID发送至后台服务系统,后台服务系统收到后为该用户创建正式账户并为客户端软件和智能声音终端设备创建独立的声音通道,并将成功的信息通知客户端软件完成绑定流程;

S3、智能声音终端设备开机后,数据存储单元按指令利用MCU中央控制处理单元通过网络通讯模组单元与后台服务系统建立连接,即进入Standby状态;客户端软件运行登录即与后台服务系统建立连接,进入Standby状态,当声音发起方按下客户端软件的按键,客户端软件立刻由Standby状态进入Processing状态,通过网络按既定的通讯协议连同身份ID向后台服务系统发送请求指令,后台服务系统通过客户端软件提交的身份ID找到其对应的智能声音终端设备并向智能声音终端设备发送指令,指令通过网络通讯模组单元发送给MCU中央控制处理单元,中央控制处理单元将指令发送给数据存储单元,数据存储单元解析出对应的指令后从Standby状态进入Processing状态,并通过MCU中央控制处理单元打开Audio output单元,同时后台服务系统打开声音通道并向客户端软件返回声音通道已打开成功的通知,然后客户端软件即提示发起方可以开始说话,同步开始采集发起方的声音,发起方听到提示后进行声音操作即可;

S4、客户端软件将采集到的发起方的声音通过指令转换为未经压缩的数字声音流,采用边采集边转换的方式将声音流通过网络实时发送至后台服务系统,后台服务系统在声音流的开始位置贴上开始时间后使用持续推流的方式将声音实时通过声音通道发送至智能声音终端设备的网络通讯模组单元,然后再发给MCU中央控制处理单元,MCU中央控制处理单元接到后通知数据存储单元,数据存储单元将声音流通过控制指令还原成原始的声音后返回给MCU中央控制处理单元,并在已打开的Audio output单元进行实时声音播放;

S5、当声音发起方声音操作完毕后松开客户端软件的按键的同时客户端软件即转入Standby状态,后台服务系统在声音流的结束位置贴上结束时间并通过网络通讯模组单元发送给MCU中央控制处理单元,然后后台服务系统关闭声音通道,MCU中央控制处理单元把带有结束时间的声音流发送给数据存储单元,数据存储单元解析后按指令通知MCU中央控制处理单元关闭Audio output单元,然后即刻打开Audio pickup单元开始采集本地声音,声音发起方发起主叫声音的全部流程结束;

S6、智能声音终端设备的Audio pickup单元将采集到的声音发送给MCU中央控制处理单元,MCU中央控制处理单元将声音发送给数据存储单元,数据存储单元通过控制指令将原始声音转换为数字声音流发送至MCU中央控制处理单元,MCU中央控制处理单元采用边采集边发送的方式将声音流通过网络通讯模组单元以推流的方式利用声音通道发送给后台服务系统,后台服务系统在声音流的开始位置贴上开始时间的同时打开声音通道,然后使用持续推流的方式将声音发送给客户端软件,客户端软件即从Standby状态进入Processing状态,将声音流解析后开始播放;

S7、当数据存储单元按指令要求到达声音采集设定的时间后,通知MCU中央控制处理单元关闭Audio pickup单元停止采集本地声音并转入Standby状态,同时将结束的通知由MCU中央控制处理单元通过网络通讯模组单元发送给后台服务系统,后台服务系统在声音流结束位置贴上结束时间的标签后发送给客户端软件,客户端软件即通知声音发起方声音结束然后进入Standby状态,同时后台服务系统关闭声音通道,本次实时声音交互过程结束;

S8、当智能声音终端设备、客户端软件和后台服务系统正处于步骤S6的状态中,声音发起方需要向智能声音终端设备插入声音时,声音发起方按下客户端软件的按键,客户端软件立刻通过网络按既定的通讯协议向后台服务系统发送请求插入指令,当后台服务系统接收到来自客户端软件发来的插入指令后,立刻停止接收来自智能声音终端设备发来的声音流,并在当前声音流的打断位置贴上结束时间回复客户端软件,同时向智能声音终端设备发送插入指令,网络通讯模组将插入指令发送给MCU中央控制处理单元,MCU中央控制处理单元将插入指令发送给数据存储单元,数据存储单元解析到插入指令后通知MCU中央控制处理单元关闭Audio pickup单元停止声音采集,同时打开Audio output单元,当客户端软件接到后台服务系统发来带有结束时间标签的声音流后立刻通知发起方,同步开始采集发起方的声音,发起方听到通知后进行声音操作即可,再次进入步骤S4;

S9、当智能声音终端设备、客户端软件和后台服务系统正处于步骤S6的状态中,发起方需要中断智能声音终端设备的声音时,发起方按下客户端软件的按键,客户端软件立刻通过网络按既定的通讯协议向后台服务系统发送请求中断指令,当后台服务系统接收到来自客户端软件发来的中断指令后,立刻停止接收来自智能声音终端设备发来的声音流,并在当前声音流的中断位置贴上结束时间回复客户端软件,客户端软件收到后进入Standby状态,后台服务系统同时向智能声音终端设备发送中断指令,网络通讯模组将中断指令发送给MCU中央控制处理单元,MCU中央控制处理单元将中断指令发送给数据存储单元,数据存储单元解析到中断指令后通知MCU中央控制处理单元关闭Audio pickup单元停止声音采集,然后进入步骤S3的Standby状态。

进一步的,所述智能声音终端设备内设有电池,当电池的电压低于工作电压时通知MCU中央控制单元,MCU中央控制单元通知电源管理单元开始为电池充电。

更进一步的,所述电池的充电方式为太阳能充电或车载电源充电或室内电源充电。

进一步的,所述步骤S2中,客户端软件可以通过扫描智能声音终端设备的二维码获取设备ID。

由上述对本发明的描述可知,和现有技术相比,本发明具有如下优点:本发明实时声音交互方式,将未经过压缩的声音通过指令转换为数字声音流并用实时推流的方式通过网络发送给对方,从而达到确保声音不延迟和不失真。同时,通过预置在智能声音终端设备上的控制指令,让声音发起主叫方可随时插入和中断对方的声音。本发明使用简单,通用性强,可广泛应用于居家、车载、办公等远程声音交互应用场景。

附图说明

图1为本发明的原理框图。

图2为本发明步骤S1的流程图。

图3为本发明步骤S2的流程图。

图4为本发明步骤S3的流程图。

图5为本发明步骤S4的流程图。

图6为本发明步骤S5的流程图。

图7为本发明步骤S6的流程图。

图8为本发明步骤S7的流程图。

图9为本发明步骤S8的流程图。

图10为本发明步骤S9的流程图。

具体实施方式

参照图1,一种由发起方控制的远程声音交互系统,包括智能声音终端设备1、客户端软件2和后台服务系统3,所述智能声音终端设备1、客户端软件2均与后台服务系统3连接。所述智能声音终端设备1包括MCU中央控制处理单元11、数据存储单元12、Audio output单元13、Audio pickup单元14及网络通讯模组单元15。

所述数据存储单元12用于存储各类操作指令,与MCU中央控制处理单元11相连。

所述Audio output单元13用于播放声音,与MCU中央控制处理单元11相连。

所述Audio pickup单元14用于采集声音,与MCU中央控制处理单元11相连。

所述网络通讯模组单元15用于作为客户端软件2、后台服务系统3和智能声音终端设备1进行指令和声音交互的通道,与MCU中央控制处理单元11相连。

所述智能声音终端设备1还包括电源管理单元16,该电源管理单元16用于为内置于智能声音终端设备1的电池充电,与MCU中央控制处理单元11相连。

所述网络通讯模组单元15为wifi通讯模组单元或移动网通讯模组单元。

参照图2至图9,一种由发起方控制的远程声音交互方法,包括以下步骤:

S1、客户端软件的注册,用户首先需要输入手机号,然后点击“获取验证码”,客户端软件将手机号码通过网络发送至后台服务系统,后台服务系统将手机号码做预入数据库处理,并生成对应的验证码,然后将验证码以短信形式发送给用户;用户将验证码输入至客户端软件,然后输入登录密码,点击确认后客户端软件将手机号、验证码和密码通过网络发送至后台服务系统,后台服务系统将客户端软件发送来的手机号和验证码进行校验,当校验该验证码真实后,为该用户创建账户,生成与手机号和密码对应的身份ID,同时将身份ID发送至客户端软件,客户端软件将身份ID保存后完成注册;

S2、客户端软件与智能声音终端设备绑定,客户端软件获取智能声音终端设备的设备ID,然后客户端软件将身份ID和智能声音终端设备的设备ID发送至后台服务系统,后台服务系统收到后为该用户创建正式账户并为客户端软件和智能声音终端设备创建独立的声音通道,并将成功的信息通知客户端软件完成绑定流程;客户端软件可以通过扫描智能声音终端设备的二维码获取设备ID,也可以通过手工输入等其他的方式。

S3、智能声音终端设备开机后,数据存储单元按指令利用MCU中央控制处理单元通过网络通讯模组单元与后台服务系统建立连接,即进入Standby状态;客户端软件运行登录即与后台服务系统建立连接,进入Standby状态,当声音发起方按下客户端软件的按键,客户端软件立刻由Standby状态进入Processing状态,通过网络按既定的通讯协议连同身份ID向后台服务系统发送请求指令,后台服务系统通过客户端软件提交的身份ID找到其对应的智能声音终端设备并向智能声音终端设备发送指令,指令通过网络通讯模组单元发送给MCU中央控制处理单元,中央控制处理单元将指令发送给数据存储单元,数据存储单元解析出对应的指令后从Standby状态进入Processing状态,并通过MCU中央控制处理单元打开Audio output单元,同时后台服务系统打开声音通道并向客户端软件返回声音通道已打开成功的通知,然后客户端软件即提示发起方可以开始说话,同步开始采集发起方的声音,发起方听到提示后进行声音操作即可;

S4、客户端软件将采集到的发起方的声音通过指令转换为未经压缩的数字声音流,采用边采集边转换的方式将声音流通过网络实时发送至后台服务系统,后台服务系统在声音流的开始位置贴上开始时间后使用持续推流的方式将声音实时通过声音通道发送至智能声音终端设备的网络通讯模组单元,然后再发给MCU中央控制处理单元,MCU中央控制处理单元接到后通知数据存储单元,数据存储单元将声音流通过控制指令还原成原始的声音后返回给MCU中央控制处理单元,并在已打开的Audio output单元进行实时声音播放;

S5、当声音发起方声音操作完毕后松开客户端软件的按键的同时客户端软件即转入Standby状态,后台服务系统在声音流的结束位置贴上结束时间并通过网络通讯模组单元发送给MCU中央控制处理单元,然后后台服务系统关闭声音通道,MCU中央控制处理单元把带有结束时间的声音流发送给数据存储单元,数据存储单元解析后按指令通知MCU中央控制处理单元关闭Audio output单元,然后即刻打开Audio pickup单元开始采集本地声音,声音发起方发起主叫声音的全部流程结束;

S6、智能声音终端设备的Audio pickup单元将采集到的声音发送给MCU中央控制处理单元,MCU中央控制处理单元将声音发送给数据存储单元,数据存储单元通过控制指令将原始声音转换为数字声音流发送至MCU中央控制处理单元,MCU中央控制处理单元采用边采集边发送的方式将声音流通过网络通讯模组单元以推流的方式利用声音通道发送给后台服务系统,后台服务系统在声音流的开始位置贴上开始时间的同时打开声音通道,然后使用持续推流的方式将声音发送给客户端软件,客户端软件即从Standby状态进入Processing状态,将声音流解析后开始播放;

S7、当数据存储单元按指令要求到达声音采集设定的时间后,通知MCU中央控制处理单元关闭Audio pickup单元停止采集本地声音并转入Standby状态,同时将结束的通知由MCU中央控制处理单元通过网络通讯模组单元发送给后台服务系统,后台服务系统在声音流结束位置贴上结束时间的标签后发送给客户端软件,客户端软件即通知声音发起方声音结束然后进入Standby状态,同时后台服务系统关闭声音通道,本次实时声音交互过程结束;

S8、当智能声音终端设备、客户端软件和后台服务系统正处于步骤S6的状态中,声音发起方需要向智能声音终端设备插入声音时,声音发起方按下客户端软件的按键,客户端软件立刻通过网络按既定的通讯协议向后台服务系统发送请求插入指令,当后台服务系统接收到来自客户端软件发来的插入指令后,立刻停止接收来自智能声音终端设备发来的声音流,并在当前声音流的打断位置贴上结束时间回复客户端软件,同时向智能声音终端设备发送插入指令,网络通讯模组将插入指令发送给MCU中央控制处理单元,MCU中央控制处理单元将插入指令发送给数据存储单元,数据存储单元解析到插入指令后通知MCU中央控制处理单元关闭Audio pickup单元停止声音采集,同时打开Audio output单元,当客户端软件接到后台服务系统发来带有结束时间标签的声音流后立刻通知发起方,同步开始采集发起方的声音,发起方听到通知后进行声音操作即可,再次进入步骤S4;

S9、当智能声音终端设备、客户端软件和后台服务系统正处于步骤S6的状态中,发起方需要中断智能声音终端设备的声音时,发起方按下客户端软件的按键,客户端软件立刻通过网络按既定的通讯协议向后台服务系统发送请求中断指令,当后台服务系统接收到来自客户端软件发来的中断指令后,立刻停止接收来自智能声音终端设备发来的声音流,并在当前声音流的中断位置贴上结束时间回复客户端软件,客户端软件收到后进入Standby状态,后台服务系统同时向智能声音终端设备发送中断指令,网络通讯模组将中断指令发送给MCU中央控制处理单元,MCU中央控制处理单元将中断指令发送给数据存储单元,数据存储单元解析到中断指令后通知MCU中央控制处理单元关闭Audio pickup单元停止声音采集,然后进入步骤S3的Standby状态。

所述智能声音终端设备内设有电池,当电池的电压低于工作电压时通知MCU中央控制单元,MCU中央控制单元通知电源管理单元开始为电池充电。所述电池的充电方式为太阳能充电或车载电源充电或室内电源充电,例如,当智能声音终端设备在车载环境下使用时,可采用MCU中央控制单元根据充电电压大小而决定优先选择太阳能充电,或者车载电源充电的方式;在室内使用时,可使用室内电源充电的方式。

上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种定制软件的安装方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!