阅读说明：本技术 一种多设备录音同步方法、系统及会议系统 (Multi-device recording synchronization method and system and conference system ) 是由 何伟伟 张联昌 冯万健 于 2019-08-16 设计创作，主要内容包括：本发明公开了一种多设备录音同步方法、系统及会议系统,属于录音标记领域。针对现有技术中存在的支持录音标记功能的设备只支持在单设备上生成及使用的问题,本发明提供了一种多设备录音同步系统,包括一个主机和多个从机,主机与多个从机连接,从机向主机发送指令,主机根据从机发送的指令进行操作并全局广播状态信息。通过主机和从机的网络连接,主机将从机发送的录音和标记数据保存在主机端,并在设备间进行同步,实现多设备的同步录音以及多设备的同步播放,将多设备录音标记同步系统应用在会议系统中,实现多设备在同一会议下进行录音及标记,使用非常方便,运行逻辑简单,系统成本低。(The invention discloses a multi-device recording synchronization method, a multi-device recording synchronization system and a conference system, and belongs to the field of recording marks. The invention provides a multi-equipment recording synchronization system, aiming at the problem that equipment supporting a recording marking function only supports generation and use on single equipment in the prior art. Through the network connection of the host and the slave, the host stores the recording and marking data sent by the slave at the host end and synchronizes among the devices, so that the synchronous recording of multiple devices and the synchronous playing of the multiple devices are realized, the multi-device recording and marking synchronization system is applied to a conference system, the recording and marking of the multiple devices in the same conference are realized, the use is very convenient, the operation logic is simple, and the system cost is low.)

一种多设备录音同步方法、系统及会议系统

技术领域

本发明涉及录音标记领域，更具体地说，涉及一种多设备录音同步方法、同步系统及会议系统。

背景技术

录音是将声音信号记录在媒介上的过程，随着数字化技术的不断发展，录音功能也从最开始的机械录音，光学录音，磁性录音等模拟录音方式变为目前的数字录音，被广泛应用于各个场景。录音标记即在录音过程中，当录到重要的信息时进行标记，用户根据录音标记可以快速的找到重要信息在录音中的位置及时回放，特别是录音内容很多的时候非常实用。

在视频会议系统中，通过网络将多个地点的人们联系起来，进行面对面的交谈。通过视频会议系统，参与者可以看到其他与会人员的动作和表情，有一种身临其境的感觉，但就大多会议而言，图像数据多为无效信息，音频信息最为重要，在针对诸如培训学习为主的视频会议上，对会议进行录音是保存会议的主要手段之一，录音时在会议中重要部分用户还会对会议进行相应的标注，方便后期快速的找到重点部分。现在市面上支持的录音标记功能的设备只支持在单设备上生成，以及在单设备上使用，多个设备终端无法在同一会议下进行录音标记。

中国专利申请录音标记方法、装置、终端、服务器及系统，专利号201310617076.4，公开日2014年3月19日，公开了一种录音标记方法、装置、终端、服务器及系统，属于计算机技术领域。所述方法包括：检测终端中的标记数据结构与服务器中的标记数据结构是否不同，该标记数据结构用于记录音频文件中的音频数据在录制过程中的标记事件；若检测结果为终端中的标记数据结构与服务器中的标记数据结构不同，则触发对终端中的标记数据结构与服务器中的标记数据结构进行同步。解决了多个终端在录制过程中都可能会错过对某些重点内容的标记，使得终端在播放自身录制的音频数据时需要通过反复试听查找音频数据中错过的重点内容，降低了信息获取效率的问题，达到了提高信息获取效率的效果。该方法在同步时需要先对数据结构进行对比，当标记数据结构与服务器数据结构不同则触发同步，操作起来较为复杂，虽提高了信息获得效率，但在主机端大量数据冗余，且对比过程产生时间损耗，会造成一定的时间延时。

发明内容

1.要解决的技术问题

针对现有技术中存在的市面上支持的录音标记功能的设备只支持在单设备上生成，以及在单设备上使用问题，本发明提供了一种多设备录音同步方法、系统及会议系统，它可以实现多个设备间进行同步录音标记，录音控制，且网络带宽使用小，精度高，且允许主从机在不同的系统中运行，使用不同的开发语言；在会议系统中实现多设备录音、标记和同步功能，使用非常方便，运行逻辑简单，系统成本低。

2.技术方案

本发明的目的通过以下技术方案实现。

一种多设备录音同步方法，包括以下步骤，

步骤一：主机通过网口分别与外网以及从机连接，连接的从机至少有一个；主机通过网口分别与外网以及从机连接，主机的IP为固定IP，主机包含两个网口：Wan口和Phone口，Wan用于外网连接，Phone口所连接的网络用于接入从机，从机定期向主机发送请求，如收到回复，则认为连接上主机。

步骤二：主机与从机建立文件共享服务，主机允许从机读取主机的录音数据文件和标记数据文件，主机使用samba服务允许从机对主机上的文件进行读取；从机与主机连接后开始请求相关数据。主机收到的请求后，认为从机连上主机，将从机IP维护在从机列表中。Samba服务是基于SMB协议的一个软件，能够实现在局域网上共享文件且允许在不同的系统中运行。

步骤三：主机与从机通讯，主机根据接收到的从机指令执行录音相关操作，并在从机间广播状态；本发明主机和多个从机同时连接，主机接收从机发送的指令后执行操作并广播录制状态给所有从机，所有从机同步进入相应状态；当有多个从机对主机发送指令时，根据主机接收到的指令顺序执行先收到的指令，通过主机的时间戳执行操作解决了多设备本地时间不一致会导致生成标记的精度存在偏差的问题；本发明带宽使用小，运行逻辑简单，使用方便，成本低。

更进一步的，主机与从机之间使用远程过程调用方式进行通讯。RPC，也就是远程过程调用，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，基于socket协议的开源RPC框架，允许部署在不同服务器上应用相互调用程序。本发明通过RPC框架允许主机与从机之间可以相互发送指令完成数据交互。使用RPC框架可以提高开发效率，提升系统的可扩展性，允许主从机使用不同系统，不同开发语言。通过使用主机生成和保存标记数据的方案，可以有效减少不同设备间数据不同步的情况，解决从机单独标记会出现时间戳不一致的问题，同时可以减少网络带宽使用。

更进一步的，步骤一主机启动和从机连接后，从机按照一定的时间间隔向主机发送心跳包确认从机存活，心跳包就是在主机和从机间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，类似于心跳，所以叫做心跳包；主机与从机连接后，从机按照一定的时间间隔向主机发送心跳包确认从机存活，如果从机与主机连接断开则重新向主机发送连接请求。

更进一步的，步骤三从机向主机发送请求包括开始录制、停止录制、标记和获得标记。主机接收从机发送的请求指令进行相应操作。定义指令发送流程如下：若设备B需要向设备A发送指令为X，参数为Y的指令，则设备A定义方法名为X，参数为a的方法X(a)，设备B通过RPC框架调用设备A的方法X(a)，传入参数Y，即认为设备B向设备A发送指令X＝Y。

定义录制过程中相关的指令如下：Start Record用于请求开始录制，Stop Record用于请求停止录制，Mark用于请求对录制进行标记，Get Mark用于请求获得某个文件的标记数据，Record State用于发送当前会议系统的录制状态。

更进一步的，步骤三主机接收指令后向从机广播状态为录制或空闲，主机广播状态后所有从机同步进入对应录制或空闲状态，主机接收从机发送的指令后进行广播，所有从机根据广播内容同步状态，主机不进行录制，从机录制后将数据传输给主机进行保存，由于会议系统的特殊性，多个从机不存在同时收音的情况，统一使用主机的时间戳进行排序操作，不会造成数据的重复和混乱。

更进一步的，主机在空闲状态下任意一台从机可以向主机发送指令，请求开始录制或者进行获得标记。从机向主机发送Start Record指令，主机开始录制，并向从机广播录音状态Record State＝recording。系统内的所有从机同步进入录制状态。此时主机向从机广播录音状态，并不进行录音，录音操作由从机完成；从机在录音过程中将录音数据发送到主机端，主机端在执行录音操作时，根据会议系统进行过程中接收到的语音数据后，主机针对语音数据进行回声消除等整合运算后，与其他数据保存数据流到本地存储的录音文件中。

在主机空闲状态下用户需要进行取得标记播放录音操作时，从机通过主机获取文件列表，用户在从机获得的文件列表中选择需要播放的文件名，从机通过文件名向主机数据库查询录制文件名的标志Mark数据，发送指令Get Mark到主机，通过文件名向主机数据库查询有录制文件名的标记数据。从机通过samba服务直接访问主机的文件，取得标记数据，按照时间进度显示在进度条上，展现给用户。用户点击某一个时间标记，播放器则直接跳转到对应的时间点上。

更进一步的，主机在录制状态下任意一台从机可以向主机发送指令，请求停止录制或者进行录音标记。任意一台从机可发送Stop Record指令到主机，请求主机停止录制。主机接收到Stop Record指令后，停止录制，并广播录制状态，Record State＝idle。通知从机更新录制状态。录制过程中，任意一台从机可向主机发送Mark指令，主机接收到Mark指令以后，将会把标记的录制点也就是当前的录制进度保存到数据库中，录制进度保存时Key为文件名，Value为录制进度。录音的标记信息和录音文件信息分开存储，标记信息保存在主机的数据库中。录音信息保存在本地存储的录音文件中。多台从机同时请求mark时，以主机先接收到指令为准。

本发明通过主机接收各从机的请求，根据从机传输的录音数据和标记数据，在主机端生成和保存录音数据及标记信息，各从机如果需要获取数据，均需从主机获取，使用这种方式可以保证数据的一致性。另外，所有的时间戳都是由主机根据收到从机请求的先后顺序在本地生成的。由于使用的是同一本地时间生成，相对于从机生成标记后，再将标记信息同步给主机，精度较高，且不会出现各设备的本地时间不一致导致的生成标记的精度存在偏差。当有新设备接入系统时，向主机同步一次数据即可。与从机本地生成标记并本地保存，同时将数据同步给其他设备的技术方案相比，本发明只需发送给主机一次请求即可，网络带宽使用较小，且不会面临因为网络异常等原因导致的从机的标记数据和其他设备的数据不一致的情况。并且由于会议系统的特殊性，当主机出现异常，从机的其他功能也将无法使用，不存在主机不在状态而从机继续录音造成的数据不一致情况。

一种多设备录音同步系统，系统使用上述的多设备录音同步方法；系统包括主机和多个从机，主机和从机通过网口连接形成内部网络，在内部网络中使用RPC，远程过程调用框架进行通信，主机收集各从机的请求，在主机端生成和保存标记，各从机如果想要获取数据，均需从主机获取，保证了数据的一致性。主机还与外部网络连接，通过与外网的连接主机实现与其他设备的信息交互产生适用与更多的场景，如在会议系统中使用。

一种会议系统，包括一种多设备录音同步系统，还包括摄像头，显示器和音频播放设备，摄像头、显示器和音频播放设备均与主机相连，摄像头捕捉会议中的视频信息发送给主机，显示器播放摄像头发送给主机的视频信息，音频播放设备播放会议中音频信息。

更进一步的，摄像头、显示器和音频播放设备与主机通过无线连接方式相连，无线连接方式简化会议部署，操作便利；将多设备录音标记同步系统应用在会议系统中，实现多设备在同一会议下进行录音及标记，针对会议系统中重要部分进行标记，方便后期快速的找到重点部分，且多设备间实现录音及标记同步功能，不局限于单一设备的收音功能，可以保证多设备间录音及标记数据的一致性，使用非常方便，运行逻辑简单，系统成本低。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明通过主机接收各从机的请求，根据从机传输的录音数据和标记数据，在主机端生成和保存录音数据及标记信息，各从机如果需要获取数据，均需从主机获取，使用这种方式可以保证数据的一致性。另外，所有的时间戳都是由主机根据收到从机请求的先后顺序在本地生成的。尤其适用于会议系统，当会议系统中有多设备连接时，用户可以在任意设备上进行录音控制及录音标记，并且可以保证录音数据的一致性，系统成本低，运行逻辑简单，使用非常方便。

附图说明

图1为本发明的从机录制流程示意图；

图2为本发明的从机播放流程示意图；

图3为本发明的主机与从机交互示意图；

图4为本发明的主机与从机网络连接示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

一种多设备录音同步系统，包括一个主机和多个从机，如图4所示，主机包括两个网口：WAN口和PHONE口，WAN口用于将主机连接外部网络，PHONE口用于将主机接入从机所连接的网络。如图3所示，主机的PHONE口IP地址为固定地址，如192.168.0.23。启动从机定期向固定IP和端口进行请求，如192.168.0.23:6565，Phone口初始化IP地址固定为192.168.0.23，WAN口连接外部网络，获取IP地址为10.81.32.10。从机1，从机2，从机3通过交换机连接到主机Phone口，以DHCP的方式，从主机分配到IP，如分别是192.168.0.150，192.168.0.151，192.168.0.152。从机向主机Phone口的固定端口192.168.0.23:6565，发送注册请求。主机收到请求，发送注册成功回复，则已连接上主机，开始请求相关数据，主机收到请求后，认为从机连上主机，将从机IP维护在从机列表中。从机定期向主机按照一定的时间间隔发送心跳包，确保套接字的正常连接没有断开，确保从机存活。

主机启动samba服务建立文件共享服务，允许从机可以方便的对主机上的文件进行读取。主机与从机通讯使用基于socket协议的开源RPC框架，即远程过程调用框架，允许部署在不同服务器上应用相互调用程序中方法。通过RPC框架允许主机和从机之间可以相互发送指令完成数据交互。本实施例中使用RPC框架，提高开发效率，提升系统的可扩展性；允许主从机使用不同系统，不同开发语言。

定义系统的指令发送流程如下：若设备B需要向设备A发送指令为X，参数为Y的指令X＝Y，则设备A定于方法名为X，参数为a的方法X(a)，设备B通过RPC框架调用设备A的方法X，传入参数Y，即认为设备B向设备A发送指令X＝Y。

定义录制过程中规定相关指令如下：Start Record用于请求开始录制；StopRecord用于请求停止录制；Mark用于请求对录制进行标记；Get Mark用于请求某个文件的标记数据；Record State用于发送当前会议系统的录制状态。

如图1所示从机录制流程，当从机向主机发送Start Record指令，主机接受请求开始录制，根据接收到指令的时间戳生成录音文件名，如AudioRecord20190805101902078.amr。并向从机广播录音状态，Record State＝recording，系统内的其他从机接收到录制状态后，同步进入录制状态。此时主机向从机广播录音状态，并不进行录音，录音操作由从机完成；从机在录音过程中将录音数据发送到主机端，由于视频会议系统的特殊性，不存在多个从机同时收音的情况，主机端在执行录音操作时，根据会议系统进行过程中接收到的语音数据后，主机针对语音数据进行回声消除等整合运算后，与其他数据保存数据流到本地存储的录音文件中。

录制过程中，任意一台从机可向主机发送Mark指令，若主机接收到Mark指令以后，将会把当前的录制进度保存到数据库中，录制进度保存时Key为文件名，Value为录制进度，录制进度接收请求的时间戳时间单位为毫秒。从机2向主机发送Mark请求，以录制文件名为key，录制进度为value保存到本地数据库中，如AudioRecord20190805101902078.amr,03865。主机向从机广播本次录音已Mark数量：Mark＝1。录音的标记信息和录音文件信息分开存储，标记信息保存在主机的数据库中。录音信息保存在本地存储的录音文件中。

录制过程中，任意一台从机可以发送Stop Record指令到主机，若主机接收到从机发送Stop Record指令后，停止录制，保存文件到数据库中，显示录制结果提示；主机向从机广播录制状态，Record State＝idle，并发送结束录制的原因，通知从机更新录制状态，并根据原因显示相关提示。

若有多台从机同时向主机发出指令，主机以其接收到的指令信息进行操作，如从机A向主机发送Start Record指令，同时从机B也向主机发送Start Record指令，主机操作其先接收到的指令信息，假设先接收到的是从机B的Start Record指令，则主机接受录音请求广播状态Record State＝recording；主机根据其接收到的指令顺序进行操作，将时间戳统一一致，在多设备间同步实现录音及标记时不会造成数据混乱，数据的保存逻辑更清晰。

本实施例通过主机收集各个从机的请求，包括开始录制，标记，结束录制，由各请求从机进行录制，将录音信息和标记信息发送至主机，在主机端生成和保存标记以及保存录音文件，各从机如果需要获取数据，均需从主机获取。使用这种方法可以保证数据的一致性，所有的时间戳都是由主机根据收到的从机请求的先后顺序在本地生成的，若有多台从机同时发出请求指令，以主机先接收到的指令为准进行相应操作，由于使用的同一本地时间生成，精度较高。由于本实施例是针对多设备间录音标记的同步实现，本实施例相对于从机生成标记后再讲标记信息同步给主机会出现的各设备本地时间不一致，导致生成标记的精度存在偏差的问题，精度较高。又如若从机在本地生成标记，本地保存，同时将数据同步给其他设备会出现因为网络异常等原因，导致从机的标记数据与其他设备的数据不一致，以及设备数量增加时，网络带宽使用呈几何级增长的问题。本实施例只需向主机同步一次数据，带宽使用小，并且尤其适用于在会议系统中的运用，因为会议系统的独特性，当主机出现异常，从机的其他功能也将无法使用的特点，并不需要考虑主机出现异常，从机的录音及标记信息未及时同步到主机的情况。

实施例2

本实施例与实施例1系统前置设置相同，不同之处在于，如图2所示，系统播放时，从机通过主机获取文件列表，用户在从机获得的文件列表中选择需要播放的文件名，从机通过文件名向主机查询Mark数据，发送指令Get Mark到主机，通过文件名向主机数据库查询有录制文件名的标记数据。从机通过samba服务向主机查询到主机的录音文件列表，并展示给用户。用户选择其中一个文件：AudioRecord20190805101902078.amr。从机通过GetMark＝AudioRecord20190805101902078.amr向主机查询mark列表。主机通过文件名向数据库查询后，返回给从机。从机通过samba服务直接播放文件，并在进度条中根据Mark列表显示录音标记。

从机通过samba服务直接访问主机的文件，并根据从机向主机发送的Get Mark指令取得的所有录音标记数据，按照时间进度显示在进度条上展现给用户，用户点击某一个时间标记，播放器则直接跳转到对应的时间点上进行播放。

实施例3

在一个会议系统中，包括一种多设备录音标记及同步系统，还包括摄像头，显示器和音频播放设备，摄像头、显示器和音频播放设备均与主机相连，摄像头捕捉会议中的视频信息发送给主机，显示器播放摄像头发送给主机的视频信息，音频播放设备播放会议中音频信息，摄像头、显示器和音频播放设备与主机通过无线连接方式相连，无线连接方式简化会议系统部署，操作便利。将多设备录音标记同步系统应用在会议系统中，针对会议系统中重要部分进行标记，方便后期快速的找到重点部分，实现多设备在同一会议下进行录音及标记，且多设备间实现录音及标记同步功能，不局限于单一设备的收音功能，可以保证多设备间录音及标记数据的一致性，使用非常方便，运行逻辑简单，系统成本低。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。