阅读说明：本技术 一种信息交互方法、交互系统和应用 (Information interaction method, interaction system and application ) 是由 褚莹琨 廖昀 于 2019-09-30 设计创作，主要内容包括：本发明公开了一种信息交互方法、交互系统和应用,属于电子白板领域。针对现有技术中存在的会议系统中电子白板传输数据大,互动带宽高,对网络需求高的问题,本发明提供了一种信息交互方法,主机将画面数据发送给本地和远端进行显示,本地对画面有批注时,主机对本地的批注进行序列化处理,将处理后数据发送至远端,远端结合序列化处理后数据以及对应的坐标和压感值,通过图形处理器计算绘制成图像显示,所述交互方法应用在会议系统的电子白板中,可以实现书写时只发送笔迹数据,所有参会方收到该笔迹数据后将其显示在屏幕上,进而实现多方实时互动式白板协作,且在本地会议和远程会议中均支持。(The invention discloses an information interaction method, an interaction system and application, and belongs to the field of electronic whiteboards. The invention provides an information interaction method, aiming at the problems of large transmission data, high interaction bandwidth and high network demand of an electronic whiteboard in a conference system in the prior art, wherein a host sends picture data to a local terminal and a remote terminal for displaying, when the local terminal annotates a picture, the host carries out serialization processing on the local annotation and sends the processed data to the remote terminal, the remote terminal combines the serialized processed data and corresponding coordinates and pressure values and calculates and draws the data into an image for displaying through a graphic processor, the interaction method is applied to the electronic whiteboard of the conference system, and can realize that only handwriting data is sent during writing, and all participants display the handwriting data on a screen after receiving the handwriting data, thereby realizing multi-party real-time interactive whiteboard cooperation and being supported in a local conference and a remote conference.)

一种信息交互方法、交互系统和应用

技术领域

本发明涉及电子白板领域，更具体地说，涉及一种信息交互方法、交互系统和应用。

背景技术

远程会议泛指的是视像会议，将语音和视频图像远程交互共享。对于计算机内的数据交互，传统的方式是转换成视频后传输，这种方式会使图像质量和实时交互性大幅下降。随着会议内容数据化的发展需要，交互式书写系统适时出现，弥补了这一不足。远程会议系统主要包含电话会议，网络会议，视频会议。

为提供会议中与会人员的参与互动性，提高协作沟通的效率，我们经常会在会议中使用一些会议电子工具。然而，将电子工具用于会议中，至今仍存在许多问题。为了将计算机的显示内容带到投影仪，最常见的方法就是使用一些有线或无线的投屏设备，将其显示在会议室的大屏幕上，以便所有与会者共享。然而，仅仅是共享演示还是不够的。例如，在会议过程中，如果与会者只是一味地记录讲演者所诉的要点内容，则会造成会议的参与互动性低，且会议效率低下。同时，在会议过程中，讲演者可能需要对演示内容进行一定的注释讲解，传统的方式是通过安装某个软件从而支持内容注释，这种方法费时费力，且效果也不尽如意。因此，会议中，交互式电子白板的使用便变得尤为重要。

目前，交互式电子白板在会议中使用的频率越来越高，尤其是在远程会议中。电子白板结合计算机和投影机，可以实现无纸化办公及教学。它可以是独立使用以执行任务和操作的独立触摸屏计算机，也可以是用作触摸板以从投影仪控制计算机的可连接设备。

使用比较广泛的是Barco推出的ClickShare无线演示系统以及MAXHUB推出的会议平板。其优点是即插即用，不需要额外的软件驱动，安装部署简单。但其只支持本地会议，不支持远程会议多方互动。且其写作互动是单向的，即进入批注模式后，其只是把PC投屏的画面截取出来，只能在交互式电子平板(触摸面板)上批注和显示，批注内容不会同时显示在PC上。且其无法支持远程会议中的视频协作。只能在触控电视上进行书写、批注；同样的，书写内容也不会返回显示在PC上。

相对于单向的电子白板协作互动，还有一种是采用辅流(电脑投屏)的方式实现白板互动，即发起共享的一方开启一个空白页面并在该页面上书写，并将该页面截取出来作为视频流发送给参会方。这种方法的兼容性较好，无论对方(含第三方)是否支持电子白板/书写，只要能看到辅流都可以看到内容。但其缺点也很明显，由于其需要截取完整的图像画面作为视频流发送，即使用户不再写任何东西，也会持续发送视频流，因此其占用的带宽会比较高，对网络的要求也比较高。

中国专利申请一种视频会议的内容交互方法及系统，专利号CN201310069962.8，公告日2018年4月6日，公开了一种视频会议的内容交互方法及系统，在使用双流功能的基础上扩展出的更为重要的实用业务，即以白板交互业务为基础，与会各方终端在通过辅视频共享的内容中进行标记交互，解决了会议电视中数据交互的难题，同时，由于在辅视频中共享内容的形式多样，本发明也提供了一种全新的视频会议形态，即直接在视频会议终端上使用各种常用应用软件，大大增强了会议电视的易用性。因此，本发明能够使得视频会议的与会各方更加充分的交流，使得视频会议终端的功能更强大，离实现随时随地如同在同一个会议室内开会的目标更近一步。该发明采用截取完整的图像画面作为视频流发送，发送数据庞大，带宽占用大；且该发明白板协作需要通过会议召集方终端进行中转，数据传输复杂。

发明内容

1.要解决的技术问题

针对现有技术中存在的会议系统中电子白板传输数据大，互动带宽高，对网络需求高的问题，本发明提供了一种信息交互方法、交互系统和应用，它可以实现所有设备都开启独立的电子白板程序，书写时只发送笔迹数据，所有参会方收到该笔迹数据后将其显示在屏幕上，进而实现多方实时互动式白板协作，且在本地会议和远程会议中均支持。

2.技术方案

本发明的目的通过以下技术方案实现。

一种信息交互方法，主机对本地的批注绘制线段信息进行序列化处理，显示终端根据序列化处理后的批注绘制线段信息和批注相关信息通过图形处理器计算绘制成图像显示。本发明在数据交互时，对批注数据进行序列化处理，交互时只发送批注的笔迹信息，图像信息通过辅流共享，实时交互占用带宽小，对网络的要求低。

更进一步的，具体的交互步骤如下：

步骤1：主机通过内部显示模块在本地和显示终端显示画面；

步骤2：用户在本地对画面进行批注，批注时绘制线段信息发送给主机进行序列化处理，发送给显示终端；

步骤3：本地通过主机发送批注相关信息至显示终端；

步骤4：显示终端将接收到的序列化处理的绘制线段信息进行反序列化，再将批注相关信息添加到已记录线段上，显示终端使用图形处理器计算绘制成图像显示。

批注信息和视频画面完全二者分为两层分开显示。首先显示视频画面，然后在视频画面上覆盖批注信息，此时的批注信息背景为透明，显示时就像是笔迹信息融合在视频画面中一样。视频画面和批注信息的数据接收也是完全分开的，二者无需同时使用，用户可以只使用视频画面，也可以只使用白板批注，和显示数据时不同的是，此时批注信息的背景默认为白色不是透明，且颜色可调。绘制线段信息和坐标压感值分开发送是为了做到本地和显示终端设备笔迹显示的实时性。从本地设备用户落笔画的开始，发送线段信息给显示终端告知现在有一个新线段要生成，随着笔的滑动，得到一个个点坐标信息，把这些点一个个画出来形成线，同时将点信息同步发给显示终端，显示终端每收到一个点信息就判断该点是属于哪个线段，并添加到该线段上绘制。这样可以做到本地与显示终端绘制点同步。

更进一步的，批注绘制线段信息包括线段ID、用户ID和时间戳属性。批注绘制线段信息经过序列化处理后分为属性和ID部分，包括线段ID、用户ID和时间戳属性。

更进一步的，批注相关信息包括坐标和压感值。坐标和压感值与批注绘制线段信息分开发送保证批注信息传输的实时性，从本地设备用户落笔画的开始，发送线段信息给显示终端告知现在有一个新线段要生成，随着笔的滑动，得到一个个点坐标信息，把这些点一个个画出来形成线，同时将点信息同步发给显示终端，显示终端每收到一个点信息就判断该点是属于哪个线段，并添加到该线段上绘制。这样可以做到本地与显示终端绘制点同步。

更进一步的，批注绘制线段信息和批注相关信息分开传输。线段信息和点坐标压感值数据分开传输，保证了数据传输的实时性，若数据一起发送，为了拿到完整的点坐标信息，就只能等本地完整的画完一条线后才发给显示终端，这样做不到双方显示的实时性。

更进一步的，本地和显示终端使用序列化规则对绘制线段信息进行序列化及反序列化。本地和显示终端使用同样的序列化规则，绘制线段信息处理时采用同样的规则序列化和反序列化。

更进一步的，主机对批注信息处理同时将处理数据通过网络模块发送到其他显示终端。主机在收到批注信息后进行序列化处理后通过网络模块发送到其他显示终端，同时再根据批注相关信息通过图形处理器GPU计算绘制生成笔迹信息显示到本地。

一种信息交互系统，使用所述的一种信息交互方法，系统包括主机、触控显示设备和电子白板设备。本地为触摸显示设备，显示终端为电子白板设备。电子白板的交互方法，交互时，用户在触摸显示设备批注标记，绘制线段数据传输给主机进行序列化处理后发送给电子白板设备，电子白板设备接收并记住这些线段信息，触摸显示设备随机发送坐标和压感值给电子白板设备，电子白板设备接收后添加至已记录的线段上，通过图形处理器GPU计算绘制成图像，显示在电子白板设备上。电子白板设备和触控显示设备均可以有多个，多个电子白板设备允许不同的人进行批注，多个触摸显示设备可以进行扩展显示。电子白板设备可以是平板或者PC，是主机连接的一种配件使用方式，配件上可以同步显示主机上的视频和批注信息，也可以输入批注。电子白板设备与触控显示设备不通信，数据先同步给主机，主机再进行传输同步，在本发明电子白板系统中，电子白板设备和触摸显示设备只是主机的一种拓展显示和控制。

更进一步的，所述主机包括数据处理模块、触控模块、显示模块和网络模块。数据处理模块包括媒体模块和协作模块，媒体模块提供音视频服务，通过SIP协议将音视频传输到会议各与会终端；协作模块负责处理批注数据，通过基于TCP的私有协议将数据传输到各协作设备。触控模块和显示模块分别都与触控显示设备和主机连接，触控显示设备数据通过触控模块传输给主机，主机将处理后数据通过显示模块传输给触控显示设备。本发明中，用户可以将触控显示设备可以作为本地端进行批注标记，同其他与会端实时交互；也可以将电子白板设备作为本地端进行批注标记，将信息交互显示在触控显示设备上。

一种会议系统，是本发明一种信息交互系统的应用，包括所述的一种信息交互系统。所述会议系统为本地会议系统或远程会议系统。本发明会议系统支持本地会议和远程会议，远程会议时每个会议室均与云服务器连接，不同的会议室注册在指定的云服务器中，彼此相连，形成互动。所述会议系统除了信息交互系统，还包括对应的会议输入输出设备，包括麦克风、摄像头和音频播放设备。除了实体的视频会议室以外，也可以使用个人移动设备参加会议及进行批注标记，如移动电话、个人PC或平板电脑。

本发明在信息互动中只发送笔迹数据，图像共享时任意一方均可自由在触摸显示设备进行书写及辅流共享，本发明支持远程会议中的多方互动式电子白板协作，通过所有设备都开启独立的电子白板程序，书写时只发送笔迹数据，所有参会方收到该笔迹数据后将其显示在屏幕上，进而实现实时互动式白板协作。

3.有益效果

相比于现有技术，本发明的优点在于：

相对其他的技术方案，本技术方案中所述的电子白板可应用于远程会议中，通过所有设备都开启独立的电子白板程序，书写时只发送笔迹数据，所有参会方收到该笔迹数据后将其显示在屏幕上。数据传输只需要传每一条笔迹，数据量小且只需要发送一次，用户停止书写时不需要发送新的数据，对带宽依赖低，同时不会因为网络变差而导致参会方看到的画面变模糊，对网络的要求较低。

附图说明

图1为本发明会议中对共享内容进行标记交互的流程图；

图2为本发明本地会议中电子白板协作应用；

图3为本发明远程会议中电子白板协作应用；

图4为本发明标记交互的流程图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

如图2所示为本地会议中电子白板协作应用的实施例，如图所示电子白板系统包括主机、触控显示设备和电子白板设备，电子白板设备和触控显示设备数据不少于一个；主机与触控显示设备和电子白板设备均连接。主机包括数据处理模块、触控模块、显示模块和网络模块，所述数据处理模块包括媒体模块、协作模块和信令，网络模块包括外部网络和内部子网。触控显示设备，即通常所说的触控TV，当用户在触控显示设备上进行内容批注后，再通过触控模块将USB触控信号传送给主机进行数据处理，触控显示设备通过显示模块和触控模块与主机连接；触摸显示设备的数据通过主机的触控传输给数据处理模块，数据处理模块负责数据处理，处理过的数据又通过显示模块传输给触控显示设备，处理过的数据还通过网络模块传输给电子白板设备显示；电子白板设备接收主机传输的数据信息进行整合，进行显示。主机中的媒体模块提供音视频服务，通过SIP协议将音视频传输到会议各与会终端；协作模块负责处理批注数据，通过基于TCP的私有协议将数据传输到各协作设备，如电子白板设备和触控显示设备等。

会议时，会议系统包括会议室、电子白板系统、音频播放设备、麦克风和摄像头，电子白板系统包括主机、触控显示设备和电子白板设备。在本地会议中，当某一参会方发送需要共享的演示内容时，主机将接收到演示内容通过显示模块传给触控显示设备，演示内容即辅流视频内容，视频信息通过媒体模块收发，视频信息发送端编码，接收端解码后显示到触控显示设备的屏幕上。显示模块接收到绘制线段信息、坐标和压感值后，得到需要绘制的线段和位置，通过图形处理器GPU计算绘制出笔迹，显示到触控显示设备上。本实施例中交互系统使用的是电子白板设备，本发明信息交互系统中也可以使用其他设备进行信息交互，比如手机、个人PC或平板电脑，将设备连入交互系统即可。

如图1所示为本发明会议中对共享内容进行标记交互的流程图，交互步骤如下：

S1：用户创建视频会议，各个参会方通过与会议室连接相继加入到该视频会议中；

S2：某一参会方将需要演示的内容发起共享，共享内容通过网络模块同步到其他参会方终端，在支持显示的终端进行数据展示；视频会议的各参会方终端显示共享的演示内容；

S3：视频会议的各参会方在各种的触控终端上，基于电子白板协作应用，对共享的演示内容进行批注标记交互动作；

S4：用户所做新增的批注通过电子白板系统交互后实时同步并显示在所有的参会终端上；

S5：会议结束后，参会方可选择是否保存共享的内容及演示内容上的标记，如需保存，在会议控制界面点击保存按钮，保存会议中共享内容及所做的交互标记，所需保存的内容存储在当前终端上或其他具有存储能力的外设上，如U盘；如无需保存数据，会议结束，内容及标记不保存。

在上述会议共享内容交互时，电子白板的标记交互如图4所示，详细步骤如下：

步骤1：会议中某一参会方，也就是批注方对共享的内容进行批注；

步骤2：批注方的主机对批注内容使用CPU进行序列化处理，得到并发送绘制线段的属性和ID，包括线段ID，用户ID和时间戳属性；

步骤3：批注方先将先绘制线段的属性和ID等线段信息发送给接收方，也就是显示终端；显示终端接收并记住这些线段信息；

步骤4：批注方随即发送坐标和压感值；

步骤5：显示终端接收这些坐标和压感值，并将坐标和压感值添加至已记录的线段上；

步骤6：显示终端将需要绘制的笔迹信息通过图形处理器GPU计算绘制成图像；批注方发送的批注内容被成功接收并显示在显示终端的显示设备上。

当会议系统中有多个电子白板设备时，主机将从触控显示设备上传输过来的数据通过内部子网，传输给其他设备的电子白板应用，触控显示设备上的内容可同时显示在多个电子白板设备。同时，用户也可在电子白板上进行内容批注，再通过基于TCP的私有协议回传至主机进行数据处理，进而传输至触控TV，实现两边同时显示，互动协作。

本地和内网其他设备电子白板之间的协作数据传输的数据内容和格式，与本地和显示终端之间的传输方式相同，均是通过主机进行数据处理然后输出显示。

绘制线段数据发送给主机，主机接收到触控点信息后，主要处理两个流程，第一是根据触控点信息生成对应的笔迹信息，包括ID、时间戳、准确坐标和压感值等，根据这些信息通过图形处理器GPU计算绘制生成笔迹显示到触控显示设备。第二是同时将笔迹发送给显示终端参与方和本地内网其他设备的电子白板，根据本地终端与显示终端终端之间按照约定好的规则，将序列化为二进制的笔迹信息，也就是批注信息发送给显示终端与会方，首先发送线段ID、用户ID和时间戳属性信息，线段ID是拥有者本地生成的唯一标识、用户ID是标记线段的拥有者，时间戳是标记线段生成时间的属性信息，电子白板设备和主机端同步进行图像绘制及显示。线段信息和点坐标压感值数据分开传输，保证了数据传输的的实时性，若数据一起发送，为了拿到完整的点坐标信息，就只能等本地完整的画完一条线后才发给显示终端，这样做不到双方显示的实时性。

主机再发送实际点坐标和压感值，由点构成线，压感值可控制线段的宽度。显示终端收到信息后按照约定的规则反序列化后得到笔迹信息。绘制的时候，绘制方的主机使用CPU进行序列化处理，本地同显示终端约定好序列化规则，本地序列化数据发送给显示终端，显示终端收到数据后进行反序列化得到真正数据。发送给显示终端绘制线段的属性和ID，显示终端会记住这些信息。然后再发送坐标和压感值，显示终端将这些独立的坐标和压感值添加到已经记录的线段上，再使用本地的计算能力绘制成图像，将需要绘制的笔迹信息通过图形处理器GPU计算绘制成图像。

实施例2

本实施例与实施例1基本相同，不同之处在于，本实施例在远程会议中进行交互，如图3所示为远程会议中电子白板协作应用系统，远程会议系统包括若干个会议室，每个会议室的网络模块均与云服务器连接；云服务器包括信令、音视频MCU和协作模块，不同的会议室注册在指定的云服务器中，各会议室通过网络彼此相连，传输数据形成互动。图3所示远程会议包括四个会议室，会议室1和会议室2组成与实施例1所述本地会议会议室相同，会议室3为手机，会议室4为个人PC，会议过程中，四个会议室通过云服务器数据共享，云服务器中与各会议室的网络模块连接传输数据，当有与会方对会议内容进行批注标记，批注信息在该会议室的主机序列化处理，通过当前会议室主机中网络模块的内部子网和外部网络实时传输到当前会议室的电子白板设备和云服务器，云服务器将对应信令发送至远程会议中其他与会端的网络模块，进而发送给其他与会端的电子白板设备或触控显示设备显示。

每一个会议室的协作交互逻辑与本地会议相同，批注端对显示内容进行批注，数据发送给主机，主机得到绘制线段的属性和ID，包括线段ID、用户ID和时间戳属性，所述绘制线段的属性和ID通过主机的网络模块发送给显示终端，显示终端接收并记住绘制线段信息，批注方再发送坐标和压感值，显示终端接收到坐标和压感值后添加到已记录的线段上，通过图形处理器GPU计算绘制成图像，演示的内容和相关的批注分为两层，在所有入会的终端上显示。入会终端支持触控即也可以同时进行批注书写，其书写的批注内容所有终端可见。

同时远程会议系统可实现多地同时操作，各会议室之间实时传输，没有优先级。任意与会方都可以发送消息，与会方发送的信息实时传输。远程会议系统中，会议室可位于不同的地点，除了实体的视频会议室以外，也可以使用个人移动设备参加会议，如移动电话、个人PC或平板电脑，需要批注标记时，移动电话和平板通过触摸输入，PC通过鼠标输入。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。