具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本邻域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参考图1，图1是本实施例的基于边缘计算的实时交互体感系统，其包括智能终端1，智能电视2，其中中能终端1可以是手机、平板电脑等；智能电视2的可以是安装有安卓等智能操作系统的电视。更为具体的智能终端1的硬件性能比智能电视的硬件性能要好，本实施例的硬件性能主要是指CPU算力以及GPU渲染能力。一般的智能终端1可以运行有操作系统，例如安卓等，其上还运行有应用程序。智能电视2也运行有操作系统，例如安卓，其上还运行有应用程序。智能终端1与智能电视可以通过无线的方式进行通信，例如通过WIFI、蓝牙进行通信。在使用WIFI进行通信时，需要使用路由器或交换机，本实施例未示出，但其通信的方式属于本领域的公知的手段。

具体的，参考图2以及图3，在智能电视2上的应用程序至少包括如下几个部分：网络协议层、数据解码处理层、应用逻辑控制层、视觉渲染层。具体的上述四个层可以单独由一个应用程序实现，也可以由多个应用程序实现。

其中，网络协议层负责与智能终端1进行网络通信并接收从智能终端1传送的数据。具体的网络协议层可以是UDP或TCP协议。

为降低通信带宽与优化通信时延，通信数据可以进行编码，例如信源编码、熵编码。数据解码处理层负责将编码数据做解码运算处理，对数据进行简单的去噪滤波以发送给应用逻辑控制层。

应用逻辑控制层负责利用接收到的动作捕捉或面部识别数据做应用逻辑处理，并将处理结果反馈至视觉渲染层。

具体的应用逻辑控制层为使用C#、Lua、蓝图等开发的用于进行应用逻辑控制的功能。

视觉渲染层根据应用逻辑控制层的处理结果进行渲染，以反馈给用户相应交互视觉信号。

所述视觉渲染层为Unity、UE4等渲染引擎。

具体的，智能电视2采用Android操作系统，通过主流游戏引擎，如：Unity、UnrealEngine、Cocos2dx等开发的上层应用部署在智能电视2。这些上层应用采用游戏脚本(Script)来控制游戏交互，或场景交互逻辑。

在智能终端1上的应用程序至少包括如下几个部分：传感器采集层、核心计算层、网络协议层、UI交互层。具体的上述四个层可以单独由一个应用程序实现，也可以由多个应用程序实现。

其中，传感器采集层驱动智能终端1的传感器实时采集图像序列，具体的本实施例的传感器为图像传感器，并传递给核心计算层进行深度学习引擎高性能计算。本实施例中的核心计算层为CPU或/和GPU计算资源。核心计算层计算得到人体关键点数据、面部表情及手势位姿等交互数据递交至网络协议层。

网络协议层将核心计算层得到的交互数据进行编码，并实时传输至智能电视2用于交互逻辑处理。

UI交互层指用户通过下载应用程序APP的形式与智能电视2连接并实现实时传输数据，主要用于上层APP界面与用户交互。

参考图1-3,本实施例提供了一种基于边缘计算的实时交互体感系统，所述包括智能终端1，智能电视2；所述智能终端1包括如下单元：传感器采集层、核心计算层、第二网络协议层、UI交互层；智能电视2包括如下单元：所述智能电视2包括如下：第一网络协议层、数据解码处理层、应用逻辑控制层、视觉渲染层；

其中所述传感器采集层用于实时采集图像序列，并传递给核心计算层；

核心计算层计算得到人体交互数据；

具体的所述人体交互数据包括：人体关键点数据、面部表情或手势位姿；

第二网络协议层将核心计算层得到的交互数据进行编码，并实时传输至智能电视2用于交互逻辑处理；

UI交互层用于与用户交互；

第一网络协议层用于与智能终端1进行网络通信并接收从智能终端1传送的数据；

数据解码处理层将编码数据做解码运算处理并发送给应用逻辑控制层。

应用逻辑控制层利用接收到的人体交互数据做应用逻辑处理，并将处理结果反馈至视觉渲染层。

视觉渲染层根据应用逻辑控制层的处理结果进行渲染。

本实施例采用以智能手机作为边缘计算媒介，与大屏终端系统进行通信交互，而大屏终端主要提供视觉渲染与逻辑交互功能，因此其不需要复杂算力，克服了大屏终端的算力瓶颈，达到实时人机交互与沉浸式体感体验的需求。大大降低了智能终端布局低端市场的门槛。智能手机作为普及终端，利用其算力资源弥补智能大屏终端算力不足。实现家庭沉浸式交互，娱乐场所沉浸式交互的市场需求。同时节约硬件成本，通过借助智能手机的算力实现大屏渲染，弥补手机屏幕的空间不足之处。

智能电视2在开启启动时，可以根据本地局域网自动搜索智能终端，并进行握手配对，以实现通信。所述智能终端1与智能电视2的通信，可以采用局域网例如WIFI或自组织网络的形式进行。

具体的，自组织网络通常采用智能终端1的个人热点，通过激活个人热点使大屏终端搜索配对连接。采用自组织网络进行通信是，需要配置热点名称以及DNS地址。

作为实现智能终端1与智能电视2通信的另一种方式是通过本地第三方WIFI路由器，使智能终端1和大屏终端连接同一WiFI网络。通过IEEE802.11无线网络协议进行数据传输。

本地无线局域网通信配对环节采用搜索算法。该方法包括如下步骤如：

S01.确保智能终端与大屏终端连接同一WIFI网络

S02.智能终端端暴露本网络下IP地址，监听某一端口如8080

S03.大屏终端获取本地子网掩码，譬如202.112.176.xx

S04.遍历最后一位xx从00-255开启4线程友好连接，直到连接配对手机端成功，方停止搜索地址。

本实施例通过WIFI的形式来建立智能终端1与智能电视通信。

进一步的，在智能终端1的核心计算层，接收智能终端1的摄像头采集的RGB数据，并通过卷积神经网络层进行计算。计算输出的结果为骨骼或手、面部关键点坐标或手势状态。

本实施例采用卷积神经网络来对获取的图像进行处理以获得交互数据。本实施例采用的一个卷积神经网络的为MobileNet以及CPM结构，最终输出Heatmap关键点图，其具体结构如图4-56所示，其中图6是本实施例使用的CPM具体结构。

其中输入尺寸为224x224 Conv为普通卷积层，Conv dw为基于通道的卷积层depthwise convolution。骨干结构输出为28x28x256大小的特征图。MobileNet网络之后级联卷积姿态向量机Convolutional Pose Machine网络。

参考图6，输入F的维度为28x28x256 C为3x3卷积核或1x1卷积核，采用两阶段双通道卷积最终输出22x22x14维度的人体骨骼特征图。其特征图可见图7所示。特征图有14个通道，分别对应14个骨骼躯干。

智能终端1的核心计算层计算输出的结果为骨骼或手、面部关键点坐标或手势状态。其中，关键点坐标后处理计算源于神经网络中的特征图输出，如图7所示。根据网络输出的特征图，得出人体关键点坐标如下：

p_k＝arg max_(i,j)H_k(i,j)

其中，p_k为第k个关键点的坐标，H_k为第k个网络输出特征图。p_k为2D坐标，其值记为(x,y)，其中0<＝x<＝w；且0<＝y<＝h；此处w、h为128。根据特征图输出的坐标整数为相对128x128尺寸的坐标。手部关键点与面部关键点同理以此类推。

为了减少通信的数据量，可以对输出的人体交互数据，例如人体关键坐标点、手部关键点、面部关键点进行编码以减少数据量。

本实施例使用霍夫曼编码对输出的人体交互数据进行编码。霍夫曼编码需要一个针对性码本才能更好的压缩数据量，本实施例根据获得的人体交互数据进行先验学习，并给出一个霍夫曼树，从而可以提高人体交互数据的压缩率，并减少通信的数据量，较少延时，以提高智能大屏的体感交互体验。

本实施例根据0-128这129个符号采用霍夫曼编码，根据信源符号0-128记为第i个符号，为确定霍夫曼树，本实施例通过随机采样的办法，测试1000个人体交互动作视频(0<k<＝1000),统计符号出现的频率如下：

其中，T为每个视频中的帧数目(为方便测试，对于任意视频，T为常数。本实施例通过先验统计学知识构造霍夫曼树。

根据以下步骤构造霍夫曼树：

S41、将信源符号C的概率按降序排队。

S42、把两个最小的概率相加，并继续这一步骤，始终将较高的概率分支放在右边，直到最后变成概率1。

S43、画出由概率1处到每个信源符号的路径，顺序记下沿路径的0和1，所得就是该符号的霍夫曼码字。

S44、将每对组合的左边一个指定为0，右边一个指定为1。

图8举了一个简单的信源编码霍夫曼树示例，在图8中，本实施例仅以1-6 6个符号为例进行说明，其余122个符号以此类推。根据上述先验知识建树过程，把建好的霍夫曼树存入智能电视2与智能终端1。当数据通过网络层从之智能终端发送至大屏终端时，根据事先建立的霍夫曼树进行熵解码，还原数据，并交付至上层做处理。

对于2D骨骼关键点特征图Heatmap(22x22x14)，将22x22的特征图上采样至128x128。给定14个骨骼关节，得出14对坐标(x₀，y₀),(x₁,y₁),(x₂,y₂)…(x₁₃,y₁₃)；其中，对于任意的x坐标值x_k(0<＝k<＝13)对于任意坐标值y_k(0<＝k<＝13),满足0<＝x_k<＝128且0<＝y_k<＝128.则定义129个符号，c1,c2…c129。根据上述的建立的霍夫曼树对上述14个骨骼关节进行编码。

本实施例针对人体交互数据建立一个霍夫曼编码树需要一个针对性码本才能更好的压缩数据量，本实施例根据获得的人体交互数据进行先验学习，并给出一个霍夫曼树，从而可以提高人体交互数据的压缩率，并减少通信的数据量，较少延时，以提高智能大屏的体感交互体验。

实施例二

参考图9，本实施例公开了一种基于边缘计算的实时交互体感方法，所述方法运行在实施例一的系统上，其包括如下步骤：

S1，智能终端1接收获取人体交互数据的命令；

具体的所述智能终端1通过第二网络协议层接收到智能电视2的获取人体交互数据的命令。

S2，智能终端1控制传感器获取人体图像序列；

具体的，智能终端1通过传感器层控制智能终端1的前置或后置摄像头获取人体的图像序列。

S3，智能终端1通过卷积神经网络处理所述人体图像序列以获得人体交互数据；

智能终端通过核心计算层，对人体的图像序列进行计算并输出人体交互数据。

具体的计算过程可参考实施例一的内容，本实施例不在赘述。

S4，智能终端1对所述人体交互数据进行编码得到编码后的人体交互数据；

智能终端1通过核心计算层对人体交互数据进行编码，具体的编码过程可参考实施例一种的编码，本实施例不在赘述。

S5，智能终端1将所述编码后的人体交互数据发送给智能电视；

智能终端1通过第二网络协议层将人体交互数据发送给智能电视。

S6，智能电视2接收所述编码后的人体交互数据；并解码所述人体交互数据；

智能电视2通过第一网络协议层接收编码后的人体交互数据，并通过数据解码处理层对所述编码后的人体交互数据进行解码以获得人体交互数据。

S7、智能电视2根据所述人体交互数据进行交互逻辑控制；

智能电视的应用逻辑控制层根据人体交互数据，生成交互逻辑控制指令。

S8、智能电视根据所述交互逻辑进行渲染。

本实施例采用以智能手机作为边缘计算媒介，与大屏终端系统进行通信交互，而大屏终端主要提供视觉渲染与逻辑交互功能，因此其不需要复杂算力，克服了大屏终端的算力瓶颈，达到实时人机交互与沉浸式体感体验的需求。大大降低了智能终端布局低端市场的门槛。智能手机作为普及终端，利用其算力资源弥补智能大屏终端算力不足。实现家庭沉浸式交互，娱乐场所沉浸式交互的市场需求。同时节约硬件成本，通过借助智能手机的算力实现大屏渲染，弥补手机屏幕的空间不足之处。

本实施例针对人体交互数据建立一个霍夫曼编码树需要一个针对性码本才能更好的压缩数据量，本实施例根据获得的人体交互数据进行先验学习，并给出一个霍夫曼树，从而可以提高人体交互数据的压缩率，并减少通信的数据量，较少延时，以提高智能大屏的体感交互体验。

实施例三

参考10，图10是本实施例的基于边缘计算的实时交互体感处理设备的结构示意图。该实施例的基于边缘计算的实时交互体感处理设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述基于边缘计算的实时交互体感处理方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，

以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于边缘计算的实时交互体感处理设备20中的执行过程。例如，所述计算机程序可以被分割成实施例一中的各个模块,各模块具体功能请参考上述实施例的工作过程，在此不再赘述。

所述基于边缘计算的实时交互体感处理设备20可包括，但不仅限于，处理器21、存储器22。本邻域技术人员可以理解，所述示意图仅仅是基于边缘计算的实时交互体感处理设备20的示例，并不构成对基于边缘计算的实时交互体感处理设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于边缘计算的实时交互体感处理设备20还可以包括输入输出设备、网络接入设备、总线等。

所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述基于边缘计算的实时交互体感处理设备20的控制中心，利用各种接口和线路连接整个基于边缘计算的实时交互体感处理设备20的各个部分。

所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于边缘计算的实时交互体感处理设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述基于边缘计算的实时交互体感处理设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本邻域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。