阅读说明：本技术 视频数据传输方法、视频数据处理方法、装置及电子设备 (Video data transmission method, video data processing device and electronic equipment ) 是由 景文鹏 蔡昊元 路兆铭 温向明 王鸿璋 于 2020-03-11 设计创作，主要内容包括：本公开实施例提供了一种视频数据传输方法、视频数据处理方法、装置和电子设备。该视频数据传输方法包括获得视频数据的质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息,基于该质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息,从该多个超分辨率模型中确定一个能够满足该质量要求且输入分辨率最低的超分辨率模型作为目标模型,确定与该目标模型对应的目标比特率,通过该基站以及卫星链路向该视频服务器发送视频数据请求,该视频数据请求包括该目标比特率,以及经由该边缘服务器接收第一视频数据。从而可动态选择最优的超分辨率模型,在保证视频质量的同时实现节省卫星带宽资源的目的。(The embodiment of the disclosure provides a video data transmission method, a video data processing device and electronic equipment. The video data transmission method includes obtaining a quality requirement of video data, a current cached data amount and current computing resource usage information of an edge server, determining a super-resolution model which can meet the quality requirement and has the lowest resolution as a target model from a plurality of super-resolution models based on the quality requirement, the current cached data amount and the current computing resource usage information of the edge server, determining a target bit rate corresponding to the target model, sending a video data request to the video server through the base station and a satellite link, the video data request including the target bit rate, and receiving first video data via the edge server. Therefore, the optimal super-resolution model can be dynamically selected, and the purpose of saving satellite bandwidth resources is achieved while the video quality is ensured.)

视频数据传输方法、视频数据处理方法、装置及电子设备

技术领域

本公开涉及通信技术领域，具体涉及一种视频数据传输方法、视频数据处理方法、装置及电子设备。

背景技术

随着移动通信技术和互联网技术的发展，视频已经成为最流行的内容传播方式之一。但是，由于视频传输对于网络环境有着较高的要求，在某些地面通信网络覆盖较差,或是发生自然灾害而导致地面通信网络受损的地区，难以进行高质量，低时延的视频传输。针对这一问题，卫星通信可以发挥其覆盖面广，部署便利的优势，通过部署卫星通信设施，实现视频传输的目的。但是卫星通信同时又存在着低带宽，高成本的问题，如果需要流畅地传输高清视频，要占用较多的卫星链路带宽，成本很高。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种视频数据传输方法、视频数据处理方法、装置及电子设备。

第一方面，本公开实施例中提供了一种视频数据传输方法，该方法包括获得视频数据的质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，其中，所述边缘服务器部署在基站，通过卫星链路与视频服务器可通信连接，所述边缘服务器中部署有多个超分辨率模型，基于所述质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，从所述多个超分辨率模型中确定一个能够满足所述质量要求且输入分辨率最低的超分辨率模型作为目标模型，确定与所述目标模型对应的目标比特率，通过所述基站以及卫星链路向所述视频服务器发送视频数据请求，所述视频数据请求包括所述目标比特率，以及经由所述边缘服务器接收第一视频数据，其中，所述第一视频数据包括所述边缘服务器通过所述目标模型处理第二视频数据得到的视频数据，所述第二视频数据包括所述视频服务器根据所述目标比特率检索得到并发送到所述边缘服务器的视频数据。

可选地，获得当前已缓存的数据量以及边缘服务器当前的计算资源使用信息包括调用用户终端视频播放程序获得当前已缓存的数据量，以及调用边缘服务器的系统接口获得边缘服务器当前的计算资源使用信息。

可选地，所述视频数据的质量要求包括视频数据的分辨率要求和峰值信噪比要求。

可选地，所述基于所述质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，从所述多个超分辨率模型中确定一个能够满足所述质量要求且输入分辨率最低的超分辨率模型作为目标模型包括，获得多个超分辨率模型中的每个超分辨率模型的输入分辨率、缩放因子、参数数量，基于所述输入分辨率、缩放因子、参数数量以及所述计算资源使用信息，确定每个超分辨率模型处理的输出分辨率、时延和峰值信噪比，基于所述当前已缓存的数据量确定可接受的最长时延，将所述视频数据的分辨率要求、峰值信噪比要求以及所述最长时延作为约束条件，确定所述输出分辨率、时延和峰值信噪比均满足所述约束条件的一个或多个超分辨率模型作为候选模型，以及从所述候选模型中确定输入分辨率最低的超分辨率模型作为目标模型。

可选地，所述视频数据请求还包括所述目标模型的识别信息。

可选地，所述计算资源使用信息包括计算资源使用率或计算资源空闲率。

第二方面，本公开实施例中提供了一种视频数据处理方法，包括，响应于接收到调用请求，发送计算资源使用信息，接收来自所述用户终端的视频数据请求，将所述视频数据请求通过卫星链路转发到视频服务器，接收来自所述视频服务器的第二视频数据，基于所述视频数据请求，从已部署的多个超分辨率模型中确定目标模型用于处理所述第二视频数据，得到第一视频数据，以及将所述第一视频数据发送到所述用户终端。

第三方面，本公开实施例中提供了一种视频数据传输装置，包括获得模块、第一确定模块、第二确定模块、第一发送模块以及第一接收模块。获得模块，被配置为获得视频数据的质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，其中，所述边缘服务器部署在基站，通过卫星链路与视频服务器可通信连接，所述边缘服务器中部署有多个超分辨率模型。第一确定模块，被配置为基于所述质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，从所述多个超分辨率模型中确定一个能够满足所述质量要求且输入分辨率最低的超分辨率模型作为目标模型。第二确定模块，被配置为确定与所述目标模型对应的目标比特率。第一发送模块，被配置为通过所述基站以及卫星链路向所述视频服务器发送视频数据请求，所述视频数据请求包括所述目标比特率。第一接收模块，被配置为经由所述边缘服务器接收第一视频数据，其中，所述第一视频数据包括所述边缘服务器通过所述目标模型处理第二视频数据得到的视频数据，所述第二视频数据包括所述视频服务器根据所述目标比特率检索得到并发送到所述边缘服务器的视频数据。

可选地，获得模块包括第一调用子模块和第二调用子模块。第一调用子模块被配置为调用用户终端视频播放程序获得当前已缓存的数据量。第二调用子模块被配置为调用边缘服务器的系统接口获得边缘服务器当前的计算资源使用信息。

可选地，所述视频数据的质量要求包括视频数据的分辨率要求和峰值信噪比要求。

可选地，所述第一确定模块包括获得子模块、参数确定子模块、约束条件确定子模块、候选模型确定子模块以及目标模型确定子模块。获得子模块被配置为获得多个超分辨率模型中的每个超分辨率模型的输入分辨率、缩放因子、参数数量。参数确定子模块被配置为基于所述输入分辨率、缩放因子、参数数量以及所述计算资源使用信息，确定每个超分辨率模型处理的输出分辨率、时延和峰值信噪比。约束条件确定子模块被配置为基于所述当前已缓存的数据量确定可接受的最长时延，将所述视频数据的分辨率要求、峰值信噪比要求以及所述最长时延作为约束条件。候选模型确定子模块被配置为确定所述输出分辨率、时延和峰值信噪比均满足所述约束条件的一个或多个超分辨率模型作为候选模型。目标模型确定子模块被配置为从所述候选模型中确定输入分辨率最低的超分辨率模型作为目标模型。

可选地，所述视频数据请求还包括所述目标模型的识别信息。

可选地，所述计算资源使用信息包括计算资源使用率或计算资源空闲率。

第四方面，本公开实施例中提供了一种视频数据处理装置，包括第二发送模块、第二接收模块、第三发送模块、第三接收模块、处理模块以及第四发送模块。第二发送模块，被配置为响应于接收到调用请求，发送计算资源使用信息。第二接收模块，被配置为接收来自所述用户终端的视频数据请求。第三发送模块，被配置为将所述视频数据请求通过卫星链路转发到视频服务器。第三接收模块，被配置为接收来自所述视频服务器的第二视频数据。处理模块，被配置为基于所述视频数据请求，从已部署的多个超分辨率模型中确定目标模型用于处理所述第二视频数据，得到第一视频数据。第四发送模块，被配置为将所述第一视频数据发送到所述用户终端。

第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上所述的方法。

第六方面，本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

第七方面，本公开实施例提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出了根据本公开实施例的应用场景的示意图；

图2示出根据本公开实施例的视频数据传输方法的流程图；

图3示出根据本公开的实施例的从多个超分辨率模型中确定目标模型的流程图；

图4示出根据本公开的实施例的视频数据处理方法的流程图；

图5示出根据本公开的实施例的视频数据传输装置的结构框图；

图6示出根据本公开的实施例的第一确定模块的结构框图；

图7示出根据本公开的实施例的视频数据处理装置的结构框图；

图8示出根据本公开的实施例的电子设备的结构框图；以及

图9示出适于实现根据本公开实施例的视频数据传输方法或视频数据处理方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在本公开中，应理解，诸如“包括”、“包含”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

卫星通信存在低带宽，高成本的问题，如果需要流畅地传输高清视频，要占用较多的卫星链路带宽，成本很高。为了解决上述问题，本公开实施例在卫星通信网络中引入移动边缘计算(MEC，Mobile Edge Computing)技术，在空地异构网络中部署MEC服务器，运行视频超分辨率重建算法，在保证视频质量的同时，节省卫星链路的带宽资源。

移动边缘计算(MEC)利用无线接入网络就近提供电信用户IT所需服务和云端计算功能，而创造出一个具备高性能、低延迟与高带宽的电信级服务环境。

图1示出了根据本公开实施例的应用场景的示意图。可以理解，图1所示应用场景仅为了说明本公开的概念和原理，而并非意味着本公开仅适用于这样的应用场景。

如图1所示，根据该实施例的系统架构100为一种配备有移动边缘计算节点的空地异构视频超分辨率传输网络，可以包括用户终端101、102、103，边缘服务器104(即MEC服务器)、基站105、卫星端站106、卫星107、卫星主站108、核心网109以及视频服务器110。用户终端101、102或103通过基站105连接到卫星链路。基站105处部署有边缘服务器104，用于运行超分辨率算法。基站105通过卫星端站106，卫星107，卫星主站108连接到核心网109，从而获取保存在视频服务器110中的视频数据。

用户可以使用用户终端101、102、103通过卫星链路与视频服务器110交互，以接收或发送消息等。用户终端101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。用户终端101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

基站105用于通过卫星链路(包括卫星端站106、卫星107以及卫星主站108)与核心网109通信。根据本公开实施例，在基站侧设置有边缘服务器104(即MEC服务器)，用于运行超分辨率(Super-Resolution)算法，通过硬件或软件的方法提高原有图像的分辨率。

视频服务器110接入到核心网109，可以是包括但不限于提供各种视频数据的服务器，例如对用户终端101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。视频服务器110可以针对接收到的视频数据请求检索视频数据，并将检索到的视频数据反馈给用户终端101、102、103。

根据本公开实施例，用户终端101、102或103发出视频数据请求，通过基站105、卫星链路、核心网109传送到视频服务器110。视频服务器110收到请求，将分辨率较低的视频数据的文件通过核心网109，卫星链路传送到基站105。基站侧的边缘服务器104接收视频数据，并运行超分辨率重建算法，获得高清晰度视频。基站104将超分辨率重建后的视频文件发送给用户终端101、102或103。

在以上视频数据传输流程中，边缘服务器104端所运行的超分辨率算法采用的是目前效果较好的基于神经网络的算法。一般来说，神经网络模型的参数数量对于运行的性能有很大影响，参数数量越多，运行速度越慢，占用计算资源越多，但处理后的视频质量越高，所以视频的高质量和低时延是不能兼得的。本公开实施例的方法可以在保证用户终端视频播放流畅的同时，充分利用边缘服务器104的计算资源进行超分辨率处理，尽可能降低卫星链路带宽的占用。

应该理解，图1中的用户终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户终端、网络和服务器。

需要说明的是，本公开实施例所提供的视频数据传输方法一般可以由用户终端101、102、103执行，或者也可以由不同于用户终端101、102、103的其他用户终端执行。相应地，本公开实施例所提供的视频数据传输装置也可以设置于用户终端101、102、103中，或设置于不同于用户终端101、102、103的其他用户终端中。

本公开实施例所提供的视频数据处理方法一般可以由边缘服务器104执行，或者也可以由不同于边缘服务器104且能够与用户终端101、102、103和/或边缘服务器104通信的服务器或服务器集群执行。相应地，本公开实施例所提供的视频数据处理装置可以设置于边缘服务器104中，或设置于不同于边缘服务器104且能够与用户终端101、102、103和/或边缘服务器104通信的服务器或服务器集群中。

图2示出根据本公开实施例的视频数据传输方法的流程图。

如图2所示，该方法包括操作S210-S250。

在操作S210，获得视频数据的质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息。其中，该边缘服务器部署在基站，通过卫星链路与视频服务器可通信连接，该边缘服务器中部署有多个超分辨率模型。

根据本公开实施例，视频数据的质量要求可以包括视频数据的分辨率要求和峰值信噪比要求。其中，分辨率由视频的高度和宽度表示，单位是像素。峰值信噪比(PSNR，Peaksignal-to-noise ratio)是一种图像客观评价指标，在本公开实施例中，重建后的输出视频与原始高清视频比较所得的PSNR指标被用于视频超分辨率重建质量的衡量，这个指标数值越高，则说明视频重建质量越高。通常地，PSNR高于40dB说明图像质量非常接近原始图像；在30～40dB通常表示图像质量的失真可以察觉但可以接受；在20～30dB说明图像质量差；PSNR低于20dB图像不可接受。

根据本公开实施例，视频数据的质量要求可以是由用户确定的，例如，可以根据用户的输入确定视频数据的质量要求。进一步地，还可以提供默认值，在用户对某一参数未做更改时以该参数的默认值作为视频数据的一个质量要求。

根据本公开实施例，用户终端需要获取目前已经缓存完毕的数据量，根据这个参数调整边缘服务器处理时延上限，缓存数据量越多，可以接受的边缘服务器处理时延越高，从而可以选择参数数量更多的模型，以达到更好的视频重建效果，进一步降低对输入分辨率的要求。

根据本公开实施例，用户终端可以通过检测自身的状态获取用户终端目前缓存的数据量。例如，可以通过调用用户终端视频播放程序获得当前已缓存的数据量。用户终端通过视频播放程序播放视频数据，视频播放程序可以提供数据接口，用户终端的处理器调用该接口时可以获得当前已缓存的数据量。该数据量可以以时长表示，例如已缓存了5秒的视频长度。

根据本公开实施例，用户终端可以在任意时刻调用边缘服务器的系统接口获得边缘服务器当前的计算资源使用信息。边缘服务器可以是单台服务器也可以是服务器集群。边缘服务器在向一个或多个用户终端提供服务时，通过部署在边缘服务器的多个超分辨率模型重建视频数据，消耗边缘服务器的计算资源。边缘服务器可以向外部提供查询接口，以便用户终端可以随时查询边缘服务器当前的计算资源使用信息。

根据本公开实施例，该计算资源使用信息例如可以包括计算资源使用率或计算资源空闲率。计算资源使用率或计算资源空闲率可以根据边缘服务器的CPU，GPU，内存占用率计算得出，反应当前时刻计算资源的使用状态。

在操作S220，基于所述质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，从所述多个超分辨率模型中确定一个能够满足所述质量要求且输入分辨率最低的超分辨率模型作为目标模型。

根据本公开实施例，超分辨率算法可以通过神经网络模型实现，模型输入为低分辨率视频，经过神经网络算法的处理后，输出的是高分辨率视频。在边缘服务器中，可以部署有多个超分辨率模型，不同的超分辨率模型可以具有不同的输入分辨率、缩放因子、参数数量等，这将决定输出分辨率和时延的大小。

其中，输入分辨率由视频的高度和宽度表示，单位是像素，不同的超分辨率模型可以对输入分辨率有不同的要求。

缩放因子是指经过超分辨率算法，视频分辨率得到了一定倍数的增加，以同一个倍数放大视频的高度和宽度，这个倍数被称为缩放因子。

在超分辨率模型中，每个神经元都包含参数。模型参数的数量影响着超分辨率的效果以及超分辨率处理的时延，以及输出视频的PSNR指标。一般来说，参数数量越多，超分辨率处理的效果越好，但处理时延越高。

由于边缘服务器端的计算资源使用情况，终端的视频缓存情况等因素是在不断变化的，所以边缘服务器端需要部署多个不同的超分辨率模型。在视频传输过程中，根据计算资源，缓存情况等多种因素，实时选择最优的超分辨率模型，即，在保证用户对于输出视频质量要求的限制下，选择一个输入分辨率最低的超分辨率模型。这样，既能保证终端的观看体验，又能够最大限度的节省宝贵的卫星链路带宽。

下面结合图3，对本公开实施例的确定目标模型的方法进行示例性说明。

图3示出根据本公开的实施例的从多个超分辨率模型中确定目标模型的流程图。

如图3所示，该方法包括操作S310-S350。

在操作S310，获得多个超分辨率模型中的每个超分辨率模型的输入分辨率、缩放因子、参数数量。

例如，在边缘服务器部署有n个视频超分辨率算法SR_i(i＝1,…,n)，每种算法支持的输入视频分辨率为r_i，每种算法的缩放因子为f_i，每种超分辨率模型的参数数量为m_i。

在前述操作中还获得了边缘服务器在当前时刻t的计算资源使用信息，例如计算资源空闲率Cal(t)，以及视频播放终端在时刻t已经缓存下来的数据量B(t)。

在操作S320，基于所述输入分辨率、缩放因子、参数数量以及所述计算资源使用信息，确定每个超分辨率模型处理的输出分辨率、时延和峰值信噪比。

根据本公开实施例，经超分辨率模型SR_i处理的输出分辨率为满足

根据本公开实施例，在时刻t，经超分辨率模型SR_i处理的时延T(t)，可以表示为T(t)＝f(r_i，f_i，m_i，Cal(t))，其中，函数关系f可以通过大量实验获得。

根据本公开实施例，经超分辨率模型SR_i处理后的视频，与原始高清视频比较所得的PSNR指标，记为P，可以表示为P＝g(r_i，f_i，m_i，Cal(t))，函数关系g可以通过大量实验获得。

在操作S330，基于所述当前已缓存的数据量确定可接受的最长时延，将所述视频数据的分辨率要求、峰值信噪比要求以及所述最长时延作为约束条件。

根据本公开实施例，为了保证视频播放顺畅,可接受的最长时延h(B(t))根据B(t)确定，须满足约束条件T(t)≤h(B(t))，函数关系h可以通过大量实验获得，其物理意义是在缓存量为B(t)条件下，为了保证视频流程播放，可接受的最长超分辨率处理时延。

除此以外，还需满足用户对于视频质量的最低要求，包括用户要求的最低分辨率r_min以及用户要求的最低PSNR指标P_min：

(1)超分辨率处理后输出视频的分辨率高于r_min，即r_i*f_i≥r_min；

(2)PSNR指标高于P_min，即P≥P_min。

在操作S340，确定所述输出分辨率、时延和峰值信噪比均满足所述约束条件的一个或多个超分辨率模型作为候选模型。

在操作S350，从所述候选模型中确定输入分辨率最低的超分辨率模型作为目标模型。

根据本公开实施例，在操作S330确定的约束条件下，可以确定优化目标为尽可能节省卫星链路的带宽：在时刻t，用户终端从{SR₁，...，SR_n}中选择输入分辨率r_i最小(minr_i)且满足上述限制条件的模型SR′，将SR′作为t+1时刻调用的超分辨率模型，即目标模型，并向视频服务器请求SR′对应的分辨率为r′的视频块。

在时刻t,对于每一种模型SR_i计算T_i和P_i

T_i＝f(r_i，f_i，m，Cal(t))

P_i＝g(r_i，f_i，m，Cal(t))

选择其中满足条件r_i*f_i≥r_min，T_i≤h(B(t))，P_i≥P_min的算法，再从其中选择r_i最小的模型，作为目标模型SR′。

返回参考图2。在操作S230，确定与所述目标模型对应的目标比特率。比特率，也称码率，是指每秒传送的比特(bit)数。单位为bps(Bit Per Second)，比特率越高，每秒传送数据就越多，画质就越清晰。根据本公开实施例，不同的超分辨率模型与比特率之间具有对应关系，可以根据所确定的目标模型确定对应的目标比特率。

在操作S240，通过所述基站以及卫星链路向所述视频服务器发送视频数据请求，所述视频数据请求包括所述目标比特率。

在操作S250，经由所述边缘服务器接收第一视频数据。

根据本公开实施例，用户终端通过基站，卫星链路向视频服务器发送视频数据请求，请求内容中包含所确定的目标比特率。视频服务器收到请求，检索相应比特率的视频文件，经过卫星链路发送给边缘服务器。该视频服务器根据所述目标比特率检索得到并发送到所述边缘服务器的视频文件，此处称之为第二视频数据。边缘服务器收到该第二视频数据后，调用操作S220所确定的目标模型，经过超分辨率模型处理得到第一视频数据，由基站发送到用户终端。

根据本公开实施例，该视频数据请求可以包括目标模型的识别信息，以便在视频数据请求到达基站侧时，可以根据该视频数据请求，从多个超分辨率模型中确定目标模型。或者，用户终端可以单独向边缘服务器发送该目标模型的识别信息，而并不将其加入视频数据请求中。

根据本公开实施例，考虑到在视频数据传输的过程中，用户终端和边缘服务器的各种参数是在不断变化的，在视频传输时，用户终端可以随时执行以上操作步骤S210～S250，并可以在多个时间段执行多次，以实现动态调整比特率，实时选择最优的超分辨率模型，从而更充分地利用了边缘服务器的计算资源，在满足用户对于视频质量的要求，保证播放流畅度的的同时，有效节省了卫星链路的带宽。

图4示出根据本公开的实施例的视频数据处理方法的流程图。

如图4所示，该方法包括操作S410-S460。该方法可以应用于边缘服务器。

在操作S410，响应于接收到调用请求，发送计算资源使用信息。

例如，在用户终端执行操作如图2所描述的操作S210，调用边缘服务器提供的接口以请求计算资源使用信息时，向该用户终端返回当前的计算资源使用信息。

在操作S420，接收来自所述用户终端的视频数据请求。

根据本公开实施例，该视频数据请求中可以带有目标比特率和目标模型的识别信息，边缘服务器可以根据请求从多个超分辨率模型中确定目标模型。

在操作S430，将所述视频数据请求通过卫星链路转发到视频服务器，以便视频服务器根据请求中携带的目标比特率检索视频数据，并将检索到的第二视频数据通过卫星链路返回边缘服务器。

在操作S440，接收来自所述视频服务器的第二视频数据。

在操作S450，基于所述视频数据请求，从已部署的多个超分辨率模型中确定目标模型用于处理所述第二视频数据，得到第一视频数据。

在操作S460，将所述第一视频数据发送到所述用户终端。

本公开实施例的方法能够在用户终端和视频服务器之间提供边缘计算服务，可以适应地选用不同的超分辨率模型处理低分辨率的视频数据，既保证了用户终端得到的视频质量，又节省了卫星网络的带宽。

图5示出根据本公开的实施例的视频数据传输装置500的结构框图。

如图5所示，该视频数据传输装置500包括获得模块510、第一确定模块520、第二确定模块530、第一发送模块540以及第一接收模块550。

获得模块510被配置为获得视频数据的质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，其中，所述边缘服务器部署在基站，通过卫星链路与视频服务器可通信连接，所述边缘服务器中部署有多个超分辨率模型。

第一确定模块520被配置为基于所述质量要求、当前已缓存的数据量以及边缘服务器当前的计算资源使用信息，从所述多个超分辨率模型中确定一个能够满足所述质量要求且输入分辨率最低的超分辨率模型作为目标模型。

第二确定模块530被配置为确定与所述目标模型对应的目标比特率。

第一发送模块540被配置为通过所述基站以及卫星链路向所述视频服务器发送视频数据请求，所述视频数据请求包括所述目标比特率。

第一接收模块550被配置为经由所述边缘服务器接收第一视频数据，其中，所述第一视频数据包括所述边缘服务器通过所述目标模型处理第二视频数据得到的视频数据，所述第二视频数据包括所述视频服务器根据所述目标比特率检索得到并发送到所述边缘服务器的视频数据。

根据本公开实施例，获得模块510可以包括第一调用子模块和第二调用子模块。

第一调用子模块被配置为调用用户终端视频播放程序获得当前已缓存的数据量。

第二调用子模块被配置为调用边缘服务器的系统接口获得边缘服务器当前的计算资源使用信息。

根据本公开实施例，所述视频数据的质量要求包括视频数据的分辨率要求和峰值信噪比要求。

图6示出根据本公开的实施例的第一确定模块600的结构框图。

根据本公开实施例，第一确定模块600可以包括获得子模块610、参数确定子模块620、约束条件确定子模块630、候选模型确定子模块640以及目标模型确定子模块650。

获得子模块610被配置为获得多个超分辨率模型中的每个超分辨率模型的输入分辨率、缩放因子、参数数量。

参数确定子模块620被配置为基于所述输入分辨率、缩放因子、参数数量以及所述计算资源使用信息，确定每个超分辨率模型处理的输出分辨率、时延和峰值信噪比。

约束条件确定子模块630被配置为基于所述当前已缓存的数据量确定可接受的最长时延，将所述视频数据的分辨率要求、峰值信噪比要求以及所述最长时延作为约束条件。

候选模型确定子模块640被配置为确定所述输出分辨率、时延和峰值信噪比均满足所述约束条件的一个或多个超分辨率模型作为候选模型。

目标模型确定子模块650被配置为从所述候选模型中确定输入分辨率最低的超分辨率模型作为目标模型。

根据本公开实施例，该视频数据请求还可以包括所述目标模型的识别信息。

根据本公开实施例，该计算资源使用信息包括计算资源使用率或计算资源空闲率。

图7示出根据本公开的实施例的视频数据处理装置700的结构框图。

如图7所示，该视频数据处理装置700包括第二发送模块710、第二接收模块720、第三发送模块730、第三接收模块740、处理模块750以及第四发送模块760。

第二发送模块710被配置为响应于接收到调用请求，发送计算资源使用信息。

第二接收模块720，被配置为接收来自所述用户终端的视频数据请求。

第三发送模块730，被配置为将所述视频数据请求通过卫星链路转发到视频服务器。

第三接收模块740，被配置为接收来自所述视频服务器的第二视频数据。

处理模块750，被配置为基于所述视频数据请求，从已部署的多个超分辨率模型中确定目标模型用于处理所述第二视频数据，得到第一视频数据。

第四发送模块760，被配置为将所述第一视频数据发送到所述用户终端。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获得模块510、第一确定模块520、第二确定模块530、第一发送模块540、第一接收模块550、第一调用子模块、第二调用子模块、获得子模块610、参数确定子模块620、约束条件确定子模块630、候选模型确定子模块640以及目标模型确定子模块650中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获得模块510、第一确定模块520、第二确定模块530、第一发送模块540、第一接收模块550、第一调用子模块、第二调用子模块、获得子模块610、参数确定子模块620、约束条件确定子模块630、候选模型确定子模块640以及目标模型确定子模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获得模块510、第一确定模块520、第二确定模块530、第一发送模块540、第一接收模块550、第一调用子模块、第二调用子模块、获得子模块610、参数确定子模块620、约束条件确定子模块630、候选模型确定子模块640以及目标模型确定子模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

又如，第二发送模块710、第二接收模块720、第三发送模块730、第三接收模块740、处理模块750以及第四发送模块760中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第二发送模块710、第二接收模块720、第三发送模块730、第三接收模块740、处理模块750以及第四发送模块760中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第二发送模块710、第二接收模块720、第三发送模块730、第三接收模块740、处理模块750以及第四发送模块760中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

本公开还公开了一种电子设备，图8示出根据本公开的实施例的电子设备的结构框图。

如图8所示，所述电子设备800包括存储器801和处理器802。其中，所述存储器801用于存储一条或多条计算机指令，其被所述处理器802执行以实现如图2、图3或图4所述的方法。

图9示出适于用来实现根据本公开实施例的视频数据传输方法或视频数据处理方法的计算机系统的结构示意图。图9示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。图9示出的计算机系统可以实现为服务器集群，包括至少一个处理器(例如处理器901)以及至少一个存储器(例如存储部分908)。

如图9所示，计算机系统900包括处理器901，例如可以是中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施例中的各种处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM903中，还存储有系统900操作所需的各种程序和数据。处理器901、ROM902以及RAM903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。系统900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

例如，根据本公开的实施例，计算机可读介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。