具体实施方式

本文描述的实施例提供了对MPEG NBMP标准功能改进。这种改进能够提高媒体处理效率，增加媒体服务部署的速度并降低成本，并且允许通过利用公共，私有或混合云服务来大规模部署媒体服务。

在示例中，对MPEG NBMP标准的功能改进包括允许NBMP源是用户本地输入、云本地输入或云远程输入。这增加了为本地应用程序、基于云的应用程序或在云上远程运行的应用程序部署服务的灵活性。同时，可以在NBMP工作流管理器和云管理器之间定义单个接口。因此，它通过云管理器和网络控制器进行媒体会话的操作。由于云管理器具有关于云的最终知识，因此它可以简化操作并使其对NBMP工作流管理器更加可行。

此外，对MPEG NBMP标准的功能改进包括允许工作流管理器具有关于网络和物理计算资源的充分信息。NBMP具有到云资源和网络管理器的API。该API允许NBMP工作流管理器与云服务通信，以配置媒体服务、建立会话、分配计算和网络资源，而无需云平台的任何知识。云管理器将提供自和提供给NBMP工作流管理器请求和信息转换到内部云平台接口。此外，NBMP工作流管理器可以通过该标准API管理、监视和分析媒体会话的性能，而无需了解内部云平台逻辑。网络管理要求也包括在内。

此外，对MPEG NBMP标准的功能改进包括在NBMP工作流管理器和云管理器之间的API添加函数发现API。这使得工作流管理器可以在云上发现函数的首选优化实现并使用它们，而不是在云上加载它们的通用实现。

图1是根据实施例在其中可实现本文描述的方法、装置和系统的环境100的图。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以经由有线连接、无线连接或有线和无线连接的组合来互连。

用户设备110包括一个或多个能够接收、生成、存储、处理和/或提供与平台120相关联的信息的设备。例如，用户设备110可以包括计算设备(例如，台式电脑、膝上型电脑、平板电脑、手持计算机、智能扬声器和服务器等)、移动电话(例如，智能电话、无线电话等)、可佩戴设备(例如，智能眼镜或智能手表)或类似设备。在一些实现方式中，用户设备110可以从平台120接收信息和/或向平台120发送信息。

平台120包括如本文别处描述的一个或多个设备。在一些实现方式中，平台120可以包括云服务器或云服务器组。在一些实现方式中，平台120可以被设计成模块化，使得软件组件可以根据特定需要换入或换出。这样，平台120可以容易地和/或快速地重新配置以用于不同的用途。

在一些实现方式中，如图所示，平台120可以被托管在云计算环境122中。需要注意的是，虽然本文描述的实现方式将平台120描述为托管在云计算环境122中，但是在一些实现中，平台120可以不是基于云的(即，可以在云计算环境外部实现)或者可以是部分基于云的。

云计算环境122包括托管平台120的环境。云计算环境122可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备110)了解托管平台120的(多个)系统和/或(多个)设备的物理位置和配置的知识。如图所示，云计算环境122可以包括一组计算资源124(统称为“多个计算资源124”，单独地称为“计算资源124”)。

计算资源124包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实现方式中，计算资源124可以托管平台120。云资源可以包括在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实现方式中，计算资源124可以经由有线连接、无线连接或有线和无线连接的组合与其它计算资源124通信。

如图1进一步所示，计算资源124包括一组云资源，诸如一个或多个应用程序(“APPs”)124-1、一个或多个虚拟机(“VMs”)124-2、虚拟化存储器(“VSs”)124-3、或一个或多个管理程序(“HYPs”)124-4等。

应用程序124-1包括可以提供给用户设备110和/或平台120或者由用户设备110和/或平台120访问的一个或多个软件应用程序。应用程序124-1可以消除在用户设备110上安装和执行软件应用程序的需要。例如，应用程序124-1可以包括与平台120相关联的软件和/或能够经由云计算环境122提供的任何其它软件。在一些实现方式中，一个应用程序124-1可以经由虚拟机124-2向一个或多个其它应用程序124-1发送信息或从一个或多个其它应用程序124-1接收信息。

虚拟机124-2包括像物理机一样执行程序的机器(例如，计算机)的软件实现。虚拟机124-2可以是系统虚拟机或进程虚拟机，这取决于虚拟机124-2与任何真实机的使用和对应程度。系统虚拟机可以提供支持完整操作系统(“OS”)的执行的完整系统平台。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实现方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础设施，诸如数据管理、同步或长持续时间数据传输。

虚拟化存储器124-3包括计算资源124的存储系统或设备内使用虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实现方式中，在存储系统的上下文中，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指从物理存储中抽象(或分离)逻辑存储，从而可以访问存储系统而不考虑物理存储或异构结构。分离可以允许存储系统的管理员在管理员如何为终端用户管理存储方面具有灵活性。文件虚拟化可以消除在文件级别访问的数据与物理存储文件的位置之间的依赖关系。这可以实现优化存储使用、服务器整合和/或非中断文件迁移的性能。

管理程序124-4可以提供硬件虚拟化技术，其允许多个操作系统(例如，“客户操作系统”)在诸如计算资源124的主计算机上并发执行。管理程序124-4可以向客户操作系统呈现虚拟操作平台，并且可以管理客户操作系统的执行。多种操作系统的多个实例可以共享虚拟化的硬件资源。

网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络、ad hoc网络、内联网、因特网、基于光纤的网络等，和/或这些或其它类型网络的组合。

以图1中所示的设备和网络的数量和布置为例。在实践中，与图1所示的设备和/或网络相比，可以存在附加的设备和/或网络、较少的设备和/或网络、不同的设备和/或网络、或者不同布置的设备和/或网络。此外，图1中所示的两个或多个设备可以在单个设备内实现，或者图1中所示的单个设备可以由多个分布式设备实现。附加地或替代地，环境100的一组设备(例如，一个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个或多个功能。

图2是图1的一个或多个设备的示例性组件的框图。设备200可以对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储组件240、输入组件250、输出组件260和通信接口270。

总线210包括允许在设备200的组件之间进行通信的组件。处理器220以硬件、固件或硬件和软件的组合来实现。处理器220是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理组件。在一些实现方式中，处理器220包括能够被编程以执行功能的一个或多个处理器。存储器230包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。

存储组件240存储与设备200的操作和使用有关的信息和/或软件。例如，存储组件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非暂时性计算机可读介质以及相应的驱动器。

输入组件250包括允许设备200接收信息的组件，例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)。附加地或替代地，输入组件250可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。输出组件260包括提供来自设备200的输出信息的组件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。

通信接口270包括类似收发器的组件(例如，收发器和/或单独的接收器和发射器)，其使得设备200能够例如经由有线连接、无线连接或有线和无线连接的组合与其它设备进行通信。通信接口270可以允许设备200从另一设备接收信息和/或向另一设备提供信息。例如，通信接口270可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。

装置200可执行本文所述的一个或一个以上过程。设备200可以响应于处理器220执行由诸如存储器230和/或存储组件240的非暂时性计算机可读介质存储的软件指令来执行这些过程。计算机可读介质在这里被定义为非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或分布在多个物理存储设备上的存储器空间。

软件指令可以从另一计算机可读介质或从另一设备经由通信接口270读取到存储器230和/或存储组件240中。当执行时，存储在存储器230和/或存储组件240中的软件指令可使处理器220执行本文所述的一个或多个过程。附加地或替代地，可以使用硬布线电路来代替软件指令或者与软件指令结合来执行本文所述的一个或多个过程。因此，这里描述的实现方式不限于硬件电路和软件的任何特定组合。

以图2中所示的组件的数量和布置为例。在实践中，与图2所示的组件相比，设备200可以包括附加的组件、较少的组件、不同的组件、或布置不同的组件。附加地或替代地，设备200的一组组件(例如，一个或多个组件)可以执行被描述为由设备200的另一组组件执行的一个或多个功能。

图3A是根据实施例的NBMP系统的框图。

图3A示出了NBMP工作流管理器和云管理器之间的接口。云管理器可以将请求转换成内部API，并将它们与不同的硬件模块进行通信。

根据实施例，抽象体系结构定义为将云资源和网络管理器置于NBMP参考结构的中间，并将NBMP API扩展为NBMP工作流管理器与云资源和网络管理器之间的接口。

图3B是根据实施例的NBMP系统301的框图。

参照图3B，NBMP系统301包括NBMP源310、NBMP工作流管理器320、函数储存库330、网络控制器340一个或多个媒体处理实体350、媒体源360和媒体接收器370。

NBMP源310可以从第三方实体380接收指令，可以经由NBMP工作流API与NBMP工作流管理器320通信，并且可以经由函数发现API与函数储存库330通信。例如，NBMP源310可以向NBMP工作流管理器320发送工作流描述文档，并且可以读取存储在函数储存库330的存储器中的函数的函数描述。这些函数可以包括媒体处理函数，例如媒体解码函数、特征点提取函数、相机参数提取函数、投影方法函数、接缝信息提取函数、混合函数、后处理函数和编码函数。NBMP源310可以包括至少一个处理器和存储器，该存储器存储的代码被配置成使至少一个处理器执行NBMP源310的函数。

通过向NBMP工作流管理器320发送工作流描述文档，NBMP源310可以请求NBMP工作流管理器320创建包括将由一个或多个媒体处理实体350执行的任务351和352的工作流。工作流描述文档可以包括描述符，每个描述符可以包括参数。

例如，NBMP源310可以选择存储在函数储存库330中的一个或多个函数，并且向NBMP工作流管理器320发送工作流描述文档，该工作流描述文档包括用于描述诸如输入和输出数据的细节的描述符以及所选择的一个或多个函数以及对工作流的要求。工作流描述文档可以进一步包括一组任务描述和将由媒体处理实体350中的一个或多个执行的任务351和352的输入和输出的连接映射。当NBMP工作流管理器320从NBMP源310接收这样的信息时，NBMP工作流管理器320可以通过基于函数名称实例化任务351和352并根据连接映射连接任务351和352来创建工作流。

附加地或替代地，NBMP源310可以请求NBMP工作流管理器320通过使用一组关键字来创建工作流。例如，NBMP源310可以向NBMP工作流管理器320发送包括关键字集合的工作流描述文档，NBMP工作流管理器320可以使用该关键字集合来查找存储在函数储存库330中的适当的一个或多个函数。当NBMP工作流管理器320从NBMP源310接收这样的信息时，NBMP工作流管理器320可以通过使用可以在工作流描述文档的处理描述符中指定的关键字来搜索适当的一个或多个函数，并且通过使用工作流描述文档中的其他描述符来提供和连接任务351和352来创建工作流。

NBMP工作流管理器320可以经由函数发现API与函数储存库330通信，并且可以通过网络控制器340、经由NBMP任务API、NBMP链接API和函数发现API与一个或多个媒体处理实体350通信。NBMP工作流管理器320可以包括至少一个处理器和存储器，该存储器存储的代码被配置成使至少一个处理器执行NBMP工作流管理器320的函数。

NBMP链接API被添加到NBMP原始结构中。如图3B所示，两个任务之间的任何链接也具有与该任务的API类似的API。使用该链接的API，NBMP工作流管理器可以建立所需的网络资源，以及在媒体会话期间监视链接的状态或接收来自链接的报告。该API应该由云平台实现。对于每个链接，都会建立该API，并且云平台使用其网络控制器、云管理器或虚拟网络管理器来实例化它的一个实例。

NBMP函数发现API也被添加到NBMP原始结构中。该API使NBMP能够在云上发现预加载的函数并使用它们，而不是重新加载它们。

NBMP工作流管理器320可以使用NBMP任务API来建立、配置、管理和监视可由一个或多个媒体处理实体350执行的工作流的任务351和352中的一个或多个。在实施例中，NBMP工作流管理器320可以使用NBMP任务API来更新和销毁任务351和352。为了配置、管理和监视工作流的任务351和352，NBMP工作流管理器320可以向媒体处理实体350中的一个或多个发送诸如请求的消息，其中每个消息可以具有描述符，每个描述符可以包括参数。任务351和352中的每一个可以包括一个或多个媒体处理函数354以及用于一个或多个媒体处理函数354的一个或多个配置353。

在实施例中，在从NBMP源310接收到不包括任务列表(例如，包括关键字列表而不是任务列表)的工作流描述文档之后，NBMP工作流管理器320可以基于工作流描述文档中的任务的描述来选择任务，以经由函数发现API来搜索函数储存库330，以找到适当的一个或多个函数来作为当前工作流的任务351和352运行。例如，NBMP工作流管理器320可以基于工作流描述文档中提供的关键字来选择任务。在使用由NBMP源310提供的关键字或任务描述集来识别适当的一个或多个函数之后，NBMP工作流管理器320可以通过使用NBMP任务API来配置工作流中的所选任务。例如，NBMP工作流管理器320可以从接受自NBMP源的信息中提取配置数据，并且基于所提取的配置数据来配置任务351和352。

一个或多个媒体处理实体350可以被配置为从媒体源360接收媒体内容，根据包括任务351和352并且由NBMP工作流管理器320创建的工作流来处理所接收的媒体内容，并且将所处理的媒体内容输出到媒体接收器370。一个或多个媒体处理实体350中的每一个可以包括至少一个处理器和存储器，该存储器存储的代码被配置成使至少一个处理器执行一个或多个媒体处理实体350的函数。

网络控制器340可以包括至少一个处理器和存储器，该存储器存储的代码被配置成使至少一个处理器执行网络控制器340的函数。

媒体源360可以包括存储媒体的存储器，并且可以与NBMP源310集成或分离。在实施例中，NBMP工作流管理器320可以在准备工作流时通知NBMP源310和/或媒体源360，并且媒体源360可以基于准备工作流的通知将媒体内容发送到媒体处理实体350中的一个或多个。

媒体接收器370可以包括至少一个处理器和至少一个显示器，该至少一个显示器被配置为显示由一个或多个媒体处理实体350处理的媒体内容。

第三方实体380可以包括至少一个处理器和存储器，该存储器存储的代码被配置成使至少一个处理器执行第三方实体380的函数。

如上所述，从NBMP源310(例如，用于请求创建工作流的工作流描述文档)到NBMP工作流管理器320的消息，以及从NBMP工作流管理器320到一个或多个媒体处理实体350的消息(例如，用于使工作流被执行)可以包括描述符，每个描述符包括参数。在实施例中，使用API的NBMP系统301的任何组件之间的通信可以包括描述符，每个描述符包括参数。

扩展要求描述符

根据实施例，为了建立和监视两个任务之间的联网，NBMP QoS要求对象被扩展为具有下表1中所示的参数。

表1-QoS要求扩展

链接资源API

根据实施例，链接类似于任务，并且可以使用简化的任务资源API。可以添加链接资源API，或者可以扩展任务资源API以支持联网。

根据实施例，链接API操作类似于任务API操作，并且可以使用相同的配置API。

发现云中的预加载函数

根据实施例，NBMP函数可能已经被预加载在云服务中。一些函数可以由云平台来实现，或者第三方供应商可以具有针对特定云解决方案的其函数的优化实现。

根据实施例，可以利用函数的处理描述符中的统一资源定位符(URL)来标识函数的实现的位置。在NBMP工作流管理器将该实现加载到云之前，可以查询该函数的优选实现方式是否存在于云平台中。如果存在，则NBMP工作流管理器可以使用该函数的特定实现方式。这可能要求来自同一供应商的函数具有唯一的ID，并且要求该函数的每个实现方式具有唯一的ID。

根据实施例，NBMP过程的工作流创建包括：

1.NBMP源使用工作流API创建工作流。它将工作流描述文档作为请求的一部分发送。工作流管理器检查工作流描述文档并开始构建工作流。

2.工作流管理器向函数注册表发送查询或查询集以找到它将部署以创建工作流的函数。

3.对于每个查询，函数注册表用潜在函数的简短列表、它们的描述和它们的配置信息来回复。

4.工作流管理器选择它想要部署的函数集，并根据它们的要求联系云平台以创建所需的媒体处理实体，并在它们上加载函数。

a.对于每个函数，工作流管理器进行查询以找出平台是否已经支持该函数的优选实现方式。如果存在这样的实现方式，则云平台返回该函数的新ID。

i.对于现有的优选函数，工作流管理器使用其ID来创建任务。

ii.对于不存在的函数，工作流管理器向云管理器提供授权的URL以下载该函数的实现方式。

5.云平台确认每个媒体处理实体的创建，包括网络访问信息。

6.工作流管理器为每个任务创建配置，并使用任务API将该配置发送到该任务。

7.该任务确认成功的配置并返回访问信息，以便工作流管理器能够连接下一个任务。

8.工作流管理器向NBMP源确认工作流的创建，并通知它可以开始处理媒体。

因此，根据实施例，可以在工作流管理器和云管理器之间使用函数发现API。该API可以使用现有函数的通用描述符和处理描述符来进行查询，并获得对云平台上函数的存在的响应。

图4是根据实施例的在MPEG NBMP中处理媒体内容的方法400的流程图。在一些实现方式中，图4的一个或多个处理块可以由实现NBMP系统301的平台120来执行。在一些实现方式中，图4的一个或多个处理块可以由与实现NBMP系统301的平台120分离或包括实现NBMP系统301的平台120的一组设备或另一个设备(例如用户设备110)来执行。

如图4所示，在操作410中，方法400包括获取用于处理媒体内容的多个任务。

在操作420中，方法400包括在NBMP工作流管理器和云管理器之间提供一个NBMP链接应用程序接口(API)，将多个任务链接在一起。

在操作430中，方法400包括通过使用NBMP链接API识别要用于处理媒体内容的网络资源量。

在操作440中，方法400包括根据所识别出的网络资源量处理媒体内容。

该方法还可以包括通过根据至少一个参数扩展NBMP服务质量(QoS)要求来监视链接的多个任务之间的通信。该至少一个参数包括最小时延、最大时延、最小吞吐量、最大吞吐量和平均窗口中的至少一个。

识别网络资源量可以包括在媒体会话期间监视NBMP链接API的状态。

识别网络资源量可以包括接收来自NBMP链接API的报告。函数发现API可以包括发现预加载函数以用于处理媒体内容。

尽管图4示出了方法400的示例性操作，但是在一些实现方式中，相比图4中所示的操作，方法400可以包括附加操作、较少的操作、不同的操作或不同排列的操作。附加地或替代地，方法400的两个或多个操作可以并行地执行。

图5是根据实施例的用于处理MPEG NBMP中的媒体内容的装置500的图。如图5所示，装置500包括获取代码510、提供代码520、识别代码530和处理代码540。

获取代码510用于使得至少一个处理器获取用于处理媒体内容的多个任务。

提供代码520用于使得至少一个处理器在NBMP工作流管理器和云管理器之间提供一个NBMP链接应用程序接口(API)，将多个任务链接在一起。

识别代码530用于使得至少一个处理器通过使用NBMP链接API识别要用于处理媒体内容的网络资源量。

处理代码540用于使得至少一个处理器根据识别出的网络资源量处理媒体内容。

前面的公开内容提供了说明和描述，但并不旨在穷尽性或将实施方式限制为所公开的确切形式。根据上述公开内容，可能存在修改和变形，或者可以从所述实现方式的实践中获得修改和变形。

如本文所使用的，术语组件旨在广义地解释为硬件、固件或硬件与软件的组合。

显然，本文描述的系统和/或方法可以用不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不是对实现方式的限制。因此，本文描述了系统和/或方法的操作和行为，而不参考特定的软件代码。应当理解，可以基于本文的描述来设计软件和硬件以实现系统和/或方法。

即使在权利要求中叙述了特征的组合和/或在说明书中公开了特征的组合，这些组合并不旨在限制可能实现方式的公开。事实上，这些特征中的许多特征可以以权利要求中未具体陈述和/或说明书中未具体公开的方式组合。尽管以下列出的每个从属权利要求仅直接从属于一个权利要求，但是可能实现的公开包括与权利要求集合中的每个其他权利要求相结合的每个从属权利要求。

除非有明确地描述，否则本文使用的元件、动作或指令不应被解释为关键的或必要的。此外，如本文所用，冠词“一个”和“一种”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所使用的，术语“组”旨在包括一个或多个项目(例如，相关项目，无关项目，相关和无关项目的组合等)，并且可以与“一个或多个”互换地使用。在仅指一个项目的情况下，使用术语“一个”或类似的语言。此外，如本文所使用的，术语“具有”等是开放式术语。此外，除非另有明确说明，短语“基于”旨在表示“至少部分地基于”。