具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例提出了一种自由视点视频播放控制方法及设备，通过对用户感兴趣的视频内容进行视觉跟踪定位，为用户自动选择相应视角的视频。本申请实施例可适用于视频直播场景，也可适用于视频点播场景。

下面结合附图对本申请实施例进行详细描述。

图1示例性示出了本申请实施例中生成自由视点视频序列的示意图。

如图1所示，在目标场景周围可设置多个摄像机，该多个摄像机形成摄像机阵列，不同摄像机从不同视角进行拍摄，以便从多维空间视角对该场景进行拍摄，形成多路单视点视频序列。该多路单视点视频序列被传输到视频合成服务器，由视频合成服务器进行拼接处理，得到自由视点拼接视频序列。

本申请实施例中，可采用多路视频实时全景拼接算法，将多路单视点视频序列拼接为自由视点拼接视频序列。需要说明的是，本申请实施例对自由视点拼接视频序列的生成方法不做限制。

图2示例性示出了本申请实施例中视频播放系统的架构示意图。

如图所示，多路单视点视频序列被传输到视频合成服务器201，由视频合成服务器201进行拼接处理，形成自由视点拼接视频序列后，该自由视点拼接视频序列被发送到流媒体服务器202进行存储。

流媒体服务器202对自由视点拼接视频序列进行处理，生成多个虚拟视点视频序列。不同的虚拟视点视频序列对应于同一场景的不同视角，用以满足用户对任意视角的视频观看要求。流媒体服务器在向用户提供媒体播放服务时，根据用户指定的目标对象，在一个摄像机拍摄的单视点视频序列中对该目标对象进行视觉跟踪定位，当根据视觉目标跟踪结果判定该目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列，并将该目标虚拟视点视频序列通过网络203发送给播放设备，使得播放设备播放所述目标虚拟视点视频序列。

其中，播放设备是指具有视频播放功能的电子设备，如图所示，播放设备包括：智能手机204、平板电脑205、便携式电脑206、智能电视207等。

基于上述流媒体服务器的功能，图3示例性示出了一种流媒体服务器的结构。

如图所示，该流媒体服务器可包括：目标获取模块301、目标跟踪模块302、视频切换模块303、发送模块304。其中：

目标获取模块301，用于获取目标节目中用户指定的目标对象，该目标对象为视频中用户感兴趣的对象；

目标跟踪模块302，用于在该目标节目对应的单视点视频序列中，对所述目标对象进行视觉目标跟踪；

视频切换模块303，用于当根据视觉目标跟踪判定所述目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据所述目标对象的大小和/或位置，从目标节目对应的至少两个虚拟视点视频序列中选择目标虚拟视点视频序列；

发送模块304，用于将目标虚拟视点视频序列发送给播放设备，使得播放设备播放该目标虚拟视点视频序列。

在一些实施例中，目标跟踪模块302可根据目标对象的大小和/或位置确定最佳视角，根据多个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。

在一些实施例中，上述流媒体服务器中还可包括虚拟视点视频序列生成模块305，用于：获取自由视点拼接视频序列，对该自由视点拼接视频序列进行解码，得到该自由视点拼接视频序列所包含的单视点视频序列，根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列。

图4示例性示出了本申请实施例中由流媒体服务器实现的自由视点视频播放控制方法的流程示意图。

本申请实施例中，流媒体服务器可在获得自由视点拼接视频序列后，对自由视点拼接视频序列进行解码，得到自由视点拼接视频序列所包含的单视点视频序列，再根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。该多个虚拟视点视频序列可存储为视频列表的形式，以便根据情况从中选取虚拟视点视频序列发送给用户侧的播放设备进行视频播放。

可以基于深度信息并采用卷积神经网络生成虚拟视点视频序列。需要说明的是，本申请实施例对虚拟视点视频序列生成算法不做限制。

参见图4，流媒体服务器进行视频播放控制的流程可包括以下步骤：

S401：流媒体服务器获取目标节目中用户指定的目标对象。

本申请实施例中，用户可通过终端或播放设备发送视频播放请求，比如，在视频点播场景下，用户通过终端或播放设备从视频资源列表中选取某个目标节目并请求播放；再比如，在视频直播场景下，用户通过终端或播放设备选择直播频道以请求观看直播的目标节目。用户在发起视频播放请求后，可基于系统提供的用户界面选取该用户所感兴趣的目标对象，并将该目标对象的信息发送给服务器。比如，针对所请求观看的篮球比赛直播节目，用户可选择参与比赛的某个篮球运动员作为目标对象。

S402：流媒体服务器在目标节目对应的单视点视频序列中，对该目标对象进行视觉目标跟踪。

本申请实施例中，一个目标节目可对应有一个自由视点拼接视频序列以及一个单视点视频序列，该单视点视频序列可以该自由视点拼接视频序列所包含的一路视频序列，也可以不在该自由视点拼接视频序列所包含的多路视频序列中。

该步骤中，流媒体服务器可根据用户请求观看的目标节目，从其视频资源库中获取该目标节目对应的单视点视频序列。可预先指定一个拍摄范围较大的视频采集设备所采集的单视点视频序列用于进行目标对象视觉目标跟踪。

视觉目标跟踪就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。本申请实施例中，可采用以下方法对目标对象进行跟踪：

首先输入初始化目标框，该目标框中包含目标对象；然后在下一帧中产生多个候选框，提取这些候选框的特征(Feature Extractor)，对这些候选框进行评分(ObservationModel)，最后在这些评分中找一个得分最高的候选框作为预测的目标，或者对多个预测值进行融合(Ensemble)得到更优的预测目标。

为了实现较精确的目标跟踪，本申请实施例以基于相关滤波(CorrelationFilter)和卷积神经网络(CNN)的跟踪方法进行目标跟踪。需要说明的是，本申请实施例对所使用的视觉目标跟踪方法不做限制。

S403：若根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件，则转入S404，否则返回S402以继续进行目标跟踪。

该步骤中，可预先设置虚拟视点视频切换条件，比如，该条件可设置为：当目标对象的位置移动到视频帧的边缘区域(视频帧的边缘区域可预先定义)时，满足虚拟视点视频切换条件；该条件还可以设置为：当目标对象的大小小于其他对象的大小，或者小于设定的大小时(通常目标对象的大小与摄像机镜头之间的距离相关，距离越远，目标对象越小)，满足虚拟视点视频切换条件。该条件也可以结合目标对象的大小和位置来设置。

当基于对目标对象的视觉目标跟踪，判定满足虚拟视点视频切换条件后，则转入后续步骤以选择最佳视角的虚拟视点视频，否则可保持当前视角的虚拟视点视频不变，继续对目标对象进行视觉目标跟踪。

S404：流媒体服务器根据目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列。

该步骤中，流媒体服务器可首先根据目标对象的大小和/或位置，计算得到最佳视角，例如距离最近且人物在视频画面中央的视角；再根据每个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。

S405：流媒体服务器将目标虚拟视点视频序列发送给播放设备，使得该播放设备播放目标虚拟视点视频序列。

当用户所请求观看的视频序列播放完成或者视频处理终端接收到用户的结束指令时，上述流程结束。

基于上述流程，以用户所请求观看的视频为篮球比赛节目为例，流媒体服务器可预先根据该节目的自由视点拼接视频流(即视频序列)生成N个(N为大于1的整数)虚拟视点的视频流。在为用户提供视频服务器的过程中，根据该节目的一个单视点视频流对用户指定的该用户感兴趣的篮球运动员进行视觉目标跟踪，根据目标跟踪结果确定最佳观影视角(如距离最近、人物在视频画面中央)，根据最佳观影视角选择匹配的虚拟视点视频流并下发至用户侧的播放设备进行播放。

以播放设备直播篮球比赛为例，本申请实施例在实际应用中，将能够拍摄到比赛场景全局画面的摄像机所拍摄的单视点视频序列作为用于进行视觉目标跟踪的单视点视频序列，以便能够跟踪比赛场地中的所有运动员。

在篮球比赛直播开始前，用户可在用户界面中的参赛运动员列表中选取需要跟踪的篮球运动员(比如篮球运动员A)。用户所选择的篮球运动员的名字或标识以及该用户的标识等信息被发送给流媒体服务器，流媒体服务器上存储有该比赛中各运动员的人脸等特征信息，以用于视觉目标跟踪。

在直播开始后，流媒体服务基于上述单视点视频序列，对该用户关注的运动员进行视频目标跟踪，并在此过程中，根据所跟踪的运动员A的位置、大小等，判断是否满足虚拟视点视频切换条件，如果满足，则根据目标对象的运动方向、位置等，从虚拟视点视频序列中选取一个目标虚拟视点视频序列，所选择的目标虚拟视点视频序列能够使得运动员A位于画面中心区域或者使得运动员A相比于其他运动员占据更多画面。流媒体服务器将该用户对应的虚拟视点视频序列切换到该目标虚拟视点视频序列，以便用户能够观看其所关注的运动员A的比赛过程。

本申请的一些实施例中，也可以允许用户在直播开始后，选取或重新选取需要跟踪的篮球运动员。比如，在使用智能手机观看直播比赛的过程中，用户可通过屏幕触控操作触发直播暂停功能选项，并在当前静止的图像中对当前需要关注的运动员进行框选(比如在触摸屏上将该静止图像中的目标运动员的轮廓圈出来，并触发″跟踪″功能选项，以选定跟踪目标)。播放设备可将该静止图像以及用户所圈选的区域相关信息发送给流媒体服务器。流媒体服务器获得该静止图像后，可对该区域内的对象进行识别，以获得用户所要跟踪的目标。后续流媒体服务器可根据对该目标的视觉跟踪进行虚拟视点视频序列的切换。

通过以上描述可以看出，本申请的上述实施例中，通过在目标节目对应的单视点视频序列中对目标对象进行视觉目标跟踪，并当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列进行播放，从而实现了基于视觉跟踪定位进行自由视点视角自动切换，可以提高用户感受。

图5示例性示出了本申请另外的实施例中视频播放系统的架构示意图。

如图所示，多路单视点视频序列被传输到视频合成服务器，由视频合成服务器进行拼接处理，形成自由视点拼接视频序列后，该自由视点拼接视频序列被发送到流媒体服务器501进行存储。在流媒体服务器为用户提供视频播放服务的过程中，流媒体服务器501通过网络502将用户请求播放的节目所对应的自由视点拼接视频序列发送给用户侧的视频处理终端503。流媒体服务器501还可将该节目所对应的一个单视点视频序列发送给视频处理终端503以用于进行视觉目标跟踪。

视频处理终端503对自由视点拼接视频序列进行处理，生成多个虚拟视点视频序列。不同的虚拟视点视频序列对应于同一场景的不同视角，用以满足用户对任意视角的视频观看要求。流媒体服务器在向用户提供媒体播放服务时，根据用户指定的目标对象，在单视点视频序列中对该目标对象进行视觉跟踪定位，当根据视觉目标跟踪结果判定该目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列，并将该目标虚拟视点视频序列发送给播放设备，使得播放设备播放所述目标虚拟视点视频序列。

其中，播放设备是指具有视频播放功能的电子设备，如图所示，播放设备包括：智能电视504、智能手机505、PC机506等。

上述架构中的视频处理终端503与各种播放设备可处于同一局域网中，该视频处理终端503可以是智能家居场景下用于进行视频处理相关的设备，比如具体可以是智能机顶盒。

基于上述视频处理终端的功能，图6示例性示出了一种视频处理终端的结构。

如图所示，该视频处理终端可包括：视频接收模块601、虚拟视点视频序列生成模块602、目标获取模块603、目标跟踪模块604、视频切换模块605、发送模块606。其中：

视频接收模块601，用于从流媒体服务器接收目标节目对应的单视点视频序列，以及自由视点拼接视频序列；

虚拟视点视频序列生成模块602，用于根据自由视点拼接视频序列生成多个虚拟视点视频序列；

目标获取模块603，用于获取目标节目中用户指定的目标对象；

目标跟踪模块604，用于在所述单视点视频序列中对目标对象进行视觉目标跟踪；

视频切换模块605，用于当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据目标对象的大小和/或位置，从多个虚拟视点视频序列中选择目标虚拟视点视频序列；

发送模块606，用于将目标虚拟视点视频序列发送给播放设备，使得播放设备播放该目标虚拟视点视频序列。

在一些实施例中，目标跟踪模块604可根据目标对象的大小和/或位置确定最佳视角，根据多个虚拟视点视频序列各自对应的视角，从中选取与该最佳视角匹配的一个虚拟视点视频序列作为目标虚拟视点视频序列。

图7示例性示出了本申请实施例中由视频处理终端实现的自由视点视频播放控制方法的流程示意图。如图所示，视频处理终端进行视频播放控制的流程可包括以下步骤：

S701：视频处理终端从流媒体服务器接收用户请求的目标节目所对应的单视点视频序列以及自由视点拼接视频序列。

本申请实施例中，一个目标节目可对应有一个自由视点拼接视频序列以及一个单视点视频序列，该单视点视频序列可以该自由视点拼接视频序列所包含的一路视频序列，也可以不在该自由视点拼接视频序列所包含的多路视频序列中。

该步骤中，基于用户所请求观看的目标节目，视频处理终端可向流媒体服务器发送视频获取请求，流媒体服务器将用户所请求观看的目标节目所对应的单视点视频序列以及自由视点拼接视频序列发送给视频处理终端。

S702：视频处理终端根据自由视点拼接视频序列生成多个虚拟视点视频序列。

该步骤中，视频处理终端在接收到流媒体服务器发送的自由视点拼接视频序列后，对自由视点拼接视频序列进行解码，得到自由视点拼接视频序列所包含的单视点视频序列，再根据解码后得到的所有单视点视频序列，生成多个虚拟视点视频序列，其中，不同的虚拟视点视频序列对应于同一场景的不同视角。该多个虚拟视点视频序列可存储为视频列表的形式，以便根据情况从中选取虚拟视点视频序列发送给用户侧的播放设备进行视频播放。虚拟视点视频序列的生成算法可参见前述实施例的描述。需要说明的是，本申请实施例对虚拟视点视频序列生成算法不做限制。

S703：视频处理终端获取目标节目中用户指定的目标对象。

S704：视频处理终端在目标节目对应的单视点视频序列中，对该目标对象进行视觉目标跟踪。

S705：若根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件，则转入S706，否则返回S704以继续进行目标跟踪。

S706：视频处理终端根据目标对象的大小和/或位置，从目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列。

S707：视频处理终端将目标虚拟视点视频序列发送给播放设备，使得该播放设备播放目标虚拟视点视频序列。

上述流程中的一些步骤(比如上述S703至S707)的具体实现方式，基本与图4所示流程中相关步骤的具体实现方式相同，在此不再重复。

当用户所请求观看的目标节目的视频序列播放完成或者视频处理终端接收到用户的结束指令时，上述流程结束。

本申请的上述实施例中，通过在目标节目对应的单视点视频序列中对目标对象进行视觉目标跟踪，并当根据视觉目标跟踪判定目标对象的大小和/或位置满足虚拟视点视频切换条件时，根据该目标对象的大小和/或位置，从该目标节目对应的多个虚拟视点视频序列中选择目标虚拟视点视频序列进行播放，从而实现了基于视觉跟踪定位进行自由视点视角自动切换，可以提高用户感受。

根据示例性的实施方式中的一方面，本申请实施例还提供一种流媒体服务器，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为执行本申请上述实施例描述的服务器所执行的方法。

根据示例性的实施方式中的一方面，本申请实施例还提供一种视频处理终端，包括：存储器和处理器，所述处理器与所述存储器耦接，所述处理器被配置为执行本申请上述实施例描述的视频处理终端所执行的方法。

根据示例性的实施方式中的一方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行上述的方法。

在符合本领域常识的基础上，上述各优选条件可任意组合，即得本申请各较佳实施例。

由于本申请实施例中的通信终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请的实施例在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。