具体实施方式

在传统的视频播放场景中，例如体育比赛的播放视频，用户在观看过程中往往只能通过一个视点位置观看比赛，无法自己自由切换视点位置，来观看不同视角位置处的比赛画面或比赛过程，也就无法体验在现场一边移动视点一边看比赛的感觉。

采用6自由度(6Degree of Freedom，6DoF)技术可以提供高自由度观看体验，用户可以在观看过程中通过交互手段，来调整视频观看的视角，从想观看的自由视点角度进行观看，从而大幅度的提升观看体验。

为实现6DoF场景，目前有Free-D回放技术及基于深度图的DIBR技术等。其中，Free-D回放技术是通过多角度拍摄获取场景的点云数据对6DoF图像进行表达，并基于点云数据进行6DoF图像或视频的重建。而基于深度图的6DoF视频生成方法是基于所述虚拟视点位置及对应组的纹理图和深度图对应的参数数据，将用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图进行组合渲染，进行6DoF图像或视频的重建。

相比于点云重建方案对于重建的视点质量和稳定性的不足，DIBR技术在重建的视点质量上已经可以接近原始采集的视点的质量。其中，为提升重建的视点质量，DIBR过程中会对深度图在时域上进行滤波，以提升深度图重建的时域稳定性。

然而，发明人发现，在某些情况下滤波后所生成的深度图质量反而下降。为此，发明人进行了进一步深入的研究和实验，发现时域上参与滤波的深度图中像素的深度值本身并不总是可靠的，在不可靠的深度值加入滤波后，反而导致滤波后最终所生成的深度图的质量下降。

参见图1所示的一种具体应用场景中的数据处理系统的结构示意图，其中示出了一场篮球赛的数据处理系统的布置场景，数据处理系统10包括由多个采集设备组成的采集阵列11、数据处理设备12、云端的服务器集群13、播放控制设备14，播放终端15和交互终端16。采用数据处理系统10，可以实现多角度自由视角视频的重建，用户可以观看低时延的多角度自由视角视频。

参照图1，以左侧的篮球框作为核心看点，以核心看点为圆心，与核心看点位于同一平面的扇形区域作为预设的多角度自由视角范围。所述采集阵列11中各采集设备可以根据所述预设的多角度自由视角范围，成扇形置于现场采集区域不同位置，可以分别从相应角度实时同步采集视频数据流。

而为了不影响采集设备工作，所述数据处理设备12可以置于现场非采集区域，可视为现场服务器。所述数据处理设备12可以通过无线局域网向所述采集阵列11中各采集设备分别发送拉流指令，所述采集阵列11中各采集设备基于所述数据处理设备12发送的拉流指令，将获得的视频数据流实时传输至所述数据处理设备12。

当所述数据处理设备12接收到视频帧截取指令时，从接收到的多路视频数据流中对指定帧时刻的视频帧截取得到多个同步视频帧的帧图像，并将获得的所述指定帧时刻的多个同步视频帧上传至云端的服务器集群13。

相应地，云端的服务器集群13将接收的多个同步视频帧的帧图像作为图像组合，确定所述图像组合相应的参数数据及所述图像组合中各帧图像的深度数据，并基于所述图像组合相应的参数数据、所述图像组合中预设帧图像的像素数据和深度数据，对预设的虚拟视点路径进行帧图像重建，获得相应的多角度自由视角视频数据，所述多角度自由视角视频数据可以包括：按照帧时刻排序的帧图像的多角度自由视角空间数据和多角度自由视角时间数据。

在具体实施中，云端的服务器集群13可以采用如下方式存储所述图像组合的像素数据及深度数据：

基于所述图像组合的像素数据及深度数据，生成对应帧时刻的拼接图像，所述拼接图像包括第一字段和第二字段，其中，所述第一字段包括所述图像组合中预设帧图像的像素数据，所述第二字段包括所述图像组合中预设帧图像的深度数据的第二字段。获取的拼接图像和相应的参数数据可以存入数据文件中，当需要获取拼接图像或参数数据时，可以根据数据文件的头文件中相应的存储地址，从相应的存储空间中读取。

然后，播放控制设备14可以将接收到的所述多角度自由视角视频数据插入待播放数据流中，播放终端15接收来自所述播放控制设备14的待播放数据流并进行实时播放。其中，播放控制设备14可以为人工播放控制设备，也可以为虚拟播放控制设备。在具体实施中，可以设置专门的可以自动切换视频流的服务器作为虚拟播放控制设备进行数据源的控制。导播控制设备如导播台可以作为本说明书实施例中的一种播放控制设备。

当云端的服务器集群13收到的来自交互终端16的图像重建指令时，可以提取所述相应图像组合中预设帧图像的拼接图像及相应图像组合相应的参数数据并传输至所述交互终端16。

交互终端16基于触发操作，确定交互帧时刻信息，向服务器集群13发送包含交互帧时刻信息的图像重建指令，接收从云端的服务器集群13返回的对应交互帧时刻的图像组合中预设帧图像的拼接图像及对应的参数数据，并基于交互操作确定虚拟视点位置信息，按照预设规则选择所述拼接图像中相应的像素数据和深度数据及对应的参数数据，将选择的像素数据和深度数据进行组合渲染，重建得到所述交互帧时刻虚拟视点位置对应的多角度自由视角视频数据并进行播放。

通常而言，视频中的实体不会是完全静止的，例如采用上述数据处理系统，在篮球比赛过程中，采集阵列采集到的实体如运动员、篮球、裁判员等大都处于运动状态。相应地，采集到的视频帧的图像组合中的纹理数据和像素数据均也随着时间变化而不断地变动。

为了提高所生成的多角度自由视角视频图像的质量，针对上述问题，云端的服务器集群13可以对生成多角度自由视角视频的深度图进行时域滤波。例如，对于待处理的深度图，可以基于所述待处理深度图的纹理图与时域上所述待处理深度图具有相同视角的深度图的纹理图的相似度，设置相应的滤波系数进行时域滤波。

发明人发现，实际采集的所述待处理深度图中的像素值，或者与所述待处理深度图具有相同视角的深度图中的像素值，有可能是错误的，例如在所述视角下某些实体被遮挡住了，因此，参与滤波的深度图中像素的深度值本身可能是不可靠的，将不可靠的深度值加入滤波后，反而会导致滤波后最终所生成的深度图的质量下降。针对上述问题，本说明书实施例的深度图处理方案中，对于时域上预设窗口的视频帧序列中当前视频帧中的待处理深度图，以及各视频帧中与当前视频帧中待处理深度图视角相同的深度图，考虑其中位置相应像素的置信度值，并将与所述置信度值对应的滤波系数权重值加入时域上所述预设窗口的滤波系数值，从而可以避免预设窗口的视频帧序列中所述待处理深度图和各视频帧中与当前视频帧中待处理深度图相同视角的深度图中的不可靠深度值对滤波结果造成影响，从而可以提高深度图在时域上的稳定性。

为使本领域技术人员更好地理解和实现本说明书实施例中的深度图处理方案和视频重建方案，以下首先对基于DIBR得到6DoF视频的原理进行简要介绍。

首先，可以通过采集设备获取视频数据或图像数据，并进行深度图计算，主要包括三个步骤，分别为：多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth Map Calculation)。对于多摄像机采集来说，要求各个摄像机采集的视频可以帧级对齐。结合参考图2，通过多摄像机的视频采集(步骤S21)可以得到纹理图(Texture Image)21；通过摄像机内外参计算(步骤S22)，可以得到摄像机参数(Camera Parameter)22，也即后文中的参数数据，包括摄像机的内部参数数据和外部参数数据；通过深度图计算(步骤S23)，可以得到深度图(DepthMap)23。在以上三个步骤完成后，就得到了从多摄像机采集来的纹理图、所有的摄像机参数以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。有了6自由度视频数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。

6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，其中，指示性数据也可以称作元数据(Metadata)。用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即6DoF视频数据和前述的元数据，进而在用户侧进行6DoF渲染。

其中，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个图像的像素数据以及深度数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件。

结合参考图3，基于6DoF视频数据(其中包括摄像机参数31，纹理图和深度图32，以及元数据33)，除此之外，还有用户端的交互行为数据34。通过这些数据，可以采用基于深度图渲染(DIBR，Depth Image-Based Rendering)的6DoF渲染(步骤S30)，从而在一个特定的根据用户行为产生的6DoF位置35产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。

在本说明书实施例所采用的视频重建系统或DIBR应用软件中，可以接收摄像机参数、纹理图、深度图，以及虚拟摄像机的6DoF位置作为输入，同时输出在虚拟6DoF位置的生成纹理图以及深度图。虚拟摄像机的6DoF位置即前述的根据用户行为确定的6DoF位置。所述DIBR应用软件可以是实现本说明书实施例中基于虚拟视点的图像重建的软件。

在本说明书实施例所采用的一DIBR软件中，结合参考图4，DIBR软件40可以接收摄像机参数41、纹理图42、深度图43，以及虚拟摄像机的6DoF位置数据44作为输入，可以通过生成纹理图S41的步骤和生成深度图的步骤S42生成在虚拟6DoF位置的纹理图以及深度图，并同时输出所生成的纹理图及深度图。

生成在虚拟6DoF位置的纹理图及深度图之前，可以对对输入的深度图进行处理，例如在时域上进行滤波。

以下参照附图，通过具体实施例对本说明书实施例中采用的可以提高深度图在时域上的稳定性的深度图处理方法进行详细介绍。

参照图5所示的深度图处理方法的流程图，具体可以采用如下步骤对深度图进行滤波处理：

S51，从多角度自由视角的当前视频帧的图像组合中获取待处理深度图，所述多角度自由视角的当前视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图。

S52，获取包含所述当前视频帧的时域上预设窗口的视频帧序列。

在具体实施中，在获取到包含待处理深度图的当前视频帧后，可以获取包含所述当前视频帧的时域上预设窗口的视频帧序列。如图6所示的视频帧序列示意图，设视频序列中的第T帧为当前视频帧，在时域上预设窗口大小D等于2N+1帧，且当前视频帧处于时域上预设窗口截取的视频帧序列的中间位置，则可以得到从第T-N帧至第T+N帧共2N+1帧的视频帧序列。

可以理解的是，在具体实施中，当前视频帧也可以不位于预设窗口的视频帧序列的中间位置。

需要说明的是，所述时域上预设窗口的大小可以根据滤波精度要求并兼顾处理资源需求，根据经验进行设置。在本说明书一实施例中，窗口大小D为5个视频帧，即2N+1＝5，N＝2，在本说明书其他实施例中，N也可以为3或4等其他取值，具体取值可以选择不同的数值，并根据最终的滤波效果进行确定。并且，所述时域上预设窗口的大小可以根据当前帧在整个视频流中的位置进行调整。

在具体实施中，对于在整个视频流中的前N个视频帧中的深度图，可以不进行滤波处理，即从第N+1帧开始进行滤波，在本说明书实施例中，T大于N。

S53，获取所述视频帧序列中各视频帧相应的窗口滤波系数值，所述窗口滤波系数值由至少两个维度的权重值生成，其中包括：像素置信度对应的第一滤波系数权重值。

在具体实施中，可以采用如下方式获取所述第一滤波系数权重值：

获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，以及确定所述置信度值对应的第一滤波系数权重值，其中：所述第二深度图为所述视频帧序列各视频帧中与所述待处理深度图视角相同的深度图。

在具体实施中，评估所述待处理深度图中和各第二深度图中像素的置信度，获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值的方法有多种。

例如，可以获取所述预设窗口内各视频帧中所述待处理深度图和各第二深度图对应视角周围预设视角范围内的深度图，得到对应视角的第三深度图，基于所述各对应视角的第三深度图，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

又如，可以基于所述待处理深度图中和各第二深度图中位置相应的像素与所述像素所处深度图中周围预设区域内像素的空间一致性，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

下文中将通过具体应用场景详细描述具体如何获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书实施例中，可以预设置信度值与第一滤波系数权重值的对应关系。其中，置信度值c越大，所对应的第一滤波系数权重值Weight_c越大；置信度值c越小，所对应的第一滤波系数权重值Weight_c越大，二者呈反相关关系。

S54，基于所述各视频帧相应的窗口滤波系数值，按照预设的滤波方式对所述待处理深度图中位置相应的像素进行滤波，得到所述待处理深度图中位置相应的像素滤波后的深度值。

采用上述实施例方案，对于时域上预设窗口的视频帧序列中各视频帧中与所述待处理深度图视角相同的深度图，即第二深度图，通过获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，以及确定所述置信度值对应的第一滤波系数权重值，并基于所述第一滤波系数权重值生成窗口滤波系数值，基于所述各视频帧相应的窗口滤波系数值，按照预设的滤波方式对所述待处理深度图中位置相应的像素进行滤波，得到所述待处理深度图中位置相应的像素滤波后的深度值，可以避免引入所述待处理深度图中和各第二深度图中不可靠的深度值对滤波结果造成影响，从而可以提高深度图在时域上的稳定性。

在本说明书实施例中，为了提高深度图在时域上的稳定性，如前实施例所述，所述窗口滤波系数值由至少两个维度的权重值生成，且其中一个维度的权重值为像素置信度对应的第一滤波系数权重值。为使本领域技术人员更好地理解和实现本说明书实施例，以下对选取的生成所述窗口滤波系数值的其他维度的权重值通过具体实施例进行示例说明。

可以理解的是，除了以下示例维度的权重值，所述窗口滤波系数值还可以基于所述第一滤波系数权重值和其他一个或多个维度的滤波系数权重值生成，或者，所述窗口滤波系数权重值可以通过包括第一滤波系数权重值、如下至少一个维度的滤波系数权重值以及其他维度的滤波系数权重值生成。

示例维度一：帧距对应的第二滤波系数权重值

具体而言，获取所述视频帧序列中各视频帧与所述当前视频帧的帧距，以及确定所述帧距对应的第二滤波系数权重值。

在具体实施中，帧距可以以视频帧序列中帧位置的差值表示，也可以以视频帧序列中相应视频帧之间的时间间隔为单位。由于通常帧序列中帧与帧之间是等间隔分布的，为便于运算，这里选择以视频帧序列中帧位置的差值表示。继续参照图6，例如，第T-1帧和第T+1帧与当前视频帧(第T帧)之间的帧距为1帧，第T-2帧和第T+2帧与当前视频帧(第T帧)之间的帧距为2帧，以此类推，第T-N帧和第T+N帧与当前视频帧(第T帧)之间的帧距为N帧。

在具体实施中，可以预设设置帧距d与对应的第二滤波系数权重值Weight_d的对应关系。其中，帧距d越小，所对应的第二滤波系数权重值Weight_d越大；帧距d越大，所对应的第二滤波系数权重值Weight_d越小，二者呈反相关关系。

示例维度二：像素相似度对应的第三滤波系数权重值

具体而言，可以获取各第二深度图对应的纹理图与所述待处理深度图对应的纹理图中位置相应的像素的相似度值，以及确定所述相似度值对应的第三滤波系数权重值。

以下继续结合图6进行说明，例如，获取当前视频帧第T帧中视角M对应的深度图T_M为待处理深度图，将窗口[T-N,T+N]内视角M对应的深度图(T-N)_M…(T-2)_M、(T-1)_M、(T+1)_M…(T+2)_M、(T+N)_M依次作为第T-N帧…第T-2帧、第T-1帧、第T+1帧…第T+2帧、第T+N帧与所述待处理深度图T_M视角相同的深度图，即所述视频帧序列中当前视频帧T之外的各视频帧与所述待处理深度图T_M对应的第二深度图。

继续参照图6，对于第T帧视角M的深度图T_M对应的纹理图中的任一位置(x,y)对应的像素，为描述方便，称为第一像素，所述第一像素的纹理值表示为Pixel(x1,y1)，可以获得各第二深度图对应的纹理图中与所述第一像素位置相应的像素的纹理值Color(x1’,y1’),进而可以获取各第二深度图对应的纹理图中与位置相应的像素的纹理值Color(x1’,y1’)相对于所述第一像素的纹理值Color(x1,y1)的相似度值，以及确定所述相似度值s对应的第三滤波系数权重值Weight_s。

在具体实施中，可以预设相似度值s与对应的第三滤波系数权重值Weight_s的对应关系。其中，相似度值s越大，所对应的第三滤波系数权重值Weight_s越小；相似度值s越小，所对应的第三滤波系数权重值Weight_s越大，二者呈反相关关系。

对于如何生成本说明书实施例中的窗口滤波系数值，除了基于像素置信度对应的第一滤波系数权重值外，若同时考虑上述两个示例维度的滤波系数权重值：帧距对应的第二滤波系数权重值和像素相似度对应的第三滤波系数权重值，在本说明书一些实施例中，可以将所述第一滤波系数权重值Weight_i_c、所述第二滤波系数权重值Weight_{i_}d和所述第三滤波系数权重值Weight_i_s之积作为各视频帧相应的窗口滤波系数值Weight_i，即：Weight_i＝Weight_i_c*Weight_{i_}d*Weight_i_s(i取T-N至T+N)。之后，可以计算所述待处理深度图和各第二深度图中位置相应的像素的深度值与各视频帧相应的窗口滤波系数值之积的加权平均值，得到所述待处理深度图中位置相应的像素滤波后的深度值。

可以理解的是，在具体实施中，也可以将所述第一滤波系数权重值与所述第二滤波系数权重值和所述第三滤波系数权重值其中之一的乘积，或者加权平均值作为各视频帧相应的窗口滤波系数值。之后，计算所述待处理深度图中和各第二深度图中位置相应的像素的深度值与各视频帧相应的窗口滤波系数值之积的加权平均值，得到所述待处理深度图中位置相应的像素滤波后的深度值。

继续结合图6进行说明，对第T帧中视角为M的待处理深度图T_M中的任一像素，为描述方便，称为第二像素，设第二像素的深度值可以采用如下公式进行滤波处理，得到第二像素滤波后的深度值

其中，上述公式中各深度图中与所述第二像素位置对应的像素均用Pixel(x2,y2)表示，各深度图对应的视角标识和所处帧分别通过Pixel(x2,y2)的上标和下标进行区分。

可以理解的是，在具体实施中，得到窗口滤波系数值的方式并不限于以上实施例，例如，还可以取所述第一滤波系数权重值Weight_i_c、第二滤波系数权重值Weight_i_d、所述第三滤波系数权重值Weight_i_s和三者的算术平均值或者加权平均值，或者其他的权重分配方式得到所述窗口滤波系数值。

采用以上方式对当前视频帧中待处理深度图中各像素分别进行滤波，在具体实施过程中，可以对待处理深度图中各像素依次进行滤波，为提高滤波速度，也可以对待处理深度图中各像素采用上述实施例方式并行地进行滤波处理，或者分批次对多个像素批量进行滤波处理。

采用上述实施例中的深度图处理方法，在对待处理深度图进行滤波过程中，不但考虑到了时域上预设窗口内各视频帧与所述待处理深度图视角相同的深度图(即第二深度图)与所述待处理深度图的帧距，和/或各与所述待处理深度图视角相同的深度图(即第二深度图)对应的纹理图相对应位置像素对应的纹理值的相似度，而且考虑所述待处理深度图中和各视频帧与所述待处理深度图视角相同的深度图(即第二深度图)中相对应像素的置信度，将相对应像素的置信度值加入到窗口滤波系数权重值，从而可以避免在时域上引入不可靠的深度值(包括所述待处理深度图和各第二深度图中不可靠的深度值)对滤波结果造成影响，故可以提高深度图在时域上的稳定性。

为使本领域技术人员更好地理解和实施本说明书实施例，以下通过一些具体实施例详细描述如何获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

方式一，基于所述待处理深度图中和各第二深度图对应视角周围预设视角范围的深度图，确定所述待处理深度图和各第二深度图中位置相应的像素的置信度值。

具体而言，可以获取各视频帧中所述待处理深度图和各第二深度图对应视角周围预设视角范围内的深度图，得到对应视角的第三深度图，基于所述各对应视角的第三深度图，确定所述待处理深度图中和各第二深度图中位置相应位置的像素的置信度值。

参照图6，对于当前视频帧中视角为M的待处理深度图，各视频帧中所述第二深度图视角也为M，在具体实施中，可以获取视角为M的各深度图(包括待处理深度图和各第二深度图)对应视角周围预设视角范围[M-K,M+K]内的深度图，为描述方便，可以称为第三深度图。例如，具体可以以视角M为中心向两侧分别辐射15°、30°、45°、60°等等。可以理解的是，所述取值仅为示例性说明，并不用于限定本发明的范围，具体取值与各视频帧的图像组合中对应的图像组合的视点密度相关，视点密度越高，取值范围可以越小，视点密度越低，取值范围可以相应扩大。

在具体实施中，视角范围也可以采用图像组合对应的视点在空间中的分布位置来确定，例如，呈弧线型排布的共40个采集设备同步采集到的纹理图以及由此得到的对应的深度图，M和K可以表示采集设备的位置，例如，M表示从左侧数第10个采集设备的视角，K取3，则可以基于从左数第7个至第13个采集设备的视角，分别基于第7个至第9个采集设备的视角和第11个至第13个采集设备的视角对应的深度图，可以确定第10个采集设备对应的深度图中相应位置的像素的置信度值。

需要说明的是，所述预设视角范围的取值区间也可以不以所述待处理深度图的视角为中心，具体取值可以根据各视频帧中深度图对应的空间位置关系进行确定。例如，可以选择距离各视频帧中对应的视点最近的一个或多个深度图，用于确定所述待处理深度图和各第二深度图中像素的置信度。

方式二，基于所述待处理深度图中和各第二深度图中位置相应的像素与所述像素所处深度图中周围预设区域内像素的空间一致性，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

需要说明的是，对于方式一，可以有不同的实现形式，以下通过两个示例进行说明，在具体实施中，可以单独采用其中一种方式，或者二者结合使用，或者可以将其中任意一种或其结合进一步与其他方式组合使用，本说明书中示例仅为使本领域技术人员更好地理解和实施本发明，并不用于限定本发明的保护范围。

方式一之示例一：基于纹理图的匹配差异确定像素的置信度

参照图7所示的获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值的方法流程图，具体可以采用如下步骤：

S71，获取所述待处理深度图对应的纹理图和各第二深度图对应的纹理图。

如前实施例所述，由于多角度自由视角视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图，因此可以从所述预设窗口的视频帧序列中当前视频帧和各第二深度图的视频帧的图像组合中获得对应视角的纹理图。参照图6，可以分别获得第T-N帧至第T+N帧视频帧中所有视角为M的深度图对应的纹理图。

S72，根据所述待处理深度图和各第二深度图中位置相应的像素的深度值，将所述待处理深度图对应的纹理图中和各第二深度图对应的纹理图中相应位置的纹理值分别映射到各对应视角的第三深度图对应的纹理图中的相应位置，得到各对应视角的第三深度图对应的映射纹理值。

在具体实施中，可以基于各视频帧的图像组合中不同视角的图像组合的空间位置关系，根据所述待处理深度图和各第二深度图中位置相应的像素的深度值，将所述待处理深度图对应的纹理图中和各第二深度图对应的纹理图中相应位置的纹理值分别映射到各对应视角的第三深度图对应的纹理图中的相应位置，得到各对应视角的第三深度图对应的映射纹理值。

继续结合图6进行说明，对于第T-N帧视频帧中视角M的深度图对应的纹理图的纹理值可以分别映射到第T-N帧视频帧中视角为[M-K,M+k]范围内的多个视角的第三深度图对应的纹理图中的相应位置，得到这多个视角的第三深度图对应的映射纹理值Color’(x,y)，即：

S73，将所述映射纹理值分别与各对应视角的第三深度图对应的纹理图中的相应位置的实际纹理值进行匹配，基于各对应视角的第三深度图对应的纹理值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

其中，若各对应视角的第三深度图对应的纹理值的匹配度越高，则说明相应的纹理图的差异越小，则对应的待处理深度图中和各第二深度图中像素的深度值的可靠度越高，相应地，置信度值越高。

对于如何基于各对应视角的第三深度图对应的纹理值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，可以有多种实施方式。

在具体实施中，可以基于各对应视角的第三深度图对应的纹理值的匹配度以及满足相应匹配度的第三深度图的数量，综合确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。例如，可以设置当匹配度大于预设的第一匹配度阈值的数量大于预设第一数目阈值，设置对应的置信度值为1，否则设置对应的置信度值为0。类似地，在具体实施中，也可以梯度设置纹理值的匹配度阈值、满足相应匹配度阈值的第三深度图的数量阈值以及置信度值的对应关系。

由上可知，所述待处理深度图中和各第二深度图中位置相应的像素的置信度值可以二值化取值，即取0或1，也可以设置为[0,1]内的任意值或者设置的离散值。

为描述方便，设各对应视角的第三深度图对应的纹理图中的相应位置的实际纹理值为Color_1(x,y)，则可以分别将各视频帧的各对应视角的第三深度图对应的映射纹理值Color’(x,y)分别与对应视角的第三深度图对应的纹理图中的相应位置的实际纹理值Color_1(x,y)进行匹配，例如，所述第一匹配度阈值设置为80％。

在本说明书一实施例中，各视频帧中与所述待处理深度图和各第二深度图对应的第三深度图分别为所述待处理深度图和对应的第二深度图的视角两侧30度范围内的第三深度图，在所述待处理深度图和各第二深度图的视角两侧30度范围内，分别存在三个视角的第三深度图。考虑到视角的遮挡，例如若满足所述预设第一匹配度阈值的第三深度图的数量大于或等于2，则确定所述视频帧的第二深度图中位置相应的像素的置信度值为1；若满足所述预设第一匹配度阈值的第三深度图的数量为0，则确定所述视频帧的第二深度图中位置相应的像素的置信度值为1；若满足所述预设第一匹配度阈值的第三深度图的数量大于或等于2，则确定所述视频帧的第二深度图中位置相应的像素的置信度值为0.5。对于所述待处理深度图，同样存在三个视角的第三深度图，所述待处理深度图中位置相应的像素的置信度取值与上述各第二深度图中位置相应的像素的取值判断条件相同。

方式一之示例二：基于深度图的一致性确定像素的置信度

基于深度图的一致性确定像素的置信度，根据深度图映射方向的不同，可以有两种实现方式，一种是将所述待处理深度图中和第二深度图中位置相应的像素的深度值映射到各对应视角的第三深度图上，并将所述各对应视角的第三深度图中相应位置像素的映射深度值分别与相应位置像素的实际深度值进行匹配；另一种是先将获取得到的第三深度图中位置相应像素的深度值映射到对应的所述待处理深度图中和第二深度图中相应位置，再将在所述待处理深度图和各第二深度图对应视角的映射深度值分别与第二深度图中相应位置的实际深度值进行匹配。以下通过具体应用场景展开进行详细描述。

参照图8所示的获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值的方法流程图，可以将所述待处理深度图中和各第二深度图中位置相应的像素的深度值映射到各对应视角的第三深度图上，并将所述各对应视角的第三深度图中相应位置像素的映射深度值分别与相应位置像素的实际深度值进行匹配，具体可以采用如下步骤：

S81，将所述待处理深度图中和各第二深度图中位置相应的像素的深度值映射到各对应视角的第三深度图上，得到所述各对应视角的第三深度图中相应位置像素的映射深度值。

如前实施例所述，由于多角度自由视角视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图，对于任一视频帧，均包括多个视角的深度图。按照预设的空间位置关系，可以将所述预设窗口内各视频帧中所述待处理深度图中和各第二深度图中位置相应的像素的深度值映射到各对应视角的第三深度图上，得到所述各对应视角的第三深度图中相应位置像素的映射深度值。参照图6，可以分别获得第T-N帧至第T+N帧的窗口内各视频帧中视角为M的深度图(包括所述待处理深度图和各第二深度图)在预设视角范围[M-K,M+K]中对应的第三深度图，并完成同一帧内像素的深度值在预设视角范围内不同深度图之间的映射，即完成所述预设窗口内各视频帧中视角为M的深度图(包括所述待处理深度图和各第二深度图)中位置相应的像素的深度值在帧内所述预设视角范围[M-K,M+K]内其他对应视角的第三深度图中相应位置像素的深度值映射。

S82，将所述各对应视角的第三深度图中相应位置像素的映射深度值分别与所述各对应视角的第三深度图中相应位置像素的实际深度值进行匹配，基于各对应视角的第三深度图对应的深度值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

其中，若各对应视角的第三深度图对应的深度值的匹配度越高，则说明相应的深度图的差异越小，则对应的所述待处理深度图中或第二深度图中像素的深度值的可靠度越高，相应地，置信度值越高。

对于如何基于各对应视角的第三深度图对应的深度值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，可以有多种实施方式。

在具体实施中，可以基于各对应视角的第三深度图对应的深度值的匹配度以及满足相应匹配度的第三深度图的数量，综合确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。例如，可以设置当匹配度大于预设的第二匹配度阈值(作为具体示例，所述第二匹配度阈值取值为80％，或者取值为70％)的数量大于预设第二数目阈值，设置对应的置信度值为1，否则设置对应的置信度值为0。类似地，在具体实施中，也可以梯度设置深度值的匹配度阈值、满足相应匹配度阈值的第三深度图的数量阈值以及置信度值的对应关系。

由上可知，所述待处理深度图中和各第二深度图中位置相应的像素的置信度值可以二值化取值，即取0或1，也可以设置为[0,1]内的任意值或者设置的离散值。

在本说明书一实施例中，各视频帧中与所述待处理深度图或第二深度图对应的第三深度图分别为所述第二深度图的视角两侧30度范围内的第三深度图，在第二深度图的视角两侧30度范围内，分别存在三个视角的第三深度图。考虑到视角的遮挡，例如若满足所述预设第二匹配度阈值的第三深度图的数量大于或等于2，则确定所述视频帧中的待处理深度图中或第二深度图中位置相应的像素的置信度值为1；若满足所述预设第二匹配度阈值的第三深度图的数量为0，则确定所述视频帧中的待处理深度图中或第二深度图中位置相应的像素的置信度值为1；若满足所述预设第二匹配度阈值的第三深度图的数量大于或等于2，则确定所述视频帧中的待处理深度图中或第二深度图中位置相应的像素的置信度值为0.5。

参照图9所示的获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值的方法流程图，可以先将获取得到的第三深度图中位置相应像素的深度值反映射到所述第二深度图中相应位置，再将在所述第二深度图对应视角的映射像素位置分别与第二深度图中相应位置的实际像素位置的距离比较，根据二者差值确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，具体可以采用如下步骤：

S91，分别获取所述待处理深度图中和各第二深度图中位置相应的像素的深度值，根据所述深度值，分别映射到对应视角的第三深度图中相应像素位置，获取并根据对应视角的第三深度图中相应像素位置的深度值，反映射到所述待处理深度图中和各第二深度图中相应的像素位置，得到各对应视角的第三深度图在所述待处理深度图中和各第二深度图中对应的映射像素位置。

如前实施例所述，多角度自由视角视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图，对于任一视频帧，均包括多个视角的深度图。可以分别获得第T-N帧至第T+N帧的窗口内各视频帧中视角为M的深度图(包括所述待处理深度图和各第二深度图)中位置相应的像素的深度值，根据所述深度值，分别映射到在预设视角范围[M-K,M+K]内对应的第三深度图中相应像素位置，获取所述各视频帧中在预设视角范围[M-K,M+K]内各对应视角的第三深度图中与所述待处理深度图中和各第二深度图中位置相应的像素的深度值。之后，可以按照预设的空间位置关系，根据获取得到的所述第T-N帧至第T+N帧的窗口内各视频帧中第三深度图中位置相应像素的深度值，反映射到所述待处理深度图中和各第二深度图中相应的像素位置，可以得到各对应视角的第三深度图在所述待处理深度图中和各第二深度图对应的映射像素位置。

参照图6，可以分别获得第T-N帧至第T+N帧的窗口内各视频帧中视角为M的待处理深度图中和各第二深度图中位置相应的像素的深度值，根据所述深度值，分别映射到预设视角范围[M-K,M+K]内对应的第三深度图中的相应像素位置，获取并根据同一帧内在预设视角范围内不同视角的第三深度图中相应像素位置的深度值，之后，可以按照预设的空间位置关系，根据获取得到各视频帧内对应视角的第三深度图中相应像素位置的深度值，反映射到在同一视频帧内对应的待处理深度图中或第二深度图中相应的像素位置，得到各对应视角的第三深度图在所述待处理深度图中和各第二深度图中对应的映射像素位置。例如，根据第T-N帧内视角范围为[M-K,M+K]中第三深度图相应像素位置的深度值，分别映射到第T-N帧内视角为M的深度图中，可以得到各第三深度图(如第T-N帧内视角分别为M-2、M-1、M+1、M+2的多个第三深度图)在第T-N帧内视角为M的深度图中对应的映射像素位置。

S92，分别计算所述待处理深度图中和各第二深度图中相应位置的像素的实际像素位置与对应视角的第三深度图反映射得到的映射像素位置的像素距离，基于计算得到的各像素距离的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

其中，若像素距离越小，则对应的待处理深度图中或第二深度图中相应位置的像素的深度值的可靠度越高，相应地，置信度值越高。

对于如何基于各对应视角的第三深度图对应的深度值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，可以有多种实施方式。

在具体实施中，可以基于各对应视角的第三深度图对应的像素距离大小以及满足相应距离阈值区间的第三深度图的数量，综合确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。例如，可以设置当距离小于预设的距离阈值d₀的数量大于预设第三数目阈值，设置对应的置信度值为1，否则设置对应的置信度值为0。类似地，在具体实施中，也可以梯度设置的距离阈值、满足相应距离阈值的第三深度图的数量阈值以及置信度值的对应关系。

由上可知，所述待处理深度图中和各第二深度图中相应的像素的置信度值可以二值化取值，即取0或1，也可以设置为[0,1]内的任意值或者设置的离散值。

在本说明书一实施例中，各视频帧中与所述待处理深度图中和各第二深度图对应的第三深度图分别为所述待处理深度图和各第二深度图的视角两侧30度范围内的第三深度图，在所述待处理深度图和各第二深度图的视角两侧30度范围内，分别存在三个视角的第三深度图。考虑到视角的遮挡，例如若像素距离小于所述预设第一距离阈值的第三深度图的数量大于或等于2，则确定所述视频帧的待处理深度图中或第二深度图中位置相应的像素的置信度值为1；若像素距离小于所述预设第一距离阈值的第三深度图的数量为0，则确定所述视频帧的待处理深度图中或第二深度图中与所述第一像素位置相应的像素的置信度值为1；若像素距离满足所述预设第一距离阈值的第三深度图的数量大于或等于2，则确定所述视频帧的待处理深度图中或第二深度图中位置相应的像素的置信度值为0.5。

以上给出了分别基于纹理图的匹配差异确定像素的置信度以及基于深度图的一致性确定像素的置信度的具体实现示例。在具体实施中，也可以将二者结合共同确定像素的置信度。以下给出一些实施例中的具体结合方式，可以理解的是，以下示例并不用于限定本发明的保护范围。

结合方式一：取基于纹理图的匹配差异确定的像素的置信度和基于深度图的一致性确定像素的置信度的乘积作为所述第二深度图中位置相应的像素的置信度，可以用公式表示如下：

Weight_c＝Weight_c_texture*Weight_c_depth；

其中，Weight_c表示所述待处理深度图中和第二深度图中位置相应的像素的置信度，Weight_c_texture表示基于纹理图的匹配差异确定的像素的置信度，Weight_c_depth表示基于深度图的一致性确定像素的置信度。

结合方式二：取基于纹理图的匹配差异确定的像素的置信度和基于深度图的一致性确定像素的置信度的加权和作为所述待处理深度图和各第二深度图中位置相应的像素的置信度，可以用公式表示如下：

Weight_c＝a*Weight_c_texture+b*Weight_c_depth；

其中，Weight_c表示所述待处理深度图中和各第二深度图中位置相应的像素的置信度，Weight_c_texture表示基于纹理图的匹配差异确定的像素的置信度，Weight_c_depth表示基于深度图的一致性确定像素的置信度，a为基于纹理图的匹配差异确定的像素的置信度的加权系数，b为基于深度图的一致性确定像素的置信度。

以上示出了方式一确定像素置信度的方式，以下接着给出方式二确定像素置信度的两种实现示例：

示例一：将所述待处理深度图中和各第二深度图中位置相应的像素分别与所述像素所处深度图周围预设区域内的像素的深度值进行匹配，基于所述深度值的匹配度以及匹配度满足预设像素匹配度阈值的像素的数量，分别确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

参照图10所示的任一第二深度图Px，对于与待处理深度图中任一像素位置相应的像素Pixel(x1’,y1’)，作为待确定置信度的像素，可以分别将像素Pixel(x1’,y1’)与所述第二深度图Px中Pixel(x1’,y1’)周围预设区域R内的任一像素的深度值进行匹配，例如，若在预设区域R内的8个像素中有5个像素的匹配度预设大于预设的像素匹配度阈值60％，则确定所述第二深度图Px中像素Pixel(x1’,y1’)的置信度为0.8。

在具体实施中，所述预设区域可以取圆形、矩形或者不规则形状，具体形状并不做限制，包围所述待确定置信度的像素即可，预设区域的大小可以根据经验进行设置。

示例二：将所述待处理深度图中和各第二深度图中位置相应的像素与所述像素所处深度图中周围预设区域内的像素的深度值的加权平均值进行匹配，基于所述待出深度图中和各第二深度图中位置相应的像素与所述加权平均值的匹配度，分别确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

继续参照图10，在本说明书一实施例中，先将Pixel(x1’,y1’)周围预设区域R内的像素的深度值进行加权平均，然后再进行相似度匹配，例如加权平均后与Pixel(x1’,y1’)的深度值的匹配度大于50％，可以确定第二深度图Px中像素Pixel(x1’,y1’)的置信度为1。

以上给出了多种可以确定待处理深度图中和各第二深度图中位置相应的像素的置信度的方式。在具体实施中，可以将其中至少两种方式结合使用。通过将所述待处理深度图中和各第二深度图中对应像素的置信度值对应的第一滤波系数权重值加入到窗口滤波系数值，按照预设的滤波方式对所述待处理深度图中位置相应的像素的深度值进行滤波，得到所述待处理深度图中位置相应的像素滤波后的深度值，可以避免引入所述待处理深度图和各第二深度图中不可靠的深度值对滤波结果造成影响，从而可以提高深度图在时域上的稳定性。

采用上述实施例的深度图处理方法，对深度图在时域上进行滤波处理后，可以提高视频重建的图像质量，为使本领域技术人员更好地理解和实施，以下通过一实施例说明如何进行视频重建。

参照图11所示的视频重建方法的流程图，具体可以包括如下步骤：

S111，获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图。

S112，对所述深度图在时域上进行滤波处理。

在具体实施中，可以采用本说明书实施例中的深度图处理方法进行滤波处理，具体方法可以参见前述各实施例的描述，此处不再展开阐述。

S113，根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和滤波后的深度图。

S114，基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和滤波后的深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。

采用上述视频重建方法，其中对于视频帧中的深度图在时域上进行滤波，对于时域上预设窗口的视频帧序列中各视频帧中与所述待处理深度图相同视角的深度图，即第二深度图，通过获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，以及确定所述置信度值对应的第一滤波系数权重值，并将所述第一滤波系数权重值加入到窗口滤波系数值，可以避免引入所述待处理深度图和各第二深度图中不可靠的深度值对滤波结果造成影响，从而可以提高深度图在时域上的稳定性，进而可以提高重建视频的图像质量。

本说明书实施例还提供了能够实现前述实施例方法的具体装置和系统，以下参照附图，通过具体实施例进行描述。

本说明书实施例提供了一种深度图处理装置，可以对深度图在时域上进行滤波处理。参照图12所示的深度图处理装置的结构示意图，深度图处理装置120可以包括：

深度图获取单元121，适于从多角度自由视角的当前视频帧的图像组合中获取待处理深度图，所述多角度自由视角的当前视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；

帧序列获取单元122，适于获取包含所述当前视频帧的时域上预设窗口的视频帧序列；

窗口滤波系数值获取单元123，适于获取所述视频帧序列中各视频帧相应的窗口滤波系数值，所述窗口滤波系数值由至少两个维度的权重值生成，其中包括：像素置信度对应的第一滤波系数权重值，所述窗口滤波系数值获取单元123包括：第一滤波系数权重值获取子单元1231，适于获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，以及确定所述置信度值对应的第一滤波系数权重值，其中：所述第二深度图为所述视频帧序列各视频帧中与所述待处理深度图视角相同的深度图；

滤波单元124，适于基于各视频帧相应的窗口滤波系数值，按照预设的滤波方式对所述待处理深度图中位置相应的像素进行滤波，得到所述待处理深度图中位置相应的像素滤波后的深度值。

在具体实施中，所述第一滤波系数权重值获取子单元1231可以包括以下至少一种置信度值确定子单元：

第一置信度值确定构件12311，适于获取所述待处理深度图和各第二深度图对应视角周围预设视角范围内的深度图，得到对应视角的第三深度图，基于所述各对应视角的第三深度图，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值；

第二置信度值确定构件12312，适于基于所述待处理深度图中和各第二深度图中位置相应的像素与所述像素所处深度图中周围预设区域内像素的空间一致性，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书一实施例中，所述第一置信度值确定构件12311，适于获取所述待处理深度图对应的纹理图和各第二深度图对应的纹理图，根据所述待处理深度图中和各第二深度图中位置相应的像素的深度值，将所述待处理深度图对应的纹理图和各第二深度图对应的纹理图中相应位置的纹理值分别映射到各对应视角的第三深度图对应的纹理图中的相应位置，得到各对应视角的第三深度图对应的映射纹理值；将所述映射纹理值分别与各对应视角的第三深度图对应的纹理图中的相应位置的实际纹理值进行匹配，基于各对应视角的第三深度图对应的纹理值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书另一实施例中，所述第一置信度值确定构件12311，将所述待处理深度图中和各第二深度图中位置相应的像素映射到各对应视角的第三深度图上，得到所述各对应视角的第三深度图中相应位置像素的映射深度值；将所述各对应视角的第三深度图中相应位置像素的映射深度值分别与所述各对应视角的第三深度图中相应位置像素的实际深度值进行匹配，基于各对应视角的第三深度图对应的深度值的匹配度的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书又一实施例中，所述第一置信度值确定构件12311，适于分别获取所述待处理深度图中和各第二深度图中位置相应的像素的深度值，根据所述深度值，分别映射到对应视角的第三深度图中相应像素位置，获取并根据对应视角的第三深度图中相应像素位置的深度值，反映射到所述待处理深度图中和各第二深度图中相应的像素位置，得到各对应视角的第三深度图在所述待处理深度图中和各第二深度图中对应的映射像素位置；分别计算所述待处理深度图中和各第二深度图中相应位置的像素的实际像素位置与对应视角的第三深度图反映射得到的映射像素位置的像素距离，基于计算得到的各像素距离的分布区间，确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书一实施例中，所述第二置信度值确定构件12312，适于将所述待处理深度图中和各第二深度图中位置相应的像素分别与所述像素所处深度图中周围预设区域内的像素的深度值进行匹配，基于所述深度值的匹配度以及匹配度满足预设像素匹配度阈值的像素的数量，分别确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在本说明书另一实施例中，所述第二置信度值确定构件12312，将所述待处理深度图中和各第二深度图中位置相应的像素与所述像素所处深度图中周围预设区域内的像素的深度值的加权平均值进行匹配，基于所述待处理深度图中和各第二深度图中位置相应的像素与对应的加权平均值的匹配度，分别确定所述待处理深度图中和各第二深度图中位置相应的像素的置信度值。

在具体实施中，所述窗口滤波系数的权重值还可以包括如下至少一种：帧距对应的第二滤波系数权重值，像素相似度对应的第三滤波系数权重值。

相应地，所述窗口滤波系数值获取单元123还可以包括如下至少一种：

第二滤波系数权重值获取子单元1232，适于获取所述视频帧序列中各视频帧与所述当前视频帧的帧距，以及确定所述帧距对应的第二滤波系数权重值；

第三滤波系数权重值获取子单元1233，适于获取各第二深度图对应的纹理图与所述待处理深度图对应的纹理图中位置相应的像素的相似度值，以及确定所述相似度值对应的第三滤波系数权重值。

在本说明书一实施例中，所述滤波单元124，适于将所述第一滤波系数权重值与所述第二滤波系数权重值和所述第三滤波系数权重值至少其中之一的乘积，或者加权平均值作为各视频帧相应的窗口滤波系数值；计算所述待处理深度图中和各第二深度图中位置相应的像素的深度值与各视频帧相应的窗口滤波系数值之积的加权平均值，得到所述待处理深度图中位置相应的滤波后的深度值。

本说明书实施例还提供了一种视频重建系统，采用所述视频重建系统进行视频重建，可以提高重建视频的图像质量。参照图13所示的视频重建系统的结构示意图，视频重建系统130包括：获取模块131、滤波模块132、选择模块133和图像重建模块134，其中：

所述获取模块131，适于获取多角度自由视角的视频帧的图像组合、所述视频帧的图像组合对应的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；

所述滤波模块132，适于对所述视频帧中的深度图进行滤波；

所述选择模块133，适于根据所述虚拟视点位置信息及所述视频帧的图像组合对应的参数数据，按照预设规则选择用户交互时刻所述视频帧的图像组合中相应组的纹理图和滤波后的深度图；

所述图像重建模块134，适于基于所述虚拟视点位置信息及用户交互时刻所述视频帧的图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻所述视频帧的图像组合中相应组的纹理图和滤波后的深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像；

其中，所述滤波模块132可以包括：

深度图获取单元1321，适于从多角度自由视角的当前视频帧的图像组合中获取待处理深度图，所述多角度自由视角的当前视频帧的图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；

帧序列获取单元1322，适于获取包含所述当前视频帧的时域上预设窗口的视频帧序列；

窗口滤波系数值获取单元1323，适于获取所述视频帧序列中各视频帧相应的窗口滤波系数值，所述窗口滤波系数值由至少两个维度的权重值生成，其中包括：像素置信度对应的第一滤波系数权重值，所述窗口滤波系数值获取单元包括：第一滤波系数权重值获取子单元13231，适于获取所述待处理深度图中和各第二深度图中位置相应的像素的置信度值，以及确定所述置信度值对应的第一滤波系数权重值，其中：所述第二深度图为所述视频帧序列各视频帧中与所述待处理深度图视角相同的深度图；

滤波单元1324，适于基于各视频帧相应的窗口滤波系数值，按照预设的滤波方式对所述待处理深度图中位置相应的像素进行滤波，得到所述待处理深度图中位置相应的像素滤波后的深度值。

在具体实施中，所述窗口滤波系数值获取单元1323还包括如下至少一种：

第二滤波系数权重值获取子单元13232，适于获取所述视频帧序列中各视频帧与所述当前视频帧的帧距，以及确定所述帧距对应的第二滤波系数权重值；

第三滤波系数权重值获取子单元13233，适于获取各第二深度图对应的纹理图与所述待处理深度图对应的纹理图中位置相应的像素的相似度值，以及确定所述相似度值对应的第三滤波系数权重值。

所述滤波模块132的具体实现可以参见图12，可以采用图12所示的深度图处理装置作为所述滤波模块132进行时域滤波，具体可以参见前述实施例中的深度图处理装置和深度图处理方法进行实施。需要说明的是，所述深度图处理装置具体可以通过相应的软件、硬件或者软硬件结合的方式实现。其中，各滤波系数权重值的计算可以由一个或多个CPU或者GPU，或者CPU与GPU协同实施，CPU可以与一个或者多个GPU芯片或者GPU模组进行通信，控制各GPU芯片或者GPU模组进行深度图的滤波处理。

本说明书实施例还提供了一种电子设备，参照图14所示的电子设备的结构示意图，电子设备140可以包括存储器141和处理器142，所述存储器141上存储有可在所述处理器142上运行的计算机指令，所述处理器142运行所述计算机指令时可以执行前述任一实施例所述的深度图处理方法或前述任一实施例所述视频重建方法的步骤。具体步骤可以参见前述实施例的介绍，此处不再赘述。

需要说明的是，所述处理器142具体可以包括一个或者多个CPU核心形成的CPU芯片1421，或者可以包括GPU芯片1422，或者是由所述CPU芯片1421和GPU芯片1422组成的芯片模组。处理器142和存储器141之间可以通过总线等进行通信，各芯片之间也可以通过相应的通信接口进行通信。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行前述任一实施例所述的深度图处理方法或前述任一实施例所述视频重建方法的步骤。具体步骤可以参见前述实施例的介绍，此处不再赘述。

为使本领域技术人员更好地理解和实施，以下以图1所示的具体应用场景的具体应用进行示例说明。

云端的服务器集群13可以先采用本说明书实施例方案对深度图进行时域滤波，之后再基于视频帧的图像组合中相应组的纹理图和滤波后的深度图进行图像重建，得到重建的多角度自由视角图像。

在具体实施中，所述云端的服务器集群13可以包括：第一云端服务器131，第二云端服务器132，第三云端服务器133，第四云端服务器134。其中，第一云端服务器131可以用于确定所述图像组合相应的参数数据；第二云端服务器132可以用于确定所述图像组合中各帧图像的深度数据；第三云端服务器133可以基于所述图像组合相应的参数数据、所述图像组合的像素数据和深度数据，使用基于深度图的虚拟视点重建(Depth Image BasedRendering，DIBR)算法，对预设的虚拟视点路径进行帧图像重建；所述第四云端服务器134可以用于生成多角度自由视角视频，其中，所述多角度自由视角视频数据可以包括：按照帧时刻排序的帧图像的多角度自由视角空间数据和多角度自由视角时间数据。

可以理解的是，所述第一云端服务器131、第二云端服务器132、第三云端服务器133、第四云端服务器134也可以为服务器阵列或服务器子集群组成的服务器组，本说明书实施例不做限制。

作为一具体示例，可以由第二云端服务器132从多角度自由视角的当前视频帧的图像组合中获取深度图，作为待处理深度图，所述第二云端服务器132可以对采用本说明书前述实施例方案对所述待处理深度图进行时域滤波，可以提高深度图在时域上的稳定性，之后，采用时域滤波后的深度图进行视频重建，不论是在播放终端15还是在交互终端16进行播放，均可以提高视频重建的图像质量。

在本说明书实施例中，采集设备还可以设置在篮球场馆的顶棚区域、篮球架上等。各采集设备可以沿直线、扇形、弧线、圆形、矩阵或者不规则形状排列分布。具体排列方式可以根据具体的现场环境、采集设备数量、采集设备的特点、成像效果需求等一种或多种因素进行设置。所述采集设备可以是任何具有摄像功能的设备，例如，普通的摄像机、手机、专业摄像机等。

在本说明书一些实施例中，如图1所示，所述采集阵列11中各采集设备可以通过交换机17或局域网等将获得的视频数据流实时传输至所述数据处理设备12。

可以理解的是，所述数据处理设备12可以根据具体情景置于现场非采集区域或云端，所述服务器(集群)和播放控制设备可以根据具体情景置于现场非采集区域，云端或者终端接入侧，本实施例并不用于限制本发明的具体实现和保护范围。本说明书实施例中各装置、系统、设备或系统的具体实现方式、工作原理和具体作用及效果，可以参见对应方法实施例中的具体介绍。

可以理解的是，以上实施例方案适用于直播或准直播场景，但并不仅限于此，本说明书实施例中的方案中对于视频或图像采集、视频数据流的数据处理以及服务器的图像生成等方案也可以适用于非直播场景的播放需求，如录播、转播以及其他有低时延需求的场景。

虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。