具体实施方式

下面结合附图进一步说明本发明的实施流程，模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，其总体框架如图1所示，包括下列步骤：

1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：

1.1模糊体素对于像素(x,y)的数学表达式为：

V(x,y)＝{d_k,μ_k(d_k)|d_k∈[d_min,d_max]}

组成要素包括：深度范围[d_min,d_max]，表征深度估计的不确定度，深度的间隔采用深度值倒数的线性采样；隶属度函数μ_k(d_k)∈[0,1]，表征候选深度d_k属于正确深度值的程度，其值与深度范围有关；

1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制，具体流程如图2所示；

1.3双层帧采样过程：先利用运动恢复结构算法计算所有视频帧的相机位姿，同时重建视频图像中显著特征的稀疏三维点云，然后根据这些信息对视频帧进行由密集到稀疏采样；窄基线图像序列中不易出现三维点被遮挡、移出视野、亮度变化等问题，利于深度估计，而原始视频的时域冗余较严重，致使数据量过大，所以先对视频帧密集采样，使相邻采样帧的相机视角相差1°；宽基线图像之间一定的内容差异有益于提高MVS的可靠性，所以再对密集采样帧以4:1的固定比例进一步下采样，得到稀疏采样帧；为减少计算量，只对稀疏采样帧重建模糊边缘；

1.4深度范围选取过程：对于每幅稀疏采样帧，先提取边缘像素，然后为每个模糊边缘进行深度范围的由粗到细选取，具体包括下列步骤：

1.4.1初始化：利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值，初始化该模糊边缘的深度范围；

1.4.2粗选取：利用当前帧的100幅相邻密集采样帧，计算所有候选深度的匹配代价，用匹配代价小于τ₁的最小与最大候选深度，更新该模糊边缘的深度范围；

1.4.3细选取：利用当前帧的100幅相邻稀疏采样帧，计算新的匹配代价，将匹配代价小于τ₂的最小与最大候选深度作为该模糊边缘最终的深度范围；

考虑到块匹配一般会降低场景模型几何边缘尖锐度的问题，步骤1.4.2与1.4.3采用像素级匹配代价计算方法，阈值τ₁与τ₂根据具体场景的实际重建效果设定，将最后取得最小匹配代价的深度值作为该边缘的粗略深度，并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘；

1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为：

μ_k(d_k)＝(1-S_k)·(1+R_k/6)

S_k∈[0,1]为在深度范围细选取步骤中求得的匹配代价，表征d_k所重建体素P在稀疏采样帧中的亮度一致性；R_k∈[-6,6]衡量P在MVS结果中的可见度一致性，计算公式如下列：

其中：D_n为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图；B、A与C分别表示P与D_n之间是否产生三种关系(是则取1，否则取0)：

①可见度一致：P在D_n中的投影处重建出与P近乎相同的三维点(图3a)。

②自由空间冲突：D_n在P与P所在视点的相机光心之间(自由空间)重建出另一个三维点(图3b)。

③遮挡：P处于D_n所重建三维点与D_n所在视点的相机光心之间(图3c)。

上式使用发生自由空间冲突与遮挡次数的差值，是因为这两种不满足全局可见性约束的情况不可能同时出现。

2.虚拟视图模糊边缘合成：通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘，其具体流程如图4a所示，包括下列步骤：

2.1参考视图选取：从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像；M值越小，计算越简单；M值越大，虚拟视图与真实视图之间的视觉连续性越优，M值根据实际情况设置，以便达到运算速度与合成效果的良好折中；假设虚拟视图I_v的相机光心为O_v，将某参考视图I_c中像素(x,y)对I_v的插值权重定义为：

b为相邻稀疏采样帧的平均基线，Ray_c为I_c的光线，Dist为点线距离函数；

2.2模糊边缘合成：先为候选边缘合成模糊体素，再从中提取模糊边缘，具体包括下列步骤：

2.2.1候选边缘模糊体素合成过程：如图4b所示，将每幅参考视图的模糊边缘投影到虚拟视图中，把全部投影点标记为候选边缘；对于每个候选边缘(x,y)，将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上，取所有深度范围投影的并集作为该像素模糊体素的深度范围；然后利用下式计算其模糊体素：

其中：V_c为虚拟视图的参考视图的模糊边缘，T_v与T_c分别表示对虚拟视图与参考视图进行投影正变换；

两个具有不同深度范围的模糊体素的求和过程为：先将它们的深度范围均扩展为两者的并集，新增候选深度的隶属度设为0，再将相同深度的隶属度相加，最后，为了防止模糊体素合成导致深度范围累积，将V_v(x,y)做紧凑化处理，即对其深度范围也采用加权求和运算进行更新；

2.2.2模糊边缘提取过程：候选边缘模糊体素中的非边缘信息会影响模糊表面的生成质量，所以必须将这些模糊体素集去除；此过程将每个模糊体素的中心—隶属度最大的所有候选深度的平均值，作为对应候选边缘的深度估计，利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测；

3.虚拟视图模糊表面生成：如图5a所示，先采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面；然后利用全部稀疏采样帧的模糊边缘，同时基于全局可见性约束，去除造成错误遮挡的模糊表面；最后利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补，具体包括下列步骤：

3.1空域插值采用Jacobi迭代法，对虚拟视图的模糊边缘进行视点内插值，对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束，如图5b所示；不失一般性，令V_v ^t为虚拟视图模糊表面的第t次卷积结果，则迭代过程描述为：

{(x_n,y_n)}代表像素(x,y)的4邻域；δ(·)为指示函数，对于非空模糊体素，其值为1，否则为0；如果V_v ^t+1在深度范围和隶属度分布方面与E_v ^t的差异都小于给定阈值，表明已达到收敛，故结束迭代；

3.2去除造成错误遮挡的模糊表面，当某些三维边缘(如图5b中的P_r)在虚拟视图中不可见时，如果仅追求模糊表面的完整性和平滑性，上述空域插值过程可能会导致前景模糊边缘与背景模糊边缘相连接，由此产生的错误模糊表面将实际边缘完全遮挡，因而包括下列步骤：

3.2.1种子点选取：如图5c所示，先从虚拟视图的模糊表面中获取其粗略表面估计，即提取全部模糊体素的中心；再将该粗略表面依次投影到每幅稀疏采样帧中；对于某稀疏采样帧的边缘(x,y)，假设它的模糊体素深度范围为[d_min,d_max]，其粗略深度估计d_r重建的体素为P_r；用P_w表示从虚拟视图投影至(x,y)的体素，用d_w与[d_min',d_max']分别代表其相对于此采样帧的深度值和深度范围—通过将P_w所属模糊体素投影至(x,y)所在光线上求得，如果满足以下条件：

说明P_r确定位于P_w之后，显然与全局可见性约束冲突。由于P_r相对准确，表明P_w必然处在错误表面上，因此将P_w标记为区域生长过程的一个种子点；为了提高算法效率，种子点所属的模糊体素将不再投影到剩余采样帧中，式中：β为容错性能控制参数，β值越小，遮挡检测算法对深度估计的误差越敏感，遮挡区域去除得越干净，但是在非遮挡区域会产生较多小面积空洞，相反，β值越大，种子点数量较少但是可靠性更强，遮挡检测算法越鲁棒；

3.2.2区域生长：将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面：先针对每个种子点P_w，将其在相应采样帧中的深度差d_r-d_w投影至它在虚拟视图中的光线上，投影结果记为Δd；接着将P_w所属模糊体素的深度范围[d_min”,d_max”]扩展至[d_min”-Δd,d_max”+Δd]；然后通过Jacobi迭代法对虚拟视图模糊表面的深度范围进行平滑化，此过程与模糊表面空域插值类似，但还需要保护种子点对应的模糊体素信息，并且模糊表面的隶属度分布无需更新；将较区域生长前深度范围相对变化超过预设阈值的模糊体素集合，作为检测出的错误模糊表面，如图5d所示；

3.3虚拟视图模糊表面空洞的角度域填补，通过单视图修复算法填充虚拟视图模糊表面的空洞，容易造成所生成的多幅虚拟视图在角度域的内容差异，检测出种子点的稀疏采样帧在相应区域的重建结果应该是可靠的，故可将此处的模糊表面用于空洞的跨视点填充；所以基于视图间几何一致性约束，同时为了避免带来巨大的计算与存储负荷，此过程包括下列步骤：

3.3.1统计每幅稀疏采样帧检测出的种子点数量；

3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值，并将插值结果投影至虚拟视图模糊表面的空洞处；如果空洞被完全填充，则结束操作，否则继续。