一种利用内镜镜头动态图像形成3d视觉的方法及装置
阅读说明：本技术 一种利用内镜镜头动态图像形成3d视觉的方法及装置 (Method and device for forming 3D vision by using dynamic image of endoscope lens ) 是由 张澍田 陈东 张一� 于 2019-11-29 设计创作，主要内容包括：本发明提供一种利用内镜镜头动态图像形成3D视觉的方法及装置,涉及3D视觉形成技术领域。该利用内镜镜头动态图像形成3D视觉的方法及装置,包括单镜头拍摄系统、视差图提取系统、深度图计算系统、视频合成系统、可视化系统与数据处理系统,步骤如下：S1.帧间视差图的提取：利用单镜头拍取所需要的图片组,保证拍摄的图片与图片之间有一定的时间间隔,然后将拍摄的图像输入视频编码器,并计算每帧的视差图,编码器的输出包括一个标准的MPEG4格式数据,以及X方向和Y方向的视差图。通过合理的对图像进行处理,使得计算深度映射方法无要非常高的计算密集型操作,同样适合在低端硬件上将2D视频转换为3D视频。(The invention provides a method and a device for forming 3D vision by utilizing an endoscopic lens dynamic image, and relates to the technical field of 3D vision formation. The method and the device for forming 3D vision by utilizing the dynamic images of the endoscope lens comprise a single-lens shooting system, a disparity map extraction system, a depth map calculation system, a video synthesis system, a visualization system and a data processing system, and comprise the following steps: s1, extracting an inter-frame parallax image: the method comprises the steps of taking a required picture group by using a single lens, ensuring a certain time interval between the taken pictures, inputting the taken images into a video encoder, and calculating a disparity map of each frame, wherein the output of the encoder comprises standard data in an MPEG4 format and disparity maps in an X direction and a Y direction. By reasonably processing the image, the method for calculating the depth mapping does not need very high calculation intensive operation, and is also suitable for converting the 2D video into the 3D video on low-end hardware.)
技术领域
本发明涉及3D视觉形成技术领域，具体为一种利用内镜镜头动态图像形成3D视觉的方法及装置。
背景技术
近年来，立体显示技术的发展取得了很大的进步，这些进步包括使用自动立体显示器(支持独立3D查看的显示器)和多视图自动立体显示器，虽然显示技术有了很大的进步，但是内容生成的问题仍然存在，立体内容的获取也仍然存在问题，主要是由于时间同步的问题，以及立体设置的缩放和焦距特性，此外，立体声设置不支持使用多视图显示器，从立体对(或相邻的视频帧)计算深度映射有很多方法。
但是所有这些方法的主要缺点是它们需要非常高的计算密集型操作，虽然这些技术可以在现代高端计算机或专用硬件上实现，但它们不适合在低端硬件上将2D视频转换为3D视频，此外，虽然存在一些用于低分辨率图像深度分析(不包括立体合成)的软件解决方案和用于VGA分辨率的硬件解决方案，随着高分辨率高清电视的引进和普及，计算量急剧增长，显然，在不增加计算复杂度或引入更多计算操作的情况下，任何有助于确定光流的附加信息都是可取的。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种利用内镜镜头动态图像形成3D视觉的方法及装置，解决了现有计算深度映射方法的主要缺点是它们需要非常高的计算密集型操作，虽然这些技术可以在现代高端计算机或专用硬件上实现，但它们不适合在低端硬件上将2D视频转换为3D视频的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种利用内镜镜头动态图像形成3D视觉的装置，包括单镜头拍摄系统、视差图提取系统、深度图计算系统、视频合成系统、可视化系统与数据处理系统。
一种利用内镜镜头动态图像形成3D视觉的方法，包括以下步骤：
S1.帧间视差图的提取：
利用单镜头拍取所需要的图片组，保证拍摄的图片与图片之间有一定的时间间隔，然后将拍摄的图像输入视频编码器，并计算每帧的视差图，编码器的输出包括一个标准的MPEG4格式数据，以及X方向和Y方向的视差图；
S2.视差图转换为深度图：
利用提取的帧间视差图获得深度图，密集深度图的计算基本上是求一帧像素位置与另一帧像素位置之间的对应关系的过程，将一幅图像中的每个像素周围的空间领域与另一幅图像结合起来，就可以得到这幅图像到另一幅图像的映射，直接计算这些深度图的方法是提取存在于压缩视频文件中的运动矢量；
S21.运动矢量提取：
在时间压缩中，将每一帧图像划分为块，并在相邻帧之间进行块搜索，以确定块的位置，在这种方式下，有必要将存储块从一个帧移动到另一个帧，从而减少要存储的信息量，MPEG4能够以块大小为4*4像素计算运动矢量，从而具有四分之一像素的精度；
S22.运动矢量映射到深度映射的变换：
将运动矢量图直接作为深度图进行处理，这种近似适用于两幅图像/帧并行拍摄，或者在极外采集的情况下，在小视差范围内获取，在放大的情况下,有必要改变深度值的动态范围,动态范围扩展的数量必须相等的缩放因子,为达到可视化的目的,在围绕特定对象旋转的情况下，需要反转视差值，以便接近的对象接收到较高的视差；
S3.视频合成：
图像在X轴上进行了四次过采样，以启用四分之一像素的精度，然后由深度映射控制的网格重新采样，插值采用与MPEG4相同的方案；用一个六抽头滤波器将图像插值成两倍大小，再用双线性插值实现四倍插值；
S4.可视化：
利用Anaglyphs方法实现三维图像的可视化，其最适合使用标准硬件进行查看，不需要特殊的显示硬件，anaglyphs的合成是一个简单的过程，其中一个图像中的红色通道被立体对的第二个图像的红色通道所取代，使用了红色通道的散焦和深度图压缩；
S5.数据处理：
获取视频序列，并将其保存为运动JPEG(MJPEG)序列，然后将这些帧分割为JPEG图像帧，以便相邻帧可以作为立体对处理，为了测试不同的运动类型，单镜头拍摄系统沿着X轴和y轴移动，对物体的旋转也进行测试。
工作原理：利用单镜头拍取所需要的图片组，保证拍摄的图片与图片之间有一定的时间间隔，然后将拍摄的图像输入视频编码器，并计算每帧的视差图，编码器的输出包括一个标准的MPEG4格式数据，以及X方向和Y方向的视差图；利用提取的帧间视差图获得深度图，密集深度图的计算基本上是求一帧像素位置与另一帧像素位置之间的对应关系的过程，将一幅图像中的每个像素周围的空间领域与另一幅图像结合起来；图像在X轴上进行了四次过采样，以启用四分之一像素的精度，然后由深度映射控制的网格重新采样，插值采用与MPEG4相同的方案；用一个六抽头滤波器将图像插值成两倍大小，再用双线性插值实现四倍插值；利用Anaglyphs方法实现三维图像的可视化，其最适合使用标准硬件进行查看，不需要特殊的显示硬件，anaglyphs的合成是一个简单的过程，其中一个图像中的红色通道被立体对的第二个图像的红色通道所取代，使用了红色通道的散焦和深度图压缩；获取视频序列，并将其保存为运动JPEG(MJPEG)序列，然后将这些帧分割为JPEG图像帧，以便相邻帧可以作为立体对处理，为了测试不同的运动类型，单镜头拍摄系统沿着X轴和y轴移动，对物体的旋转也进行测试。
(三)有益效果
本发明提供了一种利用内镜镜头动态图像形成3D视觉的方法及装置。具备以下有益效果：
1、该利用内镜镜头动态图像形成3D视觉的方法及装置，通过采用三阶段处理:(1)帧间视差图的提取，(2)将帧间视差图转换为深度图，(3)利用合成的深度图生成人工立体(两个或多个视图)图像，该方法在具有实时性能的标准硬件上得到了成功的实现，此外，这些深度图可用于补充其他形状估计，并作为精确迭代深度图估计技术的第一个估计，这些深度图只是真实三维几何的近似，足以用于三维可视化。
2、该利用内镜镜头动态图像形成3D视觉的方法及装置，通过合理的对图像进行处理，使得计算深度映射方法无要非常高的计算密集型操作，同样适合在低端硬件上将2D视频转换为3D视频。
附图说明
图1为本发明的整体流程示意图；
图2为本发明的视差图转换为深度图示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1-2所示，本发明实施例提供一种利用内镜镜头动态图像形成3D视觉的装置，包括单镜头拍摄系统、视差图提取系统、深度图计算系统、视频合成系统、可视化系统与数据处理系统。
一种利用内镜镜头动态图像形成3D视觉的方法，包括以下步骤：
S1.帧间视差图的提取：
利用单镜头拍取所需要的图片组，保证拍摄的图片与图片之间有一定的时间间隔，然后将拍摄的图像输入视频编码器，并计算每帧的视差图，编码器的输出包括一个标准的MPEG4格式数据，以及X方向和Y方向的视差图；
S2.视差图转换为深度图：
利用提取的帧间视差图获得深度图，密集深度图的计算基本上是求一帧像素位置与另一帧像素位置之间的对应关系的过程，将一幅图像中的每个像素周围的空间领域与另一幅图像结合起来，就可以得到这幅图像到另一幅图像的映射，直接计算这些深度图的方法是提取存在于压缩视频文件中的运动矢量；
S21.运动矢量提取：
在时间压缩中，将每一帧图像划分为块，并在相邻帧之间进行块搜索，以确定块的位置，在这种方式下，有必要将存储块从一个帧移动到另一个帧，从而减少要存储的信息量，MPEG4能够以块大小为4*4像素计算运动矢量，从而具有四分之一像素的精度；
S22.运动矢量映射到深度映射的变换：
将运动矢量图直接作为深度图进行处理，这种近似适用于两幅图像/帧并行拍摄，或者在极外采集的情况下，在小视差范围内获取，在放大的情况下,有必要改变深度值的动态范围,动态范围扩展的数量必须相等的缩放因子,为达到可视化的目的,在围绕特定对象旋转的情况下，需要反转视差值，以便接近的对象接收到较高的视差；
S3.视频合成：
图像在X轴上进行了四次过采样，以启用四分之一像素的精度，然后由深度映射控制的网格重新采样，插值采用与MPEG4相同的方案；用一个六抽头滤波器将图像插值成两倍大小，再用双线性插值实现四倍插值；
S4.可视化：
利用Anaglyphs方法实现三维图像的可视化，其最适合使用标准硬件进行查看，不需要特殊的显示硬件，anaglyphs的合成是一个简单的过程，其中一个图像中的红色通道被立体对的第二个图像的红色通道所取代，使用了红色通道的散焦和深度图压缩；
S5.数据处理：
获取视频序列，并将其保存为运动JPEG(MJPEG)序列，然后将这些帧分割为JPEG图像帧，以便相邻帧可以作为立体对处理，为了测试不同的运动类型，单镜头拍摄系统沿着X轴和y轴移动，对物体的旋转也进行测试。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。