当前位置：首页 > 最新专利 > 一种立体视频裁剪方法
收藏

一种立体视频裁剪方法

文档序号：1559073 发布日期：2020-01-21 浏览：38次 >En<

阅读说明：本技术 一种立体视频裁剪方法 (Three-dimensional video clipping method ) 是由 邵枫 李鹏飞 于 2019-09-18 设计创作，主要内容包括：本发明公开了一种立体视频裁剪方法,其将立体视频的左视点视频图像和右视点视频图像标记为关键帧或非关键帧,对于关键帧,通过计算左视点视频图像的三维显著图获得左视点视频图像的最佳裁剪框的左上角坐标位置,进而获得右视点视频图像的最佳裁剪框的左上角坐标位置；而对于非关键帧,直接根据前一帧的最佳裁剪框的左上角坐标位置和运动矢量,获得当前立体视频图像的最佳裁剪框的左上角坐标位置,最后根据最佳裁剪框的左上角坐标位置及宽度和高度,获得重定位立体视频,这样获得的重定位立体视频能够较好地保留重要的显著语义信息,能够较好地保持时域一致性,能够有效地调整立体视频的尺寸大小。(The invention discloses a three-dimensional video clipping method, which marks a left viewpoint video image and a right viewpoint video image of a three-dimensional video as key frames or non-key frames, and for the key frames, obtains the coordinate position of the upper left corner of the optimal clipping frame of the left viewpoint video image by calculating a three-dimensional salient image of the left viewpoint video image, and further obtains the coordinate position of the upper left corner of the optimal clipping frame of the right viewpoint video image; for non-key frames, the coordinate position of the upper left corner of the optimal cutting frame of the current stereo video image is obtained directly according to the coordinate position and the motion vector of the upper left corner of the optimal cutting frame of the previous frame, and finally the repositioning stereo video is obtained according to the coordinate position, the width and the height of the upper left corner of the optimal cutting frame.)

一种立体视频裁剪方法

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种立体视频裁剪方法。

背景技术

随着立体显示技术的快速发展，各种具有不同立体显示功能的立体显示终端也广泛出现了，但是，由于立体显示终端的种类繁多，宽/高比规格不一，因此若将宽/高比一定的立体视频放在不同的立体显示终端上显示，则必须先对立体视频的尺寸进行调整，以达到立体显示的效果。传统的视频缩放方法是通过裁剪或者是按固定比例进行缩放，然而这样做可能会出现视频中的内容减少或者导致显著物体形变。

对于立体视频，如果直接对左视点视频和右视点视频分别采用相同的视频重定位方法，即单独处理立体视频中的左视点视频和右视点视频，则传统的接缝雕刻(seamcarving)方法需要左右两条细缝相一致，以避免破坏原始视频的立体性质，在时间维度上，相邻帧之间的细缝需要保持一致，以使重定向的结果不会产生抖动失真；网格形变方法需要保持视觉显著区域部分的网格尽量不发生形变，而把形变分配到非视觉显著区域部分，网格形变计算量较大，并且左右网格形变量不一致容易造成立体特性发生损失。因此，如何对立体视频进行缩放以优化深度运动、减少图像形变、避免时域抖动、突出显著内容，都是在对立体视频进行重定位过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体视频裁剪方法，其符合显著语义特征，且能够有效地调整立体视频的尺寸大小。

本发明解决上述技术问题所采用的技术方案为：一种立体视频裁剪方法，其特征在于包括以下步骤：

步骤一：将原始立体视频序列中当前待处理的第t帧左视点视频图像定义为当前左视点视频图像，并将原始立体视频序列中当前待处理的第t帧右视点视频图像定义为当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数为T帧，原始立体视频序列中包含的宽度为W且高度为H的右视点视频图像的总帧数也为T帧，T为正整数，T＞1；

步骤二：将当前左视点视频图像记为

Figure BDA0002206141070000021

并将当前右视点视频图像记为

Figure BDA0002206141070000022

其中，1≤x≤W，1≤y≤H，

Figure BDA0002206141070000023

表示中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000025

表示

Figure BDA0002206141070000026

中坐标位置为(x,y)的像素点的像素值；

步骤三：将

Figure BDA0002206141070000027

标记为关键帧或非关键帧；同样，将

Figure BDA0002206141070000028

标记为关键帧或非关键帧；

步骤四：采用基于光流的视差估计方法，计算

Figure BDA0002206141070000029

与

Figure BDA00022061410700000210

的左右视差，记为

Figure BDA00022061410700000211

将

Figure BDA00022061410700000212

中坐标位置为(x,y)的像素点的视差值记为

Figure BDA00022061410700000213

并采用基于光流的估计方法，计算

Figure BDA00022061410700000214

与

Figure BDA00022061410700000215

的运动矢量，记为将

Figure BDA00022061410700000217

中坐标位置为(x,y)的像素点的运动矢量记为

Figure BDA00022061410700000218

Figure BDA00022061410700000219

同样，采用基于光流的估计方法，计算

Figure BDA00022061410700000220

与

Figure BDA00022061410700000221

的运动矢量，记为

Figure BDA00022061410700000222

将

Figure BDA00022061410700000223

中坐标位置为(x,y)的像素点的运动矢量记为

Figure BDA00022061410700000224

其中，表示原始立体视频序列中的第t+1帧左视点视频图像，

Figure BDA00022061410700000226

表示

Figure BDA00022061410700000227

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000228

表示原始立体视频序列中的第t+1帧右视点视频图像，

Figure BDA00022061410700000229

表示

Figure BDA00022061410700000230

中坐标位置为(x,y)的像素点的像素值，用于表示水平方向，

Figure BDA00022061410700000232

用于表示垂直方向，表示

Figure BDA00022061410700000234

的水平偏移量，

Figure BDA00022061410700000235

表示

Figure BDA00022061410700000236

的垂直偏移量，

Figure BDA0002206141070000031

表示

Figure BDA0002206141070000032

的水平偏移量，

Figure BDA0002206141070000033

表示的垂直偏移量；

步骤五：若

Figure BDA0002206141070000035

和均为关键帧，则首先采用基于图论的视觉显著模型提取出

Figure BDA0002206141070000037

的显著图，记为

Figure BDA0002206141070000038

并计算

Figure BDA0002206141070000039

的梯度图，记为

Figure BDA00022061410700000310

然后根据

Figure BDA00022061410700000311

和获取

Figure BDA00022061410700000313

的三维显著图，记为

Figure BDA00022061410700000314

再根据获取

Figure BDA00022061410700000316

的最佳裁剪框的左上角坐标位置，记为

Figure BDA00022061410700000317

最后根据

Figure BDA00022061410700000318

和

Figure BDA00022061410700000319

获取的最佳裁剪框的左上角坐标位置，记为

Figure BDA00022061410700000321

Figure BDA00022061410700000322

其中，表示

Figure BDA00022061410700000324

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000325

表示

Figure BDA00022061410700000326

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000327

表示

Figure BDA00022061410700000328

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000329

表示求取使得

Figure BDA00022061410700000330

的值最大时的(x0,y0)的值，x0表示横坐标，y0表示纵坐标，W'表示

Figure BDA00022061410700000331

和

Figure BDA00022061410700000332

的最佳裁剪框的宽度，H'表示

Figure BDA00022061410700000333

和

Figure BDA00022061410700000334

的最佳裁剪框的高度，1＜W'＜W，1＜H'＜H，1≤i≤W'，1≤j≤H'，表示

Figure BDA00022061410700000336

中坐标位置为(x0+i,y0+j)的像素点的像素值，

Figure BDA00022061410700000337

表示

Figure BDA00022061410700000338

中坐标位置为

Figure BDA00022061410700000339

的像素点的视差值，亦为

Figure BDA00022061410700000340

中坐标位置为

Figure BDA00022061410700000341

的像素点的像素值，

Figure BDA00022061410700000342

中的“＝”为赋值符号；

步骤六：若

Figure BDA00022061410700000343

和

Figure BDA00022061410700000344

均为非关键帧，则根据

Figure BDA00022061410700000345

的最佳裁剪框的左上角坐标位置和

Figure BDA00022061410700000346

获取

Figure BDA00022061410700000347

的最佳裁剪框的左上角坐标位置，记为

Figure BDA00022061410700000348

同样，根据的最佳裁剪框的左上角坐标位置和

Figure BDA00022061410700000350

获取

Figure BDA00022061410700000351

的最佳裁剪框的左上角坐标位置，记为其中，

Figure BDA0002206141070000042

表示原始立体视频序列中的第t-1帧左视点视频图像，

Figure BDA0002206141070000043

表示

Figure BDA0002206141070000044

中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000045

表示原始立体视频序列中的第t-1帧右视点视频图像，

Figure BDA0002206141070000046

表示

Figure BDA0002206141070000047

中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000048

表示

Figure BDA0002206141070000049

的最佳裁剪框的左上角坐标位置，

Figure BDA00022061410700000410

表示的最佳裁剪框的左上角坐标位置，

Figure BDA00022061410700000412

表示中坐标位置为

Figure BDA00022061410700000414

的像素点的运动矢量

Figure BDA00022061410700000415

的水平偏移量，

Figure BDA00022061410700000416

表示

Figure BDA00022061410700000417

中坐标位置为

Figure BDA00022061410700000418

的像素点的运动矢量

Figure BDA00022061410700000419

的垂直偏移量，

Figure BDA00022061410700000420

表示

Figure BDA00022061410700000421

中坐标位置为

Figure BDA00022061410700000422

的像素点的运动矢量

Figure BDA00022061410700000423

的水平偏移量，

Figure BDA00022061410700000424

表示

Figure BDA00022061410700000425

中坐标位置为

Figure BDA00022061410700000426

的像素点的运动矢量

Figure BDA00022061410700000427

的垂直偏移量；

步骤七：根据

Figure BDA00022061410700000428

的最佳裁剪框的左上角坐标位置及宽度和高度，获得

Figure BDA00022061410700000429

的裁剪图像作为重定位左视点视频图像，记为

Figure BDA00022061410700000430

同样，根据

Figure BDA00022061410700000431

的最佳裁剪框的左上角坐标位置及宽度和高度，获得

Figure BDA00022061410700000432

的裁剪图像作为重定位右视点视频图像，记为

Figure BDA00022061410700000433

其中，1≤x1≤W'，1≤y1≤H'，表示

Figure BDA00022061410700000435

中坐标位置为(x1,y1)的像素点的像素值，

Figure BDA00022061410700000436

表示

Figure BDA00022061410700000437

中坐标位置为(x1,y1)的像素点的像素值；

步骤八：令t＝t+1；然后将原始立体视频序列中下一帧待处理的左视点视频图像作为当前左视点视频图像，并将原始立体视频序列中下一帧待处理的右视点视频图像作为当前右视点视频图像；再返回步骤二继续执行，直至获得原始立体视频序列中除最后一帧左视点视频图像外的每帧左视点视频图像的裁剪图像、原始立体视频序列中除最后一帧右视点视频图像外的每帧右视点视频图像的裁剪图像，进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。

所述的步骤三的具体过程为：如果t＝1，则将和

Figure BDA0002206141070000052

直接标记为关键帧；如果t≠1，则计算和各自的直方图分布，对应记为{Pt L[b]|1≤b≤B}和

Figure BDA0002206141070000055

然后计算{Pt L[b]|1≤b≤B}、和

Figure BDA0002206141070000057

各自的信息熵，对应记为

Figure BDA0002206141070000058

和

Figure BDA0002206141070000059

Figure BDA00022061410700000510

再计算{Pt L[b]|1≤b≤B}与

Figure BDA00022061410700000512

之间的信息熵变化值，记为

Figure BDA00022061410700000513

最后判断

Figure BDA00022061410700000514

是否成立，如果成立，则将

Figure BDA00022061410700000515

和

Figure BDA00022061410700000516

标记为关键帧；否则，将

Figure BDA00022061410700000517

和标记为非关键帧；其中，

Figure BDA00022061410700000519

表示原始立体视频序列中的第t+1帧左视点视频图像，表示

Figure BDA00022061410700000521

中坐标位置为(x,y)的像素点的像素值，b为正整数，b的初始值为1，1≤b≤B，B为正整数，

Figure BDA00022061410700000522

和

Figure BDA00022061410700000523

中所包含的灰度等级的总数目均为B，PtL[b]表示

Figure BDA00022061410700000524

中灰度等级为b的像素点在

Figure BDA00022061410700000525

中出现的概率，

Figure BDA00022061410700000526

表示

Figure BDA00022061410700000527

中灰度等级为b的像素点在

Figure BDA00022061410700000528

中出现的概率，

Figure BDA00022061410700000529

表示

Figure BDA00022061410700000530

和中灰度等级为b的像素点在

Figure BDA00022061410700000532

和中出现的概率的均值，log2()为以2为底的指数操作函数，符号“||”为取绝对值符号，th为设定阈值。

所述的步骤五中，

Figure BDA00022061410700000534

其中，

Figure BDA00022061410700000535

表示

Figure BDA00022061410700000536

中坐标位置为(x,y)的像素点的水平梯度，

Figure BDA00022061410700000537

表示

Figure BDA00022061410700000538

中坐标位置为(x+1,y)的像素点的像素值，GYtL(x,y)表示

Figure BDA00022061410700000539

中坐标位置为(x,y)的像素点的垂直梯度，表示

Figure BDA0002206141070000062

中坐标位置为(x,y+1)的像素点的像素值。

所述的步骤五中，

Figure BDA0002206141070000063

其中，λ1和λ2为权重系数，λ1+λ2＝1。

与现有技术相比，本发明的优点在于：

将立体视频的左视点视频图像和右视点视频图像标记为关键帧或非关键帧，对于关键帧，通过计算左视点视频图像的三维显著图获得左视点视频图像的最佳裁剪框的左上角坐标位置，进而获得右视点视频图像的最佳裁剪框的左上角坐标位置；而对于非关键帧，直接根据前一帧的最佳裁剪框的左上角坐标位置和运动矢量，获得当前立体视频图像的最佳裁剪框的左上角坐标位置，最后根据最佳裁剪框的左上角坐标位置及宽度和高度，获得重定位立体视频，这样获得的重定位立体视频能够较好地保留重要的显著语义信息，能够较好地保持时域一致性，能够有效地调整立体视频的尺寸大小。

附图说明

图1为本发明方法的总体实现框图；

图2a为“bunny”立体视频序列的第606时刻的原始左视点图像；

图2b为“bunny”立体视频序列的第606时刻的原始左视点图像的裁剪图像；

图2c为“bunny”立体视频序列的第607时刻的原始左视点图像的裁剪图像；

图2d为“bunny”立体视频序列的第608时刻的原始左视点图像的裁剪图像；

图3a为“bunny”立体视频序列的第606时刻的原始右视点图像；

图3b为“bunny”立体视频序列的第606时刻的原始右视点图像的裁剪图像；

图3c为“bunny”立体视频序列的第607时刻的原始右视点图像的裁剪图像；

图3d为“bunny”立体视频序列的第608时刻的原始右视点图像的裁剪图像；

图4a为“iceage”立体视频序列的第1193时刻的原始左视点图像；

图4b为“iceage”立体视频序列的第1193时刻的原始左视点图像的裁剪图像；

图4c为“iceage”立体视频序列的第1194时刻的原始左视点图像的裁剪图像；

图4d为“iceage”立体视频序列的第1195时刻的原始左视点图像的裁剪图像；

图5a为“iceage”立体视频序列的第1193时刻的原始右视点图像；

图5b为“iceage”立体视频序列的第1194时刻的原始右视点图像的裁剪图像；

图5c为“iceage”立体视频序列的第1195时刻的原始右视点图像的裁剪图像；

图5d为“iceage”立体视频序列的第1196时刻的原始右视点图像的裁剪图像；

图6a为“penguins”立体视频序列的第6736时刻的原始左视点图像；

图6b为“penguins”立体视频序列的第6737时刻的原始左视点图像的裁剪图像；

图6c为“penguins”立体视频序列的第6738时刻的原始左视点图像的裁剪图像；

图6d为“penguins”立体视频序列的第6739时刻的原始左视点图像的裁剪图像；

图7a为“penguins”立体视频序列的第6736时刻的原始右视点图像；

图7b为“penguins”立体视频序列的第6737时刻的原始右视点图像的裁剪图像；

图7c为“penguins”立体视频序列的第6738时刻的原始右视点图像的裁剪图像；

图7d为“penguins”立体视频序列的第6739时刻的原始右视点图像的裁剪图像；

图8a为“squirrel”立体视频序列的第2133时刻的原始左视点图像；

图8b为“squirrel”立体视频序列的第2134时刻的原始左视点图像的裁剪图像；

图8c为“squirrel”立体视频序列的第2135时刻的原始左视点图像的裁剪图像；

图8d为“squirrel”立体视频序列的第2136时刻的原始左视点图像的裁剪图像；

图9a为“squirrel”立体视频序列的第2133时刻的原始右视点图像；

图9b为“squirrel”立体视频序列的第2134时刻的原始右视点图像的裁剪图像；

图9c为“squirrel”立体视频序列的第2135时刻的原始右视点图像的裁剪图像；

图9d为“squirrel”立体视频序列的第2136时刻的原始右视点图像的裁剪图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体视频裁剪方法，其总体实现框图如图1所示，其包括以下步骤：

步骤一：将原始立体视频序列中当前待处理的第t帧左视点视频图像定义为当前左视点视频图像，并将原始立体视频序列中当前待处理的第t帧右视点视频图像定义为当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数为T帧，原始立体视频序列中包含的宽度为W且高度为H的右视点视频图像的总帧数也为T帧，T为正整数，T＞1，T的值根据实际立体视频序列而定。

步骤二：将当前左视点视频图像记为并将当前右视点视频图像记为

Figure BDA0002206141070000082

其中，1≤x≤W，1≤y≤H，

Figure BDA0002206141070000083

表示

Figure BDA0002206141070000084

中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000085

表示

Figure BDA0002206141070000086

中坐标位置为(x,y)的像素点的像素值。

步骤三：为了降低视频处理复杂度，将

Figure BDA0002206141070000087

标记为关键帧或非关键帧；同样，将标记为关键帧或非关键帧。

在此具体实施例中，步骤三的具体过程为：如果t＝1，则将

Figure BDA0002206141070000089

和

Figure BDA00022061410700000810

直接标记为关键帧；如果t≠1，则计算

Figure BDA00022061410700000811

和

Figure BDA00022061410700000812

各自的直方图分布，对应记为{Pt L[b]|1≤b≤B}和

Figure BDA00022061410700000813

然后计算{Pt L[b]|1≤b≤B}、

Figure BDA00022061410700000814

和

Figure BDA00022061410700000815

各自的信息熵，对应记为

Figure BDA00022061410700000816

和

Figure BDA00022061410700000817

Figure BDA00022061410700000818

Figure BDA00022061410700000819

再计算{Pt L[b]|1≤b≤B}与

Figure BDA00022061410700000820

之间的信息熵变化值，记为

Figure BDA00022061410700000821

最后判断

Figure BDA00022061410700000822

是否成立，如果成立，则将

Figure BDA00022061410700000823

和

Figure BDA00022061410700000824

标记为关键帧；否则，将

Figure BDA00022061410700000825

和

Figure BDA00022061410700000826

标记为非关键帧；其中，

Figure BDA00022061410700000827

表示原始立体视频序列中的第t+1帧左视点视频图像，

Figure BDA00022061410700000828

表示中坐标位置为(x,y)的像素点的像素值，b为正整数，b的初始值为1，1≤b≤B，B为正整数，

Figure BDA00022061410700000830

和中所包含的灰度等级的总数目均为B，在本实施例中取B＝256，Pt L[b]表示

Figure BDA00022061410700000832

中灰度等级为b的像素点在

Figure BDA0002206141070000091

中出现的概率，

Figure BDA0002206141070000092

表示

Figure BDA0002206141070000093

中灰度等级为b的像素点在中出现的概率，

Figure BDA0002206141070000095

表示

Figure BDA0002206141070000096

和

Figure BDA0002206141070000097

中灰度等级为b的像素点在和

Figure BDA0002206141070000099

中出现的概率的均值，log2()为以2为底的指数操作函数，符号“||”为取绝对值符号，th为设定阈值，在本实施例中取th＝0.5。

步骤四：采用现有的基于光流的视差估计方法，计算

Figure BDA00022061410700000910

与

Figure BDA00022061410700000911

的左右视差，记为将

Figure BDA00022061410700000913

中坐标位置为(x,y)的像素点的视差值记为

Figure BDA00022061410700000914

并采用现有的基于光流的估计方法，计算

Figure BDA00022061410700000915

与

Figure BDA00022061410700000916

的运动矢量，记为

Figure BDA00022061410700000917

将

Figure BDA00022061410700000918

中坐标位置为(x,y)的像素点的运动矢量记为

Figure BDA00022061410700000919

Figure BDA00022061410700000920

同样，采用现有的基于光流的估计方法，计算与

Figure BDA00022061410700000922

的运动矢量，记为

Figure BDA00022061410700000923

将

Figure BDA00022061410700000924

中坐标位置为(x,y)的像素点的运动矢量记为其中，表示原始立体视频序列中的第t+1帧左视点视频图像，

Figure BDA00022061410700000927

表示

Figure BDA00022061410700000928

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000929

表示原始立体视频序列中的第t+1帧右视点视频图像，

Figure BDA00022061410700000930

表示

Figure BDA00022061410700000931

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700000932

用于表示水平方向，

Figure BDA00022061410700000933

用于表示垂直方向，

Figure BDA00022061410700000934

表示的水平偏移量，

Figure BDA00022061410700000936

表示

Figure BDA00022061410700000937

的垂直偏移量，

Figure BDA00022061410700000938

表示的水平偏移量，

Figure BDA00022061410700000940

表示

Figure BDA00022061410700000941

的垂直偏移量。

步骤五：若

Figure BDA00022061410700000942

和均为关键帧，则首先采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出

Figure BDA00022061410700000944

的显著图，记为

Figure BDA00022061410700000945

并计算

Figure BDA00022061410700000946

的梯度图，记为然后根据

Figure BDA00022061410700000948

和

Figure BDA00022061410700000949

获取

Figure BDA00022061410700000950

的三维显著图，记为再根据

Figure BDA00022061410700000952

获取

Figure BDA00022061410700000953

的最佳裁剪框的左上角坐标位置，记为

Figure BDA00022061410700000954

Figure BDA0002206141070000101

最后根据

Figure BDA0002206141070000102

和

Figure BDA0002206141070000103

获取

Figure BDA0002206141070000104

的最佳裁剪框的左上角坐标位置，记为

Figure BDA0002206141070000105

其中，

Figure BDA0002206141070000106

表示

Figure BDA0002206141070000107

中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000108

表示

Figure BDA0002206141070000109

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700001010

表示

Figure BDA00022061410700001011

中坐标位置为(x,y)的像素点的像素值，表示求取使得

Figure BDA00022061410700001013

的值最大时的(x0,y0)的值，x0表示横坐标，y0表示纵坐标，W'表示

Figure BDA00022061410700001014

和

Figure BDA00022061410700001015

的最佳裁剪框的宽度，H'表示

Figure BDA00022061410700001016

和

Figure BDA00022061410700001017

的最佳裁剪框的高度，1＜W'＜W，1＜H'＜H，1≤i≤W'，1≤j≤H'，

Figure BDA00022061410700001018

表示

Figure BDA00022061410700001019

中坐标位置为(x0+i,y0+j)的像素点的像素值，

Figure BDA00022061410700001020

表示

Figure BDA00022061410700001021

中坐标位置为

Figure BDA00022061410700001022

的像素点的视差值，亦为

Figure BDA00022061410700001023

中坐标位置为的像素点的像素值，

Figure BDA00022061410700001025

中的“＝”为赋值符号。

在此具体实施例中，步骤五中，其中，

Figure BDA00022061410700001027

表示中坐标位置为(x,y)的像素点的水平梯度，

Figure BDA00022061410700001029

Figure BDA00022061410700001030

表示

Figure BDA00022061410700001031

中坐标位置为(x+1,y)的像素点的像素值，GYt L(x,y)表示

Figure BDA00022061410700001032

中坐标位置为(x,y)的像素点的垂直梯度，

Figure BDA00022061410700001033

Figure BDA00022061410700001034

表示

Figure BDA00022061410700001035

中坐标位置为(x,y+1)的像素点的像素值。

在此具体实施例中，步骤五中，

Figure BDA00022061410700001036

其中，λ1和λ2为权重系数，λ1+λ2＝1，在本实施例中取λ1＝0.6、λ2＝0.4。

步骤六：若

Figure BDA00022061410700001037

和

Figure BDA00022061410700001038

均为非关键帧，则根据

Figure BDA00022061410700001039

的最佳裁剪框的左上角坐标位置和

Figure BDA00022061410700001040

获取

Figure BDA00022061410700001041

的最佳裁剪框的左上角坐标位置，记为

Figure BDA0002206141070000111

同样，根据

Figure BDA0002206141070000112

的最佳裁剪框的左上角坐标位置和

Figure BDA0002206141070000113

获取的最佳裁剪框的左上角坐标位置，记为

Figure BDA0002206141070000115

其中，

Figure BDA0002206141070000116

表示原始立体视频序列中的第t-1帧左视点视频图像，

Figure BDA0002206141070000117

表示

Figure BDA0002206141070000118

中坐标位置为(x,y)的像素点的像素值，

Figure BDA0002206141070000119

表示原始立体视频序列中的第t-1帧右视点视频图像，

Figure BDA00022061410700001110

表示

Figure BDA00022061410700001111

中坐标位置为(x,y)的像素点的像素值，

Figure BDA00022061410700001112

表示

Figure BDA00022061410700001113

的最佳裁剪框的左上角坐标位置，

Figure BDA00022061410700001114

表示

Figure BDA00022061410700001115

的最佳裁剪框的左上角坐标位置，表示中坐标位置为

Figure BDA00022061410700001118

的像素点的运动矢量

Figure BDA00022061410700001119

的水平偏移量，

Figure BDA00022061410700001120

表示

Figure BDA00022061410700001121

中坐标位置为的像素点的运动矢量

Figure BDA00022061410700001123

的垂直偏移量，

Figure BDA00022061410700001124

表示中坐标位置为的像素点的运动矢量的水平偏移量，

Figure BDA00022061410700001128

表示

Figure BDA00022061410700001129

中坐标位置为的像素点的运动矢量

Figure BDA00022061410700001131

的垂直偏移量。

步骤七：根据

Figure BDA00022061410700001132

的最佳裁剪框的左上角坐标位置及宽度和高度，获得

Figure BDA00022061410700001133

的裁剪图像作为重定位左视点视频图像，记为

Figure BDA00022061410700001134

同样，根据

Figure BDA00022061410700001135

的最佳裁剪框的左上角坐标位置及宽度和高度，获得

Figure BDA00022061410700001136

的裁剪图像作为重定位右视点视频图像，记为其中，1≤x1≤W'，1≤y1≤H'，

Figure BDA00022061410700001138

表示中坐标位置为(x1,y1)的像素点的像素值，

Figure BDA00022061410700001140

表示

Figure BDA00022061410700001141

中坐标位置为(x1,y1)的像素点的像素值。

步骤八：令t＝t+1；然后将原始立体视频序列中下一帧待处理的左视点视频图像作为当前左视点视频图像，并将原始立体视频序列中下一帧待处理的右视点视频图像作为当前右视点视频图像；再返回步骤二继续执行，直至获得原始立体视频序列中除最后一帧左视点视频图像外的每帧左视点视频图像的裁剪图像、原始立体视频序列中除最后一帧右视点视频图像外的每帧右视点视频图像的裁剪图像，进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。

以下就利用本发明方法对“bunny”、“iceage”、“penguins”和“squirrel”四组立体视频序列进行重定位实验。图2a给出了“bunny”立体视频序列的第606时刻的原始左视点图像，图2b给出了“bunny”立体视频序列的第606时刻的原始左视点图像的裁剪图像，图2c给出了“bunny”立体视频序列的第607时刻的原始左视点图像的裁剪图像，图2d给出了“bunny”立体视频序列的第608时刻的原始左视点图像的裁剪图像；图3a给出了“bunny”立体视频序列的第606时刻的原始右视点图像，图3b给出了“bunny”立体视频序列的第606时刻的原始右视点图像的裁剪图像，图3c给出了“bunny”立体视频序列的第607时刻的原始右视点图像的裁剪图像，图3d给出了“bunny”立体视频序列的第608时刻的原始右视点图像的裁剪图像；图4a给出了“iceage”立体视频序列的第1193时刻的原始左视点图像，图4b给出了“iceage”立体视频序列的第1193时刻的原始左视点图像的裁剪图像，图4c给出了“iceage”立体视频序列的第1194时刻的原始左视点图像的裁剪图像，图4d给出了“iceage”立体视频序列的第1195时刻的原始左视点图像的裁剪图像；图5a给出了“iceage”立体视频序列的第1193时刻的原始右视点图像，图5b给出了“iceage”立体视频序列的第1194时刻的原始右视点图像的裁剪图像，图5c给出了“iceage”立体视频序列的第1195时刻的原始右视点图像的裁剪图像，图5d给出了“iceage”立体视频序列的第1196时刻的原始右视点图像的裁剪图像；图6a给出了“penguins”立体视频序列的第6736时刻的原始左视点图像，图6b给出了“penguins”立体视频序列的第6737时刻的原始左视点图像的裁剪图像，图6c给出了“penguins”立体视频序列的第6738时刻的原始左视点图像的裁剪图像，图6d给出了“penguins”立体视频序列的第6739时刻的原始左视点图像的裁剪图像；图7a给出了“penguins”立体视频序列的第6736时刻的原始右视点图像，图7b给出了“penguins”立体视频序列的第6737时刻的原始右视点图像的裁剪图像，图7c给出了“penguins”立体视频序列的第6738时刻的原始右视点图像的裁剪图像，图7d给出了“penguins”立体视频序列的第6739时刻的原始右视点图像的裁剪图像；图8a给出了“squirrel”立体视频序列的第2133时刻的原始左视点图像，图8b给出了“squirrel”立体视频序列的第2134时刻的原始左视点图像的裁剪图像，图8c给出了“squirrel”立体视频序列的第2135时刻的原始左视点图像的裁剪图像，图8d给出了“squirrel”立体视频序列的第2136时刻的原始左视点图像的裁剪图像；图9a给出了“squirrel”立体视频序列的第2133时刻的原始右视点图像，图9b给出了“squirrel”立体视频序列的第2134时刻的原始右视点图像的裁剪图像，图9c给出了“squirrel”立体视频序列的第2135时刻的原始右视点图像的裁剪图像，图9d给出了“squirrel”立体视频序列的第2136时刻的原始右视点图像的裁剪图像。从图2a至图9d中可以看出，采用本发明方法得到的裁剪图像能够较好地保留重要的显著语义信息，同时又能保证时域一致性。

27页详细技术资料下载
上一篇：一种医用注射器针头装配设备
下一篇：电控红外光发射器自适应驱动装置及驱动方法

相关技术

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞！

精彩留言，会给你点赞！

技术分类