阅读说明：本技术 时间一致可靠度传递系统 (Time -based reliability delivery system ) 是由 侯信宇 吴思宪 张大方 陈良基 于 2018-10-23 设计创作，主要内容包括：一种时间一致可靠度传递系统,包含视差图缓冲器,提供先前的视差图；可靠度传递单元,根据目前的第一影像、目前的第二影像、先前的第一影像及先前的视差图,以产生能量函数；及视差产生单元,根据能量函数以产生目前的视差图。(The time -based reliability transfer system includes a disparity map buffer providing a previous disparity map, a reliability transfer unit generating an energy function according to a current th image, a current second image, a previous th image and the previous disparity map, and a disparity generation unit generating the current disparity map according to the energy function.)

时间一致可靠度传递系统

技术领域

本发明是有关一种影像处理，特别是关于一种时间一致可靠度传递(temporallyconsistent belief propagation)系统。

背景技术

由于自动车、三维互动与扩增实境(AR)等应用的蓬勃发展，准确的深度资讯的要求变得更为重要。为了获得环境的视差图(disparity map)，因而有许多复杂演算法的提出，以增进效能。

可靠度传递(BP)技术可成功解决影像立体匹配(stereo matching)的问题。然而，在进行视讯(video)的立体匹配时，直接使用可靠度传递演算法于每一讯框(frame)，通常在时间上会产生不一致的视差图。

因此亟需提出一种新颖机制，解决传统方法对于立体视讯资料集所产生的缺失，并解决传统方法所引起的问题，例如因先前遮蔽(occluded)区域所形成的误差传递(errorpropagation)。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种时间一致可靠度传递系统，有效达到时间一致与即时(real-time)可行度。

根据本发明实施例，时间一致可靠度传递系统包含视差图缓冲器、可靠度传递单元及视差产生单元。视差图缓冲器提供先前的视差图。可靠度传递单元根据目前的第一影像、目前的第二影像、先前的第一影像及先前的视差图，以产生能量函数。视差产生单元根据能量函数以产生目前的视差图。

前述的时间一致可靠度传递系统，其中该可靠度传递单元包含：资料项单元，根据该目前的第一影像与该目前的第二影像，以产生资料项。

前述的时间一致可靠度传递系统，其中该资料项单元对该目前的第一影像与该目前的第二影像进行立体匹配，以产生相对于视差的该资料项。

前述的时间一致可靠度传递系统，更包含：光流单元，对该目前的第一影像与该先前的第一影像执行光流法。

前述的时间一致可靠度传递系统，其中该光流单元对该目前的第一影像与该先前的第一影像进行相似匹配，用以在该先前的第一影像的预设视窗当中，找到至少一个相似区块。

前述的时间一致可靠度传递系统，其中该可靠度传递单元包含：时间一致项单元，根据该先前的视差图与该光流单元的执行结果，以产生该能量函数的时间一致项。

前述的时间一致可靠度传递系统，其中该时间一致项单元在该先前的第一影像当中，得到至少一相似区块的中心像素的视差，据以得到相对于视差的该时间一致项。

前述的时间一致可靠度传递系统，其中该时间一致项的斜率是根据先前的区块与目前的区块之间的相似度来决定，其中该先前的区块与该目前的愈相似，则斜率愈大。

前述的时间一致可靠度传递系统，其中该能量函数是将该资料项与该时间一致项相加而得到。

前述的时间一致可靠度传递系统，其中该可靠度传递单元包含：平滑项单元，根据该目前的第一影像的相邻像素之间的色差，以产生该能量函数的平滑项。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明时间一致可靠度传递系统至少具有以下优点：本发明能够有效达到时间一致与即时(real-time)可行度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1显示本发明实施例的时间一致可靠度传递系统的方框图。

图2显示相关于图1的时间一致可靠度传递方法的流程图。

图3A例示目前的第一影像与目前的第二影像。

图3B显示相对于视差的资料项。

图4A例示目前的第一影像与先前的第一影像。

图4B显示相对于视差的时间一致项。

图5例示资料项与时间一致项，将其相加以产生能量函数。

【主要元件符号说明】

100：时间一致可靠度传递系统 11：视差图缓冲器

12：可靠度传递单元 121：资料项单元

122：时间一致项单元 123：平滑项单元

13：光流单元 14：视差产生单元

200：时间一致可靠度传递方法 21：提供先前的视差图

22：产生资料项(与平滑项) 23：执行光流法

24：产生时间一致项

25：将资料项与时间一致项(与平滑项)相加以产生能量函数

26：产生视差图 I_t-1 ^l：先前的第一影像

I_t ^l：目前的第一影像 I_t ^r：目前的第二影像

D_t ^l：目前的视差图 D_t-1 ^l：先前的视差图

E_d：资料项 E_t：时间一致项

E_s：平滑项 E：能量函数

p,p’,p1’：像素 Δx：视差

B,B’,B1’：区块 T_f：截止因子

具体实施方式

图1显示本发明实施例的时间一致可靠度传递(temporally consistentbeliefpropagation)系统100的方框图，图2显示相关于图1的时间一致可靠度传递方法200的流程图。时间一致可靠度传递方法200的执行顺序不限定于图2所示。本实施例的时间一致可靠度传递系统(以下简称为系统)100可使用数位影像处理器来实施。

在本实施例中，系统100可包含视差图(disparity map)缓冲器11，用以储存并提供先前(时间t-1)的视差图D_t-1 ^l(步骤21)。视差图缓冲器11可包含内存，例如静态随机存取内存(SRAM)或动态随机存取内存(DRAM)。

本实施例的系统100可包含(时间一致)可靠度传递(BP)单元12，其根据目前(时间t)的第一影像(或讯框(frame))I_t ^l(例如左影像)、目前的第二影像I_t ^r(例如右影像)、先前的第一影像I_t-1 ^l及先前的视差图D_t-1 ^l，以产生能量函数(energy function)E。

本实施例的可靠度传递单元12可包含资料项(data term)单元121，其根据目前的第一影像I_t ^l与目前的第二影像I_t ^r，以产生资料项E_d(步骤22)。图3A例示目前的第一影像I_t ^l与目前的第二影像I_t ^r，针对包含有像素p及相邻像素的区块(patch或block)进行立体匹配(stereo matching)。在一实施例中，可使用绝对差和(sum of absolute differences,SAD)以测量目前的第一影像I_t ^l与目前的第二影像I_t ^r之间的相似度。根据所进行的立体匹配，可得到相对于视差Δx的资料项E_d，如图3B所例示。

在一实施例中，使用可适性支撑权重(adaptive support-weight,ASW)方法以产生资料项E_d，揭示于卡金·匀(Kuk-Jin Yoon)等人所提出的“使用可适性支撑权重于对应搜寻(Adaptive support-weight approach forcorrespondence search)”，刊于美国电机电子工程师学会(IEEE)图样分析与机器智慧会刊(Transactions on Pattern Analysisand MachineIntelligence(TPAMI))，第28卷，第4号，第650～656页，2006年，其内容视为本说明书的一部份。

根据本实施例的特征之一，系统100可包含光流(optical flow)单元13，用以对目前的第一影像I_t ^l与先前的第一影像I_t-1 ^l执行光流法(步骤23)。图4A例示目前的第一影像I_t ^l与先前的第一影像I_t-1 ^l，针对目前的第一影像I_t ^l当中包含有中心像素p及相邻像素的区块(patch或block)B进行相似匹配，用以在先前的第一影像I_t-1 ^l的预设视窗当中，找到至少一个相似区块B’，其中心像素为p’。在一实施例中，可使用绝对差和(SAD)以测量目前的第一影像I_t ^l与先前的第一影像I_t-1 ^l之间的相似度。值得注意的是，也可在先前的第一影像I_t-1 ^l当中，找到二或多个相似区块(例如区块B’与B1’，其中心像素分别为p’与p1’)。

根据本实施例的另一特征，可靠度传递单元12可包含时间一致项(temporalconsistency term)单元122，其根据先前的视差图D_t-1 ^l与光流单元13的执行结果，以产生能量函数E的时间一致项E_t(步骤24)。

时间一致项单元122首先在先前的第一影像I_t-1 ^l当中，得到至少一相似区块B’的中心像素p’的视差。如果是考量二或多个相似区块(例如B’与B1’)，则可得到中心像素p’与p1’的个别视差的加权和(weighted sum)，作为所得到的视差。根据所得到的视差，可得到相对于视差Δx的时间一致项E_t，如图4B所例示。时间一致项E_t可惩罚(punish)远离(先前的)视差值D_t-1 ^l(p’)的视差。在这个例子中，时间一致项E_t局限于预设范围内，例如(-T_f,+T_f))，用以增进强健性(robustness)，其中T_f为预设截止因子(truncated factor)。此外，时间一致项E_t的斜率(的绝对值)可根据先前的区块与目前的区块之间的相似度来决定。借此，先前的区块与目前的愈相似，则斜率愈大，表示惩罚度(penalty)愈大。

在一实施例中，时间一致项E_t可表示为：

其中B代表目前的区块，其中心像素为p，B’代表先前的区块，其中心像素为p’，W_f代表可适性权重(adaptive weight)，α代表预设参数，用以平衡立体匹配的成本与先前讯框提示(cue)，min()为最小值函数，取二输入当中的最小值作为输出。

根据本实施例的又一特征，可适性权重W_f可根据相似分数(similarityscore)S来决定，该相似分数S代表先前的区块与目前的区块之间的非相似度(unlikelihood)。相似分数S可根据目前的第一影像I_t ^l与先前的第一影像I_t-1 ^l来决定。借此，愈相似(或相似分数S愈小)则表示可适性权重W_f愈大。换句话说，先前的区块与目前的区块之间愈相似，则时间一致项E_t愈大，因此使得能量函数E(及其视差值或视差图)在时间上可达到平滑。相反的，先前的区块与目前的区块之间愈相异(亦即，可适性权重W_f愈小)，表示不匹配或发生遮蔽(occlusion)，较小的可适性权重W_f可降低能量函数E(及其视差值或视差图)，因而避免错误被传递至下一讯框。

在本实施例中，将资料项E_d与时间一致项E_t相加以产生能量函数E(步骤25)，其可表示如下：

E(p,Δx)＝E_d(p,Δx)+E_t(p,Δx,p’)

其中p代表像素，Δx代表视差值，p’代表以光流法得到的先前的讯框相应于像素p的像素。

图5例示资料项E_d与时间一致项E_t，将其相加以产生能量函数E。决定最小能量函数所在的视差Δx，亦即，像素p的视差，D_t ^l(p)＝min(E_d(p,Δx)+E_t(p,Δx,p’))。值得注意的是，本实施例的时间一致项E-_t是加至能量函数E中，而非如传统系统是对能量函数进行比例缩放。借此，较强的资料项E_d即可得到维持。

在一实施例中，可靠度传递单元12可选择的包含平滑项(smoothnessterm)单元123，其根据目前的第一影像I_t ^l(的相邻像素之间的色差)，以产生能量函数E的平滑项(或称为成对(pairwise)项)E_s。在本实施例中，可使用截止线性模型(truncated linear model)以产生平滑项E_s，揭示于佩德罗·费尔杉瓦(Pedro F Felzenszwalb)等人所提出的“使用有效可靠度传递于早期视觉(Efficient belief propagation for early vision)”，刊于电脑视觉国际期刊(International Journal of Computer Vision(IJCV))，第70卷，第1号，第41～54页，2006年，其内容视为本说明书的一部份。平滑项E_s还可包含一权重，其可根据相邻像素之间的色差来设定。

如果产生有平滑项E_s，则将资料项E_d、平滑项E_s与时间一致项E_t相加以产生能量函数E(步骤25)，可表示如下：

E(p,Δx)＝E_d(p,Δx)+E_s(p,Δx)+E_t(p,Δx,p’)

本实施例的系统100可包含视差产生单元14，其根据(可靠度传递单元12所产生的)能量函数E，以产生目前的视差图D_t ^l(步骤26)。在本实施例中，使用赢者全取(winner-takes-all)方式以产生目前的视差图D_t ^l。

根据上述实施例，将时间一致项E_t加至能量函数E，以提供时间一致性。本实施例可借由时间一致项E_t(而非对资料项E_d直接进行比例缩放)以维持代表的资料项E_d。时间一致项E_t可包含可适性权重W_f，其根据先前的区块与目前的区块之间的相似度来决定。此外，相较于传统系统需要先前的讯框与目前的讯框，本实施例仅需要先前的影像I_t-1 ^l，因此可达成即时(real-time)的应用。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。