实时馈送中的内容感知的pq范围分析仪和色调映射

文档序号:1926657 发布日期:2021-12-03 浏览:5次 >En<

阅读说明:本技术 实时馈送中的内容感知的pq范围分析仪和色调映射 (Content aware PQ range analyzer and tone mapping in real-time feeds ) 是由 A·赞迪法尔 J·E·克伦肖 C·M·瓦斯科 于 2020-04-20 设计创作,主要内容包括:一种图像处理系统包括:输入端,其被配置为接收图像信号,该图像信号包括图像数据的多个帧;以及处理器,其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据。处理器包括:确定电路系统,其被配置为确定图像信号的内容类型;分割电路系统,其被配置为基于内容类型将图像数据分割成多个特征项区域;提取电路系统,其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。(An image processing system includes: an input configured to receive an image signal, the image signal comprising a plurality of frames of image data; and a processor configured to automatically determine an image classification based on at least one frame of the plurality of frames and dynamically generate mapping metadata based on the image classification. The processor includes: determination circuitry configured to determine a content type of the image signal; segmentation circuitry configured to segment the image data into a plurality of feature item regions based on the content type; extraction circuitry configured to extract at least one image aspect value for respective ones of the plurality of feature item regions.)

实时馈送中的内容感知的PQ范围分析仪和色调映射

相关申请的交叉引用

本申请要求2019年4月25日提交的美国临时专利申请序列号62/838,518和2019年4月25日提交的EP专利申请序列号19171057.3的优先权,这些专利申请中的每一个通过引用以其整体并入本文中。

技术领域

本申请总体上涉及图像。更具体地,本申请涉及对实时馈送的PQ范围分析和色调映射方面的内容感知。

背景技术

如本文中所使用的,术语“动态范围”可与人类视觉系统感知图像中的强度(例如,辉度(luminance)、亮度(luma)等)范围的能力有关;例如,该范围从最暗的黑色(“暗色”)到最亮的白色(“高光”)。从这个意义上来说,动态范围与“场景参考(scene-referred)”强度有关。动态范围还可与显示装置充分地或适当地渲染特定广度(breadth)的强度范围的能力有关。从这个意义上来说,动态范围指代“显示参考(display-referenced)”强度。除非特定的意义在本文中的描述中的任何地方被明确指定为具有特定的含义,否则应推断该术语可在任一种意义上(例如,可互换地)使用。

如本文中所使用的,术语“高动态范围”(HDR)与横跨人类视觉系统的约14-15个数量级的动态范围广度有关。在实践中,动态范围相对于HDR可能相对地被截短,在该动态范围上,人类可同时感知到强度范围内的广泛广度。如本文中所使用的,术语“扩展动态范围”(EDR)或“视觉动态范围”(VDR)可单独地或可互换地与同时可由人类视觉系统感知的动态范围有关。如本文中所使用的,EDR可与横跨五到六个数量级的动态范围有关。因此,虽然EDR相对于真实的场景参考HDR可能在某种程度上较窄,但是EDR却表示宽的动态范围广度,并且也可被称为HDR。

在实践中,图像包括一个或多个颜色分量(例如,亮度Y以及色度Cb和Cr),其中,每个颜色分量由每像素n位(例如,n=8)的精度表示。使用线性辉度编码,其中n<8的图像(例如,彩色24位JPEG图像)被认为是标准动态范围的图像,而其中n>8的图像可被认为是增强动态范围的图像。EDR和HDR图像也可使用高精度(例如,16位)浮点格式(诸如,由Industrial Light and Magic开发的OpenEXR文件格式)来存储和分布。

大多数消费者台式显示器支持200到300cd/m2(“尼特”)的辉度。大多数消费者高清晰度电视(“HDTV”)的范围为300到1000尼特。相对于HDR或EDR,这种显示器因此代表低动态范围(LDR),也被称为标准动态范围(SDR)。随着EDR内容的可用性由于捕获设备(例如,相机)和EDR显示器(例如,来自杜比实验室的PRM-4200专业参考监视器)两者的发展而增长,EDR内容可被进行颜色分级并显示在支持较高动态范围(例如,从1000尼特到5000尼特或更大)的EDR显示器上。

如本文中所使用的,术语“显示管理”包括但不限于将第一动态范围(例如,1000尼特)的输入视频信号映射到第二动态范围(例如,500尼特)的显示器所需的处理(例如,色调和色域映射)。

本节中所描述的方法是可被实行的方法,但不一定是先前已设想过的或实行过的方法。因此,除非另有指示,否则不应仅由于本节中所描述的任何方法被包括在本节中就假定该方法有资格作为现有技术。类似地,除非另有指示,否则关于一种或多种方法识别出的问题不应基于本节就被假定为已在任何现有技术中被认识到。

发明内容

本公开的各个方面涉及用于图像处理的电路、系统和方法,包括对实时馈送的PQ范围分析和色调映射方面的内容感知。

在本公开的一个示例性方面中,提供了一种图像处理系统,其包括:输入端,其被配置为接收图像信号,该图像信号包括图像数据的多个帧;以及处理器,其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据,其中,该处理器包括:确定电路系统,其被配置为确定图像信号的内容类型;分割电路系统,其被配置为基于内容类型将图像数据分割成多个特征项区域;以及提取电路系统,其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。

在本公开的另一个示例性方面中,提供了一种图像处理方法,其包括:接收图像信号,该图像信号包括图像数据的多个帧;基于所述多个帧中的至少一个帧来自动地确定图像分类,包括:确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值;以及基于图像分类来生成映射元数据的多个帧,其中,映射元数据的所述多个帧中的相应各个帧对应于图像数据的所述多个帧中的相应各个帧。

在本公开的又一示例性方面中,提供了一种存储指令的非暂时性计算机可读介质,这些指令在由图像处理系统的处理器执行时引起图像处理系统执行包括以下各者的操作:接收图像信号,该图像信号包括图像数据的多个帧;基于所述多个帧中的至少一个帧来自动地确定图像分类,包括:确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值;以及在逐帧的基础上基于图像分类来动态地生成映射元数据。

以这种方式,本公开的各个方面至少在图像处理的技术领域以及图像捕获、编码和广播的相关技术领域方面提供改进。

附图说明

参考附图,在以下描述中更充分地公开了本公开的各个方面的这些和其他更详细和具体的特征,在附图中:

图1图示了根据本公开的各个方面的源场景和各种渲染后的场景;

图2图示了根据本公开的各个方面的示例性广播工作流的框图;

图3图示了根据本公开的各个方面的示例性处理单元的框图;

图4图示了根据本公开的各个方面的示例性处理方法的过程流;

图5图示了根据本公开的各个方面的示例性分类方法的过程流;

图6图示了根据本公开的各个方面的示例性场景;

图7图示了根据本公开的各个方面的另一个示例性场景;以及

图8图示了根据本公开的各个方面的另一个示例性场景。

具体实施方式

在以下描述中,阐述了众多细节,诸如电路配置、波形时序、电路操作等,以便提供对本公开的一个或多个方面的理解。对于本领域技术人员来说将显而易见的是,这些具体细节仅仅是示例性的,且并不旨在限制本申请的范围。

本公开可以以包括硬件或电路在内的各种形式体现,硬件或电路由以下各者来控制:计算机实施的方法、计算机程序产品、计算机系统和网络、用户接口和应用程序编程接口;以及硬件实施的方法、信号处理电路、存储器阵列、专用集成电路、现场可编程门阵列等。前述发明内容仅旨在给出本公开的各个方面的一般思想,并且不以任何方式限制本公开的范围。

本文中描述了视频捕获、分析和编码。在以下描述中,阐述了众多细节,诸如电路配置、时序、电路操作等,以便提供对本公开的一个或多个方面的理解。对于本领域技术人员来说将显而易见的是,这些具体细节仅仅是示例性的,且并不旨在限制本申请的范围。例如,在一些情况下,可在没有这些细节的情况下实践本公开的各个方面。在其他情况下,可能并未以详尽的细节描述众所周知的结构和装置,以便避免不必要地遮挡、模糊或混淆本发明。

概述

本文中所描述的示例涉及图像处理,包括在视频流的实时广播期间生成元数据。本文中所描述的一些示例可与“杜比视界”架构一起使用。用于消费者应用的杜比视界是一种端到端的技术套件,其使得能够创建和分发掌握有高动态范围和宽色域的内容。杜比视界显示管理通过使用一系列算法将信号映射到任何杜比视界消费者类电视来匹配给定电视(其可能只能够显示SDR图像)的能力。在SDR显示器上显示HDR内容时,HDR图像被映射到显示器的相对减小的动态范围。

图1图示了从源场景到各种渲染后的场景的映射的示例。如图1中所图示的,HDR图像101将源场景描绘为带有暗色(例如,在HDR图像101的左下和左上中的区域)和高光(例如,在HDR图像101的中上和右上中的区域)两者。当映射HDR图像101以在SDR显示器上忠实地显示高光时,可创建曝光不足的图像102作为渲染后的场景。在曝光不足的图像102中,准确地再现了高光,但在对应于暗色的区域中细节被减少或丢失。相反地,当映射HDR图像101以在SDR显示器上忠实地显示暗色时,可创建曝光过度的图像103作为渲染后的场景。在曝光过度的图像103中,现在准确地再现了暗色,但对应于高光的区域可能看起来褪色。为了呈现既不是曝光不足也不是曝光过度的转换后的图像,可利用元数据(即,与图像数据有关的数据)来确定HDR图像101的哪些特征应被视为图像的焦点区域。

图2图示了广播工作流系统200的示例,该广播工作流系统包括视频捕获、制作和后期制作以及实时分发。视频捕获可由一个或多个相机组(camera bank)210完成,每个相机组包括一个或多个相机211。各个相机组210可位于不同的物理位置处以捕获不同的视频内容。例如,如果广播工作流系统200用于实时体育广播,则第一相机组210可被定位成捕获体育赛事本身的视频,第二相机组210可被定位成捕获广播间的视频,第三相机组210可被定位成捕获演播室中分析师的视频等。每个相机组210可包括任何数量的相机211。单独的相机211可能够捕获HDR视频数据或SDR视频数据。由给定相机211捕获的视频数据传递通过对应的贡献链路(contribution link)212以供进一步处理。

如图2中所图示的,传递通过贡献链路212的视频数据在对应的输入转换器220处被接收。在视频数据为HDR视频数据的情况下,输入转换器220可执行HDR到HDR的转换;例如,从混合对数型伽玛(HLG)或SLog-3 HDR到感知量化器(PQ)HDR的转换,例如,如在Rec.ITU-R BT.2100-1(06/2017)(“Image parameter values for high dynamic rangetelevision for use in production and international programme exchange”)中所描述的。

在视频数据是SDR视频数据的情况下,输入转换器220可执行SDR到HDR的转换。虽然图2图示了用于每条贡献链路212的输入转换器220,但在实践中可能存在更少的输入转换器220。例如,在视频数据是使用PQ的HDR视频数据的情况下,可能不发生转换,且因此可能不提供输入转换器220。在任一情况下,视频数据均被提供给制作切换台221。

制作切换台221从每个相机211接收视频数据并提供几个输出,这些输出包括:广播流222,其可对应于从相机211中的选定一个接收到的视频数据;到质量控制(QC)单元223的输出;到映射单元224的输出,该映射单元可进而提供到具有SDR能力的QC单元223的输出;到播出服务器225的输出;以及文件摄取(file ingest)226以供存储。来自文件摄取226的数据可在后期制作单元227中经受进一步处理且随后被提供给播出服务器225。可存储在播出服务器225中的视频数据可被利用来供稍后回放,诸如例如用于即时重放或中场休息/幕间休息分析。播出服务器225的输出可包括SDR视频数据(在这种情况下,转换可经由另一个输入转换器220来执行)、HDR视频数据或两者。

为进行实时分发,在路由器230处接收广播流222和/或来自播出服务器225的数据。路由器230提供几个输出,这些输出包括:到QC单元223的一个或多个输出(HDR和/或SDR);一个或多个HDR分发流231,每个HDR分发流均为到相应的广播编码器232;一个或多个SDR分发流237(例如,SDR同播);以及到映射单元238的HDR和/或SDR输出。相应的广播编码器232包括HDR处理单元(HPU)233,该HPU接收HDR分发流231、执行各种分析(如下文将更详细描述)、以及输出HDR视频馈送234和元数据馈送235。HDR视频馈送234和元数据馈送235被提供给编码单元236以进行编码和广播。SDR分发流237(如果存在)可直接输出到编码单元236而不生成元数据馈送235。

HDR处理

图3图示了根据本公开的各个方面的示例性图像处理系统。具体地,图3图示了HPU300,其可为图2中所图示的HPU 233的示例。HPU 300包括输入/输出(I/O)单元310、存储器320、通信单元330、用户接口(UI)340和处理器350。HPU 300的各种元件经由总线360彼此通信。I/O单元接收输入数据311,所述输入数据可为图2中所图示的HDR分发流231的示例,并且I/O单元输出视频馈送312和元数据馈送313,所述视频馈送和元数据馈送可为分别在图2中所图示的HDR视频馈送234和元数据馈送235的示例。处理器350包括确定单元351、分割单元352和提取单元353,下文将更详细描述以上各者中的每一者。

HPU 300的各个部件可被实施为硬件、软件、固件或其组合。例如,各种单元可被实施为电路或电路系统,可被实施为存储器中的软件模块或处理器中的算法等,包括电路系统和软件模块的组合。

I/O单元310可包括用于经由导线、光纤、无线通信协议或其组合来输入或输出数据的一个或多个端口。存储器320可为易失性存储器单元或非易失性存储器单元,包括但不限于只读存储器(ROM)或随机存取存储器(RAM),诸如硬盘、快闪存储装置等。通信单元330可包括用于经由导线、光纤、无线通信协议或其组合从HPU 300的外部接收控制信号或其他通信的电路系统。UI 340可包括用于从本地用户接收指令和/或与本地用户通信的装置或端口,诸如鼠标、键盘、触摸屏接口、显示器、图形UI(GUI)等。

HPU 300的各种部件(包括但不限于处理器350)可用计算机系统、被配置在电子电路系统和部件中的系统、以及集成电路(IC)装置来实施,IC装置诸如为微控制器、中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、另一个可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)等。在一个示例中,确定单元351、分割单元352和提取单元353可被实施为处理器350内的电路系统。在另一个示例中,确定单元351、分割单元352和提取单元353可被实施为处理器350内的软件模块。确定单元351、分割单元352和提取单元353中的各者(Various ones of)可彼此共享电路部件、算法和/或子例程。

在图4-5中图示了由HPU 300实施的图像处理方法的示例。在步骤S401中,HPU300接收图像信号;例如,经由I/O单元310。该图像信号包括图像数据的多个帧,并且可对应于实时视频馈送。在步骤S401中,HPU 300基于图像信号中包括的图像数据的所述多个帧中的至少一个帧来自动地确定图像分类。该确定可包括一系列子过程,如图5中所图示的。例如,在步骤S501处,HPU 300确定图像信号的内容类型,在步骤S502处,HPU 300基于所确定的内容类型将图像数据分割成多个特征项区域,并且在步骤S503处,HPU 300提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。图像分类可由处理器350执行,使得步骤S501的内容类型确定可由确定单元351执行,步骤S502的图像数据分割可由分割单元352执行,并且步骤S503的图像方面值提取可由提取单元353执行。如技术人员可以清楚地理解和了解的,图像分类可通常涉及但不限于将图像分配(例如,通过标记或分割)到若干个(例如,预定义的)类别中和/或将单个图像分配到若干个区域中(例如,基于图像内的内容)。特别地,取决于各种实施方式和/或要求,可使用任何合适的方式基于任何合适的标准和/或条件来执行这种分配或分类。例如,可基于从相应图像确定的内容类型来实现分配或分类。因此,在本公开中,该一系列子过程/子例程S501-S503可被共同参见并统称为图像分类过程/算法,或简称为图像分类。基于图像分类,在步骤S403(见图4)处,HPU 300生成映射元数据以供输出;例如,经由I/O单元310。

映射元数据的生成和使用

将参考图6-8来更详细地描述这些方法,图6-8图示了示例性场景。具体地,图6-8图示了图像数据的各个帧的示例,其可为HDR分发流232和/或输入数据311的帧。图6图示了帧600,其中内容类型是沙滩排球。图7图示了帧700,其中内容类型是板球。图8图示了帧800,其中内容类型是足球(英式足球)。虽然图6-8的内容类型涉及实时体育,但本公开不限于此。例如,内容类型可为实时体育、电影、新闻节目、自然场景等。

在接收到图像数据的一帧(或多帧)时,诸如帧600、700或800,图像处理系统确定图像分类。这可为图4中所图示的步骤S402的一个示例,并且可由图3中所图示的HPU 300执行。在确定图像分类时,图像处理系统确定内容类型,这可为图5中所图示的步骤S501的一个示例。

可通过分析图像帧的各个区域并确定一个或多个置信区域来确定内容类型。例如,图像处理系统可分析图像帧600并确定具有相对米色的大的部分是置信区域601,并且该置信区域601很可能对应于沙子。图像处理系统可进一步确定图像帧600的顶部部分包括置信区域602,并且置信区域602很可能对应于脸部。类似地,图像处理系统可分析图像帧700并确定大的绿色部分是置信区域701,并且该置信区域701很可能对应于草。图像处理系统还可区分相同颜色的不同色度。例如,如图8中所图示的,图像处理系统可分析图像帧800并确定左部分包括一个置信区域801并且右部分包括另一个置信区域802。虽然图像处理系统可确定置信区域801和802两者都很可能对应于草,但图像处理系统可区分置信区域801的附有阴影的草和置信区域802的有阳光照射的草。虽然图6-8将相应的置信区域图示为圆形,但在实践中置信区域可为椭圆形、矩形或任何其他形状。

基于置信区域,图像处理系统可生成潜在内容类型的有排名或没有排名的列表。例如,在图6中,图像处理系统可确定图像帧600显示沙滩排球的机会为85%,图像帧600显示沙滩足球的机会为12%,图像帧显示沙滩网球的机会为4%,等。这种确定可基于图像数据的单个帧、图像数据的一系列连续帧、或图像数据的一系列非连续帧(例如,每四帧)。可在整个广播中重复执行该确定,诸如每十个帧、每三十秒等。

一旦已确定内容类型,图像处理系统就将图像数据分割成一个或多个特征项区域。这可为图5中所图示的步骤S502的一个示例。分割可基于内容类型本身;例如,图像处理系统可确定图像数据中要进行搜索和分割所针对的有序的一组优先项目。在图6中所图示的沙滩排球示例中,图像处理系统可首先针对沙子特征项区域进行搜索和分割,然后基于紧密接近的多个脸部的存在针对人群特征项区域进行搜索和分割,等等。在图7中所图示的板球示例中,类似地,图像处理系统可首先针对草地特征项区域进行搜索和分割,然后基于球衣颜色针对第一小组的成员进行搜索和分割,等等。分割也可基于颜色或色调;例如,在图8中所图示的足球示例中,图像处理系统可针对附有阴影的草特征项区域、有阳光照射的草特征项区域等等进行搜索和分割。图8明确地图示了分割,其中图像帧800被分割成第一特征项区域810(有阳光照射的草)和第二特征项区域820(附有阴影的草)。分割可基于图像数据的单个帧、图像数据的一系列连续帧、或图像数据的一系列非连续帧(例如,每四帧)。可在整个广播中重复执行该分割,诸如每十个帧、每三十秒等。在本公开的一些方面中,分割比内容类型确定更频繁地发生。例如,图像处理系统可每五秒确定内容类型,而图像处理系统可每半秒分割图像数据。

从分割后的特征项区域中,图像处理系统可提取特征项区域中的相应各个特征项区域的至少一个图像方面值。这可为图5中所图示的步骤S503的一个示例。图像方面值可与相应的特征项区域的辉度信息有关(但不限于此)。例如,图像方面值可包括但不限于辉度最大值、辉度最小值、辉度中点、辉度平均值、辉度方差等。图像方面值可在视觉上或在存储器中表示为直方图。可基于图像内容(例如,像素值、亮度值、色度值、Y值、Cb/Cr值、RGB值等)、场景、增益/偏移/幂(gain/offset/power)等来导出图像方面值的分布。在本公开的一些方面中,每次发生分割的时候,发生提取。

可自动地执行由图像处理系统实施的一个或多个例程和子例程。例如,HPU 300可利用机器学习算法,诸如深度学习。如本文中所使用的,深度学习指代一类机器学习算法,其使用非线性处理单元的多个层的级联来进行特征提取和/或变换。每个连续层可使用前一层的输出作为输入。深度学习可以有监督(例如,分类)和/或无监督(例如,模式分析)的方式学习。深度学习可用于学习分别对应于不同抽象层次的多层次表示,使得这些层次形成概念的层次结构。这种技术的示例包括D.Tran等人的著作(“Learning spatiotemporalfeatures with 3d convolutional networks”,IEEE国际计算机视觉会议(ICCV),2015年,第4489-4497页)以及K.Zhang等人的著作(“Joint face detection and alignment usingmultitask cascaded convolutional networks”,IEEE信号处理快报23.10,2016年,第1499-1503页)。

可使用图像分类的结果来动态地生成映射元数据,诸如图2中所图示的元数据馈送235和/或图3中所图示的元数据馈送313,所述结果包括所确定的内容类型、特征项区域和/或图像方面值中的一者或多者。如技术人员将了解的,可取决于各种实施方式和/或要求使用任何合适的方式来生成映射元数据。例如,可基于如上文图示的所确定的内容类型、特征项区域和/或图像方面值中的一些或全部来执行映射元数据的生成。此外,映射元数据可随着输入信号的处理而动态地生成。也就是说,在接收到输入图像/视频信号(例如,来自实时馈送)时,动态地生成映射元数据可与图像分类过程一起进行(或换句话说,与内容类型、特征项区域和/或图像方面值的确定一起进行),由此改善图像/视频在再现时的质量、准确性和效率,而同时减少甚至避免不必要或不期望的延迟(例如,在实时广播期间)。广义上讲,可以这种方式生成映射元数据,使得实现或促进了从输入信号到输出信号的转换(例如,映射)。例如,输入信号和输出信号可具有不同的动态范围。在这种情况下,转换可涉及将第一动态范围的数据(在输入信号中)转换到第二动态范围的数据(在输出信号中)。换句话说,可生成元数据以便(实现/促进)图像数据从第一动态范围到第二动态范围(该第二动态范围可高于或低于第一动态范围)的转换。如技术人员将了解的,转换可包括但不限于色调和/或色域映射。映射元数据可包括在下游的图像处理中使用的几个分量或参数。作为示例而非限制,本公开(特别是其图像分类)可将实时流辨识为足球比赛。然后,本公开可决定或选择对象优先级列表作为草区域和(人)脸部。随后,它可以列表上逐对象的方式计算那些区域内的HDR PQ配置文件(profile)特征(例如,平均值、方差等等)。之后,可使用这种特征来确定合适的色调映射曲线。映射的典型情况将是HDR馈送的范围为从0.001尼特到1000尼特的情况,并且要求有可能映射到从0.005尼特到100尼特的SDR。此外,可根据BT.1886标准对SDR进行编码。另外,要求还可规定,(人)脸部应在最大SDR代码值的约70%,并且草应在最大SDR代码值的18%。这常常可据称为是70%IRE和18%IRE,其中IRE指代无线电工程师协会(建立电视操作规程的前专业组织)。现在,在(足球比赛的)本示例中,假设在HDR信号中,本公开发现脸部可被着色到200尼特,且草可处于40尼特。然后,可以驱动优化算法来选择色调映射算法的参数,使得HDR中处于200尼特的像素将被映射到SDR信号的70%,且HDR中处于40尼特的像素将被映射到SDR信号的18%。对于本领域技术人员来说应明显的是,可针对最大HDR像素值和最小HDR像素值加上附加约束,使得它们也被映射到SDR信号中的合适级别。如图8中所图示的,可在显示点(例如,最终用户拥有的商业电视)处使用映射元数据以显示忠实地再现整个图像(包括暗色和亮光两者)的渲染后的图像帧830。在本公开被实施在杜比视界架构中的一个特定示例中,映射元数据可包括L1参数、L2/L8参数、L3参数、L4参数、L11参数等。

L1元数据提供或描述关于源图像、源场景等中的辉度值分布的信息。如上所述,可基于图像内容(例如,像素值、亮度值、色度值、Y值、Cb/Cr值、RGB值等)、场景等来导出图像方面值的分布。L1元数据可包括图像数据中表示最小(“挤压(crush)”)、中间色调(“中间(mid)”)和最大(“剪辑(clip)”)辉度值(代表一个或多个场景)的量。

L2元数据提供或描述关于源自或追溯到由导演、调色师、视频专业人士等做出的调整的视频特性调整的信息。L2元数据可至少部分地基于在制作和/或后期制作中执行的处理,诸如由图2中所图示的输入转换器220、制作切换台221、QC单元223、播出服务器225、文件摄取226和/或后期制作227执行的处理。L8元数据类似于L2元数据,且在一些情况下可等同于L2元数据(例如,取决于相应的色调曲线)。L2和L8元数据可被称为“修剪”参数,并且可指示图像数据的增益/偏移/幂或与其有关。L2元数据可对应于带有特定的参考动态范围的第一参考显示。

L3元数据提供或描述关于源自或追溯到由导演、调色师、视频专业人士等做出的调整的视频特性调整的信息。与L2元数据相比,L3元数据可对应于带有与第一参考显示的参考动态范围不同的参考动态范围的第二参考显示。L3元数据可包括例如从L1元数据进行的偏移或调整,包括对挤压、中间和/或剪辑辉度值进行的偏移或调整。

L4元数据提供或描述关于全局调光(global dimming)操作的信息。L4元数据可在预处理期间由编码器计算,并且可使用RGB原色计算。在一个示例中,L4元数据可包括在每帧基础上规定显示面板的全局背光亮度级别的数据。其他所生成的元数据(诸如,L11元数据)可提供或描述要用于识别视频数据的来源的信息,诸如电影内容、计算机游戏内容、体育内容等。这种元数据可进一步提供或描述预期的图片设置,诸如预期的白点、锐度等。

合起来看,映射元数据可包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。在本公开的一些方面中,第一动态范围可高于第二动态范围(例如,从HDR到SDR的转换)。在本公开的其他方面中,第二动态范围可高于第一动态范围(例如,从SDR到HDR的转换)。参考图1,可利用映射元数据来避免分别如图像102和103中的曝光过度或曝光不足。例如,映射元数据可与图像数据本身一起进行编码以供由终端用户拥有的商业电视用于色调映射。

等同物、扩展、替代物和杂项

关于本文中所描述的过程、系统、方法、启发式算法等,应理解,虽然这种过程等的步骤已被描述为根据某个有序序列发生,但是这种过程可在所描述的步骤以不同于本文中所描述的顺序的顺序执行的情况下实践。进一步应理解,某些步骤可同时执行,可添加其他步骤,或者可省略本文中所描述的某些步骤。换句话说,本文中对过程的描述是出于图示某些实施例的目的而提供的,并且决不应被解释为以便限制权利要求。

权利要求中使用的所有术语都旨在给予其最广泛的合理构造以及如由熟知本文中所描述的技术的人员所理解的其普通含义,除非明确地指示与本文中所做的含义相反。特别地,单数冠词(诸如,“一(a)”、“该(the)”、“所述(said)”等的使用应被解读为陈述一个或多个所指示的要素,除非权利要求陈述了相反的明确限制。

因此描述了与视频捕获、分析和广播有关的示例方面。在前述说明书中,已参考众多具体细节描述了本发明的各方面,这些具体细节可随实施方式的不同而变化。因此,本发明是什么以及申请人意在让什么成为本发明的唯一和排他性指标是从本申请发布的一组权利要求、这种权利要求发布的具体形式,包括任何后续更正。本文中针对这种权利要求中包含的术语所明确陈述的任何定义都应支配如在权利要求中所使用的这种术语的含义。因此,权利要求中未明确陈述的限制、要素、性质、特征、优点或属性都不应以任何方式限制这种权利要求的范围。因此,说明书和附图将被认为是图示性的,而不是限制性的。

本公开的各种示例可采用以下枚举的示例性实施例(EEE)中的任何一个或多个,这些示例性实施例不是权利要求:

EEE1一种图像处理系统,其包括:输入端,其被配置为接收图像信号,该图像信号包括图像数据的多个帧;以及处理器,其被配置为基于所述多个帧中的至少一个帧来自动地确定图像分类、以及基于图像分类来动态地生成映射元数据,其中,该处理器包括:确定电路系统,其被配置为确定图像信号的内容类型;分割电路系统,其被配置为基于内容类型将图像数据分割成多个特征项区域;以及提取电路系统,其被配置为提取所述多个特征项区域中的相应各个特征项区域的至少一个图像方面值。

EEE2根据EEE1所述的图像处理系统,其中,所述至少一个图像方面值包括选自以下各者中的至少一者:辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。

EEE3根据EEE1或EEE2所述的图像处理系统,其中,图像信号是实时视频馈送。

EEE4根据EEE1至EEE3中任一项所述的图像处理系统,其进一步包括编码器,该编码器被配置为对图像信号和映射元数据进行编码。

EEE5根据EEE1至EEE4中任一项所述的图像处理系统,其中,映射元数据包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。

EEE6根据EEE5所述的图像处理系统,其中,第一动态范围高于第二动态范围。

EEE7一种图像处理方法,其包括:接收图像信号,该图像信号包括图像数据的多个帧;基于所述多个帧中的至少一个帧来自动地确定图像分类,包括:确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值;以及基于图像分类来生成映射元数据的多个帧,其中,映射元数据的所述多个帧中的相应各个帧对应于图像数据的所述多个帧中的相应各个帧。

EEE8根据EEE7所述的图像处理方法,其中,所述至少一个图像方面值包括选自以下各者中的至少一者:辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。

EEE9根据EEE7或EEE8所述的图像处理方法,其中,相应的特征项区域指示选自以下各者中的至少一者:风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。

EEE10根据EEE7或EEE9中任一项所述的图像处理方法,其中,图像信号是实时视频馈送。

EEE11根据EEE7至EEE10中任一项所述的图像处理方法,其进一步包括:将图像信号和映射元数据编码为经压缩的输出信号。

EEE12根据EEE7至EEE11中任一项所述的图像处理方法,其中,映射元数据包括用于从第一动态范围转换到与第一动态范围不同的第二动态范围的转换数据。

EEE13根据EEE12所述的图像处理方法,其中,第一动态范围高于第二动态范围。

EEE14一种存储指令的非暂时性计算机可读介质,这些指令在由图像处理系统的处理器执行时引起图像处理系统执行包括以下各者的操作:接收图像信号,该图像信号包括图像数据的多个帧;基于所述多个帧中的至少一个帧来自动地确定图像分类,包括:确定图像信号的内容类型、基于内容类型将图像数据分割成多个空间区域、以及提取所述多个空间区域中的相应各个空间区域的至少一个图像方面值;以及在逐帧的基础上基于图像分类来动态地生成映射元数据。

EEE15根据EEE14所述的非暂时性计算机可读介质,其中,所述至少一个图像方面值包括选自以下各者中的至少一者:辉度最大值、辉度最小值、辉度中点、辉度平均值、或辉度方差。

EEE16根据EEE14或EEE15所述的非暂时性计算机可读介质,其中,相应的特征项区域指示选自以下各者中的至少一者:风景区域、阴影区域、天空区域、脸部检测区域、或人群区域。

EEE17根据EEE14至EEE16中任一项所述的非暂时性计算机可读介质,其中,图像信号是实时视频馈送。

EEE18根据EEE14至EEE17中任一项所述的非暂时性计算机可读介质,其进一步包括对图像信号和映射元数据进行编码。

EEE19根据EEE14至EEE18中任一项所述的非暂时性计算机可读介质,其中,映射元数据包括用于在HDR信号和SDR信号之间进行转换的转换数据。

EEE20根据EEE19所述的非暂时性计算机可读介质,其中,映射元数据包括用于从HDR信号转换到SDR信号的转换数据。

21页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于车辆的用于检测距离信息的传感装置和方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!