阅读说明：本技术 显示流的中央凹式压缩 (Foveated compression of display stream ) 是由 贝南·巴斯塔尼 卡林·维耶里 江浩渺 于 2018-04-13 设计创作，主要内容包括：处理单元(120)被配置为渲染表示图像(400)中的高敏度区域(410)的第一像素(420)和表示图像中的低敏度区域(405)的第二像素(415)。整形器(155)被配置为基于低敏度区域的至少一个尺寸来重组第一像素。复用器(160)被配置为复用所重组的第一像素和第二像素以形成显示流。编码器(125)被配置为压缩显示流以供传输到显示器(130)。解码器(135)被配置为解压缩显示流。解复用器(165)被配置为对第一像素和第二像素进行解复用。另一个处理单元(175)被配置为混合第一像素和第二像素以形成表示图像的混合像素值,以供在屏幕(180)上呈现。(The processing unit (120) is configured to render first pixels (420) representing high sensitivity regions (410) in the image (400) and second pixels (415) representing low sensitivity regions (405) in the image. The shaper (155) is configured to recombine the first pixel based on at least one dimension of the low sensitivity region. A multiplexer (160) is configured to multiplex the recombined first and second pixels to form a display stream. The encoder (125) is configured to compress the display stream for transmission to the display (130). The decoder (135) is configured to decompress the display stream. A demultiplexer (165) is configured to demultiplex the first pixel and the second pixel. Another processing unit (175) is configured to blend the first pixels and the second pixels to form blended pixel values representing an image for presentation on a screen (180).)

显示流的中央凹式压缩

背景技术

中央凹式渲染(foveated rendering)利用人眼在视觉外周的敏度下降来节省电力和计算资源，这些电力和计算资源在增强现实(AR)和虚拟现实(VR)应用中为头戴式显示器(HMD)生成内容时被消耗。在中央凹式渲染中，用户的中央凝视方向是由系统视场的中心或由眼睛追踪设备确定的。然后，将用户的视场细分为围绕中央凝视方向的高敏度区域和视觉外周中的一个或多个更低敏度区域。高敏度区域包括视场的、在中央凝视方向的某个角距离内的部分。距中央凝视方向的角距离也称为偏心度。更低敏度区域包括视场中偏心度更大的部分。例如，高敏度区域可包括视场的、偏心度在5-10°之内的部分，这对应于投影到人眼中的、称为中央凹的视网膜区域的视场的一部分。在高敏度区域内，以高分辨率渲染内容，例如，通过以与显示器支持的本原分辨率相对应的分辨率渲染像素，。在偏心度大于5-10°的低敏度区域中，以较低的分辨率渲染内容，从而降低了渲染像素所需的电力和计算资源。随后可以例如使用诸如双线性插值的公知插值技术，对低敏度区域中的渲染像素进行上采样并与高敏度区域中的像素混合，来以显示器的本原分辨率生成显示像素。

当前标准传输协议(例如DisplayPort)的有限带宽可能成为高分辨率应用产生的未压缩图像数据的瓶颈。例如，具有30位色深的每秒60帧的超高清(UHD)显示需要每秒约17.3千兆位的数据速率，这是DisplayPort规范的当前限制。更高的接口数据速率需要更多的电力，可以增加接口线数，并且需要更多的屏蔽以防止干扰设备的无线服务。这些属性增加了系统硬件的复杂度和重量，这在用户穿戴的HMD中是特别不希望的。因此，图形处理系统可以使用诸如显示流压缩(DSC)的技术来压缩显示流，DSC是为标准显示器执行内联(inline)视频压缩的一种标准化的视觉上无损的方法。DSC编码器包括：帧缓冲器，用于存储传入帧的像素值；行缓冲器，用于存储一行重构的像素值的值；以及码率缓冲器，用于存储输出位流。缓冲器的尺寸对应于显示流中的图像的尺寸。例如，缓冲器中的每一行可以存储1280个像素的值，以对应于1280×1280图像的一行中的像素数。DSC解码器实现互补的缓冲器集合。

图形流水线的当前实施方式是在将显示流传输到显示器之前，使用片上系统(SOC)或图形处理单元(GPU)进行低敏度区域的扩升和与高敏度区域的混合。因此，中央凹式渲染不一定会减少传输到显示器的信息量。通过在包括分别针对高敏度区域和低敏度区域的两个帧缓冲器的复用内容的显示流中传送中央凹内容，可以使用中央凹式的传输来减少信息的传输量。然后在显示器处将低敏度区域的内容扩升并与高敏度区域的内容混合。然而，由中央凹式渲染生成的中央凹式内容可以具有与常规显示流中的那些不同的形状和结构。例如，典型的低敏度区域的尺寸为1280x1280像素，而典型的高敏度区域的尺寸为100x100像素。当将常规DSC应用于包含不同尺寸的复用的高敏度和低敏度区域的显示流时，不能保证传统的DSC在视觉上无损。相反，将DSC应用于通过对来自高敏度帧缓冲器和低敏度帧缓冲器的数据进行任意复用而形成的显示流很可能在未压缩的数据中引入可见错误或伪像。

发明内容

通过基于低敏度区域的尺寸整形和重组高敏度区域，可以减少复用用于显示器的中央凹式传输的高敏度帧缓冲器和低敏度帧缓冲器的内容所需的准备时间，同时还可以减少缓冲器大小和解码时延。整形的高敏度区域与低敏度区域组合以形成显示流。例如，通过将高敏度区域放置在低敏度区域的顶部，可以将整形的高敏度区域与低敏度区域复用或串接(concatenate)，在这种情况下，将高敏度区域整形以匹配低敏度区域宽度。然后，例如，使用DSC编码器对包括复用的高敏度和低敏度区域的显示流进行编码，该DSC编码器对显示流的预定部分(称为“片段(slice)”)执行逐行压缩。在一些实施例中，将DSC片段大小调整为高敏度区域的高度的整数拆分(integer fraction)，以避免跨高敏度和低敏度边界线的压缩误差。可以使用缓冲器大小等于或大于高敏度区域的大小的相对简单的FPGA设计，实现将高敏度区域串接在低敏度区域的顶部，从而可以使高敏度区域在等待低敏度区域的完整行到达时被缓冲。对于另一个示例，可以通过将高敏度区域和低敏度区域划分成高度等于DSC片段高度的片段来交织高敏度和低敏度区域。对于应用于低敏度区域的给定的扩升系数s，可以将数目为s²的高敏度片段与一个低敏度片段进行交织。其余的低敏度片段被附加在末尾。片段交织可以使解码中的时延最小化，但是仍然需要例如在FPGA中实现大小等于或大于高敏度区域的大小的缓冲器。又例如，可以根据每帧中高敏度区域的位置以逐帧方式动态地重新排序显示流中的高敏度和低敏度区域的位置。动态重新排序需要更多的处理资源，但是通过将高敏度区域的行放置在低敏度区域中的对应行的附近(例如，紧接在其之前)，减少了时延和缓冲器要求。

本发明的实施例尤其在于由权利要求1限定的方法、如权利要求14限定的处理侧装置和如权利要求26限定的显示侧装置。

附图说明

通过参考附图，可以更好地理解本公开，并且使得其众多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。

图1是根据一些实施例的视频处理和显示系统的框图。

图2示出了根据一些实施例的、包括被配置为提供沉浸式VR或AR功能的电子设备的显示系统。

图3示出了根据一些实施例的显示系统，该显示系统包括配置为经由显示器向穿戴该电子设备的用户提供AR或VR功能的电子设备。

图4示出了根据一些实施例的、使用中央凹式渲染来渲染的视频的帧。

图5示出了根据一些实施例的、表示帧中的高敏度区域的高敏度像素和表示帧中的低敏度区域的低敏度像素。

图6是根据一些实施例的、表示高敏度区域的重组的高敏度像素和表示低敏度区域的低敏度像素的组合的集合的框图。

图7是根据一些实施例的、用于将压缩/解压缩的图像的质量与原始图像进行比较的图像处理系统的框图。

图8是根据一些实施例的、用于压缩和解压缩双目图像的图像处理系统的框图。

图9是根据一些实施例的方法的流程图，该方法复用用于组合的表示高敏度区域的重组像素与表示低敏度区域的像素并压缩/解压缩组合像素。

具体实施方式

图1是根据一些实施例的视频处理和显示系统100的框图。系统100包括由接口115分开的处理侧105和显示侧110。接口115的一些实施例根据由DisplayPort规范定义的标准进行操作。视频流中的每个图像称为帧。处理侧105包括图形处理单元(GPU)120，图形处理单元(GPU)120生成表示视频帧的像素值的二维阵列。然后，在通过接口115传输压缩信息之前，将表示二维(2-D)阵列的比特的输出流提供给编码器125以进行压缩。编码器125的一些实施例根据DSC标准进行操作。尽管编码器125被示为与GPU 120分离的实体，但是编码器125的一些实施例在GPU 120内实现。压缩的输出流通过接口115被传送到解码器135，该解码器135被配置为对压缩的显示流进行解压缩，并将解压缩后的显示流提供给显示器130。解码器135的一些实施例根据DSC标准进行操作。尽管解码器135被示为与显示器130分离的实体，但是解码器135的一些实施例在显示器130内实现。

GPU 120包括应用140，该应用140生成表示将被渲染以用于显示的场景的信息。例如，应用140可以是VR或AR应用，其生成表示VR场景或AR场景的信息，该VR场景或AR场景将被渲染以显示给穿戴头戴式设备(HMD)的用户。在那种情况下，显示器130被实现为HMD的一部分。尽管应用140是由GPU 120实现的，但是应用140的一些实施例是在GPU 120外部实现的。GPU120还包括中央凹式渲染框145，其执行中央凹式渲染以生成表示高敏度区域的像素的值和表示低敏度区域的像素的值，如本文所讨论。表示高敏度区域的像素值被提供给高敏度缓冲器150，而表示低敏度区域的像素值被提供给低敏度缓冲器151。

编码通过任意复用来自高敏度缓冲器150和低敏度缓冲器151的数据而形成的显示流可能会在未压缩的数据中引入可见错误或伪像。因此，GPU 120包括整形器155，该整形器155访问来自高敏度缓冲器150的高敏度像素和来自低敏度缓冲器151的低敏度像素。整形器155基于低敏度区域的一个或多个尺寸来重组高敏度像素。整形器155的一些实施例通过串接多个行来重组来自高敏度区域的像素的行，使得串接在一起的高敏度像素的数目等于低敏度区域的一行中的低敏度像素的数目。例如，如果低敏度区域的每行具有1280个像素，而高敏度区域的每行具有100像素，则整形器155将高敏度区域的12行(以及第13行的一部分)串接以形成串接行。整形器155将来自低敏度区域的低敏度像素的行和来自高敏度区域的高敏度像素的串接行提供给复用器160。

复用器160将重组后的高敏度像素和低敏度像素复用以形成显示流。复用器160的一些实施例以逐行方式组合高敏度像素的串接行和低敏度像素的行。例如，如本文所讨论的，高敏度像素的串接行可以被附加在低敏度像素的上方、下方、左侧或右侧。又例如，复用器160可以将高敏度像素的串接行的子集与低敏度像素行的子集交织。可以通过在相对于低敏度像素的行的固定位置处交织高敏度像素的串接行的子集来静态执行交织。也可以通过在相对于低敏度像素的行的可变位置处交织高敏度像素的串接行的子集来动态执行交织。可以基于视频的每个帧中的高敏度区域和低敏度区域的相对位置，以逐帧方式确定可变位置。在一些实施例中，通过将高敏度区域和低敏度区域划分为高度等于DSC片段高度的片段来交织高敏度像素的串接行和低敏度像素的行。对于应用于低敏度区域的给定的扩升系数s，可以将数目s2个高敏度片段的与一个低敏度片段进行交织。其余的低敏度片段将附加在末尾。

显示器130包括解复用器165，该解复用器165将解压缩后的显示流分为包括高敏度像素的串接行的第一部分和包括低敏度像素的行的第二部分。高敏度像素的串接行被提供给高敏度缓冲器170，低敏度像素的行被提供给低敏度缓冲器171。缓冲器170、171的一些实施例使用FPGA来实现以提供等于或大于高敏度区域的大小的缓冲器大小，以便可以在等待低敏度区域的整行到达时缓冲高敏度区域。例如，当将高敏度区域的串接行缓冲在低敏度区域的行的顶部时，可以使用大小等于或大于高敏度区域的大小的FPGA缓冲器170、171。FPGA缓冲器170、171还应当具有等于或大于高敏度区域的大小的大小，以支持静态交织。但是，在动态交织中，显示流中的高敏度和低敏度区域的位置根据每帧中的高敏度区域的位置以逐帧方式动态地重新排序。动态重新排序需要更多的处理资源，但是通过将高敏度区域的行放置在低敏度区域的对应行的附近(例如，紧接在其之前)，减少了时延和缓冲要求。因此，FPGA缓冲器170、171可以以比附加或静态交织所需的缓冲器大小更小的大小来实现。

混合框175将存储在高敏度缓冲器170中的高敏度像素的值与存储在低敏度缓冲器171中的低敏度像素的值组合，以生成用于在屏幕180上显示的图像。因此，混合框175可以将低敏度像素上采样到与高敏度像素的(更高)分辨率相对应的分辨率。然后将上采样的低敏度像素与高敏度像素混合，以生成提供给屏幕180以供显示的像素的值。混合框175可以以硬件、固件、软件或其任何组合来实现。例如，混合框175可以被实现为处理器，该处理器执行软件以执行上采样的低敏度像素与高敏度像素的混合。

图2示出了根据一些实施例的、包括被配置为提供沉浸式VR或AR功能的电子设备205的显示系统200。电子设备205用于实现图1所示的显示器130的一些实施例。在图2中示出了根据本公开的至少一个实施例的、以HMD形状因子的电子设备205的示例实施方式的后平面图。可以以其他形状因子来实现电子设备205，诸如智能电话形状因子、平板电脑形状因子、医学成像设备形状因子、独立计算机和片上系统(SOC)等等，其实现类似于所示的那些的配置。如后平面图所示，电子设备205可以包括安装在表面215上的面部衬垫210，用于将电子设备205固定到用户的面部(连同使用束带或拴固具一起)。

电子设备205包括显示器220，其用于生成诸如VR图像或AR图像的图像，该图像被提供给用户。显示器220被分成两个基本上完全相同的部分：用于向用户的右眼提供图像的右部分以及用于向用户的左眼提供图像的左部分。在其他实施例中，显示器220被实现为两个不同的显示器，每一个显示器专用于每只眼睛。电子设备205实现中心凹式渲染以将图像呈现给用户。因此，显示器220基于距用户的凝视中心的距离(例如，偏心度)细分为不同的区域。例如，可以将用户的左眼的视场细分为围绕中央凝视方向230的高敏度区域225。用户的左眼的视场还包括在视觉外周中的低敏度区域240。类似地，用户右眼的视场可细分为围绕视线中央凝视方向250的高敏度区域245和在视觉外周中的低敏度区域260。中央凝视方向230、250可以设置为等于当前视场的中心，或者它们也可以根据检测用户眼睛的中央凝视方向的眼睛追踪测量来确定。在一些实施例中，可以为显示器220定义更多的更低敏度区域。

例如，通过以等于显示器所支持的本原分辨率的分辨率渲染像素，在高敏度区域225、245内以高分辨率渲染像素。以更低的分辨率渲染低敏度区域240、260中的像素，从而减少了渲染像素所需的电力和计算资源。随后，例如使用诸如双线性插值的公知插值技术，对低敏度区域235、240、255、260中的渲染的像素进行上采样，以便以显示器的本原分辨率生成显示像素。

图3示出了根据一些实施例的显示系统300，该显示系统300包括被配置为经由显示器向穿戴电子设备305的用户提供AR或VR功能的电子设备305。电子设备305用于实现图1所示的显示器130和图2所示的电子设备205的一些实施例。在图3中示出了电子设备305被安装在用户的头部310上。如图所示，电子设备305包括壳体315，壳体315包括显示器320，显示器320生成用于呈现给用户的图像。使用图2所示的显示器220的一些实施例来实现显示器320。在所示的实施例中，显示器320由左显示器321和右显示器322形成，左显示器321和右显示器322用于向对应的左眼和右眼显示立体图像。然而，在其他实施例中，显示器320是单个一体式显示器320，其生成分离的立体图像以显示给左眼和右眼。电子设备305还包括目镜透镜325和330，其布置在壳体315的面向用户的表面332中的对应孔或其他开口中。显示器320被布置在壳体315内的目镜透镜325和330的远侧。目镜透镜325与左眼显示器321对准，并且目镜透镜330与右眼显示器322对准。

在立体显示模式中，图像由左眼显示器321显示，并由用户的左眼经由目镜透镜325观看。图像同时由右眼显示器322显示，并由用户的右眼经由目镜透镜325观看。左眼和右眼所观看的图像被配置来为用户创建立体视图。显示器320、321、322的一些实施例被制造为包括包围显示器320、321、322的外边缘的边框(图3中未示出)。在那种情况下，透镜325、330或其他光学设备用于组合显示器320、321、322产生的图像，使得用户看不见显示器320、321、322周围的边框。作为替代，透镜325、330合并图像以表现为跨显示器320、321、322之间的边界而连续。

在壳体315内实现控制和支持显示器320的操作的一些或全部电子组件以及电子设备305的其他组件。电子设备305的一些实施例包括诸如处理器335的处理单元和的存储器340(或其他硬件、固件或软件)，其可以用于实现解码器、复用器/解复用器、缓冲器和混合逻辑(例如图1中所示的解码器135、解复用器165、缓冲器170、171和混合框175)。在一些实施例中，可以与诸如图1所示的GPU 120的外部处理单元共享与获取实际或虚拟图像并渲染这些图像以供在显示器320上显示相关的工作负荷。电子设备305的一些实施例包括眼睛追踪器345，以追踪用户眼睛的移动并实时确定每只眼睛的凝视的中心。电子设备305还包括一个或多个运动传感器350。运动传感器350的示例包括加速度计、陀螺仪定向检测器或能够检测电子设备305的运动的其他设备。

图4示出了根据一些实施例的、使用中央凹式渲染来渲染的视频的帧400。帧400由图1中所示的中央凹式渲染框145的一些实施例产生。帧400包括低敏度区域405和高敏度区域410。如本文所述，低敏度区域405和高敏度区域410的相对位置可以是静态或动态的，例如，相对位置可以响应于眼睛凝视方向的变化而逐帧地变化。

低敏度区域405由低敏度像素415的值表示(为了清楚起见，仅一个由附图标记指示)。低敏度像素415的分辨率由对应框的大小指示。高敏度区域410由高敏度像素420的值表示(为了清楚起见，仅一个由附图标记指示)。高敏度像素420的分辨率由对应框的大小指示。因此，高敏度像素420的分辨率高于低敏度像素415的分辨率。例如，每个低敏度像素415表示帧400的一部分，其是帧400的、由每个高敏度像素420表示的一部分的九倍。低敏度像素415可以被上采样以生成像素值，该像素值用于表示诸如图1所示的显示器130、图2中所示的HMD 200和图3所示的电子设备305的一些实施例的显示器上的图像。例如，在与高敏度像素420混合之前，低敏度像素415可以被上采样九倍。

图5示出了根据一些实施例的、表示帧中的高敏度区域的高敏度像素500和表示帧中的低敏度区域的低敏度像素505。以二维阵列510组织高敏度像素500(加阴影线的，为清晰起见仅一个用附图标记指示)，二维阵列510的特征是高度和宽度的尺寸，其对应于帧的高敏度区域的高度和宽度。例如，二维阵列510可以具有100个像素的高度和100个像素的宽度。以二维阵列515组织低敏度像素(为清晰起见，仅一个用附图标记指示)，该阵列的特征是高度和宽度的尺寸，其对应于帧的低敏度区域的高度和宽度。例如，二维阵列515可以具有1280个像素的高度和1280个像素的宽度。二维阵列515的宽度由二维阵列515的行的长度520限定。

基于低敏度像素505的二维阵列515的尺寸来重组二维阵列510中的高敏度像素500。在一些实施例中，基于二维阵列515中的行的长度520来重组高敏度像素500，以形成高敏度像素500的整形阵列525。例如，二维阵列510的多个行可以被串接起来，以形成一条串接行，其长度为等于长度520。然后将串接行合并以形成整形阵列525。在一些情况下，二维阵列510中的高敏度像素500的数目不是长度520中的像素数目的整数倍。因此，整形的阵列525中的串接行之一是不完整的，如虚线椭圆530所示。可以使用像素的伪值(dummy value)填充串接行的不完整部分530。可以基于附近的高敏度像素500、附近的低敏度像素505的值或使用诸如零填补(padding)的任意值来确定伪值。整形的阵列525被附加到二维阵列515的顶部。

图6是根据一些实施例的、表示高敏度区域的重组的高敏度像素和表示低敏度区域的低敏度像素的组合的集合600的框图。重组的高敏度像素由阴影线块表示，低敏度像素由空心块表示。以下讨论使用相对术语来指示重组的高敏度像素和低敏度像素的相对位置。这些术语是相对于低敏度像素的第一行定义的，该行位于对应块的底部并沿水平方向定向。

在第一组合605中，通过将重组的高敏度像素606附加在低敏度像素607之上，将重组的高敏度像素606与低敏度像素607组合。在第二组合610中，通过将重组后的高敏度像素611附加在低敏度像素612之下，将重组的高敏度像素611与低敏度像素612组合。在第三组合615中，通过将重组后的高敏度像素616附加到低敏度像素617的左侧，将重组后的高敏度像素616与低敏度像素617组合。在第四组合620中，通过将重组的高敏度像素621附加到低敏度像素622的右侧，将重组后的高敏度像素621与低敏度像素622组合。在第五组合625中，将重组的高敏度像素的子集626、627、628与低敏度像素的子集630、631、632交织。在子集626-628已经与子集630-632交织之后，剩余的低敏度像素635被附加到重组的高敏度像素的子集628之上。如本文所讨论的，交织可以是静态的或动态的。

图7是根据一些实施例的、用于将压缩/解压缩的图像的质量与原始图像进行比较的图像处理系统700的框图。图像处理系统700接收图像705，其可以被称为表示渲染之前的场景的“自然”图像。中央凹式渲染应用于图像705以生成表示图像705中的高敏度区域的像素710的值和表示图像705中的低敏度区域的像素715的值。

如本文所讨论的，复用器720可配置为复用高敏度像素710和低敏度像素715以形成显示流。显示流的副本被压缩以形成压缩图像725。例如，显示流可以根据DSC标准被压缩。然后将压缩的显示流解压缩以形成解压缩图像730，该解压缩图像730被提供给峰值信噪比(PSNR)检测器735。由复用器720生成的原始显示流也被提供给PSNR检测器735以促进比较原始图像和压缩/解压缩图像。

在一种情况下，图像705在宽度和高度二者上被下采样八倍。从图像705中选择该大小的随机区域，并将其识别为高敏度区域。因此，将高敏度区域的大小设置为与下采样的低敏度区域的大小相同。表1显示了原始图像与压缩/解压缩图像的比较结果。给出了五种不同的复用配置的结果：附加到低敏度区域的左侧、附加到右侧、附加到顶部、附加到底部的高敏度区域以及高敏度和低敏度区域的交织。顶行指示每种复用配置的PSNR的平均值，而底行指示对应的复用配置提供最佳效能的概率。结果表明，将高敏度区域附加到低敏度区域的每种方法都比交织效能更好。该结果是合理的，因为交织破坏了图像705的空间结构，这降低了显示流压缩的有效性。

表1

在另一种情况下，高敏度区域的大小与下采样的低敏度区域的大小不同。因此，可以通过零填补或整形来执行复用。零填补向高敏度区域的每一行填补零，以使两个区域具有相同的宽度。通过将像素重组为具有由低敏度区域的宽度确定的宽度来执行整形，如本文中关于图5所讨论的。表2示出了两种方法的比较，假定高敏度区域附加在低敏度区域之上。零填补对于大多数图像实现了更好的图像质量，但代价是要发送更大量无用的数据。因此，当高敏度区域和低敏度区域之间的宽度差小时，零填补可以是优选选择。当宽度差异大时，由于减少了发送无用数据的成本，因此整形可以是优选选择。

表2

	零填补	整形
			平均PSNR	51.56	50.89
最佳概率	81.7％	18.3％

图8是根据一些实施例的、用于压缩和解压缩双目图像的图像处理系统800的框图。图像处理系统800接收表示图像805的信息。该信息包括彼此部分重叠的左图像810和右图像815。在所示的实施例中，假设图像805处于无限距离处，并且不应用透镜畸变校正。对于每只眼睛，图像805的双目视场是120°和90°。因此，重叠区域包括图像805的中心60°，并且因为假定图像805处于无限距离，所以该中心部分应当对于左眼和右眼精确匹配。

对于左图像810和右图像815执行中央凹式渲染，并且表示左图像810和右图像815的高敏度和低敏度区域的信息被组合以形成对应的左和右显示流。例如，如本文所讨论的，表示高敏度和低敏度区域的像素的值可以被附加或彼此交织。然后，分别在DSC编码器820、825中压缩左和右显示流。压缩的显示流分别提供给DSC解码器830、835，它们对显示流执行解压缩。由解压缩的左和右显示流中的信息表示的图像被提供给比较器840，比较器840比较由解压缩的左和右显示流表示的图像的重叠部分。如果压缩/解压缩过程在视觉上完全无损，则由解压缩的左和右显示流表示的图像的重叠部分应完全匹配。

已经使用包括大约1500个图像的自然图像数据集合执行了由诸如系统800的图像处理系统获取的双目图像的比较。已发现平均最大差约为2.5％，平均均值差较小，这主要归因于分片和大的重叠区域。如果输入图像有噪声(例如，由于低光照或高ISO)，则左和右区域之间的差异可能会大大增加。

图像处理系统800的一些实施例还可被配置为评估本文所述的用于子像素渲染(SPR)的像素重组和压缩/解压缩技术的实施例的效能。在SPR中，像素值为RGB格式，压缩率为66％。通过实现伪YUV 4:2:2格式以对应于DSC 1.2支持的本原YUV 4:2:2格式，可以使用DSC压缩SPR图像。例如，伪YUV 4:2:2格式可以将G平面定义为Y，将R平面定义为U，将B平面定义为V。在一些情况下，可以调整速率控制参数以避免因为YUV和RGB的固有属性一定程度的不同而可能发生的缓冲器溢出。在一些实施例中，尽管没有用于该转换的现有标准，但是SPR图像可以被转换成实际的YUV 4:2:2格式。

通过计算图像数据集合上的平均PSNR值来评估像素重组和压缩/解压缩技术的实施例的效能，该图像数据集合包括具有宽范围场景的大约1500个高分辨率自然图像。表3示出了将SPR+DSC应用于原始图像产生图像的比较以及将SPR+DSC应用于SPR图像产生的图像的比较。结果表明，对SPR处理的图像(作为伪YUV)执行DSC工作基本良好。但是，对于某些自然图像，PSNR可能会下降到30左右，这表明在处理的图像中可能会看到伪像。

表3

	SPR+DSC对比原始	SPR+DSC对比SPR
			平均PSNR	36.34	42.58
最小PSNR	30.15	33.20

图9是根据一些实施例的方法900的流程图，该方法900将用于组合的表示高敏度区域的重组像素与表示低敏度区域的像素进行复用并压缩/解压缩组合像素。方法900在图1所示的视频处理和显示系统100的一些实施例中实现。

在框905，处理器(诸如图1中所示的GPU 120)渲染图像的高敏度区域和图像的低敏度区域中的像素的值。在框910，基于低敏度区域的一个或多个尺寸来重组高敏度区域中的像素。例如，高敏度区域中的像素可以如图5和图6所示重组。在框915，将重组的高敏度像素与低敏度像素复用以形成显示流。在框920，显示流被压缩。例如，可以根据DSC标准压缩显示流。在一些实施例中，框905、910、915、920中的操作在接口的处理器侧(诸如图1中所示的接口115的处理器侧105)执行。

在框925，将压缩的显示流传送到显示侧。在一些实施例中，压缩的显示流通过接口115被传送到图1中所示的显示侧110。

在框930，对显示流进行解压缩和解复用以生成高敏度像素和低敏度像素的值，将其存储在诸如图1所示的缓冲器170、171的对应缓冲器中。在框935处，将高敏度像素和低敏度像素的值混合。在一些实施例中，例如，使用诸如双线性插值的公知插值技术，将低敏度像素上采样并与高敏度像素混合以便以显示器的本原分辨率生成显示像素。在框940处，将显示像素显示在诸如图1所示的屏幕180的屏幕上。在一些实施例中，在接口的显示侧(诸如图1所示的接口115的显示侧110)上执行框930、935、940中的操作。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非暂时性计算机可读存储介质上存储或以其他方式有形地体现的一个或多个可执行指令集。该软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储设备以及诸如闪存、高速缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备的固态存储设备等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其他方式可执行的其他指令格式。

计算机可读存储介质可以包括在使用期间计算机系统可访问的任何存储介质或存储介质的组合，以向计算机系统提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统RAM或ROM)中、固定地附接到计算系统(例如，磁硬盘驱动器)、可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)或通过有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

注意，并非一般描述中上述所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了上述内容之外，还可以执行一个或多个其他活动或包括元素。更进一步，列出活动的顺序不一定是执行活动的顺序。而且，已经参考特定实施例描述了概念。然而，本领域的普通技术人员将理解，可以进行各种修改和改变而不脱离如所附权利要求书中阐述的本公开的范围。因此，说明书和附图应被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。

上面已经关于特定实施例描述了益处、其他优点和问题的解决方案。但是，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案出现或变得更加明显的任何特征都不应解释为任何或全部权利要求的关键、必需或必要特征。此外，上面公开的特定实施例仅是说明性的，因为可以以对于受益于本文的教导的本领域技术人员显而易见的不同但等效的方式来修改和实践所公开的主题。除了在所附的权利要求书中描述的以外，没有意图限制本文所示的构造或设计的细节。因此，显而易见的是，以上公开的特定实施例可以被改变或修改，并且所有这样的变化都被认为在所公开的主题的范围内。因此，本文所寻求的保护如所附权利要求书中所述。