具体实施方式

图1图示了游戏流传输系统100，该游戏流传输系统总体上被配置为将渲染的游戏内容从服务器102流传输至客户端设备104。在所描绘的示例中，服务器102和客户端设备104经由网络110通信，其中网络110是总体上被配置为经由一个或多个路由器、服务器、通信塔台(例如，蜂窝通信塔台)等或者它们的任何组合来传输数据(包括视频数据)的包交换网络或其它网络。因此，在各种实施例中，网络110是广域网(例如，互联网)、局域网等，或者它们的任何组合。

服务器102和客户端104总体上被配置为共同实施流传输的游戏会话，其中交互式游戏内容从服务器102流传输至客户端设备104。因此，服务器102可以是实施本文进一步描述的功能的任何类型的计算机设备，诸如机架式服务器、集群服务器(即，在服务器设备的集群中实施的服务器设备)、移动服务器设备等，或者它们的组合。客户端设备104可以是能够向用户显示视频帧并且能够接收用户输入的任何计算机设备，并且因此可以是台式或膝上计算机、数字媒体播放器、游戏机、智能电话、平板电脑等。

为了支持在流传输的游戏会话期间将游戏内容流传输至客户端设备，服务器102包括多个处理单元，诸如中央处理单元(CPU)106和图形处理单元(GPU)108。CPU 106是总体上被配置为执行以计算机程序的形式组织的通用指令集从而代表服务器102执行任务的处理单元。这样的计算机程序的示例包括操作系统、虚拟机、数据安全程序(例如，数据加密/解密程序)、网页、数据库程序，等等。

GPU 108是总体上被配置为基于从CPU 106接收到的命令来执行与图形和矢量处理相关联的操作的处理单元。例如，在执行一个或多个通用程序的过程中，处理器106生成用来生成并操控图形模型以便进行显示的命令并且将这些命令提供给GPU 108。作为响应，GPU 108通过执行一个或多个对应图形操作来执行这些命令，由此操控该图形模型以生成一个或多个帧来用于显示。在一些实施例中，由GPU 108生成的帧是准备在显示设备处进行显示的渲染帧。

为了支持流传输游戏内容的接收和显示，客户端设备104包括诸如CPU和GPU的处理单元(图1中未示出)。这些模块中的每一个类同于服务器102中的对应模块。因此，例如，该CPU总体上被配置为代表客户端设备104执行通用指令，诸如执行操作系统、web浏览器等中的一个或多个。要理解的是，在一些实施例中，客户端设备的CPU和GPU总体上相对于服务器102的CPU 106和GPU 108具有相对小的计算功率。游戏流传输系统100因此利用服务器102的计算功率将比客户端设备104单独所能够生成的质量更高的游戏内容流传输至客户端设备104。

在操作中，客户端104响应于用户经由在客户端104处执行的计算机程序(未示出)(诸如经由web浏览器、专用游戏流传输程序、视频流传输服务程序等)请求游戏会话而发起游戏流传输会话。响应于该用户请求，CPU 112经由网络110将游戏会话请求发送至服务器102。作为响应，服务器102发起游戏程序109的执行。在一些实施例中，服务器102被配置为执行游戏程序库中的任何一个，并且由客户端104提供的请求指示了游戏程序中的要执行的特定一个。

在执行期间，游戏程序109保存被称作游戏状态的数据集合，其表示游戏的状况或状态。客户端104的用户使用游戏控制器或其它输入设备向CPU 112提供输入数据，该CPU112将该输入数据经由网络110通信至游戏程序109。响应于该输入数据，游戏程序109根据游戏程序109所实施的特定游戏的规则修改游戏状态。

基于该游戏状态以及根据所实施游戏的规则，游戏程序109使用CPU 106和GPU108来生成表示视觉游戏信息的渲染帧，上述视觉游戏信息诸如虚拟环境、游戏图板、选择屏幕、抬头显示(HUD)等，或者它们的任何组合。服务器102将被指定为流传输帧115的这些渲染帧提供到网络110以便通信至客户端104。客户端设备104接收流传输帧115的至少一个子集，并且使用GPU108在显示器117处显示所接收到的帧。客户端设备104因此向用户显示该视觉游戏信息，作为响应上述用户使用游戏控制器或其它输入设备提供进一步的输入数据，导致针对由游戏程序109所保存的游戏状态的进一步改变以及针对帧流115中的帧的对应改变。以这种方式，客户端设备104的用户与游戏程序109进行交互从而玩在服务器102处执行的游戏。

为了节省网络带宽并且确保帧到客户端设备104相对快速的传输，服务器102可以在传输之前对每个流传输帧115进行编码。因此，在图1所描绘的示例中，GPU 108包括编码器121，其总体上被配置为基于指定视频编码格式对原始帧120进行编码以生成编码帧122，上述视频编码格式诸如H.262(MPEG-2Part 2)、MPEG-4Part 2、H.264(MPEG-4Part 10)，或者其它视频编码格式。GPU 108将编码帧122提供至网络接口(未示出)，该网络接口将编码帧122作为流传输帧115的一部分进行传输。客户端设备104可以包括解码器(未示出)以在向用户显示解码帧之前对该流传输帧中的编码帧进行解码。

在一些情况下，该编码器处理导致了与原始帧120具有可见差异(或者在编码帧122被解码和显示时具有可见差异)的编码帧122。这些差异总体上被称作编码伪像，并且可以包括诸如颜色变化、像素化、图像模糊等的伪像。编码伪像会在视觉上令人分心或者以其它方式对游戏流传输系统100的用户体验造成不利影响。在一些情况下，可以通过调节编码器121的编码参数来减少或消除编码伪像，上述编码参数诸如与基于变化的自适应量化(VBAQ)相关联的参数。这些参数调节可以通过识别编码帧中所呈现的特定编码伪像的特性而得到改善。因此，在游戏程序109的开发和执行期间，在视觉上识别编码帧中的编码伪像而使得开发人员或用户能够对编码器121的编码参数实施对应调节经常是有用的。但是，给定编码帧中的编码伪像相对于编码帧的整体大小而言可能很小，因此用户或开发人员难以在视觉上进行识别。因此，为了帮助用户或开发人员识别编码伪像，GPU 108包括叠层生成器123，该叠层生成器被配置为生成针对编码帧122提供编码伪像的可见指示符的叠层125。

例如，在一些实施例中，叠层生成器123被配置为识别原始帧120和编码帧122的特征之间的差异。如本文所使用的，图像的特征是该图像的一个或多个像素，并且可以是单个像素、对应于诸如边、角、对象等的特定视觉特征的像素集。诸如个体像素或像素集的给定特征在原始帧120和编码帧122之间可能具有不同的特性，诸如颜色、颜色图案、像素化水平、像素集的颜色变化等的差异，或者它们的任何组合。叠层生成器125针对每个特征识别特性差异，并且生成叠层125以具有每个所识别特征的视觉指示符并且指示编码帧122中的任何编码伪像。

在一些实施例中，叠层生成器123使用颜色减影(color subtraction)来识别编码伪像。例如，叠层生成器125可以将编码帧122的每个像素的颜色值从原始帧120的对应像素的颜色值减去(或者反之亦然)来针对每个像素识别颜色差异，并且基于所识别的颜色差异生成叠层125。在其它实施例中，叠层生成器123通过识别编码帧122的像素集与原始帧120的对应像素集之间的模糊量的差异来识别编码伪像。在一些实施例中，叠层生成器123基于给定像素集中像素的数值变化来确定与该给定像素集相关联的模糊量。编码帧122和原始帧120的对应像素集之间的模糊量差异因此基于对应像素集的变化差异。

在一些实施例中，叠层125的大小对应于编码帧122的大小，并且GPU 108定位针对特征的视觉指示符而使得该指示符位于一个编码帧122中的对应编码伪像处或该对应编码伪像附近，从而当该叠层和编码帧122被一起显示时，该视觉指示符可见地高亮显示该对应编码伪像。在一些实施例中，GPU 108基于特征的一个或多个所识别编码伪像而选择该特征的视觉指示符。例如，在一些实施例中，视觉指示符的大小、形状或颜色或者它们的组合指示对应编码伪像的类型、量级或者它们的组合。因此，例如在一些情况下，视觉指示符的特定颜色指示一种类型的编码伪像，诸如像素颜色差异，而视觉指示符的不同颜色则指示不同类型的编码伪像，诸如颜色或像素变化差异。

在一些实施例中，GPU 108将帧122和叠层125合成为单个帧以便在显示设备(图1中未示出)处显示。因此，当显示该合成帧时，叠层125的视觉指示符以可见方式指示与编码帧122相关联的编码伪像，即使在那些不连续性本身难以或不可能利用裸眼看到的情况下也是如此。游戏程序109的开发人员可以调节编码器121的编码参数以更好地解决所识别的编码伪像，并且改善客户端设备104处的整体游戏体验。

图2图示了根据一些实施例的与帧120和122的特征230相关联的编码伪像的示例。在所描绘的示例中，特征230被图示为在原始帧120中没有填充，但是在编码帧122处则具有交叉线阴影的填充，这指示特征230在编码帧122中具有编码伪像。特征230因此可以是可以具有编码伪像的任何视觉特征，诸如个体像素、像素集，诸如对象的角或对象的边的视觉特征，等等。

图3图示了根据一些实施例的针对特征230提供视觉指示符的叠层125的示例。在所描绘的示例中，叠层125用虚线轮廓图示，并且被描绘为与帧122稍有偏移，以便将该叠层与该帧加以区分。但是，要理解的是，GPU 116可以将叠层125与帧122进行合成以用于显示，从而帧122和叠层125可以有效地在显示器117处被一起显示。特别地，指示符335在特征230上或附近显示以提供相关联的不连续性的视觉指示。

在不同的实施中，指示符335是指示与特征230相关联的不连续性的类型、该不连续性的量级、该不连续性的指定特性(例如，与位置不连续性相关联的空间方向)等中的一个或多个或者它们的任意组合的颜色、形状、纹理、信息文本、图标或其它视觉指示符，或者是它们的组合。例如，在位置不连续性的情况下，指示符335可以是指示该位置不连续性的大小和方向的线条或箭头。

在一些情况下，编码帧122的多个特征与编码伪像相关联。例如，在一些情况下，编码帧122的一些特征相对于原始帧120具有颜色变化，而其它特征相对于原始帧120具有模糊量的变化。在一些实施例中，GPU 116生成叠层125以包括针对编码帧122的每个编码伪像的视觉指示符。图4中图示了根据一些实施例的示例。在所描绘的示例中，原始帧120包括多个特征，每个特征由对应的没有填充的圆圈所图示。编码帧122包括与每个特征相关联的编码伪像，其由具有灰色填充的圆圈所图示。叠层125包括针对每个编码伪像的视觉指示符，其由具有黑色填充的圆圈所图示。

每个视觉指示符的类型。因此，每个视觉指示符可以具有不同的特性，诸如不同的大小、颜色、形状、定向、纹理信息、图标等，或者它们的组合，其在视觉上指示与对应特征相关联的编码伪像的类型。例如，在一些实施例中，一个视觉指示符为红色以指示该特征与颜色变化伪像相关联，而另一个视觉指示符具有蓝色以指示对应特征440。

在一些实施例中，视觉指示符的类型或者其特性(诸如视觉指示符的大小、颜色或形状)指示相关联编码伪像的量级。例如，在一些实施例中，一种颜色的视觉指示符指示编码帧122和原始帧120之间的一个变化级别，并且不同颜色的视觉指示符则指示编码帧122和原始帧120之间不同的变化级别。因此，在图4的示例中，叠层125包括多个编码伪像的视觉指示符，其中每个视觉指示符可以指示相关联编码伪像的类型、量级以及其它特性。

在一些实施例中，叠层生成器123仅在与给定编码伪像相关联的帧差异超出阈值时才针对该编码伪像生成视觉指示符。例如，叠层生成器123可以基于编码帧122和原始帧120的像素之间的像素值差异来识别编码伪像。响应于该像素值差异超出阈值，叠层生成器123针对该编码伪像生成视觉指示符以经由叠层125进行显示。响应于该像素值差异低于阈值，叠层生成器123从叠层125省略针对该编码伪像的视觉指示符。叠层生成器123由此针对不太可能看到的编码伪像省略了视觉指示符，这允许开发人员关注于更加可见的编码伪像。在一些实施例中，叠层生成器123可以响应于指定事件改变该阈值的量级，诸如帧与游戏程序109的画面变化相关联。

在一些实施例中，视觉指示符的颜色、亮度或强度基于与对应编码伪像相关联的差异的量级。例如，在一些实施例中，叠层生成器123将叠层125生成为热图，其中视觉指示符的每个像素的强度对应于与对应编码伪像相关联的差异的量级。

在一些实施例中，叠层生成器123生成视觉指示符以具有基于编码帧122的对应部分的颜色或其它特性的颜色或其它特性。例如，叠层生成器123可以通过将编码帧中对应于编码伪像的一个或多个像素的像素值取反而生成视觉指示符。在一些实施例中，叠层生成器123将对应于编码伪像的像素的指定像素半径内的所有像素取反。在再其它的实施例中，视觉指示符可以包括识别相关联编码伪像的特性的纹理信息。

图5是根据一些实施例的叠层生成器123的框图。在不同的实施例中，叠层生成器123可以是在服务器102的CPU 106和GPU 108中的一个或多个处执行的软件模块。在其它实施例中，叠层生成器123的一个或多个方面由服务器102的专用硬件所实施。

在所描绘的示例中，叠层生成器123包括颜色减影模块652和模糊检测模块654。颜色减影模块652被配置为基于原始帧120和编码帧122执行颜色减影处理。例如，在一些实施例中，颜色减影模块652将原始帧120的每个像素的像素颜色值从编码帧的对应像素的像素颜色值中减去。基于给定像素的颜色差异，颜色减影模块652向叠层125的对应像素指配颜色值。例如，在一些实施例中，如果与像素相关联的差异处于第一范围之内，则颜色减影模块652向叠层125的对应像素指配第一颜色，并且如果与像素相关联的差异处于不同的第二范围之内，则颜色减影模块652向叠层125的对应像素指配不同的第二颜色。叠层125的颜色由此针对每个像素表示原始帧120和编码帧122之间的颜色差异。

模糊检测模块654被配置为针对像素的指定分段确定原始帧120和编码帧122之间的模糊水平的差异。为了说明，在一些实施例中，模糊检测模块654对原始帧120和编码帧122应用指定大小(按照像素数量)和形状的窗口，针对所应用的窗口确定模糊水平的差异，随后将该窗口平移至另一个像素集。例如，在一些实施例中，模糊检测模块654使用N×N的窗口，其中N是整数个像素。在一些实施例中，模糊检测模块654通过确定窗口的像素变化而确定该窗口的模糊水平，上述窗口的像素变化诸如是该窗口中的最亮像素和最暗像素之间的差异。为了确定模糊水平的差异，模糊检测模块654通过确定窗口的像素值的功率谱而确定该窗口的模糊水平，其中模糊水平由功率谱的空间频率所指示。

基于给定窗口的模糊差异，颜色减影模块652向叠层125的对应像素指配颜色数值。例如，在一些实施例中，如果与窗口相关联的模糊差异处于第一范围之内，则颜色减影模块652向叠层125的对应像素指配第一颜色，并且如果与像素相关联的模糊差异处于不同的第二范围之内，则颜色减影模块652向叠层125的对应像素指配不同的第二颜色。如同颜色减影处理一样，叠层125的颜色由此针对每个窗口表示原始帧120和编码帧122之间的模糊差异。

图6图示了根据一些实施例的生成叠层的方法700的流程图，该叠层具有针对游戏流的帧示出编码伪像的视觉指示符。出于描述的目的，关于图1的游戏流传输系统100处的示例实施方式来描述方法700。在框702处，编码器121对原始帧120进行编码以生成编码帧122。在框704处，叠层生成器123识别编码帧122和原始帧120之间的差异，诸如颜色差异、模糊水平的差异，等等。在框706处，叠层生成器123基于在框704处所识别的差异而识别编码伪像。在框706处，叠层生成器123生成叠层125以包括在框704处所识别的编码伪像的视觉指示符。在框708处，GPU 108将叠层125与编码帧122合成并且将该合成帧发送至显示设备以便进行显示，由此允许用户快速地且在视觉上识别出编码帧中的编码伪像，并且对编码器121的编码参数作出调节。

在一些实施例中，上文所描述的技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实施。该软件包括在非瞬态计算机可读存储介质上存储或以其它方式有形地实现于非瞬态计算机可读存储介质上的一个或多个可执行指令集。该软件可以包括指令和某些数据，这些指令和数据在被该一个或多个处理器执行时操控该一个或多个处理器以执行上文所描述的技术的一个或多个方面。例如，该非瞬态的计算机可读存储介质可以包括磁盘或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机访问存储器(RAM)，或者一个或多个其它非易失性存储器设备，等等。存储在非瞬态计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码，或者由一个或多个处理器所解释或者能够以其它方式被该一个或多个处理器所执行的其它指令格式。

计算机可读存储介质可以包括能够在使用期间由计算机系统所访问以向该计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但并不局限于光学介质(例如，紧凑光盘(CD)、数字多功能盘(DVD)、蓝光盘)、磁性介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机访问存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)，或者基于微机电系统(MEMES)的存储介质。计算机可读存储介质可以嵌入在计算系统中(例如，系统RAM或ROM)，固定附接至计算系统(例如，磁性硬盘)，可移除地附接至计算系统(例如，光盘或者基于通用串行总线(USB)的闪存)，或者经由有线或无线网络耦合至计算机系统(例如，可网络访问存储(NAS))。

应注意，并非要求上文在一般描述中所描述的所有活动或要素，一部分具体活动或设备可能不被要求，并且除了所描述的那些之外，可以执行一个或多个另外的活动或者包括一个或多个另外的要素。再进一步地，活动被列出的顺序并不一定是它们被执行的顺序。而且，已经参考具体实施例对概念进行了描述。但是，本领域技术人员意识到，可以进行各种修改和变化而并不背离如所附权利要求所给出的本公开的范围。因此，说明书和附图要以说明性而非限制性的含义来理解，并且所有这样的修改都意在被包括在本公开的范围之内。

上文已经关于具体实施例描述了益处、其它优势以及针对问题的解决方案。但是，这些益处、优势、针对问题的解决方案以及可能导致任何益处、优势或针对问题的解决方案得以发生或变得更加突出的任何(多种)特征都并非被理解为是任何或全部权利要求中关键的、被要求的或必要的特征。此外，上文所公开的特定实施例仅是说明性的，因为所公开的主题可以按已经从本文的教导中获益的本领域技术人员所清楚明白的不同但等效的方式被修改并实践。除了如所附权利要求中所描述的之外，并未预期对本文所示出的构造或设计的细节有所限制。因此，上文所公开的特定实施例显然可以被改变或修改，并且所有这样的变化都被认为处于所公开主题的范围之内。因此，本文寻求如所附权利要求中所给出的保护。