具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

用户进行云游戏时，游戏的运行过程在服务器上进行。服务器将游戏视频画面发送到客户端，客户端接收视频帧数据后进行显示。

然而，由于游戏视频传输过程中，由于网络波动等因素导致客户端接收视频帧数据以及解码播放过程中，由于存在帧数据不完整的问题，产生花屏现象。花屏现象是指图像具有明显的撕裂或者错位特征，并且花屏现象可能会持续性影响多帧图像，花屏现象严重地影响了用户的游戏体验。

相关技术中，由于云游戏对视频实时性要求较高，因此并不会设置视频缓冲区，客户端接收一帧数据解码显示一帧数据，对于不完整的帧数据，也采用直接解码显示的方式处理，实时性要求较高的视频传输场景对花屏现象直接忽略，花屏问题得不到有效解决。

为了解决上述问题，本公开提供了一种云游戏图像花屏修复方法，当发现云游戏运行过程中出现花屏现象时，根据缓存的游戏编码画面以及游戏画面修复模型，获得花屏画面的修复帧，并使用修复帧替代出现花屏画面时的花屏帧进行显示，弥补花屏现象对游戏画面显示的影响，增强游戏画面显示效果，提升用户视觉体验。

根据一个示例性实施例，如图1所示，本公开提供了一种云游戏图像花屏修复方法，本实施例中的方法应用在客户端。客户端比如可以是手机、平板电脑等移动终端，用户可以在客户端上下载云游戏APP运行云游戏。该方法包括以下步骤：

S110、接收并缓存服务端发送的游戏画面修复模型。

通常情况下，云游戏包括基础的游戏画面和根据用户的选择确定的更加精确的场景画面。而客户端与服务端之间的网络状况不断发生变化，无法预测网络状况不佳出现的位置。因此，为了确保云游戏运行过程中客户端的显示效果，避免出现花屏现象。

该步骤在实施过程中，在游戏开始阶段，接收并缓存服务端基于游戏运行请求反馈的基础画面修复模型。随着游戏进行，用户需要切换游戏场景时，服务端会随着游戏场景的变换，发送与游戏场景对应的场景画面修复模型。客户端接收并缓存服务端基于游戏场景切换请求反馈的场景画面修复模型。

在此，需要说明的是，该步骤中客户端从服务端接收到的游戏画面修复模型是预先存储在服务端中的。对于运行在服务端上的不同的游戏，对应存储有不同的游戏画面修复模型。客户端上运行什么游戏，服务端就根据客户端发送的请求发送与客户端上运行的游戏对应的游戏画面修复模型。

S120、接收并缓存服务端发送的游戏编码画面。

服务端上运行游戏后，由于客户端只负责对游戏画面进行显示，其需要不断从服务端接收游戏画面，以保证用户游戏过程中画面显示的流畅度。

由于游戏视频画面显示过程中以视频帧为单位进行显示，且视频帧数量较大，服务端在发送过程中采用对游戏视频帧进行编码的方式发送，即发送游戏编码画面。在编码发送过程中，一方面能够提高发送过程中的安全性，另一方面还能够加快发送速度。在此，需要说明的是，该步骤中的游戏编码画面的编码方法可以采用目前现有的方法进行编码。

由于服务端在发送时进行了编码处理，因此，该步骤中客户端在接收到游戏编码画面后，要解码后才能够进行显示。对于视频帧的编码和解码过程，可以采用本领域中的常规技术手段进行，在此，不再赘述。

另外，在上述步骤S110和步骤S120中，客户端对于接收到的游戏画面预测模型和游戏视频帧均采用缓存的方式进行存储，当用户在客户端上退出游戏时，缓存的内容被清除，不会占用客户端的内存。同时，随着游戏进行，游戏前期缓存的内容可以被游戏后期缓存的内容覆盖，不会过多占用客户端的内容，在提升画面显示效果的同时，减少对客户端内容的占用，提升用户游戏体验。当然，如果用户的手机存储空间够大，也可以将游戏过程中接收到的全部游戏编码画面进行存储，以便在后期修复过程中有更多缓存资源可供使用。

S130、解码游戏编码画面过程中出现花屏画面时，根据游戏画面修复模型和游戏编码画面，获得出现花屏画面的修复帧。

客户端在解码服务端发送的游戏编码画面过程中，会判断是否出现了花屏画面，如果出现了花屏画面，说明后续在客户端上显示时，用户会看到花屏，影响用户的游戏体验。为了提升显示效果，改善游戏体验。当出现花屏现象时，会根据从服务端接收到的游戏画面修复模型和缓存的游戏编码画面对花屏画面进行修复，得到经过修复后的出现花屏画面的显示帧，即修复帧。在进行修复过程中，可以使用自出现花屏画面时刻起之前预设帧数的游戏编码画面进行修复，也可以使用接收到的全部的游戏编码画面进行修复。

对于视频帧，在H264协议里，图像以组(GOP，也就是一个序列)为单位进行组织，一个组是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。一个组就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个组可以很长，因为运动变化少就代表图像画面的内容变动很小，所以就可以编一个I帧，然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个I帧和3、4个P帧。

其中，I帧是帧组的第一帧，在一组中只有一个I帧。I帧是帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。如果传输过程中I真丢失，画面最直接的影响就是会卡顿，因为后面的帧都无法正确解码，只能等待下一个GOP。

P帧是帧间预测编码帧，需要参考其前面的I帧或P帧才能进行编码。P帧没有完整的画面数据，只有与其前一参考帧的画面差别的数据。与I帧相比，P帧通常占用更少的数据位，但不足是，由于P帧对前面的P和I参考帧有着复杂的依赖性，因此对传输错误非常敏感，所以如果P帧丢失，画面会出现马赛克现象，因为前向参考帧错误，补齐的并不是真正运动变化后的数据。

B帧是双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别。也就是说要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但解码时很耗CPU资源。B帧以前面的I帧或P帧，以及后面的P帧为参考帧，B帧不是参考帧,不会造成解码错误的扩散。在直播系统中很少使用B帧，一是因为解码很耗CPU，再就是B帧解码需要等待下一个P帧数据，这就会造成解码延时，而直播系统对延时要求很高，所以一般不用B帧。但对于点播系统就不会有这个问题。

本实施例中的游戏编码画面在解码过程中，如果发现出现花屏现象，则会将一个图像组序列，即GOP全部使用修复后的修复帧替换掉(包括多个I帧、P帧和B帧)，而不仅仅只替换其中某一部分，以确保显示过程中不会出现花屏现象。

该步骤中客户端确定是否出现花屏的方法是在解码过程中，根据解码处的I帧、P帧、B帧的情况确定是否出现花屏，比如，当解码过程中发现P帧丢失，或者，发现I帧丢失时，则可以确定出现了花屏现象。在此，需要说明的是，对于确定花屏现象的方法，本领域技术人员均知晓，不再赘述，除了上文提到的各种方法之外，还可以是其他未提及的有可能出现的问题导致花屏，不再赘述。

在执行该步骤时，在对游戏编码画面解码过程中，首先获取出现花屏画面时的花屏帧。然后将该花屏帧和缓存的游戏编码画面输入至游戏画面修复模型中，由于游戏画面修复模型是利用神经网络经过反复训练获得的，具有较好的预测准确性，能够快速确定并输出出现花屏画面时的经过修复的修复帧。

S140、显示修复帧替代出现花屏画面时的花屏帧。

当解码过程中确定出现花屏画面时，为了避免花屏画面展示于用户，要使用经游戏画面修复模型修复后的修复帧代替花屏帧进行显示。

在游戏运行的不同阶段可以使用不同的模型进行预测，比如在游戏运行初始阶段，用户还没有进入到游戏场景中时，可以使用基础画面修复模型对游戏初始阶段的出现的花屏画面进行修复。当用户根据游戏进行对场景进行切换时，可以使用场景画面修复模型对花屏画面进行修复。

在此，需要说明的是，由于游戏通常情况下会存在多个游戏场景，本实施例中的方法可以根据多个游戏场景存储多个场景画面预测模型，当客户端请求某一个游戏场景时，服务端将该游戏场景对应的场景画面修复模型发送给客户端，如果客户端不请求某一游戏场景，该场景对应的场景画面修复模型则不会发送给客户端，避免不使用的修复模型占用客户端的存储空间，同时，也减少流量占用。本实施例中的方法，按照客户端的需求对场景画面修复模型进行加载，提升了预测精度的同时，减小了模型大小，提升了用户体验。

对于云游戏，每一款游戏都有着自己的风格，本实施例中的与游戏风格相符合、一致的各种游戏画面都可以理解为基础画面，这些基础画面在解码过程中出现花屏现象时，可以使用基础画面修复模型进行修复。而本实施例中的场景画面修复模型可以理解为不经常出现的，图像画面显示过程有规律可遵循，并且画面显示内容可以被预测的游戏场景，比如可以是游戏过程中出现的设置界面等场景。在这样场景下出现花屏现象时，使用场景画面修复模型进行图像视频帧修复，获得修复帧，解决了画面缺失问题，提升了用户体验。

本实施例中，为了进一步提升显示效果，自出现花屏画面时刻起，判断是否接收到下一个I帧，如果接收到了，则解码接收到的游戏编码画面并像是。如果没有接收到I帧，说明还处于花屏状态，此时重复执行上述步骤S130和步骤S140，直至接收到下一个I帧。

本实施例中的云游戏图像花屏修复方法，不再忽视花屏现象，当解码过程中发现花屏现象时，根据已经缓存的游戏编码画面和从服务端获取的游戏画面修复模型，对出现花屏画面时的花屏帧进行修复获得修复帧，避免出现花屏现象，用于进行游戏过程中视觉显示效果更佳。

同时，由于本实施例中的游戏画面修复模型是从服务端接收获得的，客户端是需要使用缓存的游戏编码画面和上述模型进行前向传播计算，计算速度更快，能够满足移动端设备部署场景。

根据一个示例性实施例，如图2所示，本实施例提供了一种云游戏图像花屏修复方法，应用于服务端，服务端比如可以是运行云游戏的服务器。本实施例中的方法包括以下步骤：

S210、基于接收到的请求，发送游戏画面修复模型至客户端。

该步骤中，只有当服务端接收到了客户端发送的请求时，服务端才会将游戏画面修复模型发送给客户端，如果服务端没有接收到客户端发送的请求时，服务端不会发送游戏画面修复模型至客户端，以避免占用客户端的存储资源和处理资源。

在此，需要说明的是，游戏画面修复模型包括基础画面修复模型和场景画面修复模型，对于接收到的请求不同，服务端发送给客户端的修复模式不同。

在一个示例中，服务端从客户端处接收到游戏运行请求，此时，客户端还没有进入到场景切换过程中，服务端发送基础画面修复模型至客户端。

在另一个示例中，随着游戏进行，客户端发送游戏场景切换请求，服务端发送与客户端发送的游戏场景切换请求对应的场景画面修复模型至客户端。

本实施例中，服务端根据游戏运行的阶段和客户端发出的请求向客户端发送修复模型，对于客户端不涉及的场景画面修复模型，服务端不会发送给客户端，减少对客户端资源的占用。

该步骤中涉及到的游戏画面修复模型是预先训练好并预存在服务端。在对游戏画面修复模型进行训练时，服务器接收训练数据，训练数据包括各种场景画面的游戏视频。根据上述接收到的训练数据，构建基于深度学习的游戏画面修复模型。

其中，由于游戏运行在服务器上进行，因此，训练数据获取方便，成本低。在获取训练数据时，要获取不同游戏场景画面的游戏视频作为进行训练的原始数据。同时，由于后期在向客户端发送游戏画面修复模型时，进行了基础画面修复模型和场景画面修复模型的区分，因此，在训练过程中，也要区分进行训练。

为了进一步提高训练出的游戏画面修复模型的修复准确度，在完成对游戏画面修复模型的初步训练后，还要进行模型纠偏处理。在进行纠偏处理过程中，输入样本画面视频帧以及样本画面视频帧经过花屏处理后得到的测试视频帧至游戏画面修复模型进行训练。训练完成后，游戏画面修复模型输出测试修复帧。比较测试修复帧和样本画面视频帧，获得偏差参数，根据偏差参数，调整游戏画面修复模型，直至偏差参数小于预设参数。其中，预设参数可以根据游戏画面修复模型所需的精确程度进行设定，预设参数的数值越小，训练出来的游戏画面修复模型越精确。

本实施例中的训练属于无监督训练(无需进行数据标注)，将训练数据(即真实视频帧)与预测帧进行比较，根据偏差值大小调整要建立的修复模型的内在参数。通过上述训练，不断调整修复模型的准确度，最终得到能够发送给客户端，以在解码过程中出现花屏现象时，使用游戏画面修复模型对出现花屏画面的视屏帧进行修复。

S220、发送游戏编码画面至客户端。

由于游戏在运行过程中，客户端并不进行各种游戏中的运算处理等，只对游戏运行过程中的视频帧进行显示。因此，服务端需要把经过编码后的视频帧发送给客户端。

本实施例中采用分级训练，即根据场景训练出不同的场景画面修复模型，以及游戏级的基础画面修复模型，进而在后续客户端请求进行游戏过程中进行动态加载，平衡预测精度和模型大小。同时，由于采用了无监督训练，无需进行精细的人工标注，降低训练成本。

根据一个示例性实施例，如图3所示，本实施提供饿了一种云游戏图像花屏修复方法，包括以下步骤：

S301、客户端发送游戏运行请求至服务端。

S302、服务端运行游戏。

S303、服务端发送基础画面修复模型至客户端。

S304、服务端对游戏画面进行编码。

S305、服务端发送编码游戏画面至客户端。

S306、客户端发送游戏场景切换请求至服务端。

S307、服务端发送场景画面修复模型至客户端。

S308、客户端解码游戏编码画面。

S309、客户端解码过程中出现花屏画面。

S310、客户端获取出现花屏画面时的花屏帧。

S311、客户端输入花屏帧和缓存的游戏编码画面至游戏画面修复模型。

S312、客户端获得出现花屏画面的修复帧。

S313、显示修复帧替代出现花屏画面时的花屏帧。

S314、客户端判断是否接收到下一个I帧。

S315、若接收到下一个I帧，解码游戏编码画面并显示。

S316、若没有接收到下一个I帧，继续获得出现花屏画面的修复帧并显示修复帧。

根据一个示例性实施例，如图4所示，本实施例公开了一种云游戏图像花屏修复装置，应用于客户端，用于实现如图1所示的云游戏图像花屏修复方法。本实施例中的云游戏图像花屏修复装置100包括接收模块110、缓存模块120、处理模块130和显示模块140。

其中，接收模块110用于接收服务端发送的游戏画面修复模型和游戏编码画面。缓存模块120用于缓存游戏画面修复模型和游戏编码画面。处理模块130用于解码游戏编码画面过程中出现花屏画面时，根据游戏画面修复模型和游戏编码画面，获得出现花屏画面的修复帧，还用于自出现花屏画面时刻起，判断是否接收到下一个I帧；若是，解码游戏编码画面并显示；若否，根据游戏画面修复模型和游戏编码画面，获得出现花屏画面的修复帧。显示模块140用于显示修复帧替代出现花屏画面时的花屏帧。

根据一个示例性实施例，如图5所示，本实施例公开了一种云游戏图像花屏修复装置，应用于服务端，用于实现如图2所示的云游戏图像花屏修复方法。本实施例中的云游戏图像花屏修复装置200包括接收单元210、发送单元220和训练单元230。

其中，接收单元210用于接收请求，比如接收游戏运行请求和游戏场景切换请求。发送单元220用于发送游戏画面修复模型至客户端；还用于发送游戏编码画面至客户端。训练单元230具体用于接收训练数据，训练数据包括各种场景画面的游戏视频，并根据训练数据，构建基于深度学习的游戏画面修复模型。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。