具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的云游戏延迟检测设备结构示意图。

本发明实施例云游戏延迟检测设备可以是PC机或服务器设备，其上运行有虚拟机。

如图1所示，该云游戏延迟检测设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的云游戏延迟检测设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及云游戏延迟检测程序。

在图1所示的云游戏延迟检测设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的云游戏延迟检测程序，并执行下述云游戏延迟检测方法中的操作。

基于上述硬件结构，提出本发明云游戏延迟检测方法实施例。

参照图2，图2为本发明云游戏延迟检测方法第一实施例的流程示意图，所述云游戏延迟检测方法应用于服务器，所述方法包括：

步骤S10，接收客户端发送的游戏操作指令以及第一时间值，所述第一时间值为所述客户端发送所述游戏操作指令的时间值；

本实施例云游戏延迟检测方法运用于服务器中，本实施例的执行主体为服务器。需要说明的是，服务器属于云游戏延迟检测系统，该云游戏延迟检测系统中还包括客户端。

目前云游戏中的延迟现象存在于操作指令传输阶段、编码阶段、解码阶段以及渲染阶段，由于各个阶段的本身耗时较短，通常在几毫秒或者几十毫秒，并且由于客户端和云端可能存在时间不同步的情况，因此统计的云游戏响应时间存在一定误差；而且，由于云游戏输入和输出的都是画面帧，难以将输出的帧和输入的帧对应起来。基于以上几个问题，云游戏的延迟测试存在一定的困难。目前云游戏中采用的延迟检测方法通常是直接采用网络往返时延作为云游戏延迟，这种方式虽然获取延时的代价较低，但是其获取的延迟时长只能代表延迟的趋势，无法准确测量每一帧游戏画面的延迟，准确性较低。

在此背景下，本实施例为提升游戏画面延迟检测的准确性，通过将第一时间值嵌入服务器返回给客户端的图像数据中，而不是将第一时间值和图像数据单独发送给客户端，能够避免客户端难以将第一时间值和对应的游戏画面关联起来的问题，使客户端能够准确确定当前游戏画面的响应延迟时长，提升了游戏画面延迟检测的准确性。

在本实施例中，在需要进行云游戏延迟检测时，用户可以主动发起云游戏延迟检测指令，还可以由客户端在预设检测时机自动发起云游戏延迟检测指令。客户端在接收到云游戏延迟检测指令时，可以基于客户端当前的游戏画面生成游戏操作指令，该游戏操作指令还可以是结合用户的控制操作生成的。客户端将该游戏操作指令发送给云游戏的服务器，并将发送该游戏操作指令的时间(第一时间值)与该游戏操作指令关联发送给服务器，以通过游戏操作指令指示服务器将该第一时间值嵌入至与该游戏操作指令对应的更新图像数据中。

可以理解的是，第一时间值可以是绝对时间值，例如2021年5月1日10点30分25秒20毫秒，考虑到以绝对时间值表示第一时间值，所涉及的运算量和存储资源都较大，因此，还可以采用相对时间值来表示第一时间值，以减少计算量和存储资源占用量，此时，该相对时间值指的是相对于游戏启动时间或预设零点时间的相对时间值。例如，游戏启动时的绝对时间为T＝2021年5月1日10点30分25秒20毫秒，客户端发送游戏操作指令的绝对时间为T1＝2021年5月1日10点30分25秒320毫秒，相对时间值t1＝T1-T＝300毫秒。

进一步地，为了进一步降低服务端确定第一时间值和游戏操作指令的对应关系，客户端可以将第一时间值嵌入游戏操作指令中后再将游戏操作指令发送给服务器。

步骤S20，获取与所述游戏操作指令对应的更新图像数据，将所述第一时间值嵌入所述更新图像数据，得到反馈图像数据；

在本实施例中，服务器在接收到客户端发送的游戏操作指令以及第一时间值之后，对游戏操作指令进行解析得到第一游戏数据，根据游戏操作指令对第一游戏数据进行处理得到对应的更新图像数据，常规的云游戏数据传输流程为，在得到更新图像数据后，直接将更新图像数据送到编码器进行编码，并将编码后的数据返回给客户端，以供客户端解码渲染后显示。而在本实施例中，服务器在得到更新图像数据后，将第一时间值嵌入更新图像数据，得到反馈图像数据。

进一步地，在一实施场景中，上述步骤S20中，所述将所述第一时间值嵌入所述更新图像数据，得到反馈图像数据的步骤，具体包括：

步骤S21，对所述第一时间值的各数位值分别进行数据分块处理，以将各数位值分别写入第一预设数量的包含多个子方块的母方块中，其中，属于同一母方块的子方块中写入的数位值相同；

步骤S22，将各所述母方块按照第一时间值的数位顺序横向排列，得到待嵌入数据，将所述待嵌入数据添加至所述更新图像数据的预设位置，得到所述反馈图像数据。

在有损编码场景下，有损编码通过允许压缩过程中损失一定的信息，换取了高压缩率，但这种损失是不可控的，其可能会造成第一时间值的数据损失，导致客户端解码得到的第一时间值与编码前的第一时间值存在差别，甚至可能会导致客户端在解码后无法获取到第一时间值，进而导致得到的响应延迟时长不准确，无法真实反映延迟情况。

在此背景下，服务器在获取到第一时间值后，会对第一时间值的各个数位值进行数据分块处理，具体为，确定第一预设数量(M)的数据方块(母方块)，每个母方块中包括第二预设数量(N)的子方块，每个子方块都可用于写入数据；首先，需要确定第一时间值的数位值的数量(X)与第一预设数量(M)的大小，若M＞X，则需要在第一时间值的头部添加(M-X)个无效数字(0)，以使添加无效数字后的第一时间值的数位值的数量与第一预设数量(M)相同；继而可为添加无效数字后的第一时间值的每个数位值分配1个母方块，并将各数位值写入其对应母方块的所有子方块中，这相当于将每个数位值存储N份。在得到待嵌入数据后，将该待嵌入数据添加至更新图像数据的预设位置，即可得到反馈图像数据。其中，第一预设数量和第二预设数量由管理人员预先设置，本实施例不做具体限制。

其中，预设位置可以是更新图像数据的头部、尾部或者其他位置。

例如，假设第一预设数量M＝5，第二预设数量N＝8*8＝64，即，母方块的数量为5，且母方块中包括8*8的子方块，若第一时间值(十进制)为1204，数位值的数量X＝4，由于M＞X，则为1204添加1位无效数字后得到01204，则五个数位值按照数位顺序排列为0、1、2、0和4，在数位值“0”对应的母方块的所有子方块中都写入0，在数位值“1”对应的母方块的所有子方块中都写入1，在数位值“2”对应的母方块的所有子方块中都写入2，在数位值“0”对应的母方块的所有子方块中都写入0，在数位值“4”对应的母方块的所有子方块中都写入4，再将母方块按照第一时间值的数位顺序，即0、1、2、0和4的顺序横向排列，得到待嵌入数据。

如此，若反馈图像数据经过有损编码处理，导致客户端解码得到的嵌入数据(经过编码解码处理后的待嵌入数据)与待嵌入数据不同，例如部分子方块中的数据缺失、乱码或偏移，则客户端可以统计每个母方块中子方块中数字的重复率，将重复率最高的数字，即目标数字，作为该母方块对应的数位值，如此确定每个母方块的数位值，再根据各母方块对应的数位值和排列顺序，还原第一时间值。例如，假设第一预设数量M＝5，第二预设数量N＝8*8＝64，预设位置为反馈图像数据的头部；若客户端对反馈图像数据解码得到头部的5个依次排列的、各包含8*8子方块的母方块A、B、C、D和E，A中64个子方块的数字为0，B中60个子方块的数字为1，4个子方块为其他数字，C中64个子方块的数字都是2，D中55个子方块的数字为0，9个子方块为其他数字，E中63个子方块的数字为4，1个子方块为其他数字，则还原得到的数字为01204，去掉头部的无效数字后得到第一时间值为1204。

在本实施例中，通过将第一时间值存储为多份，能够保证即使因为有损编码导致待嵌入输入数据的部分数据损失，也能尽可能还原出真实的第一时间值，进而可以保证响应延迟时长的准确性。

进一步地，在另一实施场景中，上述步骤S20中，所述将所述第一时间值嵌入所述更新图像数据，得到反馈图像数据的步骤，具体包括：

步骤S201，将所述第一时间值转换为预设计数制，将转换为预设计数制的所述第一时间值嵌入所述更新图像数据，得到反馈图像数据。

考虑到时间的常用进位计数制为十进制，在时间值较大时，在十进制的时间值所占用的数据存储空间往往较大，进而导致待嵌入数据的数据量变大。为了减少数据存储的占用，本实施例会将第一时间值由当前的十进制转换为预设计数制，以减少其所占用的数据存储空间。其中，预设计数制可由管理人员根据需要设置，可以理解的是，预设计数制是比十进制更大任意计数制，例如，预设计数制可设置为256进制。

例如，假设第一预设数量M＝5，预设数量N＝8*8＝64，即，母方块的数量为5，且母方块中包括8*8的子方块，预设计数制为256进制；若第一时间值(十进制)为300ms，则将300转换为256进制后为{1 44}，可见转换后的数位值的数量X＝2，由于M＞X，则为{1 44}添加3位无效数字后得到{0 0 0 1 44}，则五个数位值按照数位顺序排列为0、0、0、1和44，在数位值“0”对应的3个母方块的所有子方块中都写入0，在数位值“1”对应的母方块的所有子方块中都写入1，在数位值“44”对应的母方块的所有子方块中都写入44，再将母方块按照第一时间值的数位顺序，即0、0、0、1和44的顺序横向排列，得到待嵌入数据。

可以理解的是，步骤S20的这两种实施场景可以单独实施，也可以组合起来实施，本实施例不做具体限制。

步骤S30，将所述反馈图像数据发送给所述客户端，以供所述客户端对所述反馈图像数据进行解析得到所述第一时间值，结合所述第一时间值和所述客户端接收到所述反馈图像数据的第二时间值确定所述当前游戏画面的响应延迟时长。

服务器在得到反馈图像数据后将其经编码器编码后返回给客户端，客户端在接收到反馈图像数据后进行正常解码流程，可得到第一时间值，客户端根据接收到反馈图像数据时的时间(第二时间值)以及第一时间值的差值，确定云游戏的响应延迟时长。

本实施例通过接收客户端发送的游戏操作指令以及第一时间值，所述第一时间值为所述客户端发送所述游戏操作指令的时间值；获取与所述游戏操作指令对应的更新图像数据，将所述第一时间值嵌入所述更新图像数据，得到反馈图像数据；将所述反馈图像数据发送给所述客户端，以供所述客户端对所述反馈图像数据进行解析得到所述第一时间值，结合所述第一时间值和所述客户端接收到所述反馈图像数据的第二时间值确定所述当前游戏画面的响应延迟时长。通过将第一时间值嵌入服务器返回给客户端的图像数据中，以使客户端能够准确确定当前游戏画面的响应延迟时长，提升了游戏画面延迟检测的准确性。

进一步地，提出本发明云游戏延迟检测方法第二实施例。所述云游戏延迟检测方法应用于客户端，所述方法包括：

步骤A1，在接收到云游戏延迟检测指令时，发送游戏操作指令给服务器，并将发送所述游戏操作指令的第一时间值发送给所述服务器，以供所述服务器将所述第一时间值嵌入与所述游戏操作指令对应的更新图像数据，得到反馈图像数据；

本实施例云游戏延迟检测方法运用于客户端中，本实施例的执行主体为客户端。需要说明的是，客户端属于云游戏延迟检测系统，该云游戏延迟检测系统中还包括服务器。

为解决现有技术中无法准确测量每一帧游戏画面的延迟，准确性较低的问题，本实施例中，在需要进行云游戏延迟检测时，用户可以主动发起云游戏延迟检测指令，还可以由客户端在预设检测时机自动发起云游戏延迟检测指令。客户端在接收到云游戏延迟检测指令时，将基于客户端当前的游戏画面生成游戏操作指令，该游戏操作指令还可以是结合用户的控制操作生成的。客户端将该游戏操作指令发送给云游戏的服务器，并将发送该游戏操作指令的时间(第一时间值)与该游戏操作指令关联发送给服务器，以通过游戏操作指令指示服务器将该第一时间值嵌入至与该游戏操作指令对应的更新图像数据中。其中，服务器将第一时间值嵌入至与该游戏操作指令对应的更新图像数据中的步骤可参见第一实施例，本实施例在此不再赘述。

可以理解的是，第一时间值可以是绝对时间值，例如2021年5月1日10点30分25秒20毫秒，考虑到以绝对时间值表示第一时间值，所涉及的运算量和存储资源都较大，因此，还可以采用相对时间值来表示第一时间值，以减少计算量和存储资源占用量，此时，该相对时间值指的是相对于游戏启动时间或预设零点时间的相对时间值。例如，游戏启动时的绝对时间为T＝2021年5月1日10点30分25秒20毫秒，客户端发送游戏操作指令的绝对时间为T1＝2021年5月1日10点30分25秒320毫秒，相对时间值t1＝T1-T＝300毫秒。

进一步地，为了进一步降低服务端确定第一时间值和游戏操作指令的对应关系，客户端可以将第一时间值嵌入游戏操作指令中后再将游戏操作指令发送给服务器。

步骤A2，接收所述服务器发送的所述反馈图像数据，将接收到所述反馈图像数据的时间值作为第二时间值，并对所述反馈图像数据进行解析，得到所述第一时间值；

在本实施例中，客户端在接收到反馈图像数据后进行正常解码流程，可得到第一时间值，上述步骤A2中，所述对所述反馈图像数据进行解析，得到所述第一时间值的步骤，具体包括：

步骤A21，对所述反馈图像数据进行解析，获取所述反馈图像数据中的嵌入数据，所述嵌入数据由所述服务器对所述第一时间值进行数据分块处理得到，所述嵌入数据中包括第一预设数量的母方块，所述母方块包括多个子方块；

步骤A22，读取每个所述母方块的子方块对应的数字，确定属于同一母方块的子方块对应的数字重复率最高的目标数字，将所述目标数字作为所述母方块对应的数位值；

步骤A23，根据各所述母方块对应的数位值和所述母方块的排列顺序，确定所述第一时间值。

在有损编码场景下，有损编码通过允许压缩过程中损失一定的信息，换取了高压缩率，但这种损失是不可控的，其可能会造成第一时间值的数据损失，导致客户端解码得到的第一时间值与编码前的第一时间值存在差别，甚至可能会导致客户端在解码后无法获取到第一时间值，进而导致得到的响应延迟时长不准确，无法真实反映延迟情况。

在此背景下，服务器在获取到第一时间值后，会对第一时间值的各个数位值进行数据分块处理，具体为，确定第一预设数量(M)的数据方块(母方块)，每个母方块中包括第二预设数量(N)的子方块，每个子方块都可用于写入数据；在为每个数位值确定对应的母方块之后，即可将各数位值写入其对应母方块的所有子方块中，这相当于将每个数位值存储N份。在得到待嵌入数据后，将该待嵌入数据添加至更新图像数据的预设位置，即可得到反馈图像数据。具体可参见第一实施例，本实施例在此不再赘述。

需要说明的是，第一预设数量、第二预设数量和预设位置的设置对客户端和服务器是同步的。

如此，若反馈图像数据经过有损编码处理，导致客户端解码得到的嵌入数据(经过编码解码处理后的待嵌入数据)与待嵌入数据不同，例如部分子方块中的数据缺失、乱码或偏移，则客户端可以统计每个母方块中子方块中数字的重复率，将重复率最高的数字，即目标数字，作为该母方块对应的数位值，如此确定每个母方块的数位值，再根据各母方块对应的数位值和排列顺序，还原第一时间值。例如，若客户端解码得到4个依次排列的、各包含8*8子方块的母方块A、B、C和D，A中60个子方块的数字为1，4个子方块为其他数字，B中64个子方块的数字都是2，C中55个子方块的数字为0，9个子方块为其他数字，D中63个子方块的数字为4，1个子方块为其他数字，则还原得到的自已时间值为1204ms。

在本实施例中，通过将第一时间值存储为多份，能够保证即使因为有损编码导致待嵌入输入数据的部分数据损失，客户端也能尽可能还原出真实的第一时间值，进而可以保证响应延迟时长的准确性。

步骤A3，根据所述第一时间值和所述第二时间值确定所述当前游戏画面的响应延迟时长。

在本实施例中，在确定第一时间值和第二时间值，即可根据第二时间值和第一时间值的差值，确定云游戏的响应延迟时长。

本实施例通过在接收到云游戏延迟检测指令时，发送游戏操作指令给服务器，并将发送所述游戏操作指令的第一时间值发送给所述服务器，以供所述服务器将所述第一时间值嵌入与所述游戏操作指令对应的更新图像数据，得到反馈图像数据；接收所述服务器发送的所述反馈图像数据，将接收到所述反馈图像数据的时间值作为第二时间值，并对所述反馈图像数据进行解析，得到所述第一时间值；根据所述第一时间值和所述第二时间值确定所述当前游戏画面的响应延迟时长。通过将第一时间值嵌入服务器返回给客户端的图像数据中，使客户端能够准确确定当前游戏画面的响应延迟时长，提升了游戏画面延迟检测的准确性。

进一步地，上述步骤A3之后，还包括：

步骤A41，获取所述客户端对所述反馈图像数据进行解析并完成播放的第三时间值；

步骤A41，根据所述第三时间值和所述第二时间值确定所述客户端的设备性能延迟时长；

步骤A41，在所述设备性能延迟时长大于或等于预设性能延迟时长阈值时，输出对应的设备性能延迟提示。

为了避免因为客户端设备本身的性能不好引起的游戏画面延迟，被用户误认为是云游戏服务器性能不好导致的延迟，因此，本实施例在根据第一时间值和第二时间值确定响应延迟时长后，会进一步确定客户端的设备性能延迟时长，具体为，获取客户端对反馈图像数据进行解析并完成播放时的时间(第三时间值)，将第三时间值和第二时间值的差值作为客户端的设备性能延迟时长；比较设备性能延迟时长与预设性能延迟时长阈值的大小，预设性能延迟时长阈值由管理人员根据需要设置，例如根据可被人眼察觉的延迟时长设置，若设备性能延迟时长大于或等于预设性能延迟时长阈值，则通过客户端输出对应设备性能延迟提示，例如，“请注意，由于设备性能限制，导致当前画面有所延迟”，以避免用户对云游戏服务器的性能产生误解。

本发明还提供一种云游戏延迟检测系统，参照图3，所述云游戏延迟检测系统包括如上述实施例所述的客户端和服务器。

上述客户端和服务所执行的方法可参照本发明云游戏延迟检测方法各个实施例，此处不再赘述。

本发明还提供一种计算机存储介质。

本发明计算机存储介质上存储有云游戏延迟检测程序，所述云游戏延迟检测程序被处理器执行时实现如上所述的云游戏延迟检测方法的步骤。

其中，在所述处理器上运行的云游戏延迟检测程序被执行时所实现的方法可参照本发明云游戏延迟检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。