具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中所提供的方法实施例可以在终端，服务器端，例如，移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的图像显示方法的终端硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，在一个示例性实施例中，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像显示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像显示方法，图2是根据本发明实施例的图像显示方法流程图一，如图2所示，该流程包括如下步骤：

步骤S202，在接收到目标图像的情况下，提取所述目标图像中包含的目标区域，其中，所述目标区域包括目标类型的信息所在的区域；

步骤S204，对所述目标图像进行硬件编码处理，以得到第一目标数据；

步骤S206，提取所述目标区域内的信息，并对所述目标区域内的信息进行压缩，以得到压缩数据，以及，对所述压缩数据进行编码处理，以得到第二目标数据；

步骤S208，对所述第一目标数据和所述第二目标数据进行封装处理，以得到目标数据包；

步骤S210，将所述目标数据包发送给终端，以指示所述终端基于所述目标数据包显示所述目标图像。

通过上述步骤，通过对目标图像进行硬件编码处理以得到第一目标数据，以及提取目标图像中的目标区域内的信息并对该信息进行压缩和编码处理，以得到第二目标数据，然后，将第一目标数据和第二目标数据进行封装处理，以得到目标数据包，并将目标数据包发送给终端，以指示终端基于目标数据包显示目标图像。采用上述技术方案，通过对目标区域内的信息进行压缩和编码处理，以及对目标图像的不同区域采取灵活的编码处理方法，避免了相关技术中仅采用硬件编码的方式及需要增加硬件资源的问题，解决了相关技术中存在的编码方式单一的问题以及需要依赖增加硬件资源而导致成本高的问题，达到了在具备高保真显示的同时，进一步降低数据量和传输带宽的效果。

其中，上述步骤的执行主体可以为服务端，或云端，例如，高保真显示系统中的服务端，上述步骤的执行主体还可以是其他的具备类似处理能力的处理设备或处理单元等，但不限于此。下面以服务端执行上述操作为例（仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作）进行说明：

在上述实施例中，服务端在接收到目标图像的情况下，提取目标图像中包含的目标区域，在实际应用中，目标区域可以是敏感度较高的显示区域，例如，对清晰度要求较高的文字区域，软件绘图区域等，服务端对目标图像进行硬件编码处理以得到第一目标数据，例如，可采用H264，H265，VP9标准对目标图像的帧数据进行编码，以得到第一目标数据，以及提取目标区域内的信息并对该信息进行压缩和编码处理，以得到第二目标数据，在实际应用中，根据清晰度，带宽和CPU硬件资源等实际情况，选择的压缩算法包括但不限于Zlib/Oodle/ZSTD等，提取目标区域内的辅助增强画质的信息，或称为辅流，再对辅流进行编码处理，例如，根据实际情况可对辅流进行硬件编码或软件编码，以得到第二目标数据；然后，将第一目标数据和第二目标数据进行打包封装处理，以得到目标数据包，在实际应用中，封装的方式可选，若采用H264协议，则使用H264的nal包进行封装；若采用H265，则使用H265的nal包；再将目标数据包发送给终端，以指示终端基于目标数据包显示目标图像，例如，在实际应用中，可将目标数据包通过TCP/UDP等网络传输协议发送给终端。采用上述技术方案，通过对目标区域内的信息进行压缩和编码处理，以及对目标图像的不同区域采取灵活的编码处理方法，避免了相关技术中仅采用硬件编码的方式及需要增加硬件资源的问题，解决了相关技术中存在的编码方式单一的问题以及需要依赖增加硬件资源而导致成本高的问题，达到了在具备高保真显示的同时，进一步降低数据量和传输带宽的效果。

在一个可选的实施例中，提取所述目标图像中包含的目标区域包括：按照分类算法对所述目标图像的区域进行分块，以得到多个块区域；从多个所述块区域中确定出所述目标区域。在本实施例中，按照分类算法对整个目标图像的区域进行分块，并从多个块区域中确定出目标区域，例如，可使用的分类算法包括图像边缘梯度，RGB直方图统计等，能够得到视觉高敏感度区域，可将视觉高敏感度区域确定为目标区域，例如，在实际应用中，高敏感度区域可包括：彩色文字区域，工具软件绘图区域，如AutoCAD,ModelSIM等，或者与彩色文字区域或工具软件绘图区域较近的背景色区域等。通过本实施例，实现了对目标图像的区域进行分块处理的目的，根据不同区域的显示要求灵活采取硬件编码或压缩、编码处理方式，实现了对目标图像进行灵活编码的目的，达到了高保真显示的效果，同时还达到了降低数据量和传输带宽的效果。

在一个可选的实施例中，对所述压缩数据进行编码处理，以得到第二目标数据包括：判断所述终端是否反馈了帧率消息，其中，所述帧率消息用于指示所述终端显示服务器发送的帧图像的频率；在判断出所述终端有反馈所述帧率消息，且所述帧率消息所指示的帧率大于等于预设帧率阈值的情况下，对所述压缩数据进行所述硬件编码处理，以得到所述第二目标数据；在判断出所述终端有反馈所述帧率消息，且所述帧率消息所指示的帧率小于所述预设帧率阈值的情况下，对所述压缩数据进行软件编码处理，以得到所述第二目标数据；在判断出所述终端没有反馈所述帧率消息的情况下，对所述压缩数据进行所述硬件编码处理，以得到所述第二目标数据。在本实施例中，根据终端反馈帧率的不同情况，对压缩数据采取不同的编码处理方式，以得到第二目标数据，具体包括：当终端有反馈帧率，且帧率大于或等于预设阈值（例如，30fps，或50 fps，或其它帧率阈值）的情况下，对压缩数据进行硬件编码处理，以得到第二目标数据；当终端有反馈帧率，且帧率小于预设阈值（例如，30fps，或50 fps，或其它帧率阈值）的情况下，对压缩数据进行软件编码处理，以得到第二目标数据；而当终端没有反馈帧率的情况下，对压缩数据也进行硬件编码处理，以得到第二目标数据。即，帧率大小就决定了采用软件编码处理还是硬件编码处理，当帧率低时，说明硬件资源不够用，就使用软件编码，当帧率高时，说明硬件能力足够，则进行硬件编码，通过本实施例，实现了根据终端反馈帧率的不同情况灵活采取不同编码处理方式的目的。

在一个可选的实施例中，对所述目标图像进行硬件编码处理，以得到第一目标数据包括：对所述目标图像进行下采样处理，以得到采样图像；对所述采样图像进行所述硬件编码处理，以得到所述第一目标数据。在本实施例中，对目标图像进行下采样处理，以得到采样图像，再对采样图像进行硬件编码处理，以得到第一目标数据，在实际应用中，在云桌面场景中，对于视觉敏感度较低区域的图像可采取硬件编码处理，例如，可采用H264，H265，VP9标准对目标图像的帧数据进行编码，以得到第一目标数据。通过本实施例，实现了对目标图像进行硬件编码处理的目的。

在本实施例中还提供了一种图像显示方法，图3是根据本发明实施例的图像显示方法流程图二，如图3所示，该流程包括如下步骤：

步骤S302，接收服务端发送的目标数据包，其中，所述目标数据包是由所述服务端对第一目标数据和第二目标数据进行封装处理后得到的，所述第一目标数据是由所述服务端对目标图像进行硬件编码处理所得到的数据，所述第二目标数据是由所述服务端对目标区域内的信息进行压缩，并对压缩后所得到的压缩数据进行编码处理所得到的数据，所述目标区域是所述目标图像中包含的包括目标类型的信息的区域；

步骤S304，对所述目标数据包进行解封处理，以得到所述第一目标数据和所述第二目标数据；

步骤S306，对所述第一目标数据进行硬件解码处理，以得到所述目标图像；

步骤S308，对所述第二目标数据进行解压缩处理，以得到所述目标区域内的信息；

步骤S310，对所述目标图像及所述目标区域内的信息进行重组，以得到重组图像；

步骤S312，显示所述重组图像。

通过上述步骤，接收服务端发送的目标数据包，目标数据包是由服务端对第一目标数据和第二目标数据进行封装处理后得到的，其中，第一目标数据是由服务端对目标图像进行硬件编码处理所得到的数据，第二目标数据是由服务端对目标图像中包含的目标区域内的信息进行压缩、编码处理所得到的数据，再对目标数据包进行解封处理以得到第一目标数据和第二目标数据，再分别对第一目标数据、第二目标数据进行硬件解码处理、解压缩处理，以得到目标图像、目标区域内的信息，然后，对目标图像和目标区域内的信息进行重组，以得到重组图像，并显示重组图像。实现了对目标区域内的图像数据进行还原的目的，以及对目标图像和目标区域内的图像数据进行重组的目的，进而达到高保真显示的效果。解决了相关技术中存在的在高保真显示中需要依赖增加硬件资源而导致成本高的问题。

其中，上述步骤的执行主体可以为终端，或客户端，例如，高保真显示系统中的终端，上述步骤的执行主体还可以是其他的具备类似处理能力的处理设备或处理单元等，但不限于此。下面以终端执行上述操作为例（仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作）进行说明：

在上述实施例中，终端通过对接收到的目标数据包进行解封处理，以及对解封处理得到的第一目标数据、第二目标数据进行硬件解码、解压缩处理，可得到目标图像、目标区域内的信息，再对目标图像和目标区域内的信息进行重组，可得到重组图像，并由终端显示重组图像。解决了相关技术中存在的在高保真显示中需要依赖增加硬件资源而导致成本高的问题。

在一个可选的实施例中，显示所述重组图像包括：对所述重组图像进行检修，并显示检修后的所述重组图像。在本实施例中，在对目标图像及目标区域内的信息进行重组，以得到重组图像之后，对重组图像进行自检修改，再显示检修后的重组图像。通过本实施例，实现了对重组图像进行检修后再显示的目的。

在一个可选的实施例中，所述方法还包括：统计显示服务器发送的帧图像的频率，并向所述服务端反馈帧率信息。在本实施例中，终端统计显示服务器发送的帧图像的频率，并向服务端反馈帧率信息。通过本实施例，实现了由终端向服务端反馈帧率的目的。

在一个可选的实施例中，对所述目标图像及所述目标区域内的信息进行重组，以得到重组图像包括：基于所述目标区域内的信息对所述目标区域内的图像数据进行还原，以得到所述目标区域的图像；对所述目标图像及所述目标区域内的图像进行重组，以得到所述重组图像。在本实施例中，根据目标区域内的信息对目标区域的图像数据进行还原，以得到目标区域的图像，然后，再对目标图像与目标区域内的图像进行重组，以得到重组图像。通过本实施例，实现了对目标图像及目标区域内的信息进行重组的目的。

在一个可选的实施例中，对所述第二目标数据进行解压缩处理，以得到所述目标区域内的信息包括：对所述第二目标数据进行解码处理，以得到压缩数据；对所述压缩数据进行所述解压缩处理，以得到所述目标区域内的信息。在本实施例中，对第二目标数据进行解压缩处理包括：对第二目标数据进行解码处理以得到压缩数据，再对压缩数据进行解压缩处理，并最终得到目标区域内中的信息。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。下面结合具体实施例对本发明进行具体说明：

图4是根据本发明具体实施例的图像显示方法流程图，如图4所示，该流程包括如下步骤：

步骤S402，原始图像帧RGB数据输入本申请系统服务端，首先通过本申请的区域识别模块对整个图像（对应于前述目标图像）进行分块，区分视觉上的高敏感度区域和低敏感度区域，具体使用的分类算法包括但不限于图像边缘梯度、RGB直方图统计等，得到视觉高敏感度区域，在实际应用中，高敏感度区域包括但不限于：1）、彩色文字区域；2）、工具软件作图区域，如AutoCAD，modelSIM等；3）、与1）、2）区域较近的背景色区域；

步骤S404，对原始图像帧数据进行硬件编码，输入硬件编码器进行编码，编码器包括但不限于H.264,H.265,VP9等；

步骤S406，提取增强信息，对高敏感度区域，提取辅助增强画质的信息（或称为辅流）；

需要说明的是，在步骤S406中包括压缩和编码处理，而根据终端反馈帧率的不同情况，对压缩数据采取不同的编码处理方式，例如，（1）若有反馈帧率，且若帧率大于门限值（对应于前述预设阈值，或帧率阈值），则继续对辅流进行硬件编码；而若帧率小于门限值，则对辅流进行软件编码；（2）若没有反馈帧率消息，对辅流进行硬件编码；

步骤S408，将步骤S404的数据（对应于前述第一目标数据）与步骤S406的辅流数据（对应于前述第二目标数据）打包封装，形成数据包；

步骤S410，将步骤S408产生的数据包通过TCP/UDP等网络传输协议进行发送；

步骤S412，客户端（对应于前述终端）接收网络数据，并根据打包格式进行解封装（即对应图4中拆包）；

步骤S414，根据编码器使用相应解码器，对步骤S412解封装的整帧数据进行硬件解码；

步骤S416，对辅助增强画质的信息进行解压缩，并根据辅助信息对高敏感度区域的图像数据进行还原；

步骤S418，将高敏感度区域与原始帧图像进行重组，并输出显示图像帧，需要说明的是，在重组后可进行自检修改，再显示检修后的重组图像；

步骤S420，客户端向服务端反馈帧率。

需要说明的是，在上述步骤S406中，根据终端反馈帧率的不同情况，对辅流可采取不同的编码处理方式，如图5所示，图5是根据本发明具体实施例的帧率反馈流程示意图，该流程包括如下步骤：

S502，判断客户端是否反馈帧率信息；

S504，在判断出客户端有反馈帧率信息的情况下，进一步判断帧率是否大于门限值；

S506，在判断出上述帧率小于门限值的情况下，对辅流进行软件编码；

S508，在上述步骤S502的判断结果为没有反馈帧率信息的情况下，或者，在上述步骤S504的判断结果为上述帧率大于门限值的情况下，对辅流进行硬件编码。

通过上述实施例，通过对原始图像帧按清晰度要求进行分块处理，对低敏感度区域进行yuv420格式的转码，而对高敏感度区域（包括但不限于文字区域）进行结构化数据压缩，形成辅助增强信息。本实施例在具备高清无损显示、高帧率特性的同时，通过一定的压缩算法进一步降低了数据量，降低了传输带宽，提高了帧率。可达到如下有益效果：在业界首次提出采用增强辅助信息对图像进行压缩，因此具备高清显示的特点；使用硬件编解码与辅助增强信息结合，因此具备高帧率特性的特点；通过一定的压缩算法降低了数据量，自适应满足传输带宽需求。

在本实施例中还提供了一种图像显示系统，如图6所示，图6是根据本发明具体实施例的图像显示系统框架图，该系统包括：服务端602、客户端604。其中，

服务端602包括：区域识别模块60202，用于对整个图像（对应于前述目标图像）进行分块；编码模块60204，用于对原始图像帧数据进行硬件编码；辅流提取模块60206，用于提取辅助增强画质的信息（辅流），例如对前述高敏感度区域提取辅流；压缩模块60208，用于对高敏感度区域进行结构化数据压缩，形成辅助增强信息；封装模块60210，用于对第一目标数据和第二目标数据进行打包封装，以形成数据包；

客户端604包括：解封装模块60402，用于对接收到的数据包进行解封装；解压缩模块60404，用于对辅助增强画质的信息进行解压缩；帧率统计模块60406，用于统计客户端显示的帧图像的帧率；解码模块60408，用于对解封装后得到的整帧数据进行分硬件解码；区域重组模块60410，用于对高敏感度区域与原始帧图像进行重组。

在本实施例中还提供了一种图像显示装置，图7是根据本发明实施例的图像显示装置的结构框图一，如图7所示，该装置包括：

第一提取模块702，用于在接收到目标图像的情况下，提取所述目标图像中包含的目标区域，其中，所述目标区域包括目标类型的信息所在的区域；

第一编码模块704，用于对所述目标图像进行硬件编码处理，以得到第一目标数据；

第二提取模块706，用于提取所述目标区域内的信息，并对所述目标区域内的信息进行压缩，以得到压缩数据，以及，对所述压缩数据进行编码处理，以得到第二目标数据；

封装模块708，用于对所述第一目标数据和所述第二目标数据进行封装处理，以得到目标数据包；

发送模块710，用于将所述目标数据包发送给终端，以指示所述终端基于所述目标数据包显示所述目标图像。

在一个可选的实施例中，上述第一提取模块702包括：分块单元，用于按照分类算法对所述目标图像的区域进行分块，以得到多个块区域；确定单元，用于从多个所述块区域中确定出所述目标区域。

在一个可选的实施例中，上述第二提取模块706包括：判断单元，用于判断所述终端是否反馈了帧率消息，其中，所述帧率消息用于指示所述终端显示服务器发送的帧图像的频率；第一编码单元，用于在判断出所述终端有反馈所述帧率消息，且所述帧率消息所指示的帧率大于等于预设帧率阈值的情况下，对所述压缩数据进行所述硬件编码处理，以得到所述第二目标数据；第二编码单元，用于在判断出所述终端有反馈所述帧率消息，且所述帧率消息所指示的帧率小于所述预设帧率阈值的情况下，对所述压缩数据进行软件编码处理，以得到所述第二目标数据；第三编码单元，用于在判断出所述终端没有反馈所述帧率消息的情况下，对所述压缩数据进行所述硬件编码处理，以得到所述第二目标数据。

在一个可选的实施例中，上述第一编码模块704包括：采样单元，用于对所述目标图像进行下采样处理，以得到采样图像；第四编码单元，用于对所述采样图像进行所述硬件编码处理，以得到所述第一目标数据。

在本实施例中还提供了一种图像显示装置，图8是根据本发明实施例的图像显示装置的结构框图二，如图8所示，该装置包括：

接收模块802，用于接收服务端发送的目标数据包，其中，所述目标数据包是由所述服务端对第一目标数据和第二目标数据进行封装处理后得到的，所述第一目标数据是由所述服务端对目标图像进行硬件编码处理所得到的数据，所述第二目标数据是由所述服务端对目标区域内的信息进行压缩，并对压缩后所得到的压缩数据进行编码处理所得到的数据，所述目标区域是所述目标图像中包含的包括目标类型的信息的区域；

解封模块804，用于对所述目标数据包进行解封处理，以得到所述第一目标数据和所述第二目标数据；

第一解码模块806，用于对所述第一目标数据进行硬件解码处理，以得到所述目标图像；

解压缩模块808，用于对所述第二目标数据进行解压缩处理，以得到所述目标区域内的信息；

重组模块810，用于对所述目标图像及所述目标区域内的信息进行重组，以得到重组图像；

显示模块812，用于显示所述重组图像。

在一个可选的实施例中，上述显示模块812包括：处理单元，用于对所述重组图像进行检修，并显示检修后的所述重组图像。

在一个可选的实施例中，上述装置还包括：统计模块，用于统计显示服务器发送的帧图像的频率，并向所述服务端反馈帧率信息。

在一个可选的实施例中，上述重组模块810包括：还原单元，用于基于所述目标区域内的信息对所述目标区域内的图像数据进行还原，以得到所述目标区域的图像；重组单元，用于对所述目标图像及所述目标区域内的图像进行重组，以得到所述重组图像。

在一个可选的实施例中，上述解压缩模块808包括：解码单元，用于对所述第二目标数据进行解码处理，以得到压缩数据；解压缩单元，用于对所述压缩数据进行所述解压缩处理，以得到所述目标区域内的信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。