画面黑屏后的恢复方法和装置
阅读说明：本技术 画面黑屏后的恢复方法和装置 (Method and device for recovering image after screen blacking ) 是由 黄�俊 于 2020-04-15 设计创作，主要内容包括：本申请公开了一种画面黑屏后的恢复方法和装置,其中方法包括：当视频会议系统具有支持I帧请求的能力时,终端设备在视频会议进行过程中监测当前是否满足预设的黑屏恢复触发条件；当满足预设的黑屏恢复触发条件时,所述终端设备向所述视频会议系统请求I帧。采用本发明,可以有效缩短视频会议过程中由于I帧丢失所致的画面黑屏时长。(The application discloses a method and a device for recovering a picture after a screen is blacked, wherein the method comprises the following steps: when the video conference system has the capability of supporting the I frame request, the terminal equipment monitors whether the preset black screen recovery triggering condition is met currently or not in the video conference process; and when a preset black screen recovery triggering condition is met, the terminal equipment requests the video conference system for an I frame. By adopting the invention, the picture black screen time caused by I frame loss in the video conference process can be effectively shortened.)
技术领域
本发明涉及视频会议系统技术，特别是涉及一种画面黑屏后的恢复方法和装置。
背景技术
视频压缩技术是视频会议系统需要采用的重要技术。在视频压缩技术中，帧是组成视频图像的基本单位。I帧是帧间压缩编码里的重要帧；它是一个全帧压缩的编码帧；I帧包含了用于渲染整个画面所需的必要信息，解码时仅用I帧的数据就可重构完整图像；I帧不需要参考其他画面而生成。在视频会议系统中，终端和视频会议系统的多点会议控制器(MCU)之间传输图像时，并不是每次都把完整的一幅幅图片发送到远端，而只是发送后一幅画面在前一幅画面基础上发生变化的部分。由于I帧包含了用于渲染整个画面所需的必要信息，其后的其它仅携带变化部分信息的压缩帧需要参考I帧渲染画面，因此，I帧的丢失会影响画面的渲染出现黑屏现象。
发明人在实现本发明的过程中发现：在视频会议过程中，在终端设备用户切换了界面，将视频会议从前台变为后台后，再将视频会议从后台变为前台时，会存在黑屏问题。通过对现有视频会议系统的视频播放过程进行认真分析后，发明人发现发生上述黑屏问题的原因如下：
终端设备对接智真会议系统的场景下，如果终端设备用户在可以正常观看视频画面时切换了界面，将视频会议从前台变为后台，根据正常的视频播放处理逻辑，终端设备会停止进行画面渲染，并释放解码器，当用户再一次切换回会议系统中，视频会议从后台变为前台，此时，需要重新创建解码器进行视频渲染。重新创建解码器进行视频渲染需要I帧信息。而考虑到I帧占用的网络带宽大，当处于多人会议系统中，通常只会在会议接入时给终端发送I帧用于创建和初始化解码器渲染画面，后续就不会再频繁发送，因此，此时会缺少I帧信息。这样，解码器就不能正常渲染视频，从而导致出现黑屏问题。这种黑屏情况，不仅仅是智真会议系统，其他的视频会议系统或者终端，也可能出现这种问题。
目前针对上述问题，专网行业下并没有很好的解决方法。如果会议系统采用短周期持续发送I帧给所有的终端，可以解决上述较长时间黑屏问题，但是，由于I帧的带宽开销大，采用这种方法会导致网络资源的消耗巨大，且网络不佳的情况下也没法解决上述黑屏问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种画面黑屏后的恢复方法和装置，可以有效缩短视频会议过程中由于I帧丢失所致的画面黑屏时长。
为了达到上述目的，本发明提出的技术方案为：
一种画面黑屏后的恢复方法，包括：
当视频会议系统具有支持I帧请求的能力时，终端设备在视频会议进行过程中监测当前是否满足预设的黑屏恢复触发条件；其中，所述黑屏恢复触发条件对应的场景存在I帧丢失或者具有I帧丢失的风险；
当满足预设的黑屏恢复触发条件时，所述终端设备向所述视频会议系统请求I帧。
较佳地，所述终端设备向所述视频会议系统请求I帧包括：
所述终端设备按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧。
较佳地，所述方法进一步包括：
所述终端设备在进入视频会议与视频会议系统进行信令面协商时，根据会话描述协议SDP消息是否协带全帧内请求FIR字段，判断视频会议系统是否具有支持I帧请求的能力。
较佳地，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件。
较佳地，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件，且在该I帧请求事件发生之前的预设时间范围内没有监测到满足所述黑屏恢复触发条件，其中，所述时间范围为t-a到t，其中，t为当前时刻，a为预设的时间间隔。
较佳地，所述I帧请求事件包括：
所述终端设备将视频会议应用从后台切换到前台重新接入会议系统。
较佳地，所述I帧请求事件进一步包括：
在视频业务建立时视频解码器初始化成功；
所述终端设备检测到视频丢包；和，
所述终端设备进行I帧组帧失败。
较佳地，所述终端设备按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧包括：
a、所述终端设备通过发送全帧内请求(FIR)消息，向所述视频会议系统请求I帧；
b、如果所述终端设备在当前I帧请求周期内没有接收到I帧，则返回步骤a。
一种画面黑屏后的恢复装置，设置于终端设备中，包括：
监测模块，用于当视频会议系统具有支持I帧请求的能力时，终端设备在视频会议进行过程中监测当前是否满足预设的黑屏恢复触发条件；其中，所述黑屏恢复触发条件对应的场景存在I帧丢失或者具有I帧丢失的风险；
I帧请求模块，用于当满足预设的黑屏恢复触发条件时，所述终端设备向所述视频会议系统请求I帧。
较佳地，所述I帧请求模块，具体用于向所述视频会议系统请求I帧，包括：
按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧。
较佳地，所述监测模块，进一步用于在所述终端设备进入视频会议与视频会议系统进行信令面协商时，根据会话描述协议(SDP)消息是否协带全帧内请求FIR字段，判断视频会议系统是否具有支持I帧请求的能力。
较佳地，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件。
较佳地，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件，且在该I帧请求事件发生之前的预设时间范围内没有监测到满足所述黑屏恢复触发条件，其中，所述时间范围为t-a到t，其中，t为当前时刻，a为预设的时间间隔。
较佳地，所述I帧请求事件进一步包括：
所述终端设备将视频会议应用从后台切换到前台重新接入会议系统。
较佳地，所述I帧请求事件进一步包括：
在视频业务建立时视频解码器初始化成功；
所述终端设备检测到视频丢包；和，
所述终端设备进行I帧组帧失败。
较佳地，所述I帧请求模块，具体用于所述终端设备按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧，包括：
a、所述终端设备通过发送全帧内请求FIR消息，向所述视频会议系统请求I帧；
b、如果所述终端设备在当前I帧请求周期内没有接收到I帧，则返回步骤a。
本申请还公开了一种终端设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述的画面黑屏后的恢复方法。
本申请还公开了一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上所述的画面黑屏后的恢复方法。
由上述技术方案可见，本发明提出的画面黑屏后的恢复方法和装置，在视频会议系统具有支持I帧请求的能力时，终端设备会在视频会议进行过程中对发生I帧丢失或可能发生I帧丢失的情景进行实时监测，并在监测到该场景，即当前满足预设的黑屏恢复触发条件时，会向所述视频会议系统请求I帧。如此，终端设备可以在发生黑屏或可能发生黑屏的情景下较快地获取到I帧，这样，终端设备便可以根据I帧正常进行画面的渲染，从而可以有效的缩短由于I帧丢失所致的画面黑屏时长。
附图说明
图1为本发明实施例的画面黑屏后的恢复方法流程示意图；
图2为本发明实施例的一具体实施流程示意图；
图3为根据本发明的画面黑屏后的恢复装置的结构图。
图4为根据本发明的终端设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的流程示意图，如图1所示，该实施例实现的画面黑屏后的恢复方法主要包括：
步骤101、当视频会议系统具有支持I帧请求的能力时，终端设备在视频会议进行过程中监测当前是否满足预设的黑屏恢复触发条件；所述黑屏恢复触发条件对应的场景存在I帧丢失或者具有I帧丢失的风险。
本步骤中，为了缩短由于I帧丢失所致的黑屏时长，终端设备需要对I帧丢失所致的黑屏场景进行监测，以便在出现这些黑屏场景或可能出现黑屏场景时能够及时从视频会议系统侧获取I帧来恢复画面。
在一个实施方式中，终端设备具体可以采用下述方法确定视频会议系统是否具有支持I帧请求的能力：
所述终端设备在进入视频会议与视频会议系统进行信令面协商时，根据会话描述协议(SDP)消息是否协带全帧内请求(FIR)字段，判断视频会议系统是否具有支持I帧请求的能力。
在一个实施方式中，所述黑屏恢复触发条件可以为：当前发生任一预设的I帧请求事件。
考虑到如果在较短时间范围内发生多个I帧请求事件，就会导致I帧请求的频繁发起，这样就会导致网络资源开销较大，为了节约网络资源，在另一个实施方式中，可以限定在一下时间范围内仅允许发起一次I帧请求，即所述黑屏恢复触发条件还可以为：当前发生任一预设的I帧请求事件，且在该I帧请求事件发生之前的预设时间范围内没有监测到满足所述黑屏恢复触发条件，其中，所述时间范围为t-a到t，其中，t为当前时刻，a为预设的时间间隔。
上述a用于控制上述时间范围的长度，a设置地太长会导致黑屏时长大，设置的太短会导致I帧请求的频繁发起。具体地，本领域技术人员可以根据实际需要并结合上述特点，设置a的合适取值。
在一个实施方式中，所述I帧请求事件可以包括下述事件：
所述终端设备将视频会议应用从后台切换到前台重新接入会议系统。
发明人在实现本发明的过程中发现不仅上述切换场景存在由于I帧丢失而致的黑屏，在其他场景中也存在类似黑屏问题，具体如下：
1、视频业务建立时，终端会由于没能正常接收到I帧而导致黑屏。
2、视频会议过程中，终端进入了网络信号覆盖较差的地方，导致视频丢包，此时会存在I帧丢失的情况，从而出现黑屏。
3、视频会议过程中，由于I帧包的数据格式有问题，而致I帧组帧失败，从而出现黑屏。
基于此，为了进一步减少视频会议过程中发生长时间黑屏的可能，在一个实施方式中，所述I帧请求事件还可以进一步包括下述三种事件：
在视频业务建立时视频解码器初始化成功；
所述终端设备检测到视频丢包；和，
所述终端设备进行I帧组帧失败。
步骤102、当满足预设的黑屏恢复触发条件时，所述终端设备向所述视频会议系统请求I帧。
在一个实施方式中，所述终端设备可以采用周期性的方式向所述视频会议系统请求I帧，具体如下：
所述终端设备按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧。
进一步地，所述终端设备按照下述方法向所述视频会议系统请求I帧，：
a、所述终端设备通过发送全帧内请求(FIR)消息，向所述视频会议系统请求I帧。
b、如果所述终端设备在当前I帧请求周期内没有接收到I帧，则返回步骤a。
在实际应用中，如果所述I帧请求周期设置的太长，缩短黑屏时长效果会弱，如果所述I帧请求周期设置的太短，频繁地请求I帧会导致网络资源的浪费，具体地，本领域技术人员可以根据实际需要结合上述规律，设置合适的I帧请求周期。
上述方法中，如果所述终端设备在当前I帧请求周期内没有接收到I帧，则需要再返回步骤a重新请求I帧，否则，就不需要再请求，之后直接利用所获取的I帧进行画面渲染即可。
图2为基于上述实施例实现的一画面黑屏后的恢复方法的具体流程示意图。从图中可以看出在视频会议系统侧支持I帧请求的前提下，终端设备在会议进行过程中，终端设备将在将视频会议应用从后台切换到前台、视频业务建立成功初始化视频解码器时、检测到视频丢包以及I帧组帧失败时，主动请求I帧，如此，终端设备可以在这些由于丢失I帧而黑屏的情况下较快地获取到I帧，利用I帧进行画面渲染，从而有效缩短了黑屏时长。在实际应用中，本发明应用于专网中时，可以将专网终端将智真视频会议应用从后台切换到前台时出现的黑屏时间缩短至1～3秒内。
图3为根据本发明实现的一种画面黑屏后的恢复装置结构图，如图3所示该装置包括：
监测模块，用于当视频会议系统具有支持I帧请求的能力时，终端设备在视频会议进行过程中监测当前是否满足预设的黑屏恢复触发条件；其中，所述黑屏恢复触发条件对应的场景存在I帧丢失或者具有I帧丢失的风险；
I帧请求模块，用于当满足预设的黑屏恢复触发条件时，所述终端设备向所述视频会议系统请求I帧。
在一个实施方式中，所述I帧请求模块，具体用于向所述视频会议系统请求I帧，包括：
按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧。
在一个实施方式中，所述监测模块，进一步用于在所述终端设备进入视频会议与视频会议系统进行信令面协商时，根据会话描述协议SDP消息是否协带全帧内请求FIR字段，判断视频会议系统是否具有支持I帧请求的能力。
在一个实施方式中，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件。
在一个实施方式中，所述黑屏恢复触发条件包括：
当前发生任一预设的I帧请求事件，且在该I帧请求事件发生之前的预设时间范围内没有监测到满足所述黑屏恢复触发条件，其中，所述时间范围为t-a到t，其中，t为当前时刻，a为预设的时间间隔。
在一个实施方式中，所述I帧请求事件进一步包括：
所述终端设备将视频会议应用从后台切换到前台重新接入会议系统。
在一个实施方式中，所述I帧请求事件进一步包括：
在视频业务建立时视频解码器初始化成功；
所述终端设备检测到视频丢包；和，
所述终端设备进行I帧组帧失败。
在一个实施方式中，所述I帧请求模块，具体用于所述终端设备按照预设的I帧请求周期，向所述视频会议系统请求I帧，直到接收到I帧，包括：
a、所述终端设备通过发送全帧内请求FIR消息，向所述视频会议系统请求I帧；
b、如果所述终端设备在当前I帧请求周期内没有接收到I帧，则返回步骤a。
图4为根据本发明的终端设备结构图。如图4所示，终端设备包括：处理器401和存储器402；其中存储器402中存储有可被处理器401执行的应用程序，用于使得处理器401执行如上任一项所述的画面黑屏后的恢复方法。
其中，存储器402具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器401可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：用于向可穿戴和移动设备提供企业服务的方法和系统