阅读说明：本技术 低延时图像采集方法 (Low-delay image acquisition method ) 是由 朱洪庆 于 2019-10-31 设计创作，主要内容包括：本发明涉及图像传输技术领域,具体公开了低延时图像采集方法,包括如下步骤:S1、采集LED屏的图像信息并基于RUDP协议传输至共享服务器,图像信息包括视频流数据；S2、共享服务器将视频流数据基于RTMP协议传输至流媒体服务器；S3、流媒体服务器将视频流数据编码为H.264格式视频流；S4、流媒体服务器对访问的用户端进行身份验证,当身份验证通过时,根据预置的时间表判断该用户端当前是否处于推送时间内,如果处于推送时间内,流媒体服务器将H.264格式视频流推送至该用户端。采用本发明的技术方案能降低整个图像传输过程中的延迟。(The invention relates to the technical field of image transmission, and particularly discloses a low-delay image acquisition method, which comprises the following steps of S1, acquiring image information of an LED screen and transmitting the image information to a shared server based on an RUDP protocol, wherein the image information comprises video stream data; s2, the sharing server transmits the video stream data to the streaming media server based on the RTMP protocol; s3, the streaming media server encodes the video stream data into H.264 format video stream; and S4, the streaming media server performs identity authentication on the accessed user side, when the identity authentication is passed, whether the user side is currently in the pushing time is judged according to a preset time table, and if the user side is in the pushing time, the streaming media server pushes the H.264 format video stream to the user side. By adopting the technical scheme of the invention, the delay in the whole image transmission process can be reduced.)

低延时图像采集方法

技术领域

本发明涉及图像传输技术领域，特别涉及低延时图像采集方法。

背景技术

随着信息化和数字化的浪潮，我国的户外广告行业已颇具规模，目前户外广告多以动态LED屏的形式播放，户外动态LED屏已经成为大众传媒的主要方式之一，是人们获悉信息的重要渠道。在国内规模稍大的城市中，许多商业楼宇、公交车站以及居民社区等人流量较大的地方，播放着广告的户外动态LED屏随处可见。

不过，和电视广告或者网络广告相比，广告主难以对户外广告LED屏进行有效的监控,难以知晓户外广告LED屏的实时播放情况。为此，需要对LED屏所播放的内容进行采集，然后将采集后的内容实时发送给广告主，使广告主可以随时随地监控广告的播放情况。

目前广告的实时推送一般采用HLS协议，但是由于HLS的固有缺陷，使得采用HLS协议向广告主直播监控的内容，会有较高的延迟，通常在10-30s左右。较高的延迟会降低用户体验。而且,通常广告主观看推送视频的网络环境不确定，当广告主处于复杂的网络环境下时,延迟有可能会进一步的增大，会极大的影响用户体验。

为此，需要一种能在网络环境较差的情况下保持低延迟图像传输的方法。

发明内容

本发明的目的在于提供低延时图像采集方法，以降低整个图像传输过程中的延迟。

为解决上述技术问题，本发明技术方案如下：

低延时图像采集方法，包括如下步骤：

S1、采集LED屏的图像信息并基于RUDP协议传输至共享服务器，图像信息包括视频流数据；

S2、共享服务器将视频流数据基于RTMP协议传输至流媒体服务器；

S3、流媒体服务器将视频流数据编码为H.264格式视频流；

S4、流媒体服务器对访问的用户端进行身份验证，当身份验证通过时，根据预置的时间表判断该用户端当前是否处于推送时间内，如果处于推送时间内，流媒体服务器将H.264格式视频流推送至该用户端。

基础方案原理及有益效果如下：

本方案中，处于推送时间内，流媒体服务器才将H.264格式视频流推送至用户端，能有效降低流媒体服务器的传输负载，避免单个客户端长期占用带宽，特别是在网络资源紧张的时候，能有效缓解拥堵，降低延迟。共享服务器将视频流数据基于RTMP协议传输至流媒体服务器，采用RTMP协议与采用HLS协议相比，延迟更低。RUDP协议可靠性高，在网络较差的环境中也能实现稳定传输，采集模块基于RUDP协议将视频流数据传输至共享服务器，与单单采用HLS协议传输相比，能保证在较差的网络环境下视频流数据的传输。

进一步，所述S4中，如果不处于推送时间内，流媒体服务器将预设的信息推送至该用户端。

因为一块LED屏通常会按照预置的时间表(也就是预定的广告播放编排顺序)，循环的播放广告，通常每一个广告主的单次广告只会维持几秒到十几秒的时间。某一广告主对LED屏进行监控，也只需要监控时间表中，该广告主所属的推送时间内是否正常播放他的广告。当不处于该广告主所属推送时间内时，LED屏播放的内容是其他广告主的广告，和该广告主是无关的，故此时不需要将H.264格式视频流推送至该广告主的用户端，可以达到节约服务器资源的目的。

进一步，所述S4中，预设的信息包括静态图像。

与直接黑屏相比，观看显示静态图像的用户体验更好，与视频相比，静态图像在传输中占用的带宽更小。而且，利用静态图像，也可以展示丰富的信息，例如展示LED屏所属商家自己的广告，例如购买LED屏广告的优惠活动等。

进一步，所述S4中，流媒体服务器还用于判断与用户端的网络连接情况，当判断为网络拥堵时,流媒体服务器在编码时调整H.264格式视频流的参数。

通过在网络拥堵时调整H.264格式视频流的参数，能使H.264格式视频流根据网络环境做出针对性改变，降低网络拥堵带来的影响，保证从流媒体服务器到用户端的推送顺畅和低延迟。

进一步，所述S4中，流媒体服务器包括编码单元、缓存单元、判断单元和推送单元；编码单元根据设置的参数将视频流数据编码为H.264格式视频流，编码单元每编码完成一帧H.264格式视频帧，均缓存至缓存单元；

推送单元从缓存单元中获取编码完成的H.264格式视频帧，并推送至用户端；推送单元每推送完成一帧H.264格式视频帧后，将该H.264格式视频帧从缓存单元删除；

判断单元每隔预设时间获取缓存单元中H.264格式视频帧的数量，基于H.264格式视频帧的数量判断与用户端的网络连接情况；当数量大于第一阈值时，判断单元判断为网络拥堵，判断单元调低当前参数；当数量小于第二阈值时，判断单元判断为网络通畅，判断单元调高当前参数；当数量大于或等于第二阈值且小于或等于第一阈值时，判断单元判断为网络正常，判断单元维持当前参数。

当流媒体服务器到用户端的网络拥堵时，推送单元从缓存单元中获取编码完成的H.264格式视频帧并推送至用户端的速度变慢，而编码单元编码H.264格式视频帧的速度不便，故H.264格式视频帧会逐渐在缓存单元中堆积。判断单元通过缓存单元中H.264格式视频帧的数量能有效判断出网络是否拥堵，判断单元更加网络情况动态调整当前参数，能保证推送的顺畅，同时降低延迟。

进一步，所述S4中，流媒体服务器对访问的用户端进行身份验证时，从用户端获取用户ID和用户密码；流媒体服务器验证用户ID和用户密码的有效性，当用户ID和用户密码均有效时，身份验证通过。

通过身份验证环节，能避免非法登陆，从而能有效控制登陆用户的数量，降低流媒体服务器的压力。

进一步，所述S4中，当用户ID和用户密码均有效时，流媒体服务器还判断当前是否已存在用同样的用户ID验证通过的用户端，如果存在，取消该用户端的身份验证。

流媒体服务器通过判断当前是否已存在用同样的用户ID验证通过的用户端，能避免多个用户端用同一个用户ID登陆的情况，能有效降低流媒体服务器的压力。

进一步，所述S4中，所述时间表包括用户ID和用户ID对应的广告播放时间。

便于通过用户ID快速匹配对应的广告播放时间。

进一步，所述S4中，参数包括分辨率和帧率。

通过调整分辨率和帧率，可以有效调整H.264格式视频帧占用的带宽，保证推送的流畅和低延迟。

进一步，所述S4中，第一阈值为30-60；第二阈值为2-5。

判断单元通过每隔预设时间获取缓存单元中H.264格式视频帧的数量，能及时获取网络状态信息。

附图说明

图1为低延时图像采集方法实施例一的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，低延时图像采集方法，包括如下步骤:

S1、采集LED屏的图像信息并基于RUDP协议传输至共享服务器，图像信息包括视频流数据；

S2、共享服务器将视频流数据基于RTMP协议传输至流媒体服务器；

S3、流媒体服务器将视频流数据编码为H.264格式视频流；

S401、流媒体服务器包括编码单元、缓存单元、判断单元、推送单元和验证单元；

验证单元对访问的用户端进行身份验证，其中身份验证时，从用户端获取用户ID和用户密码；验证单元验证用户ID和用户密码的有效性，当用户ID和用户密码均有效时，身份验证通过；当用户ID和用户密码均有效时，验证单元还判断当前是否已存在用同样的用户ID验证通过的用户端，如果存在，取消该用户端的身份验证。

S402、当身份验证通过时，验证单元根据预置的时间表判断该用户端当前是否处于推送时间内，如果处于推送时间内，转跳到S403，如果不处于推送时间内，流媒体服务器将预设的信息推送至该用户端,预设的信息包括静态图像，时间表包括用户ID和用户ID对应的广告播放时间。本实施例中，静态图像为静态的广告图像。

S403、编码单元根据设置的参数将视频流数据编码为H.264格式视频流，编码单元每编码完成一帧H.264格式视频帧，均缓存至缓存单元；

推送单元从缓存单元中获取编码完成的H.264格式视频帧，并推送至用户端；推送单元每推送完成一帧H.264格式视频帧后，将该H.264格式视频帧从缓存单元删除；

S404、判断单元每隔预设时间获取缓存单元中H.264格式视频帧的数量，基于H.264格式视频帧的数量判断与用户端的网络连接情况；当数量大于第一阈值时，判断单元判断为网络拥堵，判断单元调低当前参数；当数量小于第二阈值时，判断单元判断为网络通畅，判断单元调高当前参数；当数量大于或等于第二阈值且小于或等于第一阈值时，判断单元判断为网络正常，判断单元维持当前参数。参数包括分辨率和帧率。第一阈值为30-60；第二阈值为2-5。本实施例中，第一阈值具体为30；第二阈值具体为2；预设时间具体为2秒。

基于低延时图像采集方法，本实施例还提供一种低延时图像采集系统，包括采集模块、共享服务器、流媒体服务器和用户端。

采集模块用于采集LED屏的图像信息，并基于RUDP协议传输至共享服务器图像信息包括视频流数据；本实施例中，采集模块采用视频摄像头。共享服务器用于将图像信息基于RTMP协议传输至流媒体服务器；本实施例中，共享服务器和流媒体服务器均采用阿里云服务器。

流媒体服务器包括编码单元、缓存单元、判断单元、推送单元和验证单元；

编码单元用于根据设置的参数将视频流数据编码为H.264格式视频流，编码单元每编码完成一帧H.264格式视频帧，均缓存至缓存单元；推送单元用于从缓存单元中获取编码完成的H.264格式视频帧，并推送至用户端；推送单元每推送完成一帧H.264格式视频帧后，将该H.264格式视频帧从缓存单元删除；

判断单元用于每隔预设时间获取缓存单元中H.264格式视频帧的数量，基于H.264格式视频帧的数量判断与用户端的网络连接情况；当数量大于第一阈值时，判断单元判断为网络拥堵，判断单元调低当前参数；当数量小于第二阈值时，判断单元判断为网络通畅，判断单元调高当前参数；当数量大于或等于第二阈值且小于或等于第一阈值时，判断单元判断为网络正常，判断单元维持当前参数。参数包括分辨率和帧率。第一阈值为30-60；第二阈值为2-5。预设时间为1-5秒。本实施例中，第一阈值具体为30；第二阈值具体为2；预设时间具体为2秒。

用户端用于访问流媒体服务器，用户端访问流媒体服务器时，向流媒体服务器发送用户ID和用户密码；流媒体服务器的验证单元用于验证用户ID和用户密码的有效性，当用户ID和用户密码均有效时，身份验证通过。当用户ID和用户密码均有效时，验证单元还判断当前是否已存在用同样的用户ID验证通过的用户端，如果存在，取消该用户端的身份验证。当身份验证通过时，验证单元根据预置的时间表判断该用户端当前是否处于推送时间内，如果处于推送时间内，推送单元将H.264格式视频流推送至验证通过的用户端。如果不处于推送时间内，流媒体服务器将预设的信息推送至该用户端。预设的信息包括静态图像，时间表包括用户ID和用户ID对应的广告播放时间。本实施例中，静态图像为静态的广告图像。用户端为手机、平板电脑或PC。

实施例二

低延时图像采集方法，与实施例一的区别在于,步骤S1中、采集LED屏的图像信息后，第一处理单元用于获取视频流数据，对视频流数据进行初步处理；视频流数据包括完整视频帧。

初步处理时，第一处理单元用于识别流媒体信息每一完整视频帧中的显示屏和背景，并将只包含显示屏的画面裁剪作为显示屏视频帧，将只包含背景的画面裁剪作为背景视频帧。本实施例中，显示屏指户外广告LED屏；背景指画面中除户外广告LED屏以外的画面，通常是周围环境的画面。

第一处理单元将初步处理后的流媒体信息发送至通信单元时，第一处理单元用于每发送预设数量的显示屏视频帧后，同时发送一次显示屏视频帧和背景视频帧。换句话说，连续发送若干帧单独的显示屏视频帧后，下一次发送时，同时包含显示屏视频帧和背景视频帧；如此循环。

步骤S403中，第二处理单元用于将接收到显示屏视频帧和背景视频帧整合为组合视频帧，将组合视频帧发送至编码单元。

第二处理单元整合为组合视频帧时，将当前接收的显示屏视频帧和背景视频帧整合为组合视频帧。换句话说，当第二处理单元接收到同时发送的显示屏视频帧和背景视频帧时，将此时的显示屏视频帧和背景视频帧整合为组合视频帧，后续会接收到若干帧单独的显示屏视频帧，此时将背景视频帧和若干帧单独的显示屏视频帧一一整合为组合视频帧；直到再次接收到新的同时发送的显示屏视频帧和背景视频帧时，将此时新的显示屏视频帧和背景视频帧整合为组合视频帧，如此循环。

基于低延时图像采集方法,本实施例提供一种基于低延时图像采集系统，与实施例一的区别在于，采集模块包括采集单元、第一处理单元和通信单元；采集单元与第一处理单元信号连接，第一处理单元与通信单元信号连接。

本实施例中，采集单元采用视频摄像头；第一处理单元用于从采集单元获取视频流数据，对视频流数据进行初步处理；视频流数据包括完整视频帧。第一处理单元将初步处理后的流媒体信息发送至通信单元，通信单元用于将流媒体信息基于RTMP协议传输至流媒体服务器。

初步处理时，第一处理单元用于识别流媒体信息每一完整视频帧中的显示屏和背景，并将只包含显示屏的画面裁剪作为显示屏视频帧，将只包含背景的画面裁剪作为背景视频帧。本实施例中，显示屏指户外广告LED屏；背景指画面中除户外广告LED屏以外的画面，通常是周围环境的画面。

第一处理单元将初步处理后的流媒体信息发送至通信单元时，第一处理单元用于每发送预设数量的显示屏视频帧后，同时发送一次显示屏视频帧和背景视频帧。换句话说，连续发送若干帧单独的显示屏视频帧后，下一次发送时，同时包含显示屏视频帧和背景视频帧；如此循环。

流媒体服务器还包括第二处理单元，第二处理单元用于将接收到显示屏视频帧和背景视频帧整合为组合视频帧，将组合视频帧发送至编码单元。

第二处理单元整合为组合视频帧时，将当前接收的显示屏视频帧和背景视频帧整合为组合视频帧。换句话说，当第二处理单元接收到同时发送的显示屏视频帧和背景视频帧时，将此时的显示屏视频帧和背景视频帧整合为组合视频帧，后续会接收到若干帧单独的显示屏视频帧，此时将背景视频帧和若干帧单独的显示屏视频帧一一整合为组合视频帧；直到再次接收到新的同时发送的显示屏视频帧和背景视频帧时，将此时新的显示屏视频帧和背景视频帧整合为组合视频帧，如此循环。

由于户外广告LED屏是固定的，拍摄时，周围环境的画面通常不变，所以不必每一帧图像都传输背景视频帧；通过第二处理单元以后期合成的方式将背景视频帧和显示屏视频帧结合，也能满足用户查看是不是指定位置的户外广告LED屏在播放广告的需求。本方案中，不用每次都传输完整视频帧，减少了数据传输量，对网络的要求更低，在网络波动或者网络带宽小的情况下，也能保证传输的稳定性。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。