一种基于rtsp视频的网页无插件播放方法
阅读说明：本技术 一种基于rtsp视频的网页无插件播放方法 (RTSP video-based webpage plug-in-free playing method ) 是由 李志芸 尹青山 王建华 于 2021-07-20 设计创作，主要内容包括：本发明特别涉及一种基于RTSP视频的网页无插件播放方法。该基于RTSP视频的网页无插件播放方法,先将网络摄像头输出的RTSP协议视频流转换为WebRTC协议视频流,实现网页无插件播放网络摄像头输出的视频；再将网络摄像头输出的RTSP协议视频流输入推理模型,并将推理结果发送给前端网页；最后将WebRTC协议视频流和推理结果叠加到前端网页,进行前端网页实时的视频播放。该基于RTSP视频的网页无插件播放方法,实现架构简单,资源消耗较小,适用于多种不同的工程应用。(The invention particularly relates to a webpage plug-in-free playing method based on RTSP video. The RTSP video-based webpage plug-in-free playing method comprises the steps that an RTSP protocol video stream output by a network camera is converted into a WebRTC protocol video stream, and the webpage plug-in-free playing of a video output by the network camera is realized; inputting the RTSP video stream output by the network camera into a reasoning model, and sending a reasoning result to a front-end webpage; and finally, overlaying the WebRTC protocol video stream and the inference result to the front-end webpage, and playing the front-end webpage in real time. The RTSP video-based webpage plug-in-free playing method is simple in implementation framework, low in resource consumption and suitable for various different engineering applications.)
技术领域
本发明涉及流视频、人工智能技术领域，特别涉及一种基于RTSP视频的网页无插件播放方法。
背景技术
RTSP(Real Time Streaming Protocol，实时流传输协议)协议是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多视频数据。RTSP协议支持的操作如下：
1)从视频服务器上检索视频：用户可通过HTTP或其它方法提交一个演示描述。如演示是组播，演示式就包含用于连续视频的的组播地址和端口。如演示仅通过单播发送给用户，用户为了安全应提供目的地址。
2)视频服务器邀请进入会议：视频服务器可被邀请参加正进行的会议或回放视频，记录其中一部分或全部。这种模式在分布式教育应用上很有用，会议中几方可轮流按远程控制按钮。
3)将视频加到现成讲座中：如服务器告诉用户可获得附加视频内容，对现场讲座显得尤其有用。如HTTP/1.1中类似，RTSP请求可由代理、通道与缓存处理。
网络摄像头可以提供RTSP协议的视频流，但是RTSP协议视频流却无法直接在网页进行播放。
WebRTC(Web Real-Time Communication)是一个支持网页浏览器进行实时语音对话或视频对话的API，它实现了基于网页的视频会议，通过浏览器提供的JavaScript就可以达到实时通讯能力。基于WebRTC音视频传输流程如下：
1)A、B都连接信令服务器(ws)；
2)A创建本地视频，并获取会话描述对象(offer sdp)信息；
3)A将会话描述对象通过信令服务器发送给B；
4)B收到信令后，B创建本地视频，并获取会话描述对象(answer sdp)信息；
5)将会话描述对象通过信令服务器发送给A；
6)A、B交换ICE候选地址信息；
7)交换与使用视频流。
在工程中，针对该场景的现有技术方案为摄像头生成的RTSP视频经过DeepStream应用程序框架进行模型推理、结果标注，生成一帧一帧的图像，部署SRS流媒体服务器，DeepStream推理的图像结果推送到SRS(Simple RTMP Server)服务器，可以生成WebRTC协议的视频流，本地拉取该视频流，实现推理结果的网页无插件播放。但是该方案架构较为复杂，依赖于DeepStream应用程序框架和SRS两个服务，并且DeepStream应用程序框架在本地资源不充分的情况下运行延迟较大。
为了解决上述问题，本发明提出了一种基于RTSP视频的网页无插件播放方法，旨在探索一种架构简单、消耗资源较小的方案。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于RTSP视频的网页无插件播放方法。
本发明是通过如下技术方案实现的：
一种基于RTSP视频的网页无插件播放方法，其特征在于：包括以下步骤：
第一步，将网络摄像头输出的RTSP协议视频流转换为WebRTC协议视频流，实现网页无插件播放网络摄像头输出的视频；
第二步，将网络摄像头输出的RTSP协议视频流输入推理模型，并将推理结果发送给前端网页；
第三步，将WebRTC协议视频流和推理结果叠加到前端网页，进行前端网页实时的视频播放。
所述第一步中，先安装网络摄像头，配置视频的RTSP协议视频流地址，并编写RTSP协议视频流转WebRTC协议视频流的工程模块。
所述第一步中，部署RTSP协议视频流转WebRTC协议视频流的工程模块RTSPToWebRTC，实现视频流的协议转换，并且将视频流地址传递给前端网页。
所述第二步中，部署推理模型，接入RTSP协议视频流，利用推理模型识别人脸位置，并对相关标注信息进行推理分析，发送给前端网页。
所述第二步中，推理结果包含相关标注信息和图线，将推理结果以MQTT(MessageQueuing Telemetry Transport，消息队列遥测传输)协议的形式发送给前端网页。
所述第三步中，将MQTT推理信息渲染到视频上层，实现对视频流的实时检测，进行前端实时的视频播放。
所述推理模型采用FaceNet模型。
所述推理模型采用人脸检测MTCNN(Multi-task Cascaded ConvolutionalNetworks)模型。
本发明的有益效果是：该基于RTSP视频的网页无插件播放方法，实现架构简单，资源消耗较小，适用于多种不同的工程应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明基于RTSP视频的网页无插件播放方法示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
该基于RTSP视频的网页无插件播放方法，包括以下步骤：
第一步，将网络摄像头输出的RTSP协议视频流转换为WebRTC协议视频流，实现网页无插件播放网络摄像头输出的视频；
第二步，将网络摄像头输出的RTSP协议视频流输入推理模型，并将推理结果发送给前端网页；
第三步，将WebRTC协议视频流和推理结果叠加到前端网页，进行前端网页实时的视频播放。
所述第一步中，先安装网络摄像头，配置视频的RTSP协议视频流地址，并编写RTSP协议视频流转WebRTC协议视频流的工程模块。
所述第一步中，部署RTSP协议视频流转WebRTC协议视频流的工程模块RTSPToWebRTC，实现视频流的协议转换，并且将视频流地址传递给前端网页。
所述第二步中，部署推理模型，接入RTSP协议视频流，利用推理模型识别人脸位置，并对相关标注信息进行推理分析，发送给前端网页。
所述第二步中，推理结果包含相关标注信息和图线，将推理结果以MQTT(MessageQueuing Telemetry Transport，消息队列遥测传输)协议的形式发送给前端网页。
MQTT协议是为大量计算能力有限，且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的一种即时通讯协议，它具有以下主要的几项特性：
1)使用发布/订阅消息模式，提供一对多的消息发布，解除应用程序耦合；
2)对负载内容屏蔽的消息传输；
3)使用TCP/IP提供网络连接；
4、有三种消息发布服务质量：
"至多一次"，消息发布完全依赖底层TCP/IP网络。会发生消息丢失或重复。这一级别可用于如下情况，环境传感器数据，丢失一次读记录无所谓，因为不久后还会有第二次发送；
"至少一次"，确保消息到达，但消息重复可能会发生；
"只有一次"，确保消息到达一次。这一级别可用于如下情况，在计费系统中，消息重复或丢失会导致不正确的结果；
5)小型传输，开销很小(固定长度的头部是2字节)，协议交换最小化，以降低网络流量；
6)使用Last Will和Testament特性通知有关各方客户端异常中断的机制。
所述第三步中，将MQTT推理信息渲染到视频上层，实现对视频流的实时检测，进行前端实时的视频播放。
所述推理模型采用FaceNet模型。
所述推理模型采用人脸检测MTCNN(Multi-task Cascaded ConvolutionalNetworks)模型。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：多媒体数据收发方法、系统、处理器和播放器