一种视频融合方法
阅读说明：本技术 一种视频融合方法 (Video fusion method ) 是由 邓子超 张卫 闫勇 赵常 栗健 陈�胜 程启烽 于 2020-12-15 设计创作，主要内容包括：本发明属于虚实融合视频监控相关技术领域,具体涉及一种视频融合方法,其包括：步骤1：三维建模；步骤2：效果调整；步骤3：视频流处理；步骤4：视频畸形矫正；步骤5：视频投射；本发明的视频融合技术,通过对监控视频数据流提取视频帧并将其投射到虚拟场景里,实现视频数据与虚拟场景数据的全时空立体融合,改变了地图应用只能静态展示的传统模式,将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合,生成大范围三维全景动态监控画面,实现监控区域整体安全态势的实时全局掌控。(The invention belongs to the technical field related to virtual and real fusion video monitoring, and particularly relates to a video fusion method, which comprises the following steps: step 1: three-dimensional modeling; step 2: adjusting the effect; and step 3: processing a video stream; and 4, step 4: correcting video deformity; and 5: video projection; according to the video fusion technology, the video frames are extracted from the monitoring video data stream and projected into the virtual scene, so that full-time-space three-dimensional fusion of the video data and the virtual scene data is realized, the traditional mode that map application can only be statically displayed is changed, the multi-channel real-time monitoring videos deployed at different geographic positions are registered and fused with the three-dimensional model of the monitoring area, a large-range three-dimensional panoramic dynamic monitoring picture is generated, and real-time global control of the whole safety situation of the monitoring area is realized.)
技术领域
本发明属于虚实融合视频监控相关技术领域，具体涉及一种视频融合方法。
背景技术
目前，传统视频监控技术的应用，主要以平面矩阵式视频监控画面为主，随着Web信息系统技术、GIS地理信息系统技术、H5视频流技术、三维建模技术的发展和推广应用，用户对视频监控的实现手段提出更高的要求，希望实现一种视频监控与虚拟空间场景结合的创新应用方式。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提出一种基于Web信息系统的视频数据与GIS地理信息系统虚拟场景相结合的视频监控方案，使视频监控画面与虚拟场景进行融合，能够一图看尽全局，降低监控操作复杂性。
(二)技术方案
为解决上述技术问题，本发明提供一种视频融合方法，所述视频融合方法包括以下步骤：
步骤1：三维建模；
采用无人机航拍倾斜摄影建模的方法，通过无人机搭载五目数码相机拍摄目标的建模区域的数码照片，利用三维模型生成工具将数码照片转换成三维模型；
步骤2：效果调整；
将三维模型加载到地理信息系统，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
步骤3：视频流处理；
从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
步骤4：视频畸形矫正；
采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行匹配；
步骤5：视频投射；
参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
其中，所述步骤1的三维建模过程包括如下步骤：
步骤11：规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
步骤12：控制无人机搭载五目数码相机按照步骤11飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
步骤13：将步骤12拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
步骤14：检查步骤13的倾斜摄影的三维模型，补拍重点区域实景照片对模型材质和纹理进行精细化修正。
其中，所述三维模型生成工具为Smart3D软件工具。
其中，所述建模区域包括建筑、道路、绿植、固定设施。
其中，所述拍摄地面照片为JPG格式。
其中，所述步骤2的效果调整过程包括如下步骤：
步骤21：选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息系统环境；
步骤22：加载卫星正视影像数据至步骤21的GIS地理信息系统，作为基础图层，形成数字地球场景；
步骤23：将步骤14输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至步骤22的数字地球场景；调整三维模型空间坐标参数，直至三维模型空间位置与步骤22的卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
其中，所述GIS地理信息系统采用开源Cesium平台。
其中，所述步骤3的视频流处理过程包括如下步骤：
步骤31：安装摄像机，配置每台摄像机RTSP主码流地址；
步骤32：将步骤31的每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
步骤33：启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
其中，所述步骤4的效果调整过程包括如下步骤：
步骤41：将步骤33的摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
步骤42：将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
步骤43：根据步骤42标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
步骤44：使用矩形工具裁剪步骤43畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
其中，所述步骤5的视频投射过程包括如下步骤：
步骤51：在步骤23加载了三维模型的数字地球场景中创建多边形平面，参照步骤44有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
步骤52：设置多边形平面材质参数，将步骤44有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
步骤53：调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
(三)有益效果
与现有技术相比较，本发明提出一种基于Web信息系统的视频数据与GIS地理信息系统虚拟场景相结合的视频监控方案，使视频监控画面与虚拟场景进行融合，能够一图看尽全局，降低监控操作复杂性。
本发明技术方案基于地理信息系统构建对管理区域的建筑、道路、绿植、固定设施等进行三维建模，形成三维模型；将三维模型放到地理信息系统中进行模型效果的调整，形成虚拟场景；从视频监控摄像头、视频服务器等设备拉取RTSP视频流，将RTSP视频流转换成为支持Html5协议的视频码流；将具备广角参数和桶形畸变的视频矫正为与空间位置高精度匹配的矫正视频；再将矫正视频投射到虚拟场景中形成虚实融合场景。同时，本发明采用的视频融合技术，通过对监控视频数据流提取视频帧并将其投射到虚拟场景里，实现视频数据与虚拟场景数据的全时空立体融合，改变了地图应用只能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，生成大范围三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。
附图说明
图1为本发明技术方案中技术处理流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为解决现有技术问题，本发明提供一种视频融合方法，其应用于军队大院、部队基地、科研院校等对视频监控安全防范有较高要求的用户，如图1所示，所述视频融合方法包括以下步骤：
步骤1：三维建模；
采用无人机航拍倾斜摄影建模的方法，通过无人机搭载五目数码相机拍摄目标的建模区域的数码照片，利用三维模型生成工具将数码照片转换成三维模型；
步骤2：效果调整；
将三维模型加载到地理信息系统，对三维模型进行调整，包括模型简化、三维坐标设置、位置调整、比例尺调整，以搭建类真实的虚拟场景；
步骤3：视频流处理；
从视频监控摄像头、视频服务器设备处拉取RTSP视频流，通过H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流；
步骤4：视频畸形矫正；
采用OPENCV算法库里的相机畸变矫正工具，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的视频码流的视频监控画面画面进行调整，裁剪截取视频监控画面的有效视域，将视频监控画面画面与虚拟场景中的空间位置进行高精度匹配；
步骤5：视频投射；
参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形平面的材质进行加载；视频投射时需要将多路独立视频的拼接组成一个整体场景，将相邻的多边形块进行位置和大小调整，直至相邻多边形块边缘区域连续无间隙。
其中，所述步骤1的三维建模过程包括如下步骤：
步骤11：规划建模区域并整理坐标信息，规划无人机水平飞行路线，指定飞行高度，飞行区域覆盖建模区域；
步骤12：控制无人机搭载五目数码相机按照步骤11飞行路线进行飞行，使用五目数码相机周期性连续拍摄地面照片；
步骤13：将步骤12拍摄的地面照片统一导入三维模型生成工具，生成倾斜摄影的三维模型；
步骤14：检查步骤13的倾斜摄影的三维模型，补拍重点区域实景照片对模型材质和纹理进行精细化修正。
其中，所述三维模型生成工具为Smart3D软件工具。
其中，所述建模区域包括建筑、道路、绿植、固定设施。
其中，所述拍摄地面照片为JPG格式。
所述倾斜摄影的三维模型的源文件为osgb格式，目标文件为obj格式。
其中，所述步骤2的效果调整过程包括如下步骤：
步骤21：选择支持WebGL的Cecium数字地球引擎，搭建GIS地理信息系统环境；
步骤22：加载卫星正视影像数据至步骤21的GIS地理信息系统，作为基础图层，形成数字地球场景；
步骤23：将步骤14输出的倾斜摄影的三维模型数据转成Obj文件格式，加载至步骤22的数字地球场景；调整三维模型空间坐标参数，直至三维模型空间位置与步骤22的卫星正视影像对比匹配一致；调整三维模型比例尺等比例缩放，直至三维模型大小贴近真实场景。
其中，所述GIS地理信息系统采用开源Cesium平台。
其中，所述步骤3的视频流处理过程包括如下步骤：
步骤31：安装摄像机，配置每台摄像机RTSP主码流地址；
步骤32：将步骤31的每台摄像机的RTSP主码流地址配置到H5Stream服务配置文件中；
步骤33：启动H5Stream服务将RTSP视频流转换成支持Html5协议的视频码流，生成每台摄像机Html5视频流地址，使用浏览器能同时访问多路视频流预览画面。
其中，所述步骤4的效果调整过程包括如下步骤：
步骤41：将步骤33的摄像机的Html5视频流地址配置到OPENCV算法库里的相机畸变矫正工具的视频流输入端；
步骤42：将打印好的8×16黑白棋盘格A3图片放置到待纠正的视频画面中，标定棋盘格每个单元格交点；
步骤43：根据步骤42标定的单元格交点，通过均匀拉伸视频监控画面，将单元格交点对应的标定点还原成等间距分布的矩阵，实现视频流桶式畸变的矫正；
步骤44：使用矩形工具裁剪步骤43畸变矫正后的视频监控画面，生成有效视域的视频码流输出地址。
其中，所述步骤5的视频投射过程包括如下步骤：
步骤51：在步骤23加载了三维模型的数字地球场景中创建多边形平面，参照步骤44有效视域的视频监控画面调整多边形平面的大小和位置；调整多边形平面高度以匹配对应区域的三维模型的空间位置；
步骤52：设置多边形平面材质参数，将步骤44有效视域的视频监控画面作为多边形平面的皮肤材质进行加载；
步骤53：调整相邻的多边形块位置和大小，直至相邻多边形块边缘区域连续无间隙，使多边形拼接组成连续大场景视频监控画面。
综上，本发明提供一种视频融合方法，其应用于军队大院、部队基地、科研院校等对视频监控安全防范有较高要求的用户，针对大型公共区域、封闭场所、院区营区等安全防范视频监控的需求，提供了设计方案。采用基于WebGL渲染引擎的GIS系统为底层构建虚实结合的视频融合监控系统，系统设计方法具有较高的先进性和可行性。
实施例1
本实施例中包括：
(1)三维建模
规划无人机飞行路线及飞行高度，覆盖建模目标区域，操控无人机沿规划路线飞行并根据设置拍摄频率采用机载五目摄像机拍摄照片。飞行完成后将照片完整导入SMART3D软件进行数据处理和模型生成。数据生成成功后进行场景预览，使用数码相机现场补拍重点区域照片，采用3DMAX对模型进行材质修正。导出成obj格式文件。
(2)效果调整
将三维模型obj文件加载到地理信息系统，调整三维模型参数信息，包括三维坐标设置、位置调整、比例尺调整、纹理调整、模型简化等，模型与卫星正视影像图层位置贴合，模型高度与真实地形贴合，以搭建类真实的虚拟场景。
(3)视频流处理
从视频监控摄像头、视频服务器等设备拉取RTSP视频流，记录视频流配置信息，包括IP地址、登录用户口令、通道号等；将视频流信息按照指定格式填写到H5Stream服务的conf配置文件中，启动H5Stream服务能通过浏览器访问到视频画面，将RTSP视频流转换成支持Html5协议的视频码流，并记录转换后的H5视频流地址。
(4)视频畸形矫正
将H5视频流地址配置到OPENCV相机畸变矫正程序中，应用棋盘格图片矫正参数的方法将具备广角参数、桶形畸变的监控画面进行调整，裁剪截取视频监控有效视域，将视频画面与虚拟场景中的空间位置进行高精度匹配。
(5)视频投射
参照视频监控画面的有效视域，在虚拟场景中对应的坐标点上构建一个多边形平面作为视频投射的载体，然后将支持Html5协议的视频码流作为多边形的材质进行加载。视频投射时需要将多路独立视频的拼接组成一个整体场景，相邻的多边形块拼接重叠区域需要灵活配置调整。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：3D拍摄方法、装置及3D显示终端