阅读说明：本技术 嵌入矢量红线数据的自然资源实时视频监测方法及系统 (Real-time video monitoring method and system for natural resources embedded with vector red line data ) 是由 邵振峰 李从敏 于 2020-05-21 设计创作，主要内容包括：一种嵌入矢量红线数据的自然资源实时视频监测方法及系统,包括获取自然资源矢量红线数据和对应的高分辨率遥感影像,获取摄像头初始画面图像；将矢量红线数据叠加到高分辨率遥感影像上,借助遥感影像语义信息,在视频图像和矢量红线数据上识别同名点,计算几何映射关系；将矢量红线数据映射到实时视频,获得视频监控区域；通过获得在尺度和空间均匀分布的特征点,对监控视频相邻帧图像进行匹配获得同名点；根据同名点得到图像间几何变换关系,将前一帧图像上的监控区域范围映射到后一帧图像,实现图像帧之间监控区域关联；根据几何关系,在监控视频上进行面积量测,并支持基于确定的视频区域,进行后续相关目标运动分析,实现区域自动预警报警。(A natural resource real-time video monitoring method and system with embedded vector red line data comprises the steps of obtaining the vector red line data of natural resources and a corresponding high-resolution remote sensing image, and obtaining an initial picture image of a camera; superposing the vector red line data to the high-resolution remote sensing image, identifying homonymous points on the video image and the vector red line data by means of semantic information of the remote sensing image, and calculating a geometric mapping relation; mapping the vector red line data to a real-time video to obtain a video monitoring area; matching adjacent frame images of the monitored video to obtain homonymous points by obtaining characteristic points uniformly distributed in scale and space; obtaining a geometric transformation relation between the images according to the same name points, and mapping a monitoring area range on the previous frame of image to the next frame of image to realize the association of the monitoring areas between the image frames; according to the geometric relation, area measurement is carried out on the monitoring video, and the subsequent relevant target motion analysis is carried out based on the determined video area, so that automatic area early warning and alarming are realized.)

嵌入矢量红线数据的自然资源实时视频监测方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种嵌入矢量红线数据的自然资源实时视频监测方法及系统。

背景技术

生态红线、永久基本农田、城市边界是生态环境建设需要严守的三条底线。当今，良田受损，森林资源遭到乱砍滥伐，城市开发区非建设等现象频发，国家自然资源遭受滥用的问题日益突出，如何通过技术手段支持准确、实时、快速地实行自然资源高效监测，是一件重要和紧迫的事。

随着传感器技术、视频压缩处理技术、网络通讯技术的快速发展，利用现代科技手段，对这些自然资源实行远程视频监测已成为可能。如果有适于实际运用的技术，通过查看监测摄像头，相关用户将可以及时发现国土资源领域违法行为，对相应用地即时处置。然而，在现有模式下，依然需要大量的人工排查实时监控系统，还不能做到对指定区域的自然资源进行自动监测。如何利用图像处理技术对视频视野中指定区域范围进行监控，实现区域自动预警报警，才是真正实现自然资源视频监测的根本途径。因此，本发明提出一种嵌入矢量红线数据的自然资源实时视频监测方法及系统。

普通的监控摄像头仅能监控到固定位置，视野受限，并不适用于对自然资源这种类型的监测。带有云台控制功能，能调整摄像头进行旋转、平移、伸缩的PTZ(Pan-Tilt-Zoom,安防监控器材)摄像头更适用于此场景。自然资源分布区域的划定基本以矢量文件的形式保存，如何将矢量形式的GIS图形数据嵌入到实时PTZ监控视频图像中是一个值得研究的问题。基于此区域，可以针对该区域进行分析，如面积测量，对人的行为进行检测和预判，从而实现违法活动的自动预警报警。这里面主要包括两个部分：(1)将矢量数据映射到视频画面中；(2)当摄像头转动时，矢量数据需要重新映射，从而保证其在不同视频画面中相对位置保持不变。

矢量数据是图形，直观显示的是几何结构信息，其属性信息是以文本形式保存的，直接建立矢量结构与监控视频图像之间的几何关系是很困难的，因此需要借助高分辨率遥感影像来辅助两者之间映射关系的建立。目前，在GIS数据与监控视频融合的研究中，大致可以分为两种方法：基于单应性矩阵的方法和基于摄像机视野与DEM交会的方法。前者是通过同名特征点来解算监控视频与遥感图像之间的几何变换关系，一般用单应性矩阵来描述，适合于平面或近似平面区域。后者则是将监控视频融入到3DGIS中，以现实世界坐标系为基础，将视频图像映射到3DGIS中，实现两者的统一。这种方式需要获取摄像头成像时的位置、姿态信息以及高精度的DSM(Digital Surface Model)模型，适用于小场景的图像。对于普通监控摄像头来说，其位置参数和拍照时的姿态参数都是可以获取到的，但是对于PTZ摄像头来说，通过云台控制摄像头时，获得的参数信息并不精准。另外，大范围精细DSM的获取成本昂贵。

视频可以理解为一系列图像的集合。当摄像头转动获取监控画面时，可以理解为从不同的视角获取图像，这些图像间由于获取角度的问题，存在一定的几何形变。目前，基于特征匹配的方法广泛应用于图像间几何关系的计算，其中SIFT算法由于其在旋转、尺度方面保持的图像不变性受到广泛关注，但是其在几何畸变大的时候，很难获得令人满意的结果。在此基础上，ASIFT(Affine-SIFT)被提了出来，由于其在SIFT匹配之前，对原始图像进行了一系列的几何形变的模拟，因此，ASIFT能更好地解决图像间几何畸变的匹配问题，即使视角差异很大时，仍然能获得一定数量的同名点。然而，这些基于特征的匹配方法在获取匹配点时，并没有考虑到特征点的分布问题。同名点的数量和分布是影响几何变换矩阵准确度的两个决定性因素。

如何方便、精确地获取摄像头视野中特定区域的面积也是一个迫切需要解决的问题。目前，从视频上测量面积的方法主要有：实地测量、基于标定模板的估算法以及根据图像像素坐标、相机焦距和垂直高度之间的简单比例关系计算，具有一定的局限性，且不适用于带有云台功能的PTZ监控视频。

发明内容

针对现有技术的不足，本发明提供一种嵌入矢量红线数据的自然资源实时视频监测方法及系统，能够大大提升对自然资源的监测效率。

为实现上述目的，本发明的技术方案提供一种嵌入矢量红线数据的自然资源实时视频监测方法，包括以下步骤：

步骤1，获取某一区域具有相同投影坐标系的自然资源矢量红线数据和对应的高分辨率遥感影像，同时获取PTZ摄像头初始画面图像；

步骤2，将矢量红线数据叠加到高分辨率遥感影像上，借助遥感影像的语义信息，分别在视频图像和矢量红线数据上识别同名点，然后采用最小二乘法计算矢量红线数据与监控视频间的几何映射关系；

步骤3，根据步骤2计算的映射关系，将矢量红线数据映射到实时视频中，获得视频监控区域；

步骤4，通过获得在尺度和空间均匀分布的特征点，对监控视频相邻帧图像进行匹配，从而获得两幅图像上的同名点；

步骤5，根据步骤4获得的同名点得到两幅图像之间的几何变换关系，并根据此关系将前一帧图像上的监控区域范围映射到后一帧图像上，实现监控视频图像帧之间监控区域的关联；

步骤6，根据上述步骤建立的几何关系，在监控视频上进行面积量测，并支持基于确定的视频区域，进行后续相关目标运动分析，实现特定区域的自动预警报警。

而且，步骤2中，将监控视频图像和遥感影像间的几何映射关系建模为投影变换，用单应性矩阵H₀来表示，通过在两幅图像上识别出至少4个不共线的同名点，快速建立监控视频图像和遥感影像间的相互映射关系；

设对于遥感图像上对应同名点q(X,Y)，与监控视频图像I₀上的任意一点p(x,y)，满足方程如下，

其中，单应性矩阵H₀的表达式为，

而且，步骤3中，设有面矢量数据{P₁,P₂,...,P_n}，对于其中任意一个面P_i，坐标表达为{(X_i1,Y_i1),(X_i2,Y_i2),...,(X_im,Y_im)}，

对于任意顶点(X_ij,Y_ij)，i＝1,2,...,n，j＝1,2,...,m，n为面的数量，m为点的数量，根据步骤2建立的几何关系，其在监控视频中的坐标为(x_ij',y_ij')，计算如下，

而且，步骤4中，获得在尺度和空间均匀分布的特征点的实现方式为，在尺度方面，根据尺度系数确定每层金字塔图像中提取的特征点数量；在图像方面，将图像进行均匀网格划分，确定每个网格中提取的特征点数量；然后，根据特征点的独特性和特征点密度来筛选特征点。

而且，所述在尺度方面，根据尺度系数确定每层金字塔图像中提取的特征点数量，实现方式如下，

假设从图像中提取的特征点总数为N_total，每组金字塔图像中各层图像的权重为W(o,l)，那么各层图像提取的特征点数量N_scale(o,l)的表达式为，

N_scale(o,l)＝N_total×W(o,l)

其中，o为高斯金字塔的标号，l为图像层的标号；

各尺度图像的权重定义如下，

其中，SC_ol代表第o组高斯金字塔中第l层图像的尺度系数，SC₁₁代表第1组高斯金字塔中第1层图像的尺度系数，r₀为中间参数；SC_ol表达式为：

其中，σ₀为初始尺度参数，N_o为生成的金字塔图像组数，N_s为每组金字塔的层数，K为常量，

o＝1,2,3,...,N_o，l＝1,2,3,...,N_s。

而且，所述在图像方面，将图像进行均匀网格划分，确定每个网格中提取的特征点数量，实现方式如下，

假设金字塔各层图像上提取的特征点数量为N_scale(o,l)，将该层图像均匀划分为n²个网格，第k个网格中，应提取的特征点数量N_grid_k的计算方式如下，

N_grid_k＝N_scale(o,l)×f_k

其中，f_k为网格权重系数，由该网格区域中的信息熵E_k、特征点个数N_k以及特征点的对比度均值C_k确定，表达式为：

其中，w_e、w_n和w_c分别为信息熵E_k、特征点个数N_k、特征点的对比度均值C_k的权重系数，w_e+w_n+w_c＝1。

而且，步骤4中，在每个网格中采用如下策略筛选出选取N_grid_k个特征点，

步骤a，计算每个特征点的对比度，并按照对比度值从高到低排序，然后选取前3×N_grid_k个特征点作为预选特征点；

步骤b，采用SIFT方法精确确定特征点的位置和尺度，并去除步骤a获得的特征点中边缘响应点；

步骤c，在以特征点为中心的邻域内计算特征点的信息熵，并按照信息熵从大到小排序，获得初始特征点集C_int；

步骤d，依次取点集C_int中的特征点，分别计算该点与剩余特征点之间的欧氏距离，若最小距离仍大于相应阈值，则保留至目标点集C_set中，直到C_set中特征点数量和N_grid_k相等为止。

而且，步骤6中，对于当前监控视频第M帧图像上的多边形，采用如下方式得到面积量测结果，

首先，确定当前视频帧图像M与GIS数据之间的几何映射关系，对于视频帧图像M上任意一点P_M(x_M,y_M)，与前一帧图像的单应性矩阵为H_M-1，对单应性求逆H_M-1 ^-1，那么对应在M-1帧图像上的坐标P_M-1(x_M-1,y_M-1)＝H_M-1 ^-1P_M(x_M,y_M)，以此类推，计算在投影坐标系中的坐标P_M(X_M,Y_M)＝H₀ ^-1H₁ ^-1...H_M-1 ^-1P(x_M,y_M)；

然后，根据上述关系，对视频帧图像上的多边形坐标进行反算，求得对应在投影坐标系中的坐标；

最后，采用用向量的叉积来计算一个多边形的面积，得到面积量测结果。

本发明还提供一种嵌入矢量红线数据的自然资源实时视频监测系统，用于实现如上所述的一种嵌入矢量红线数据的自然资源实时视频监测方法。

本发明将自然资源矢量数据嵌入到实时监控视频中，建立了2D GIS数据与PTZ监控视频之间的几何映射关系，可以直接在监控视频上进行面积量测，基于此区域，还可为后续视频视野中特定区域自动预警报警提供基础，大大提高了对自然资源的监管效率。

与现有技术相比，本发明提供的技术方案的有益效果为：

(1)本发明提出一种基于半自动映射的地理矢量数据与实时视频融合方案；

(2)本发明提出一种基于改进ASIFT匹配方式的多视角图像匹配方法；

(3)本发明提出一种基于2DGIS数据的PTZ监控视频面积提取方法。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

参见图1，本发明实施例提供的一种嵌入矢量红线数据的自然资源实时视频监测方法及系统，包括以下步骤：

(1)获取某一区域具有相同投影坐标系的自然资源矢量红线数据和对应的高分辨率遥感影像，同时获取PTZ摄像头初始画面图像I₀；

具体实施时，首先要确保矢量红线数据和遥感影像属于同一个投影坐标系，为后续遥感影像语义辅助识别同名点和面积计算提供基础。具体实施时，可以进行坐标转换，得到统一坐标的矢量红线数据。

(2)将矢量红线数据叠加到高分辨率遥感影像上，借助遥感影像的语义信息，分别在视频图像和矢量红线数据上识别同名点，然后采用最小二乘法计算矢量红线数据与监控视频间的几何映射关系；

矢量红线数据是图形结构，其显示的是几何信息，属性信息是隐藏的，无法直接确定和监控视频之间的几何对应关系，因此，需要借助遥感影像的语义信息来辅助识别监控视频和矢量红线数据的同名点。在计算两者之间的几何映射关系时，可将监控视频图像(PTZ摄像头初始画面图像I₀)和遥感影像间的几何映射关系建模为投影变换，用单应性矩阵H₀来表示。通过在两幅图像上识别出至少4个不共线的同名点，可以快速建立监控视频图像和遥感影像间的相互映射关系。对于遥感图像上对应同名点q(X,Y)，与监控视频图像I₀上的任意一点p(x,y)，满足方程：

其中，单应性矩阵H₀的表达式为：

其中，a₀、b₀等为矩阵中的元素。

在具体计算时，采用最小二乘法来计算两者之间的几何映射关系。

(3)根据步骤(2)估算的映射关系，可将矢量红线数据映射到实时视频中，获得视频监控区域；

假设监控视频图像I₀之后有图像帧I₁…I_n，相应有面矢量数据{P₁,P₂,...,P_n}，对于其中的任意一个面P_i，其坐标表达为{(X_i1,Y_i1),(X_i2,Y_i2),...,(X_im,Y_im)}，其中，i＝1,2,...,n，

对于任意顶点(X_ij,Y_ij)，其中，i＝1,2,...,n，j＝1,2,...,m，n为面的数量，m为点的数量。根据步骤2建立的几何关系，其在监控视频中的坐标为(x_ij',y_ij')，其计算方式为：

(4)采用基于改进的ASIFT算法对监控视频相邻帧图像进行匹配，从而获得两幅图像上的同名点；

本发明提出采用改进的ASFIT方法对视频相邻帧图像进行特征匹配，在特征提取时，采用一种顾及尺度和图像空间分布的特征选择方法，获得在尺度和空间均匀分布的特征点。在尺度方面均匀提取特征点的主要思想为：根据尺度系数，确定每层金字塔图像中提取的特征点数量；在图像方面均匀提取特征点的主要思想为：将图像进行均匀网格划分，确定每个网格中提取的特征点数量；然后，根据特征点的独特性和特征点密度来筛选特征点。

ASIFT是Affine-SIFT的简称，是在SIFT方法的改进的，也是一个经典的方法。本发明对ASIFT方法的改进，主要是在特征点的选择上，在尺度和空间分布上对特征点进行筛选。

在尺度方面，采用如下方式确定特征点数量。

假设从图像中提取的特征点总数为N_total，每组金字塔图像中各层图像的权重为W(o,l)，那么各层图像提取的特征点数量N_scale(o,l)的表达式为：

N_scale(o,l)＝N_total×W(o,l) (4)

其中，o为高斯金字塔的标号，l为图像层的标号。

各尺度图像的权重定义如下：

其中，SC_ol代表第o组高斯金字塔中第l层图像的尺度系数，SC₁₁代表第1组高斯金字塔中第1层图像的尺度系数，r₀为中间参数；SC_ol表达式为：

其中，σ₀为初始尺度参数，N_o为生成的金字塔图像组数，N_s为每组金字塔的层数，K为常量，

o＝1,2,3,...,N_o，l＝1,2,3,...,N_s。

在图像空间分布方面，首先将金字塔图像划分成均匀网格，然后采用如下方式确定每层金字塔图像上各网格内特征点的数量。

假设金字塔各层图像上提取的特征点数量为N_scale(o,l)，将该层图像均匀划分为n²个网格，那么，第k个网格中，应提取的特征点数量N_grid_k的计算方式如下：

N_grid_k＝N_scale(o,l)×f_k (7)

其中，f_k为网格权重系数，具体由该网格区域中的信息熵E_k、特征点个数N_k以及特征点的对比度均值C_k确定，其表达式为：

其中，w_e、w_n和w_c分别为信息熵E_k、特征点个数N_k、特征点的对比度均值C_k的权重系数，三者满足以下关系：

w_e+w_n+w_c＝1 (9)

本发明提出，在每个网格中采用如下策略筛选出选取N_grid_k个特征点。

步骤1)：计算每个特征点的对比度，并按照对比度值从高到低排序，然后选取前3×N_grid_k个特征点作为预选特征点；

步骤2)：采用SIFT中的方法精确确定特征点的位置和尺度，并去除步骤1)获得的特征点中边缘响应点；其中，SIFT是指尺度不变特征变换；

步骤3)：在以特征点为中心的一定邻域内计算特征点的信息熵，并按照信息熵从大到小排序，获得初始特征点集C_int；

步骤4)：依次取点集C_int中的特征点，分别计算该点与剩余特征点之间的欧氏距离，若其中的最小距离仍大于阈值d，则保留至目标点集C_set中，直到C_set中特征点数量和N_grid_k相等为止。具体实施时，阈值d的取值可根据具体的图像内容和特征点的数量设定。

(5)根据步骤(4)获得的同名点估算两幅图像之间的几何变换关系，并根据此关系将前一帧图像上的监控区域范围映射到后一帧图像上，实现监控视频图像帧之间监控区域的关联；

采用RANSAC方法迭代求解相邻帧图像之间的几何关系，求得第i帧图像映射到第i+1帧图像的单应性矩阵H_i，i＝1,2,...,n；具体n的取值根据视频帧的长度得到。

(6)根据上述步骤建立的几何关系，可以直接在监控视频上进行面积量测，也可以基于上述确定的视频区域，支持后续进行相关目标分析，实现特定区域的自动预警报警。

对于当前监控视频第M帧图像上的多边形，可采用如下方式计算面积。

首先，确定当前视频帧图像M与GIS数据之间的几何映射关系，对于视频帧图像M上任意一点P_M(x_M,y_M)，与前一帧图像的单应性矩阵为H_M-1，对单应性求逆H_M-1 ^-1，那么其对应在M-1帧图像上的坐标P_M-1(x_M-1,y_M-1)＝H_M-1 ^-1P_M(x_M,y_M)，以此类推，可计算其在投影坐标系中的坐标P_M(X_M,Y_M)＝H₀ ^-1H₁ ^-1...H_M-1 ^-1P(x_M,y_M)；

然后，根据上述关系，对视频帧图像上的多边形坐标进行反算，求得其在投影坐标系中的坐标；

最后，采用用向量的叉积来计算一个多边形的面积。

按照上述方法，针对监控视频连续的视频帧，相应地可得视频监控区域A₀、A₁…A_n。具体实施时，基于确定的视频区域，相关目标分析可根据需求实现，本发明不予赘述、

具体实施时，本发明可采用计算机软件技术实现自动运行流程。实现本发明方法的系统装置也应当在本发明的保护范围内。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。