阅读说明：本技术 鱼眼相机图片中目标检测矫正的方法与系统 (Method and system for detecting and correcting target in fisheye camera picture ) 是由 杨帆 王瀚洋 胡建国 白立群 陈凯琪 于 2020-06-26 设计创作，主要内容包括：本发明提供一种鱼眼相机图片中目标检测矫正的方法与系统,包括：接收鱼眼相机的视频流输入,通过帧处理获得检测用鱼眼图片；检测鱼眼中照片中的行人目标；以检测结果的目标框为基础,将目标框进行扩边抠取,作为感兴趣区域ROI；获取目标框中心点与鱼眼图片中心点的竖向夹角；根据所述竖向夹角和旋转中心确定旋转矩阵,其中以所述目标框中心点作为旋转中心；利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；获取目标框在新的感兴趣区域new_ROI中位置；新的感兴趣区域new_ROI中的目标框再次抠取,输出新的图片作为目标识别的输入图片。本发明根据目标在鱼眼图片中的位置,将目标旋转正向将旋转的目标矫正正向,便于目标的识别。(The invention provides a method and a system for detecting and correcting a target in a fisheye camera picture, which comprises the following steps: receiving video stream input of a fisheye camera, and obtaining a fisheye picture for detection through frame processing; detecting a pedestrian target in the picture in the fisheye; based on the target frame of the detection result, carrying out edge expansion and scratching on the target frame to be used as a region of interest (ROI); acquiring a vertical included angle between the center point of the target frame and the center point of the fisheye picture; determining a rotation matrix according to the vertical included angle and the rotation center, wherein the center point of the target frame is used as the rotation center; carrying out affine transformation on the ROI by utilizing the rotation matrix to obtain a new ROI new _ ROI; acquiring the position of the target frame in a new ROI (region of interest) _ ROI; and the target frame in the new interesting area new _ ROI is scratched again, and a new picture is output as an input picture for target recognition. According to the position of the target in the fisheye picture, the rotating target is rotated in the positive direction, and the rotated target is corrected in the positive direction, so that the target can be conveniently identified.)

鱼眼相机图片中目标检测矫正的方法与系统

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种鱼眼相机图片中目标检测矫正的方法与系统。

背景技术

在目前安防领域中，因为鱼眼镜头视角范围广，通常会使用其作为视频流采集工具。但在实际应用鱼眼镜头过程中存在图像畸变的问题，并且越远离图片中心畸变越严重。同时，鱼眼镜头中的目标旋转角度各异，旋转的目标不便于识别。这两种问题带来了一定的识别困难。

目前最常见的解决办法是使用标定方法获取鱼眼镜头相机内参后将鱼眼畸变图片矫正，再使用矫正后的图片进行处理。该解决方法的缺点在于矫正的结果并非完全将畸变图片矫正正确，同时不同的相机镜头因安装不一致会导致内参存在差异，使得不同的相机不能复用同一套标定参数。同时，对矫正后的图片的深度学习图像检测和识别方法是基于图像的像素值，矫正后的图片并没有增加额外的目标像素信息，因此就算使用矫正后的图片进行检测和识别，基本没有增益。

在识别任务中，目标为正向的识别通过率一般比其他旋转角度高，为提升识别精度，需将目标旋转至正向。

发明内容

本发明目的在于提供一种鱼眼相机图片中目标检测矫正的方法与系统，利用鱼眼相机图片的特性，根据目标在图片中的位置，将目标旋转正向将旋转的目标矫正正向，便于目标的识别，尤其是行人检测与识别。

为实现上述目的，本发明的第一方面提出一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：

步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；

步骤2、检测鱼眼中照片中的行人目标；

步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；

步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；

步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；

步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；

步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及

步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。

根据本发明的第二方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：

用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；

用于检测鱼眼中照片中的行人目标的；

用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；

用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；

用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；

用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；

用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及

用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。

根据本发明的第三方面还提出一种鱼眼相机图片中目标检测框矫正的系统，包括：

一个或多个处理器；

存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；

步骤2、检测鱼眼中照片中的行人目标；

步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；

步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；

步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；

步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；

步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及

步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。

由以上本发明的技术方案，根据目标在图片中的位置，计算出旋转角度，将旋转的目标矫正正向，提升鱼眼相机图片目标的识别。本发明在实施过程中根据鱼眼镜头的特性，在检测任务中，无需增加额外的角度信息，就能得到准确的目标旋转角度；对于鱼眼镜头中带有不同旋转角度、带有畸变的目标，能够准确分割目标边界框，使得目标包含更少的干扰信息，便于识别。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的

具体实施方式

的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明实施例的鱼眼相机图片中目标检测框矫正的流程示意图。

图2是鱼眼相机获得的鱼眼照片的示意图，其中第一层级小框表示检测的目标框，经过放大后抠取第二层大框作为感兴趣区域ROI。

图3a-3c是根据三个感兴趣区域ROI的示意图。

图4a-4c是对应于图3a-3c的三个示意图，利用旋转矩阵对ROI进行仿射变换得到新的感兴趣区域new_ROI的示意图，其中将目标转正。

图5a-5c是对应于图3a-3c对应的目标检测得到的三个行人目标的目标框在new_ROI中的位置。

图6a-6c是对应于图3a-3c对应的目标检测得到的三个行人目标的图示。

图7a-7c是对应于本发明的校正后的图4a-4c得到的三个行人目标的图示。

图8是根据本发明实施例的鱼眼相机图片中目标检测框矫正的测试结果的示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1-7所示，根据本发明的示例性实施例的一种鱼眼相机图片中目标检测矫正的方法，包括以下步骤：

步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；

步骤2、检测鱼眼中照片中的行人目标；

步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；

步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；

步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；

步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；

步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及

步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。

下面结合图2-图7所示，更加具体地阐述上述过程的实施例。

在一些场景中，例如商场、银行、博物馆等场所，通过鱼眼相机作为监控采集设备(安防摄像头)，采集镜头前方的视频并上传到系统进行视频处理和分析。例如在一些实施例中，这些输出的视频流被设置在本地的边缘计算设备或者平台用来进行目标检测，例如行人检测，或者上传到云端服务器进行目标检测。

本发明的实施例中，对鱼眼相机图片中目标检测的矫正包括三个阶段：目标检测、确定旋转角并进行角度变换得到新的感兴趣区域以及重新获得检测输入，从而作为输入图片进行目标检测。

目标检测，尤其是行人检测，可基于现有的一些行人检测算法实现，检测图片中的人***置的

计算旋转角θ及仿射变换用于矫正目标，便于高效识别。

结合图1所示，在步骤3中，对于框检测中心点坐标为(x₁，y₁)，宽为w，高为h，则对目标框扩边抠取，作为感兴趣区域ROI，其中所述的扩边抠取的操作包括：保持目标框中心点不变，将宽w和高h分别扩展至原来的N倍。

结合图2所示的是鱼眼相机获得的鱼眼照片的示意图，其中第一层级小框(深黑框)表示检测的目标框，经过放大后抠取第二层大框(浅色框)作为感兴趣区域ROI。图3a-3c示例性地表示了根据三个感兴趣区域ROI的示意。

其中，优选地，宽w和高h的扩展倍数N取值在3-5之间。

在步骤4中，根据鱼眼图片中心点(x₂，y₂)，计算目标框中心点和鱼眼图片中心点的连线与竖直线的竖向夹角θ，其中先分别计算前述两个中心点的水平距离d_x和竖直距离d_y：

d_x＝x₂-x₁

d_y＝y₂-y₁

然后，根据反正切公式，可计算出θ：

θ＝arctan(d_x/d_y)。

由于之前计算的旋转角度θ是目标距离竖直线的偏角，为将目标旋转正向，需要旋转-θ才能至正向。因此，在本发明的步骤5中，根据竖向夹角θ计算目标框的旋转矩阵M，其中旋转过程以原目标框中心点为旋转中心，将旋转中心作为新坐标(0,0)点，旋转矩阵M计算公式为：

优选地，在步骤6中，对于感兴趣区域ROI中的任意一像素点C坐标(x，y)，经旋转后得到新的点C′坐标(x′，y′)，旋转前后两点之间的关系为C′＝C×M，具体关系如下：

x′＝xcosθ+ysinθ

y′＝-xsinθ+ycosθ

则，感兴趣区域ROI中的所有像素点逐一利用旋转矩阵M经过仿射变换得到新的感兴趣区域new_ROI。

结合图4a-4c所示，是对应于图3a-3c的三个示意并利用旋转矩阵对ROI进行仿射变换得到新的感兴趣区域new_ROI的示意图，其中将目标转正。

在步骤6中，目标框在新的感兴趣区域new_ROI中位置根据下述方式确定：

以原目标框中心点为旋转中心，将感兴趣区域ROI旋转-θ角度后，则旋转后的目标框中的目标的坐标点即对应为旋转前的坐标点。

在步骤7的抠取操作包括：将目标框在新的感兴趣区域new_ROI中的区域像素取出。

结合图5a-5c、6a-6c以及图7a-7c所示，分别是原始的行人检测算法的检测框得到的行人抠图的结果，以及通过本发明的方法进行矫正后的检测框得到的行人抠图的结果，显然通过本发明处理矫正后的图像输出更利于后期的检测和识别，识别的效率和精确度更好。

结合以下试验对上述本发明的实施例的方法进行测试与验证。

本实验中测试集共5000张图片，其中包含11471个行人，图片均为鱼眼镜头下采集，不同位置的行人形态、角度各异。通过本发明的方式分别进行目标检测、目标矫正、目标识别。在对比实验中，目标检测阶段使用同样的检测器和流程，检测器结果同为召回9749个行人框、203个误检框，则目标识别将对9952个框进行操作。同时，为验证识别训练方式的影响，加入了是否使用旋转的行人patch进行训练的变量。

通过实验结果可以看出，无目标矫正的行人检测结果中由于同时存在各种角度的行人框，如果训练中不使用旋转的行人patch训练，即只使用正向的行人patch训练识别模型，识别的精度最低，因为训练集和测试集场景差异太大。对于无目标矫正的行人框，识别模型使用加入旋转行人patch，精度明显的提升，此时训练集和测试集场景较为相似。

有目标矫正的行人检测结果基本只存在正向的同一角度的行人框，而识别模型使用加入旋转行人patch训练，精度能够继续提升，因为此时识别模型的测试场景变得简单，但因训练集和测试集有较大差异，精度并非最佳；使用本专利的方法，有目标矫正的行人框，识别模型训练不使用加入旋转行人patch，测试场景简单化的前提下，训练和测试保持一致，使得精度达到最高。

结合上述实施例，本发明还可以按照下述配置实施。

{鱼眼相机图片中目标检测框矫正的系统}

鱼眼相机图片中目标检测框矫正的系统，包括：

用于接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片的模块；

用于检测鱼眼中照片中的行人目标的；

用于以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI的模块；

用于获取目标框中心点与鱼眼图片中心点的竖向夹角的模块；

用于根据所述竖向夹角和旋转中心确定旋转矩阵的模块，其中以所述目标框中心点作为旋转中心；

用于利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI的模块；

用于获取目标框在新的感兴趣区域new_ROI中位置的模块；以及

用于对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片的模块。

{鱼眼相机图片中目标检测框矫正的系统}

鱼眼相机图片中目标检测框矫正的系统，包括：

一个或多个处理器；

存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

步骤1、接收鱼眼相机的视频流输入，通过帧处理获得检测用鱼眼图片；

步骤2、检测鱼眼中照片中的行人目标；

步骤3、以检测结果的目标框为基础，将目标框进行扩边抠取，作为感兴趣区域ROI；

步骤4、获取目标框中心点与鱼眼图片中心点的竖向夹角；

步骤5、根据所述竖向夹角和旋转中心确定旋转矩阵，其中以所述目标框中心点作为旋转中心；

步骤6、利用旋转矩阵对感兴趣区域ROI进行仿射变换获得新的感兴趣区域new_ROI；

步骤7、获取目标框在新的感兴趣区域new_ROI中位置；以及

步骤8、对新的感兴趣区域new_ROI中的目标框再次抠取，输出新的图片作为目标识别的输入图片。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。