一种基于单目相机的头部三维坐标的摔倒检测方法
阅读说明：本技术 一种基于单目相机的头部三维坐标的摔倒检测方法 (Method for detecting tumbling of head three-dimensional coordinate based on monocular camera ) 是由 祝敏航 徐晓刚 曹卫强 王军 李玲 刘雪莹 于 2021-08-27 设计创作，主要内容包括：本发明公开了一种基于单目相机的头部三维坐标的摔倒检测方法,首先估计单目视频中头部三维坐标,再根据头部三维坐标的变化检测人员是否摔倒。单目头部三维坐标估计通过相机标定获得相机内参矩阵,通过头部检测获得头部在图像中的矩形框,利用相机内参、头部矩形框和预设的头部基本几何参数构建头部三维坐标求解方程,求解在相机坐标系下的头部三维坐标。通过系统标定获得世界坐标系到相机坐标系的变换矩阵,经过坐标变换,得到在世界坐标系下的头部三维坐标。当头部坐标z分量小于一定阈值时判定人员为摔倒状态。本方法利用单个摄像头即可估计头部的三维坐标,并判断人员是否摔倒,硬件成本低,可广泛应用于智能监控等领域。(The invention discloses a monocular camera-based method for detecting falling of a three-dimensional head coordinate. Monocular head three-dimensional coordinate estimation obtains a camera internal reference matrix through camera calibration, obtains a rectangular frame of the head in an image through head detection, constructs a head three-dimensional coordinate solving equation by utilizing the camera internal reference, the head rectangular frame and preset head basic geometric parameters, and solves the head three-dimensional coordinate under a camera coordinate system. And obtaining a transformation matrix from the world coordinate system to the camera coordinate system through system calibration, and obtaining the head three-dimensional coordinates in the world coordinate system through coordinate transformation. And when the z component of the head coordinate is smaller than a certain threshold value, judging that the person is in a falling state. The method can estimate the three-dimensional coordinates of the head by using a single camera, judges whether personnel fall down, has low hardware cost, and can be widely applied to the fields of intelligent monitoring and the like.)
技术领域
本发明涉及计算机视觉领域，尤其是涉及一种基于单目相机的头部三维坐标的摔倒检测方法。
背景技术
在智能监控领域，及时检测出人员异常行为（如摔倒）是一项基本的监控需求。作为异常行为检测的数据源，头部的三维坐标信息可有效辅助检测算法提高异常行为的检出率。在室内监控应用中，过低的头部高度和过大的头部加速度说明有较大的概率出现了摔倒行为。
常见的获取头部三维坐标的方法有深度相机、双目相机等。但在实际的安防应用中，由于成本问题很难部署深度相机和双目相机。
发明内容
为解决现有技术的不足，实现不改变原有单目相机的现有监控方案，在节约成本的同时，保证检测正确率的目的，本发明采用如下的技术方案：
一种基于单目相机的头部三维坐标的摔倒检测方法，包括如下步骤：
S1，在单目图像中，计算头部在世界坐标系下的三维坐标，包括如下步骤：
S11，使用棋盘板进行相机标定，获得内参矩阵M；
S12，进行系统标定，获得世界坐标系到相机坐标系的变换矩阵 w T c ；
S13，将头部近似为长方体，并给定其基本几何参数，包括头部的长、宽、高和朝向；
S14，使用目标检测算法检测头部，获得表征头部位置的矩形框；
S15，利用内参矩阵、矩形框、基本几何参数，构建用于头部三维坐标求解的线性方程，包括如下步骤：
S151，建立头部三维坐标系，其齐次坐标为Q，定义头部图像坐标系的齐次坐标为q；
S152，根据投影变换，构建头部在相机坐标系下的三维坐标求解方程，投影变换公式为：
q=MWQ (3)
其中M为内参矩阵，W=[Rt]为相机坐标系到头部三维坐标系的变换矩阵，考虑到头部转动不影响头部的三维坐标，直接设定头部的朝向沿世界坐标系，即头部三维坐标系的坐标轴方向与世界坐标系一致，故旋转矩阵R由所述S12中的系统标定结果直接给出，平移向量t为所求头部在相机坐标系下的三维坐标；
S153，整理投影变换公式的形式：
(4)
其中；
S154，建立q和的对应点对，由于监控摄像头一般位于头部的斜上方，q和的对 应点对定义如下(xmin,)、(xmax,)、(ymin,)、(ymax,)，其中xmin、xmax、ymin、ymax由所述 S14获得的头部位置的矩形框给出，分别表示矩形框的4个点坐标，、、、由所述 S13给定长方体的尺寸参数给出，分别表示、、、，其中L、W、H分别表示头部的长、宽、高；
S155，将对应点对带入式（4）中，简化得到线性方程：
At=b (5)
其中A为数据矩阵，b为观测向量；
S16，通过线性方程，获得相机坐标系下的头部三维坐标；
S17，将头部三维坐标和变换矩阵，进行矩阵相乘，获得世界坐标系下的头部三维坐标；
S2，基于单目图像连续帧差分计算头部的加速度，当世界坐标系下的头部三维坐标中，分量z小于分量阈值，且近一小段预设时间内，头部的加速度大于过加速度阈值时，判定人员为摔倒状态，所述分量z表示头部到地面的距离。
进一步地，所述内参矩阵，f x 、f y 、c x 、c y 分别为相机焦距x分量、相 机焦距y分量、相机主点x分量、相机主点y分量。
进一步地，所述S155中简化线性方程的扩展形式如下：
其中，，。
进一步地，所述S16中通过求解线性方程，得到头部在相机坐标系下的三维坐标t=(A T A)-1 A T b。
进一步地，所述S17中通过坐标变换，得到头部在世界坐标系下的三维坐标T w = w T c t。
进一步地，所述S151中的建立头部三维坐标系，其XYZ轴分别与世界坐标系的XYZ轴平行，其原点在头部中心，头部三维坐标系中，一点的齐次坐标为：
Q=[XYZ 1] T (1)
进一步地，所述S151中的头部在图像坐标系中对应的齐次坐标为：
q=[x,y,w] T (2)
其中，表示图像坐标x分量，表示图像坐标y分量，w表示尺度。
进一步地，所述S12包括如下步骤：
S121，将世界坐标系建立在地面上，取地面一点作为原点，世界坐标系的X、Y、Z轴通过原点且彼此垂直，X轴和Y轴位于地面，Z轴垂直于地面；
S122，在地面上布置不共线的一组点（9个点），并记录其在世界坐标系下的三维坐标和在图像坐标系下的二维坐标；
S123，利用PnP算法，求解世界坐标系到相机坐标系的变换矩阵 w T c 。
进一步地，所述S13中头部的长、宽、高，考虑到不同人的头部几何尺寸接近，直接预设给定。
本发明的优势和有益效果在于：
本发明在不改变现有监控硬件设备的情况下，通过单目相机估计了头部三维坐标，并通过头部三维坐标及其加速度判定是否摔倒，节约了应用成本的同时，保证了检测的精度。
附图说明
图1是本发明的方法流程图。
图2是本发明中系统标定示意图。
图3是本发明中对应点对示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，一种基于单目相机的头部三维坐标的摔倒检测方法，包括以下步骤：
步骤一：在单目图像中，计算头部在世界坐标系下的三维坐标，包括如下步骤：
步骤1.1：使用棋盘板对监控摄像头进行标定，获得内参矩阵，f x 、f y 、c x 、c y 分别为相机焦距x分量、相机焦距y分量、相机主点x分量、相机主点y分量，例如。
步骤1.2：如图2所示，将摄像头固定于墙上，按3×3阵列，间距2米在地面上布置标 志点，以其中一个阵列点为原点，阵列的两垂直方向为XY轴，Z轴垂直于地面建立世界坐标 系，摄像头抓拍一张包含该阵列的图像，利用PnP算法求解世界坐标系到相机坐标系的变换 矩阵 w T c ，例如。
步骤1.3：如图3所示，给定头部长宽高LWH均为0.2m，给定头部坐标系坐标轴方向 与世界坐标系一致，、、、分别为[-0.1 -0.1 0.1] T 、[0.1 0.1 0.1] T 、[-0.1 0.1 0.1] T 、[-0.1 -0.1 -0.1] T 。
步骤1.4：使用目标检测算法YOLO进行头部检测，获得头部矩形框[xmin, xmax,ymin, ymax]，例如[150, 165, 300, 315]。
步骤1.5：利用内参矩阵、矩形框、基本几何参数，构建用于头部三维坐标求解的线性方程，包括如下步骤：
步骤1.5.1：建立头部三维坐标系，其齐次坐标为：
Q=[XYZ 1] T (1)
定义头部图像坐标系的齐次坐标为：
q=[x,y,w] T (2)
其中，表示图像坐标x分量，表示图像坐标y分量，w表示尺度。
步骤1.5.2：根据投影变换，构建头部在相机坐标系下的三维坐标求解方程，投影变换公式为：
q=MWQ (3)
其中M为内参矩阵，W=[Rt]为相机坐标系到头部三维坐标系的变换矩阵，考虑到头部转动不影响头部的三维坐标，直接设定头部的朝向沿世界坐标系，即头部三维坐标系的坐标轴方向与世界坐标系一致，故旋转矩阵R由步骤1.2中的系统标定结果直接给出，平移向量t为所求头部在相机坐标系下的三维坐标。
步骤1.5.3：整理投影变换公式的形式：
(4)
其中。
步骤1.5.4：建立q和的对应点对，如图3所示，由于监控摄像头一般位于头部的 斜上方，将q和的对应点对坐标(xmin,)、(xmax,)、(ymin,)、(ymax,)带入式（4），、、、由步骤1.3给定长方体的尺寸参数给出，分别表示、、、，其中L、W、H分别表示头部的长、宽、 高，例如得到。
步骤1.5.5：将对应点对带入式（4）中，简化得到线性方程：
At=b (5)
其中A为数据矩阵，b为观测向量，简化线性方程的扩展形式如下：
其中，，。
步骤1.6：求解上式，获得相机坐标系下的头部三维坐标，通过求解线性方程，得到头部在相机坐标系下的三维坐标t=(A T A)-1 A T b，例如[-0.88 -0.33 1.83] T 。
步骤1.7：利用系统标定结果进行坐标变换，得到头部在世界坐标系下的三维坐标T w = w T c t，例如[1.42 0.98 1.44] T 。
步骤二：连续帧差分计算头部的加速度，当步骤1.7中头部三维坐标z分量小于阈值0.2米，且近1秒内头部加速度大于过2m/s2时判定为摔倒状态，否则为非摔倒状态。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。