阅读说明：本技术 一种带有人脸识别分析功能的网络视频存储装置及方法 (network video storage device with face recognition and analysis function and method ) 是由 傅剑辉 王东 于 2018-06-07 设计创作，主要内容包括：本发明公开了一种带有人脸识别分析功能的网络视频存储装置,实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对,以及信息生成和传输的功能,本发明能够用于各种新建和已有网络视频监控场合,能够大幅度提高监控视频中最重要的人脸信息的保存时间,并实时对风险情况提出警示,及时显示相应人脸图片,有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式,解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征,解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。(The invention discloses a network video storage device with a face recognition and analysis function, which realizes the functions of video access, storage, display, calculation acceleration, face recognition, feature acquisition and comparison, and information generation and transmission, can be used in various newly-built and existing network video monitoring occasions, can greatly improve the storage time of the most important face information in a monitoring video, provides real-time warning for the risk condition, displays corresponding face pictures in time, and is favorable for meeting various requirements of public security and defense control; the method of sampling and optimizing for multiple times in a time window is adopted, so that the problem of insufficient human face feature analysis technology caused by a working condition environment is solved; by utilizing the characteristic of the stability of the human face characteristic, the problem that personnel identity identification and warning cannot be timely performed in various small and medium security monitoring systems is solved.)

一种带有人脸识别分析功能的网络视频存储装置及方法

技术领域

本发明涉及人工智能领域，具体涉及一种带有人脸识别分析功能的网络视频存储装置及方法。

背景技术

目前网络视频存储装置(主要是网络视频录像机NVR)主要功能包括视频实时显示、视频录像和录像回放，主要是起到实时显示并记录网络视频摄像机采集到的视频图像信息，并在保留一定的时间后(一般是一个月或两个月)自动覆盖最早的录像达到循环记录节省存储空间的作用，在预防意外事件中，起到实时监控和事后追查的作用。现有的网络视频存储装置，不能够进行基于人脸识别的智能化人员分析提示。

以现有安防网络视频录像系统为基础，结合边缘计算技术、AI芯片加速技术、卷积神经网络技术、深度学习算法、人脸跟踪抓拍技术，形成基于AI加速芯片进行人脸识别和人员分析提示的网络视频存储装置及方法

带有人脸识别分析功能的网络视频存储装置及方法，对各种场所的监控视频，除进行一般的实时显示与录像外，还对监控视频中拍摄到的人员进行人脸采集识别，并根据人员出现频度，是否首次出现，是否带口罩/墨镜，以及是否始终侧脸或背对摄像机等情况和行为，对操作员给出相应提示。同时人脸信息的数据量通常是视频图像中最重要的信息，其数据量又远小于视频图像的数据量，本项发明可以在保持原有录像时间的基础上，另外对重要的人脸数据进行更长时间的保存(比如6或12个月)。本项发明为提高监控系统防控水平和治安联防联控管理水平提供一种的更大时间跨度的智能化的新方法。

发明内容

本发明的目的是为解决上述不足，提供一种带有人脸识别分析功能的网络视频存储装置及方法。

本发明的目的是通过以下技术方案实现的：

一种带有人脸识别分析功能的网络视频存储装置，实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，包括

01视频接入端口：根据中央控制模组(08)的指令，接收外部多路视频图像码流，获取外部提供的视频图像；

02图像复制模组：根据中央控制模组(08)的指令，对接收的视频进行复制并发送给图像存储模组(04)；

03图像解码转换模组：根据中央控制模组(08)的指令对相应视频进行解码和YUV-RGB转换，并根据中央控制模组(08)的指令进行图像下采样；

04图像存储模组：根据中央控制模组(08)的指令，将接收到的图像存储到硬盘相应的目录下，并能够覆盖删除超过录像时限的过期录像记录；

05人脸识别模组：根据中央控制模组(08)的指令，利用人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，进行人脸识别，取得图片中的人脸图像；

06人脸比对模组：根据中央控制模组(08)的指令，对人脸识别模组(05)取得的人脸图片进行特征码提取，并与数据库中一定时间内存储的人脸数据进行比对，筛选出需要提示的人脸图像，提供给图像显示模组(07)进行显示；

07图像显示模组：根据中央控制模组(08)的指令，对接收到的视频进行实时显示，对提示人员图片进行显示，对回放录像和人员信息检索进行显示；

08中央控制模组：实现对装置其他模组的综合控制和管理。

一种人脸目标识别方法，采用时间窗为一个采样周期，其窗口大小可以根据需要设置，在一个采样周期中进行多次采样，选择最优采样为最后的采样信息，对于一个采样帧中出现多个人脸，需要遍历所有人脸，对无法识别的人脸采用舍弃策略，由周期中多次采样进行舍弃的补偿，具体方法如下：

当时间窗触发，装置开始进行视频解码，解码首先进行视频提帧，提帧后进行帧图像优化，优化后进行多人脸定位，定位后进行人脸图像检出，然后对人脸图像进行验证，看是否符合人脸图像要求，不符合的返回时间窗触发步骤，符合要求的进行人脸校正去重，去重后进行特征码提取，提取特征码后进行人脸比对与警示判断步骤，人脸比对符合的进行输出警示类型和人脸图片，然后进行下一时间窗，继续进行新的时间窗触发，不符合的返回时间窗触发步骤。

本发明具有如下有益的效果：

本发明能够用于各种新建和已有网络视频监控场合，能够大幅度提高监控视频中最重要的人脸信息的保存时间，并实时对风险情况提出警示，及时显示相应人脸图片，有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式，解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征，解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。

附图说明

图1为本发明的存储装置结构示意图；

图2为本发明的人脸识别方法流程图。

具体实施方式

下面结合附图对本发明作进一步的说明：

如图1和图2所示，一种带有人脸识别分析功能的网络视频存储装置，实现视频接入、存储、显示、计算加速和人脸识别、特征获取与比对，以及信息生成和传输的功能，包括

01视频接入端口：根据中央控制模组(08)的指令，接收外部多路视频图像码流，获取外部提供的视频图像；

02图像复制模组：根据中央控制模组(08)的指令，对接收的视频进行复制并发送给图像存储模组(04)；

03图像解码转换模组：根据中央控制模组(08)的指令对相应视频进行解码和YUV-RGB转换，并根据中央控制模组(08)的指令进行图像下采样；

04图像存储模组：根据中央控制模组(08)的指令，将接收到的图像存储到硬盘相应的目录下，并能够覆盖删除超过录像时限的过期录像记录；

05人脸识别模组：根据中央控制模组(08)的指令，利用人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，进行人脸识别，取得图片中的人脸图像；

06人脸比对模组：根据中央控制模组(08)的指令，对人脸识别模组(05)取得的人脸图片进行特征码提取，并与数据库中一定时间内存储的人脸数据进行比对，筛选出需要提示的人脸图像，提供给图像显示模组(07)进行显示；

07图像显示模组：根据中央控制模组(08)的指令，对接收到的视频进行实时显示，对提示人员图片进行显示，对回放录像和人员信息检索进行显示；

08中央控制模组：实现对装置其他模组的综合控制和管理。

一种人脸目标识别方法，采用时间窗为一个采样周期，其窗口大小可以根据需要设置，在一个采样周期中进行多次采样，选择最优采样为最后的采样信息，对于一个采样帧中出现多个人脸，需要遍历所有人脸，对无法识别的人脸采用舍弃策略，由周期中多次采样进行舍弃的补偿，具体方法如下：

当时间窗触发，装置开始进行视频解码，解码首先进行视频提帧，提帧后进行帧图像优化，优化后进行多人脸定位，定位后进行人脸图像检出，然后对人脸图像进行验证，看是否符合人脸图像要求，不符合的返回时间窗触发步骤，符合要求的进行人脸校正去重，去重后进行特征码提取，提取特征码后进行人脸比对与警示判断步骤，人脸比对符合的进行输出警示类型和人脸图片，然后进行下一时间窗，继续进行新的时间窗触发，不符合的返回时间窗触发步骤。

工作原理：对网口接收到的视频码流信号进行复制，一路直接按照存储规则写入硬盘中指定的目录，第二路进行视频解码在显示缓存中，与其他路视频拼合后送到显示输出口(VGA或HDMI)进行实时显示，同时解码后的视频经过YUV-RGB转换和下采样，根据人工智能网络模型，通过卷积计算并加载剪枝动态人脸识别算法，对帧图片中的人脸进行检测、跟踪、抓拍、去重，并以特征值作为信息标识，构建检测人员信息，完成人员信息采集和记录，并进行与数据库中人脸比对和新增人脸入库等数据操作，对于符合频繁来访、首次来访、戴墨镜/口罩等检出规则的人脸，投放到显示输出口，在显示画面给出直观提示。其核心原理是在完成网络视频录像的同时进行动态人脸采集、分析和提示。

采用移动式形式表现，装载到车载终端，形成移动非接触式动态人员抓拍采集装置；装置能够单独构成一个硬件系统，与视频对接，形成前置外挂设备；可将此装置直接串接在现有高清网络摄像机的后面，直接在前端就能够完成工作，获取高质量人脸结构化数据，高效、及时、现场提出相应警示信息，可广泛应用于交通(机场、高铁、地铁)、写字楼、小区、超市、医院、银行、证券、保险等机构的视频应用场所。可将此装置部署在移动式工作站中，并使用GPS/北斗/4G进行定位和无线传输，应用临时布控的人脸抓拍场所；。实施中可以在核心算法结构上进行优化，增加其他业务功能，如重点人员跟踪、人员属性分析等。

解决AI人脸识别与比对技术应用于网络视频录像机的方法问题；可以用于各种新建和已有网络视频监控场合，能够大幅度提高监控视频中最重要的人脸信息的保存时间，并实时对风险情况提出警示，及时显示相应人脸图片，有利于满足治安防控的多种需求；采用在时间窗中多次采样取优的方式，解决因工况环境带来的人脸特征分析技术不足的问题；利用人脸特征稳定性的特征，解决了各种中小安防监控系统中无法及时进行人员身份辨识与警示的问题。

突破现有借助人证核验、1∶1人脸采集等方式进行接触式人员信息采集的局限，采用了非干涉式的工作方式，不会惊扰受监视人员的行为；将人脸识别技术与网络视频录像技术重用，扩大了人脸识别技术在安防业务处理中使用，扩展了人脸识别技术的使用面；充分利用现有的存量摄像机，通过外挂的形式可以直接将现有的非结构化视频升级为智能结构化数据。