一种疲劳预警方法、眼镜、系统和计算机可读存储介质

文档序号:1923339 发布日期:2021-12-03 浏览:18次 >En<

阅读说明:本技术 一种疲劳预警方法、眼镜、系统和计算机可读存储介质 (Fatigue early warning method, glasses, system and computer readable storage medium ) 是由 雷晓辉 于 2021-08-12 设计创作,主要内容包括:本申请公开了一种疲劳预警方法、眼镜、系统和计算机可读存储介质,该疲劳预警眼镜包括支撑组件、第一摄像组件、第二摄像组件以及预警组件,第一摄像组件设置于支撑组件上,用于采集道路视频数据并发送至处理设备;第二摄像组件设置于支撑组件上,用于采集检测目标的眼睛视频数据并发送至处理设备;预警组件设置于支撑组件上,预警组件用于基于处理设备的处理结果进行疲劳预警。通过上述方式,本申请能够提升疲劳检测的准确率,提升安全性。(The application discloses a fatigue early warning method, glasses, a system and a computer readable storage medium, wherein the fatigue early warning glasses comprise a supporting component, a first camera shooting component, a second camera shooting component and an early warning component, wherein the first camera shooting component is arranged on the supporting component and used for acquiring road video data and sending the road video data to a processing device; the second camera shooting assembly is arranged on the supporting assembly and used for collecting eye video data of a detection target and sending the eye video data to the processing equipment; the early warning assembly is arranged on the supporting assembly and used for carrying out fatigue early warning based on a processing result of the processing equipment. Through the mode, the accuracy rate of fatigue detection can be improved, and the safety is improved.)

一种疲劳预警方法、眼镜、系统和计算机可读存储介质

技术领域

本申请涉及眼镜技术领域,具体涉及一种疲劳预警方法、眼镜、系统和计算机可读存储介质。

背景技术

随着汽车数量的增多,交通事故不断发生,在这些交通事故中,有很多交通事故的发生原因是驾驶员疲劳驾驶,因此疲劳驾驶的提醒成为研究的重点;由于人的疲劳状态可以从眼睛的状态表现出来,因此可以实时地收集人眼信息来监测人的疲劳状态,在检测到驾驶员比较疲劳时提醒驾驶员,但该方法易受到自然因素的干扰,准确率不高。

发明内容

本申请提供一种疲劳预警方法、眼镜、系统和计算机可读存储介质,能够提升疲劳检测的准确率,提升安全性。

为解决上述技术问题,本申请采用的技术方案是:提供一种疲劳预警眼镜,该疲劳预警眼镜包括:支撑组件、第一摄像组件、第二摄像组件以及预警组件,第一摄像组件设置于支撑组件上,用于采集道路视频数据并发送至处理设备;第二摄像组件设置于支撑组件上,用于采集检测目标的眼睛视频数据并发送至处理设备;预警组件设置于支撑组件上,预警组件用于基于处理设备的处理结果进行疲劳预警。

为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警方法,该方法应用于上述技术方案中的处理设备,该方法包括:获取道路视频数据与检测目标的眼睛视频数据;对道路视频数据与眼睛视频数据进行处理,得到检测目标的疲劳程度;在疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得预警组件进行疲劳预警。

为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警眼镜,该疲劳预警眼镜包括互相连接的存储器和处理设备,其中,存储器用于存储计算机程序,计算机程序在被处理设备执行时,用于实现上述技术方案中的疲劳预警方法。

为解决上述技术问题,本申请采用的另一技术方案是:提供一种疲劳预警系统,该疲劳预警系统包括互相连接的疲劳预警眼镜与处理设备,疲劳预警眼镜用于采集道路视频数据与检测目标的眼睛视频数据,处理设备用于接收道路视频数据与眼睛视频数据,其中,处理设备用于实现上述技术方案中的疲劳预警方法。

为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理设备执行时,用于实现上述技术方案中的疲劳预警方法。

通过上述方案,本申请的有益效果是:本申请所提供的疲劳预警眼镜包括支撑组件、第一摄像组件、第二摄像组件以及预警组件,利用第一摄像组件采集道路视频数据,利用第二摄像组件采集检测目标的眼睛视频数据;利用处理设备对道路视频数据与眼睛视频数据进行处理得到处理结果,处理设备将该处理结果发送至预警组件,以使得预警组件基于处理结果进行疲劳预警,以提醒佩戴疲劳预警眼镜的人员,使其保持清醒。由于将第一摄像组件采集的道路视频数据作为判断驾驶者的疲劳程度的依据之一,实现了对疲劳程度更准率的估计,防止在佩戴疲劳预警眼镜的人员疲劳时却判定其处于清醒状态,降低因疲劳导致发生交通事故的发几率,有助于提升检测目标的安全性。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:

图1是本申请提供的疲劳预警眼镜一实施例的结构示意图;

图2为图1中疲劳预警眼镜的爆炸结构示意图;

图3为图1中疲劳预警眼镜中连接件和第一摄像组件的结构示意图;

图4为图1中疲劳预警眼镜中眼镜组件的结构示意图;

图5是本申请提供的疲劳预警方法一实施例的流程示意图;

图6是本申请提供的疲劳预警眼镜另一实施例的结构示意图;

图7是本申请提供的疲劳预警系统一实施例的结构示意图;

图8是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

相关技术中的疲劳状态监测装置包括在驾驶座位前安装摄像头和警示装置,通过摄像头实时拍摄驾驶者整个头部的图像,再根据驾驶员的眼动情况(即眼睛的开闭情况)判断驾驶者的疲劳状态,该方案中摄像头易受到自然因素的干扰,对特定状态的检测效果并不理想;在人眼状态的识别中,可以通过对人眼区域进行人眼拟合或者对人眼区域采用积分投影的方法来识别人眼的张开程度,形状拟合的方法受头部姿态的干扰,而积分投影的方法对人眼的检测区域非常严格,在实际的应用环境中容易受到自然光的干扰。

鉴于相关技术中疲劳状态监测装置存在安装繁琐,便携性差,使用过程中易受到头部姿态、自然光的干扰,影响疲劳判断准确性的问题。本申请提供了一种防止疲劳驾驶的眼镜及防止疲劳驾驶的实现方法,下面对本申请所采用的方案进行详细阐述。

请参阅图1至图4,图1是本申请提供的疲劳预警眼镜一实施例的结构示意图,图2为图1中疲劳预警眼镜的爆炸结构示意图,图3为图1中疲劳预警眼镜中连接件和第一摄像组件的结构示意图,图4为图1中疲劳预警眼镜中眼镜组件的结构示意图,该疲劳预警眼镜包括支撑组件(图中未标识)、第一摄像组件10以及第二摄像组件20。

支撑组件包括固定组件30与眼镜组件40,固定组件30与眼镜组件40连接,固定组件30用于对眼镜组件40进行固定。

在一具体的实施例中,如图1所示,固定组件30包括第一固定件31、第二固定件32以及连接件33,第一固定件31与第二固定件32连接,第二固定件32与眼镜组件40连接,第一摄像组件10设置在第二固定件32上。具体地,第一固定件31可以为弹性箍环;第二固定件32的数量为两个,第二固定件32可以为耳挂,弹性箍环的左右两侧末端各固定连接有一个耳挂,两个耳挂中的一个耳挂上安装有连接件33,耳挂与连接件33可活动连接。

进一步地,如图3所示,连接件33包括槽架331、活动块332、第一连接杆(图中未标识)以及连接管333,槽架331设置于第二固定件32上,槽架331的形状可以为弧形,即弧形的槽架331固定连接在耳挂上。活动块332的一端与槽架331滑动连接,活动块332的另一端与第一连接杆的一端连接,第一连接杆的另一端与连接管333转动连接,即槽架331内部滑动连接有活动块332,活动块332上固定连接有第一连接杆,第一连接杆的末端转动连接有连接管333,连接管333的内部设置有内螺纹。

结合图3与图4,眼镜组件40包括镜架41、镜片42以及螺纹杆43,镜架41与镜片42可拆卸连接,即镜架41上固定安装有可拆卸式镜片42;镜架41靠近连接管333的一端固定设置有螺纹杆43,螺纹杆43与连接管333螺旋连接。

第一摄像组件10设置于支撑组件上,第一摄像组件10用于采集道路视频数据并发送至处理设备,该道路视频数据为位于配戴疲劳预警眼镜的人员前方的道路进行拍摄得到的视频数据。

在一具体的实施例中,如图3所示,第一摄像组件10包括连接块11、第二连接杆(图中未标识)以及第一摄像头12,连接块11固定设置于连接件33的底端,连接块11的内部设置有活动槽(图中未标识),该活动槽可以为球形活动槽;第二连接杆的一端设置于活动槽的内部,第二连接杆的另一端与第一摄像头12连接,即球形活动槽内活动连接有第二连接杆,第二连接杆的末端固定连接有第一摄像头12;第一摄像头12与驾驶者的视线平行,可以用于监测驾驶者的视线是否持续注视前方。

第二摄像组件20设置于支撑组件上,第二摄像组件20用于采集检测目标的眼睛视频数据并发送至处理设备;具体地,第二摄像组件20为第二摄像头,检测目标为佩戴疲劳预警眼镜的人员,比如:驾驶员;眼睛视频数据为采用第二摄像头对检测目标的眼睛进行拍摄生成的视频数据,即第二摄像头用来监测驾驶员的眼睛的开闭情况。可以理解地,为了不对驾驶员的视野范围进行遮挡,第二摄像头在竖直方向上的位置低于驾驶员的眼睛在竖直方向上的位置。

在一具体的实施例中,如图1所示,固定组件30还包括延长杆34,延长杆34与第一固定件31连接,且延长杆34远离第一固定件31的一端设置有第二摄像组件20,即延长杆34的一端与第二摄像组件20连接,延长杆34的另一端与第一固定件31的末端连接;进一步地,疲劳预警眼镜还包括收音麦克风50,延长杆34远离弹性箍环的一端固定连接有收音麦克风50,收音麦克风50靠内侧转动安装有第二摄像组件20,收音麦克风50能够收集周围环境中的声音信号,并传输给处理设备,以进行分析处理,来判断检测目标是否需要帮助,比如:在发生交通事故时,驾驶员可通过收音麦克风50来描述当前状况,以便处理设备判定是否需要报警或其他救援。

处理设备(图中未示出)与第一摄像组件10以及第二摄像组件20进行通信连接,处理设备用于接收第一摄像组件10发送的道路视频数据以及第二摄像组件20发送的眼睛视频数据,对道路视频数据与眼睛视频数据进行处理,得到处理结果。

进一步地,疲劳预警眼镜还包括处理设备,且该处理设备固定于支撑组件上,即处理设备属于疲劳预警眼镜的一个组成部件;或者处理设备为独立于疲劳预警眼镜的外部设备,疲劳预警眼镜还包括通信组件(图中未示出),该通信组件与处理设备进行通信连接,以将道路视频数据以及眼睛视频数据传输至外部设备,该外部设备与第一摄像组件10以及第二摄像组件20进行无线通信,外部设备可以为计算机或移动终端等具备信息处理能力的设备。

在一具体的实施例中,如图4所示,疲劳预警眼镜还包括预警组件44,预警组件44固定设置于支撑组件上;具体地,镜架41的内侧壁上固定设置有预警组件44,且预警组件44设置在驾驶者的太阳穴附近。

处理结果包括检测目标的疲劳程度,道路视频数据与眼睛视频数据被处理设备处理,得到疲劳程度,在疲劳程度满足预警条件时,预警组件44进行疲劳预警;具体地,处理结果还包括触发信号,预警条件包括疲劳程度是否大于预设疲劳阈值,处理设备将疲劳程度与预设疲劳阈值进行比较,在疲劳程度大于预设疲劳阈值时,确定满足预警条件,处理设备生成触发信号,并将触发信号发送至预警组件44,以使得预警组件44进行疲劳预警。

进一步地,预警组件44在接收到触发信号后,震动和/或产生电流以提醒检测目标;可以理解地,预警组件44产生的电流为对人体安全的微电流,预警的方式包括但不限制于:震动、发出声响或生成电流。

本实施例提供了一种防止疲劳驾驶的眼镜,在耳挂一侧设计有实时监控的第一摄像头,将该第一摄像头采集的道路视频数据作为判断驾驶者的疲劳程度的依据之一,同时也可当做行车记录仪使用;除此之外,还通过延长杆安装有监测眼动情况的第二摄像头,第二摄像头安装在驾驶者的视线下方,不会影响驾驶者的正常视线,通过将第二摄像头调节至朝向驾驶者眼部的角度,可以直接记录驾驶者的眼动情况,为后续计算疲劳程度提供了便利;而且,在眼镜的本体上还安装有预警组件,预警组件的位置靠近驾驶者的太阳穴,既可以发出震动提醒,也可以产生微电流刺激驾驶者的皮肤来提醒,能够对驾驶者起到更好的提示警醒作用,降低因疲劳驾驶导致发生交通事故的几率,提升驾驶的安全性。

请参阅图5,图5是本申请提供的疲劳预警方法一实施例的流程示意图,该方法应用于上述实施例中的处理设备,该方法包括:

步骤51:获取道路视频数据与检测目标的眼睛视频数据。

为了实现对驾驶员进行提醒的目的,驾驶员正确佩戴防止疲劳驾驶的眼镜,并可手动调节第一摄像头和第二摄像头的姿态,保证第一摄像头可监测到路面行驶画面,同时保证第二摄像头可准确记录到佩戴者的眼动情况。进一步地,在调节第一摄像头和第二摄像头的姿态时,将第一摄像头调节至与驾驶者的视线平行,第一摄像头采集的为行驶过程中路面的实时视频;将第二摄像头调节至可直接记录驾驶者眼部变化的角度,且不会影响驾驶者的视线。

在一具体的实施例中,疲劳预警眼镜上可设置一启动按钮,驾驶员可通过按压该启动按钮,使得第一摄像头与第二摄像头进行拍摄,分别生成道路视频数据与眼睛视频数据;处理设备可接收第一摄像头发送的道路视频数据以及第二摄像头发送的眼睛视频数据;或者处理设备主动从道路视频数据与眼睛视频数据的存储设备中读取。

在其他实施例中,还可对第一摄像头和第二摄像头采集到视频画面进行预处理(比如:滤波、增强或尺寸调整),保证采集到的视频数据的有效性。

步骤52:对道路视频数据与眼睛视频数据进行处理,得到检测目标的疲劳程度。

采用以下步骤来获取疲劳程度:

(1)采用第一机器学习模型对道路视频数据进行处理,得到第一疲劳值。

第一机器学习模型可以为卷积神经网络,对于第一摄像头拍摄到的道路视频数据的预处理结果,通过卷积神经网络对其进行特征提取处理,提取道路视频数据中道路行驶画面的特征数据,以判断驾驶过程中驾驶者是否保持注视前方行驶;例如,可通过该卷积神经网络分析是否存在交通违规行为或道路画面的占比是否较大。

(2)采用第二机器学习模型对眼睛视频数据进行处理,得到特征信息;基于特征信息,计算第二疲劳值。

第二机器学习模型可以为卷积神经网络,对于第二摄像头拍摄到的眼睛视频数据的预处理结果,可先进行粗定位,得到眼动特征数据,即找到眼睛视频数据中眼睛所在的位置;再通过卷积神经网络对眼动特征数据进行处理,计算人眼的眼睑开度,生成特征信息,即特征信息包括眼睛视频数据中每帧图像对应的眼睑开度,该眼睑开度为上脸眼与下脸眼之间的距离。

进一步地,第二疲劳值为闭眼率,特征信息包括检测目标的眼睑开度,对眼睑开度大于预设眼睑开度阈值的时长进行统计,得到闭眼时间;将闭眼时间与预设分析时间相除,得到闭眼率。例如,设置一统计帧数,统计帧数的初始值为0,以某个时刻为统计开始时间,判断每帧图像对应的眼睑开度是否大于预设眼睑开度阈值,若该眼睑开度大于预设眼睑开度阈值,则将统计帧数加一,在到达统计结束时间(即经过预设分析时间的时间间隔)后,将统计帧数换算成时间值,即可得到闭眼时间。

在一具体的实施例中,可选取驾驶员在清醒状态下前10次完整的眨眼周期,分别提取每个眨眼周期中眼睑开度的最大值和最小值;然后计算眼睑开度最大值的平均值和眼睑开度最小值的平均值,预设眼睑开度阈值的定义如下所示:

其中,ET为预设眼睑开度阈值,为眼睑开度最大值的平均值,为眼睑开度最小值的平均值。

假设预设分析时间记作T,在预设分析时间内眼睑开度小于预设眼睑开度阈值的总时间为t,则闭眼率的计算公式为:

其中,PERCLOS为闭眼率。

人平均每分钟眨眼10~20次,正常的眨眼时间为0.2~0.3s,正常情况下闭眼率落在[3.3%,10%]之间,当某个一分钟内人眨眼的总时间达到0.5~3s,即可视为人处于疲劳状态。

(3)基于第一疲劳值与第二疲劳值,确定疲劳程度。

结合第一疲劳值与第二疲劳值,对驾驶者的疲劳状态进行判定;具体地,第一疲劳值为预设分析时间内道路视频数据中道路画面的占比,可判断占比是否大于预设占比阈值;若该占比小于/等于预设占比阈值,则疲劳程度为第二疲劳值;若该占比大于预设占比阈值,则对第一疲劳值与第二疲劳值进行加权求和,得到疲劳程度。本实施例通过第一摄像头所记录数据中道路画面所占比例以及第二摄像头所记录数据中眼睛的闭眼率,来判定驾驶员的疲劳程度,提升了疲劳检测的准确度。

步骤53:在疲劳程度满足预警条件时,生成处理结果并发送至疲劳预警眼镜中的预警组件,以使得预警组件进行疲劳预警。

判断疲劳程度是否大于预设疲劳阈值,若疲劳程度大于预设疲劳阈值,则表明疲劳程度满足预警条件,即驾驶者处于疲劳状态,此时预警组件发出震动和/或释放微电流刺激驾驶者皮肤,以起到提示警醒作用。

在其他实施例中,还可采用其他方式来判断当前是否满足预警条件,例如,疲劳程度包括第一疲劳值与第二疲劳值,判断第一疲劳值是否小于预设占比阈值或第二疲劳值是否大于预设闭眼率,预设闭眼率为根据经验设置的值;若第一疲劳值小于预设占比阈值或第二疲劳值大于预设闭眼率,则确定满足预警条件,判定驾驶员疲劳驾驶、危险驾驶;比如:当驾驶者的闭眼率大于15%时,便判定其处于疲劳驾驶状态。进一步地,可以设置不同的预警等级,比如:当第一疲劳值小于预设占比阈值或第二疲劳值大于预设疲劳阈值时,用第一预警等级进行提醒;当第一疲劳值小于预设占比阈值且第二疲劳值大于预设疲劳阈值时,用第二预警等级进行提醒,第二预警等级的提醒强度大于第一预警等级的提醒强度,该提醒强度可以为震动强度、电流大小或声音大小。

本实施例提出了与防止疲劳驾驶的眼镜相匹配的防止疲劳驾驶的方法,该方法结合第一摄像头和第二摄像头所采集数据的处理结果,二者相辅相成,作为驾驶者疲劳程度的判定标准;将第一摄像头摄录画面中道路画面所占比例作为判定依据,若道路画面的占比小于预设占比阈值,则可判定为疲劳驾驶、危险驾驶;此外,将利用第二摄像头记录的数据计算出的闭眼率作为主要判定指标,在行驶过程中,若驾驶者的闭眼率大于预设闭眼率,就可判定其处于疲劳驾驶状态。而且在使用过程中,当利用第一摄像头和第二摄像头中的任一数据判定驾驶员处于疲劳驾驶状态时,均通过预警组件进行提醒,若二者的判定结果均为疲劳驾驶状态,则提供更为强烈的提示和警醒,通过设置不同等级的提醒方式,达到对驾驶员进行提醒的目的,以提升驾驶的安全性。

请参阅图6,图6是本申请提供的疲劳预警眼镜另一实施例的结构示意图,疲劳预警眼镜60包括互相连接的存储器61和处理设备62,其中,存储器61用于存储计算机程序,计算机程序在被处理设备62执行时,用于实现上述实施例中的疲劳预警方法。

请参阅图7,图7是本申请提供的疲劳预警系统一实施例的结构示意图,疲劳预警系统70包括互相连接的疲劳预警眼镜71与处理设备72,疲劳预警眼镜71用于采集道路视频数据与检测目标的眼睛视频数据,处理设备72用于接收道路视频数据与眼睛视频数据,处理设备72用于实现上述实施例中的疲劳预警方法。

请参阅图8,图8是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质80用于存储计算机程序81,计算机程序81在被处理设备执行时,用于实现上述实施例中的疲劳预警方法。

计算机可读存储介质80可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上,本申请提供了一种防止疲劳驾驶的眼镜及其实现方法,通过第一摄像头和第二摄像头的配合使用,可以对驾驶者的状态起到更好的监控效果;同时设计有预警组件,可以对驾驶者起到更好的警示提醒作用;而且本申请提出的防止疲劳驾驶的实现方法与本申请所采用的眼镜相结合,将道路画面所占比例以及驾驶者的闭眼率相结合,以作为疲劳程度的判定依据,更好的保证疲劳程度判定的准确性,且眼镜安装比较简单,解决了相关技术中设备安装繁琐、便携性差以及使用过程中易受到头部姿态或自然光干扰等问题。

以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种滑坡自动监测设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!