阅读说明：本技术 一种婴幼儿听力筛查方法及装置 (Infant hearing screening method and device ) 是由 吴君昊 郑芸 刘昊天 向飞 李群 刘伟明 史钊 于 2021-06-25 设计创作，主要内容包括：本发明公开了一种婴幼儿听力筛查方法,包括使用摄像机对婴幼儿面部区域进行摄像；判断筛查视频中是否出现刺激音频；获取出现刺激音频的时间信息；截取出现刺激音频后的检测视频段；分析婴幼儿面部图像集合中的婴幼儿面部表情特征；判断婴幼儿面部图像集合中任意两个图像所对应的婴幼儿面部表情特征的变化值是否超过阈值；并根据变化值输出分析结果。本发明在筛查过程中是对婴幼儿的活动进行视频录制,通过对录制的视频进行分析,获取刺激音频发出后的检测视频段,截取检测视频段中的每帧图像,通过对比任意两个图像的面部表情特征变化值是否超过阈值作为筛查分析的参考数据,能够准确的对婴幼儿进行听力筛查。(The invention discloses a hearing screening method for infants, which comprises the steps of shooting a facial area of an infant by using a camera; judging whether stimulating audio frequency appears in the screening video; acquiring time information of the occurrence of the stimulation audio; intercepting a detection video segment after the stimulus audio appears; analyzing facial expression characteristics of the infants in the infant facial image set; judging whether the change values of the facial expression features of the infants corresponding to any two images in the infant facial image set exceed a threshold value or not; and outputting an analysis result according to the change value. The method comprises the steps of recording videos of activities of infants in a screening process, analyzing the recorded videos, obtaining a detection video segment after a stimulation audio is sent out, intercepting each frame of image in the detection video segment, and comparing whether the facial expression characteristic change values of any two images exceed a threshold value to serve as reference data for screening analysis, so that the audios of the infants can be screened accurately.)

一种婴幼儿听力筛查方法及装置

技术领域

本发明涉及医学检测

技术领域

，具体涉及到一种婴幼儿听力筛查方法及装置。

背景技术

听力筛查是婴幼儿在安静的状态下进行的客观、快速和无创的检查。国内外报道表明，正常新生儿和高危因素新生儿听力损失发病率的差异较大，正常新生儿约为1%o～3‰，高危因素新生儿约为2%～4%。

听力损失如不能被及时发现，不但影响儿童(言语和认知发育、教育、就业、婚育)及家庭(沟通障碍、心理、经济负担)，而且还会成为社会沉重的负担，影响社会经济发展。现代科学技术已经可以对新生儿及婴幼儿进行早期听力检测和诊断，如能对明确诊断为永久性听力损失的婴幼儿在出生6个月内进行科学干预和康复训练，绝大多数可以回归主流社会。

目前，听力筛查主要采用声音刺激反应，以了解听觉功能状态和诊断听觉系统；能够通过声音刺激所观察到的刺激反应，从而判断婴幼儿的听力损失成都、性质以及病变部位。

在临床听力检测中，对于无法主动配合完成行为测听的婴幼儿，采用声音刺激反应时往往需要借助图像处理技术，通过对图像中人脸部特征识别和分析，进而得出人是否在听到声音时产生了对应的反应。

例如，在专利CNCN112315463A；一种婴幼儿听力测试方法、装置及电子设备中，公开了一种测试方法，这种测试方法是通过播放刺激音频，然后拍摄婴幼儿听到声音前后的面部表情变化来进行判断分析。

然而，这种方法具有诸多缺陷：

1、从播放音频、婴幼儿听到音频后产生表情变化的时间是不固定的，测试结果依赖于拍照得到的图像，但是拍照的时机却难以把握，这对测试者的操作水平有非常高的要求，使得测试结果更容易因为人为因素产生误差。

2、婴幼儿在听到刺激音频后，不一定会有剧烈的反应，有可能只是部分面部或者表情发生变化，这些变化不容易被观察者捕获。

因此，上述专利中公开的方法是一种过于理想的状态，实际上非常容易产生人为误差，导致检测结果不准确。

发明内容

本发明的目的是提供一种婴幼儿听力筛查方法。

为达上述目的，本发明的一个实施例中提供了一种婴幼儿听力筛查方法，包括以下步骤：

步骤（1）将婴幼儿置于检测环境中，让其自由活动，在自由活动中发出刺激音频；同时使用摄像机对婴幼儿面部区域进行摄像，得到筛查视频；

步骤（2）调用筛查视频，判断筛查视频中是否出现刺激音频；

步骤（3）当筛查视频中出现刺激音频时，获取出现刺激音频的时间信息；根据时间信息，截取出现刺激音频后的检测视频段，检测视频段的时长为预设时长；

步骤（4）对检测视频段中的每帧图像进行采集并存储，形成婴幼儿面部图像集合，分析婴幼儿面部图像集合中的婴幼儿面部表情特征，并建立每个图像与面部表情特征的映射关系；

步骤（5）判断婴幼儿面部图像集合中任意两个图像所对应的婴幼儿面部表情特征的变化值是否超过阈值；并根据变化值输出分析结果。

本发明优选的方案中，步骤（1）中使用摄像机进行拍摄时，保持摄像机正对婴幼儿面部；在拍摄过程中每间隔预设时间发出刺激音频。

本发明优选的方案中，刺激音频是通过电子播放器在预设时间点进行播放发出的。

本发明优选的方案中，步骤（2）中判断筛查视频中是否出现刺激音频的方法为：

调取步骤（1）中的刺激音频，并对刺激音频进行音频分析，获取刺激音频的音频特征并存档；根据刺激音频的音频特征判断筛查视频中是否含有刺激音频的音频特征；当筛查视频中含有与刺激音频相同的音频特征时，则对筛查视频中对应时间信息进行标记。

本发明优选的方案中，步骤（5）中，当在同一检测视频段中任意两个图像所对应的婴幼儿面部表情特征的变化值超过阈值，则判断婴幼儿听到声音并作出相应反应；若未超过阈值，则判断婴幼儿未听见声音，未作出相应反应。

本发明的另一个目的是：基于上述婴幼儿听力筛查方法，本发明还公开了一种婴幼儿听力筛查装置，包括：

摄像装置；用于对婴幼儿面部进行视频录制以及同步采集现场音频；

摄像机转向装置；摄像装置安装在摄像机转向装置上，通过调解摄像角度使得摄像装置与婴幼儿面部保持正对方向；

音频播放器；用于在筛查现场播放刺激音频；

视频分析单元；视频分析单元包括音频对比模块、图像截取模块、面部表情特征识别模块、面部表情对比模块以及筛查结果输出模块。

本发明优选的，婴幼儿听力筛查装置，音频对比模块用于分析视频中是否含有刺激音频；

图像截取模块用于获取检测视频段中的每帧图像；

面部表情特征识别模块用于对图像进行分析，检测并获取婴幼儿面部表情的特征，并将图像和对应的面部表情特征进行关联；

面部表情对比模块用于对比任意两个图像所对应的面部表情特征的变化值是否超过阈值；

筛查结果输出模块用于根据对比结果输出筛查分析结果。

综上所述，本发明具有以下优点：

1、本发明在筛查过程中是对婴幼儿的活动进行视频录制，通过对录制的视频进行分析，以刺激音频为时间节点，获取刺激音频发出后的检测视频段，截取检测视频段中的每帧图像，每帧图像与其对应的面部表情特征进行关联，通过对比任意两个图像的面部表情特征变化值是否超过阈值作为筛查分析的参考数据，能够准确的对婴幼儿进行听力筛查。

2、本发明在筛查过程中，无需测试者判断拍照时机，系统能够自动化计算变化值与阈值的大小关系，进而能够获得更高的准确率。

3、本发明通过截取检测视频段，使得检测对象是以预设时长的检测视频段为单元，避免以整个筛查视频为图像或者面部特征识别作为对比数据，大大降低了运算量，进而能够进行快速检测。

附图说明

图1为本发明婴幼儿听力筛查方法的原理框图。

具体实施方式

本发明提供了一种婴幼儿听力筛查方法，包括以下步骤：

步骤（1）将婴幼儿置于检测环境中，让其自由活动，在自由活动中发出刺激音频；同时使用摄像机对婴幼儿面部区域进行摄像，得到筛查视频。

婴幼儿在检测时应该尽量保持安静状态，这样有利于婴幼儿接收到刺激音频，减少操作误差。在摄像过程中，婴幼儿难免会转动头部等行为，因此摄像机可以配置一个摄像机转向装置等辅助配套设备，便于正对着婴幼儿进行拍摄，便于拍摄得到的图像中能够采集到更多的面部表情特征。

步骤（1）中使用摄像机进行拍摄时，保持摄像机正对婴幼儿面部；在拍摄过程中每间隔预设时间发出刺激音频。

步骤（2）调用筛查视频，判断筛查视频中是否出现刺激音频。

刺激音频时在步骤（1）中进行播放的，在拍摄完毕后需要对视频进行分析，视频中本身是包括了音频信息的，但是视频中的音频信息有可能含有其他音频，例如婴幼儿的发声、环境声音。但是刺激音频可以是预先准备的，其刺激音频的频段和音频特征是能够预先得知的，因而在进行音频分析时能够很容易的得知哪些音频属于刺激音频。当视频中出现刺激音频时，则表示当前时间点播放了刺激音频，接下来婴幼儿将会接收道刺激音频并作出反应，因此本发明的检测视频段是在刺激音频播放后的某一个时间段内录制的视频。刺激音频是通过电子播放器在预设时间点进行播放发出的。

步骤（2）中判断筛查视频中是否出现刺激音频的方法为：

调取步骤（1）中的刺激音频，并对刺激音频进行音频分析，获取刺激音频的音频特征并存档；根据刺激音频的音频特征判断筛查视频中是否含有刺激音频的音频特征；当筛查视频中含有与刺激音频相同的音频特征时，则对筛查视频中对应时间信息进行标记。

步骤（3）当筛查视频中出现刺激音频时，获取出现刺激音频的时间信息；根据时间信息，截取出现刺激音频后的检测视频段，检测视频段的时长为预设时长。

通过截取的检测视频段，并对这个检测视频段进行分析，进而能够得知在刺激音频播出后，婴幼儿是否具有对应的反应，检测视频段的预设时长可以为3s-5s；超过预设时间，即便婴幼儿有较大的反应或者面部特征变化较大，也不能够说明其是因为听到刺激音频产生的反应。

步骤（4）对检测视频段中的每帧图像进行采集并存储，形成婴幼儿面部图像集合，分析婴幼儿面部图像集合中的婴幼儿面部表情特征，并建立每个图像与面部表情特征的映射关系。每帧图像经过分析后均具有对应的婴幼儿面部表情特征参数。

步骤（5）判断婴幼儿面部图像集合中任意两个图像所对应的婴幼儿面部表情特征的变化值是否超过阈值；并根据变化值输出分析结果。

步骤（5）中，当在同一检测视频段中任意两个图像所对应的婴幼儿面部表情特征的变化值超过阈值，则判断婴幼儿听到声音并作出相应反应；若未超过阈值，则判断婴幼儿未听见声音，未作出相应反应。

本发明基于上述婴幼儿听力筛查方法，还公开了一种婴幼儿听力筛查装置，包括：

摄像装置；用于对婴幼儿面部进行视频录制以及同步采集现场音频；

摄像机转向装置；摄像装置安装在摄像机转向装置上，通过调解摄像角度使得摄像装置与婴幼儿面部保持正对方向；

音频播放器；用于在筛查现场播放刺激音频；

视频分析单元；视频分析单元包括音频对比模块、图像截取模块、面部表情特征识别模块、面部表情对比模块以及筛查结果输出模块。

其中，音频对比模块用于分析视频中是否含有刺激音频；

图像截取模块用于获取检测视频段中的每帧图像；

面部表情特征识别模块用于对图像进行分析，检测并获取婴幼儿面部表情的特征，并将图像和对应的面部表情特征进行关联；

面部表情对比模块用于对比任意两个图像所对应的面部表情特征的变化值是否超过阈值；

筛查结果输出模块用于根据对比结果输出筛查分析结果。

虽然结合附图对本发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。