具体实施方式

为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。

本发明实施例提供了一种课室人员姿态判断方法。

图1为一实施方式的课室人员姿态判断方法流程图，如图1所示，一实施方式的课室人员姿态判断方法包括步骤S100至步骤S104：

S100，获取课室摄像机拍摄的各帧图像，并确定图像的课室人员位置信息；

其中，在视频教学的课室中设置有课室摄像机，课室摄像机用于拍摄课室内的画面，形成图像。根据拍摄的各帧图像，抓取相应的信息。在其中一个实施例中，通过抓取课室人员的头部图像，确定课室人员的身份。基于此，课室人员位置信息包括课室人员的位置信息包围框。作为一个较优的实施方式，课室人员位置信息包括课室人员头部的位置信息包围框。

在其中一个实施例中，图2为另一实施方式的课室人员姿态判断方法流程图，如图2所示，步骤S100中确定图像的课室人员位置信息的过程，包括步骤S200：

S200，根据轻量化人头检测算法确定图像的课室人员位置信息。

其中，通过训练得到能够在嵌入式环境下运行，适合应用在教室环境轻量级的人头检测算法进行课室人员位置信息确定。以图像为例，在教室的应用场景当中，具有明显特征且不易被遮挡的动态信息只有课室人员的头部。同时，对于检测目标起立/坐下的姿态变化这一任务而言，需要的是目标近乎实时的信息，故需要限制运算量。一般轻量化的检测算法通常不适用于检测较为复杂的目标，如：受遮挡的人体等，对于头部检测而言，从检测的准确率和运算量上看，轻量化的检测算法更适合。

S101，根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息；

其中，选取图像中连续的n帧作为第一连续帧，进行图像检测，确定课室人员位置信息以及对应的像素速度。在其中一个实施例中，课室人员位置信息以位置信息包围框形式确定，第一连续帧的像素速度包括位置信息包围框的像素速度。

在其中一个实施例中，如图2所示，步骤S101中根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息的过程，包括步骤S201：

S201，通过预设滤波方法对第一连续帧的课室人员位置信息和像素速度进行初始化，获得图像的课室人员初始运动信息。

通过预设滤波方法进行运动数据的初始化和算法内部参数的初始化，确定在第一连续帧下课室人员初始运动信息。在其中一个实施例中，预设滤波方法包括卡尔曼滤波。由于单独一帧的图像，很难保证将各课室人员都检测到。因此，通过第一连续帧防止课室人员的漏检测。同时，由于第一连续帧下教室场景是堆叠的，通过对第一连续帧的课室人员初始运动信息堆叠，可以构造出当前环境下所有课室人员在画面中的大致运动范围。

在其中一个实施例中，课室人员初始运动信息包括位置信息包围框。

S102，将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果；其中，第二连续帧为第一连续帧的在后连续帧；

以第一连续帧为第1帧到第n帧为例，第二连续帧从第n+1帧开始，将二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，判断课室人员位置信息的运动变化。

在其中一个实施例中，如图2所示，步骤S102中将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果的过程，包括步骤S202和步骤S203：

S202，比较第二连续帧中每一帧的课室人员位置信息的交并比与课室人员初始运动信息的交并比(IOU，Intersection over Union)，选取交并比最大的预设个数的课室人员位置信息作为候选课室人员位置信息；

其中，比较第二连续帧中每一帧的课室人员位置信息的交并比与课室人员初始运动信息的交并比，选取k个IOU最大的课室人员位置信息对应的位置信息包围框作为候选课室人员位置信息。

S203，将距离课室人员初始运动信息中心点最近的候选课室人员位置信息作为最新检测结果。

通过中心点最近邻的方式，从k个候选课室人员位置信息中选取距离课室人员初始运动信息中心点最近的的候选课室人员位置信息作为最新检测结果。

S103，对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置；其中，最新帧为第二连续帧的在后帧；

根据最新检测结果进行最新帧预测更新，确定最新帧的预测速度和预测位置。其中，以第一连续帧为第1-n帧，第二连续帧为第n+1-n+m帧为例，最新帧为第n+m+1帧。

在其中一个实施例中，预测速度包括水平方向的速度和垂直方向的速度。

同理，预测位置包括在水平方向的位置和垂直方向的位置。在图像中，水平方向可以表征为x方向，垂直方向可以表征为y方向。

在其中一个实施例中，如图2所示，步骤S103中对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置的过程，包括步骤S204：

S204，通过预设滤波方法对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置。

其中，预设滤波方法包括卡尔曼滤波在内的输入输出数据观测系统，对系统状态进行最优估计。

S104，根据预测速度和预测位置确定课室人员的姿态。

在确定最新帧的预测速度和预测位置后，根据预测速度和预测位置确定课室人员的动作变化，以确定姿态。在其中一个实施例中，如图2所示，步骤S104中根据预测速度和预测位置确定课室人员的姿态的过程，包括步骤S205：

S205，根据预设速度在垂直方向的大小以及预设位置的变化幅度判断课室人员在垂直方向的姿态。

其中，在预设速度在垂直方向的大小大于第一预设速度时，认为课室人员的姿态为起立或坐下。在其中一个实施例中，该预设速度在垂直方向的大小为垂直向上时，姿态判定为起立。该预设速度在垂直方向的大小为垂直向下时，姿态判定为坐下。

在其中一个实施例中，图3为又一实施方式的课室人员姿态判断方法流程图，如图3所示，步骤S104中根据预测速度和预测位置确定课室人员的姿态的过程，包括步骤S300：

S300，根据预设速度在垂直方向的大小、预设速度在水平方向的大小以及预设位置的变化频率判断课室人员的姿态。

其中，预设速度在垂直方向和水平方向均出现速度，且均大于第二预设速度时，若预设位置的变化频率大于预设频率，判定课室人员的姿态无法确定，姿态为随机运动。

其中，起立、坐下和随机运动均可用于指导相应教学直播策略或录播策略。

在其中一个实施例中，如图3所示，又一实施方式的课室人员姿态判断方法还包括步骤S301：

S301，在连续丢失的帧数大于预设帧数时，控制预设滤波方法进行二次处理，替换原预设滤波方法的处理结果。

在连续丢失大于预设帧数的帧数时，舍弃预设滤波方法的原始处理结果，进行二次处理，替换原预设滤波方法的处理结果。基于此，解决课室人员位置信息丢失或获取不到的问题。

在其中一个实施例中，如图3所示，又一实施方式的课室人员姿态判断方法还包括步骤S302：

S302，保留多帧最新帧以更新课室人员初始运动信息。

其中，步骤S302的在课室人员的姿态为随机运动时执行，进行课室人员初始运动信息更新，以保证课室人员初始运动信息能准确反映目标的实际位置。

在其中一个实施例中，图4为再一实施方式的课室人员姿态判断方法流程图，如图4所示，步骤S302中保留多帧最新帧以更新课室人员初始运动信息的过程，包括步骤S400：

S400，将课室人员位置信息与课室人员初始运动信息中心点的距离符合匹配要求的最新帧用于更新课室人员初始运动信息。

其中，课室人员位置信息与课室人员初始运动信息中心点的距离符合匹配要求即课室人员位置信息与课室人员初始运动信息中心点的距离小于预设距离阈值。

上述任一实施例的课室人员姿态判断方法，在获取到课室摄像机拍摄的各帧图像，并确定图像的课室人员位置信息后，根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息，并将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果。进一步地，对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置，并根据预测速度和预测位置确定课室人员的姿态。基于此，提供一种贴近课室使用场景的方法，准确判断课室人员的姿态变化，为如视频直播或视频录播等在内的控制提供判断基础。

本发明实施例还提供了一种课室人员姿态判断装置。

图5为一实施方式的课室人员姿态判断装置模块结构图，如图5所示，一实施方式的课室人员姿态判断装置包括模块100、模块101、模块102、模块103和模块104：

信息获取模块100，用于获取课室摄像机拍摄的各帧图像，并确定图像的课室人员位置信息；

初始确定模块101，用于根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息；

结果匹配模块102，用于将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果；其中，第二连续帧为第一连续帧的在后连续帧；

结果预测模块103，用于对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置；其中，最新帧为第二连续帧的在后帧；

姿态确定模块104，用于根据预测速度和预测位置确定课室人员的姿态。

上述的课室人员姿态判断装置，在获取到课室摄像机拍摄的各帧图像，并确定图像的课室人员位置信息后，根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息，并将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果。进一步地，对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置，并根据预测速度和预测位置确定课室人员的姿态。基于此，提供一种贴近课室使用场景的方法，准确判断课室人员的姿态变化，为如视频直播或视频录播等在内的控制提供判断基础。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的课室人员姿态判断方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种课室人员姿态判断方法。

该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种课室人员姿态判断方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

上述计算机设备，在获取到课室摄像机拍摄的各帧图像，并确定图像的课室人员位置信息后，根据各帧图像中的第一连续帧的课室人员位置信息和像素速度，确定图像的课室人员初始运动信息，并将第二连续帧中每一帧的课室人员位置信息与课室人员初始运动信息进行匹配，得到最新检测结果。进一步地，对最新检测结果进行最新帧预测更新，得到最新帧的预测速度和预测位置，并根据预测速度和预测位置确定课室人员的姿态。基于此，提供一种贴近课室使用场景的方法，准确判断课室人员的姿态变化，为如视频直播或视频录播等在内的控制提供判断基础。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。