阅读说明：本技术 一种用于带有步进天车娃娃机的随动方式手势控制方法及系统 (Follow-up gesture control method and system for doll with stepping crown block ) 是由 杜国铭 于美国 冯大志 于 2020-04-21 设计创作，主要内容包括：本发明提出一种用于带有步进天车娃娃机的随动方式手势控制方法及系统,所述方法包括如下步骤：步骤1、利用摄像头采集用户手势操作图像信息,通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别,从而得到手势坐标；步骤2、将手势坐标转换成步进天车空间坐标,更新当前手势状态；步骤3、与娃娃机系统进行通信,获取娃娃机状态以及通知娃娃机当前手势状态,从而完成娃娃机的控制操作；所述方法降低了玩家游戏操作难度并增加了手势控制娃娃机产品多样性。(The invention provides a follow-up gesture control method and a follow-up gesture control system for a doll with a stepping crown block, wherein the method comprises the following steps of: step 1, acquiring user gesture operation image information by using a camera, and performing gesture recognition on the acquired user gesture operation image information through a CNN convolutional neural network model to obtain a gesture coordinate; step 2, converting the gesture coordinates into stepping crown block space coordinates, and updating the current gesture state; step 3, communicating with the doll machine system to obtain the state of the doll machine and inform the doll machine of the current gesture state, thereby completing the control operation of the doll machine; the method reduces the difficulty of game operation of the player and increases the diversity of products of the gesture control doll machine.)

一种用于带有步进天车娃娃机的随动方式手势控制方法及 系统

技术领域

本发明属于手势识别控制技术领域，特别是涉及一种用于带有步进天车娃娃机的随动方式手势控制方法及系统。

背景技术

手势控制娃娃机技术多种多样，大部分技术基于深度摄像头进行开发，此技术比较成熟，但成本过高导致市场推广效果欠佳，部分手势控制基于单目摄像头开发，成本低，检测效果精准，但无论哪种技术手势控制娃娃机的控制方式都是基于原有机械摇杆方式进行控制，手势在空间中模拟机械摇杆来完成天车前后左右动作，这种操作方式部分玩家初次上手需要适应，初次体验时，体验效果欠佳。

现有娃娃机手势控制模块的控制方式是摇杆式手势控制方式，具有以下缺点：(1)整体操作流程具有一定复杂度；(2)需要寻找空间控制区域中心位置，即停止位置，否则无法确定前、后、左、右操作区域；(3)天车近距离位移，新手玩家不易操作，例如，“手势向左”然后切换“手势中间”两个步骤才能完成天车微调，对手势平移的速度和位置具有一定的要求。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种用于带有步进天车娃娃机的随动方式手势控制方法及系统。

本发明是通过以下技术方案实现的，本发明提出一种用于带有步进天车娃娃机的随动方式手势控制方法，所述步进天车能够按照坐标位置进行移动，所述方法包括如下步骤：

步骤1、利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

步骤2、将手势坐标转换成步进天车空间坐标，更新当前手势状态；

步骤3、与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

所述步骤2具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；

步骤2.4：更新当前手势状态；

步骤2.5：完成。

进一步地，所述有效的手势类型包括手掌张开、手掌闭合和握拳手势。

进一步地，所述步骤1具体为：

步骤1.1：单目摄像头采集图像；

步骤1.2：CNN卷积神经网络识别图像；

步骤1.3：识别结果是手掌张开，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是手掌闭合，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是握拳手势，则进入步骤1.4；

步骤1.4：判断握拳手势有效性，依据当前握拳手势坐标是否在上次识别到的手掌内部，如果在内部则握拳手势有效进入到步骤1.6，否则握拳手势无效进入步骤1.5；

步骤1.5：未检测到手势，手势坐标无效；

步骤1.6：识别任务结束。

进一步地，所述坐标防抖采用距离判定法，与上一帧手势坐标进行比较，规定距离阈值，大于阈值更新手势坐标，小于阈值使用上一帧手势坐标。

进一步地，所述步骤3具体为：

步骤3.1：等待娃娃机请求连接；

步骤3.2：连接成功进行回执执行步骤3.3，连接失败执行步骤3.1；

步骤3.3：等待娃娃机请求游戏开始指令；

步骤3.4：收到娃娃机游戏开始指令执行步骤3.5，未收到娃娃机游戏开始指令执行步骤3.3；

步骤3.5：等待接收娃娃机指令，指令是手势状态请求执行步骤3.6，指令是游戏结束执行步骤3.7

步骤3.6：将当前手势状态回复娃娃机；

步骤3.7：结束本次任务，并进行回执。

本发明还提出一种用于带有步进天车娃娃机的随动方式手势控制系统，所述步进天车能够按照坐标位置进行移动，所述系统包括手势识别模块、坐标转换模块和通信模块；

所述手势识别模块利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

所述坐标转换模块用于将手势坐标转换成步进天车空间坐标，更新当前手势状态；

所述通信模块用于与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

所述将手势坐标转换成步进天车空间坐标，更新当前手势状态，具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；

步骤2.4：更新当前手势状态；

步骤2.5：完成。

本发明带来的有益效果：

1、针对带有步进天车娃娃机进行定制化开发；

2、降低了玩家游戏操作难度；

3、增加了手势控制娃娃机产品多样性。

附图说明

图1为本发明所述的用于带有步进天车娃娃机的随动方式手势控制系统总体组成框图；

图2为手势识别的流程图；

图3为坐标转换流程图；

图4为图像操作区示意图；

图5为手势在图像操作区内的相对坐标示意图；

图6为通信流程图；

图7为手势控制娃娃机简略图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种用于带有步进天车娃娃机的随动方式手势控制方法，所述步进天车能够按照坐标位置进行移动，所述方法包括如下步骤：

步骤1、利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

结合图2，所述步骤1具体为：

步骤1.1：单目摄像头采集图像；

步骤1.2：CNN卷积神经网络识别图像；

步骤1.3：识别结果是手掌张开，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是手掌闭合，手势坐标有效，保存手势坐标并处理坐标防抖，进入步骤1.6；识别结果是握拳手势，则进入步骤1.4；

步骤1.4：判断握拳手势有效性，依据当前握拳手势坐标是否在上次识别到的手掌内部，如果在内部则握拳手势有效进入到步骤1.6，否则握拳手势无效进入步骤1.5；

步骤1.5：未检测到手势，手势坐标无效；

步骤1.6：识别任务结束。

所述坐标防抖采用距离判定法，与上一帧手势坐标进行比较，规定距离阈值，大于阈值更新手势坐标，小于阈值使用上一帧手势坐标。

步骤2、将手势坐标转换成步进天车空间坐标，更新当前手势状态；

结合图3，所述步骤2具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；所述有效的手势类型包括手掌张开、手掌闭合和握拳手势。

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如图4所示，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；如图5所示，图像操作区左上角为起始点0，横轴最大值100，纵轴最大值100，计算公式如下：

已知：图像宽W，图像高H，图像手势坐标px,py,无效区距离d。

求：手势在图像操作区内的相对坐标x,y。

解：x＝(px–d)/(W–2d)；

y＝(py–d)/(H–2d)；

步骤2.4：更新当前手势状态；

步骤2.5：完成。

步骤3、与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

结合图6，所述步骤3具体为：

步骤3.1：等待娃娃机请求连接；

步骤3.2：连接成功进行回执执行步骤3.3，连接失败执行步骤3.1；

步骤3.3：等待娃娃机请求游戏开始指令；

步骤3.4：收到娃娃机游戏开始指令执行步骤3.5，未收到娃娃机游戏开始指令执行步骤3.3；

步骤3.5：等待接收娃娃机指令，指令是手势状态请求执行步骤3.6，指令是游戏结束执行步骤3.7

步骤3.6：将当前手势状态回复娃娃机；

步骤3.7：结束本次任务，并进行回执。

结合图1，本发明还提出一种用于带有步进天车娃娃机的随动方式手势控制系统，所述步进天车能够按照坐标位置进行移动，所述系统包括手势识别模块、坐标转换模块和通信模块；

所述手势识别模块利用摄像头采集用户手势操作图像信息，通过CNN卷积神经网络模型对采集到的用户手势操作图像信息进行手势识别，从而得到手势坐标；

所述坐标转换模块用于将手势坐标转换成步进天车空间坐标，更新当前手势状态；

所述通信模块用于与娃娃机系统进行通信，获取娃娃机状态以及通知娃娃机当前手势状态，从而完成娃娃机的控制操作；

所述将手势坐标转换成步进天车空间坐标，更新当前手势状态，具体为：

步骤2.1：判断手势类型是否有效，有效则进行步骤2.2，无效则执行步骤2.4；

步骤2.2：判断手势坐标是否落在图像操作区，图像4个边缘向内偏移一定距离后形成的矩形区域定义为图像操作区，如果落在图像操作区则执行步骤2.3，否则执行步骤2.4；

步骤2.3：将图像手势坐标转换成步进天车空间坐标：手势中心定义为图像手势坐标，计算手势中心横轴与纵轴所在图像操作区的相对位置，从而得到手势在图像操作区内的相对坐标，即步进天车空间坐标；

步骤2.4：更新当前手势状态；

步骤2.5：完成。

下面以实施例说明本发明所述的方法及系统。

能够安装随动方式手势控制系统的娃娃机要求天车带有步进功能，天车能够按照相对坐标进行运动，主要控制逻辑由娃娃机主机系统进行控制，图7是随动方式手势控制娃娃机简略图。

实施安装调试步骤：

步骤1：安装手势控制系统摄像头组件，安装位置选取娃娃机正上方，向下照射；

步骤2：定义手势操作区，使用软件打开摄像头，图像大小调整到320X240，需要保证娃娃机天车移动区域左右端点与手势控制区域左右端点对应，A对应C，B对应D，摄像头采集图像略大于C点与D点，通过观察图像调整摄像头高度来满足要求；

步骤3：将手势坐标转换模块安装到娃娃机控制柜中，手势坐标转换模块串口线与娃娃机主板串口线相连接；

步骤4：将摄像头线连接到手势坐标转换模块上。

以上对本发明所提出的一种用于带有步进天车娃娃机的随动方式手势控制方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。