阅读说明：本技术 一种基于ar增强现实的乐器辅助学习系统及方法和装置 (Musical instrument auxiliary learning system, method and device based on AR augmented reality ) 是由 刘飞 刘任凭 于 2019-11-13 设计创作，主要内容包括：本发明公开了一种基于AR增强现实的乐器辅助学习系统,包括定位标识和AR识别模块。定位标识设置在乐器的特定位置,AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置,并能够以定位标识的设置位置为基点生成轮廓。此外AR识别模块能够获取用户弹奏乐器时的姿态和手势,并通过生成的轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。定位标识设置简单,不用对乐器进行改造,成本较低。还能够和乐器本身产生互动,让学习方式更为直观、高效。由于通过视觉增强现实方式实现,提示效果和方式灵活全面、影响更加深刻、学习效果更好。(The invention discloses an instrument auxiliary learning system based on AR augmented reality, which comprises a positioning identifier and an AR identification module. The positioning mark is arranged at a specific position of the musical instrument, and the AR recognition module can acquire the type and the model of the musical instrument and the setting position of the positioning mark from the positioning mark and can generate the outline by taking the setting position of the positioning mark as a base point. In addition, the AR recognition module can acquire the gesture and the gesture of the user when playing the musical instrument, and displays whether the gesture and the gesture of the user when playing the musical instrument are correct or not by displaying different colors through the generated contour. The positioning mark is simple to set, the musical instrument is not required to be modified, and the cost is low. And the device can interact with the musical instrument, so that the learning mode is more visual and efficient. Because the visual augmented reality mode is adopted, the prompting effect and the mode are flexible and comprehensive, the influence is more profound, and the learning effect is better.)

一种基于AR增强现实的乐器辅助学习系统及方法和装置

技术领域

本发明涉及AR领域，特别地，涉及一种基于AR增强现实的乐器辅助学习系统及方法和装置。

背景技术

现有的乐器学习和教学，无论用户自己学习还是线上一对一直播教学，缺乏学习或教学的内容素材和用户乐器本身产生互动，如老师的讲解的曲谱，琴键位置，和弦把位指法等只能单一的演示，无法明确弹奏的姿态和手势是否正确。

目前市场上有一种电路设计的蓝牙亮灯方式可以部分解决这类问题，通过电路板设计方式，对乐器进行改造，含有简单MCU控制单元、蓝牙传输装置，通过蓝牙和设备系统进行连接进行控制信息传输，但成本过高，需要充电，保养维护；而且蓝牙亮灯的方式只能通过简单的亮灯来表明弹奏是否正确，无法和乐器联系在一起，信息传递较为单一。

发明内容

为了克服现有技术的不足，本发明提供一种基于AR增强现实的成本较低，使用简单，能够判断乐器弹奏时的姿态和手势是否正确的乐器辅助学习系统及方法和装置。

本发明解决其技术问题所采用的技术方案是：

一方面，

一种基于AR增强现实的乐器辅助学习系统，包括：

定位标识，所述定位标识设置在乐器上，用于存储所述乐器的类型和型号信息以及所述定位标识在所述乐器上的位置信息；

AR识别模块，用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。

进一步地，所述定位标识为二维码标签。

进一步地，所述AR识别模块包括：

摄像头，用于获取乐器图像信息、定位标识以及用户的姿态和手势；

显示屏，用于显示用户弹奏乐器的视频，并在所述乐器上显示轮廓；

识别软件单元，用于识别所述定位标识，并根据所述定位标识在乐器上生成多个对应所述乐器不同弹奏位置的轮廓；并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。

进一步地，预弹奏信息接收模块，用于接收用户的预弹奏信息。

进一步地，录制模块，用于录制弹奏视频供用户观看并纠正错误。

另一方面，

一种基于AR增强现实的乐器辅助学习方法，包括以下步骤：

通过摄像头获取定位标识；

根据所述定位标识在显示屏上生成多个轮廓，每个所述轮廓与所述乐器上的一处弹奏位置对应；

获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

根据所述预弹奏信息判断所述姿态和手势是否正确；

根据判断结果显示不同颜色的轮廓。

进一步地，所述根据所述定位标识在显示屏上生成多个轮廓，每个所述轮廓与所述乐器上的一处弹奏位置对应包括：

根据所述定位标识确定所述乐器的类型和型号以及所述定位标识在所述乐器上的位置；

以所述定位标识在所述乐器上的位置为基点，根据所述乐器的类型和型号生成匹配所述乐器的轮廓并显示在显示屏上。

进一步地，所述根据所述预弹奏信息判断所述姿态和手势是否正确包括：

根据所述预弹奏信息获取正确的弹奏姿态和手势；

将所述正确的弹奏姿态和手势与所述姿态和手势进行对比获取判断结果。

进一步地，所述根据判断结果显示不同颜色的轮廓包括：

当弹奏姿态和手势正确时，轮廓显示绿色；

当弹奏姿态和手势不正确时，轮廓显示红色。

另一方面，

一种基于AR增强现实的乐器辅助学习装置，包括：

定位标识获取模块，用于通过摄像头获取定位标识；

轮廓生成模块，用于根据所述定位标识在显示屏上生成多个轮廓，每个所述轮廓与所述乐器上的一处弹奏位置对应；

预弹奏信息及姿态和手势获取模块，用于获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

判断模块，用于根据所述预弹奏信息判断所述姿态和手势是否正确；

结果显示模块，用于根据判断结果显示不同颜色的轮廓。

本申请采用以上技术方案，至少具备以下有益效果：

本发明技术方案公开了一种基于AR增强现实的乐器辅助学习系统，包括定位标识和AR识别模块。定位标识设置在乐器的特定位置，AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置，并能够根据定位标识内的乐器的类型和型号计算得到乐器的不同弹奏位置，并生成与不同弹奏位置一一对应的轮廓。定位标识设置简单，不用对乐器进行改造，成本较低。还能够和乐器本身产生互动，让学习方式更为直观、高效。由于通过视觉增强现实方式实现，提示效果和方式灵活全面、影响更加深刻、学习效果更好。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于AR增强现实的乐器辅助学习系统的结构示意图；

图2是本发明实施例提供的另一种基于AR增强现实的乐器辅助学习系统的结构示意图；

图3是本发明实施例提供的一种基于AR增强现实的乐器辅助学习方法流程图；

图4是本发明实施例提供的另一种基于AR增强现实的乐器辅助学习方法流程图；

图5是本发明实施例提供的一种基于AR增强现实的乐器辅助学习装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

参照图1，一种基于AR增强现实的乐器辅助学习系统，包括：

定位标识110，定位标识设置在乐器上，用于存储乐器的类型和型号信息以及定位标识在乐器上的位置信息；

AR识别模块120，AR识别模块，用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。

本发明实施例提供的一种基于AR增强现实的乐器辅助学习系统，包括定位标识和AR识别模块。定位标识设置在乐器的特定位置，AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置，并能够根据定位标识内的乐器的类型和型号计算得到乐器的不同弹奏位置，并生成与不同弹奏位置一一对应的轮廓。定位标识设置简单，不用对乐器进行改造，成本较低。还能够和乐器本身产生互动，让学习方式更为直观、高效。由于通过视觉增强现实方式实现，提示效果和方式灵活全面、影响更加深刻、学习效果更好。

作为对上述实施例的进一步改进说明，本发明实施例提供了另一种基于AR增强现实的乐器辅助学习系统，如图2所示，包括：

定位标识210，定位标识设置在乐器上，用于存储乐器的类型和型号信息以及定位标识在乐器上的位置信息；

作为本发明实施例中一种可选的实现方式，定位标识为二维码标签。在实际应用中，将二维码标签贴到确定的位置，通过摄像头获取二维码，将二维码内存储的位置信息以及乐器型号和类型解码。需要说明的是，二维码标签中还可以存储一些乐器的其他附件信息，如音质情况、维修记录等。

可以理解的是，二维码的设置位置可以任意设置，二维码内存储的位置信息与二维码标签设置的位置对应。

需要说明的是，定位标识不局限于二维码标签，还可以是某些图案标签，只需要建立一个数据库，将图案标签的图案与想要存储的信息对应即可。

AR识别模块220，用于获取用户的姿态和手势以及识别乐器的定位标识、生成轮廓，通过轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。

作为本发明实施例中一种可选的实现方式，AR识别模块包括：

摄像头221，用于获取乐器图像信息、定位标识以及用户的姿态和手势；

显示屏222，用于显示用户弹奏乐器的视频，并在乐器上显示轮廓；

识别软件单元223，用于识别定位标识，并根据定位标识在乐器上生成多个对应乐器不同弹奏位置的轮廓；并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。

一些可选实施例中，辅助学习系统还包括预弹奏信息接收模块230，用于接收用户的预弹奏信息。

一些可选实施例中，辅助学习系统还包括录制模块240，用于录制弹奏视频供用户观看并纠正错误。

在实际应用中，定位标识采用二维码标签，AR识别模块安装在手机或其他移动显示设备上，通过手机上的前置摄像头拍摄到用户弹奏的画面，摄像头采集到二维码标签时，解读存储的信息，以二维码标签的设置位置基点，生成轮廓。用户弹奏前输入预弹奏信息，所述预弹奏信息包括曲谱、图片或者文字等能够获取用户将要弹奏时的姿态和手势，系统生成正确的弹奏方式，当用户实际弹奏时，在手机或其他移动显示设备上显示弹奏的场景。通过轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。

需要说明的是，AR识别模块在获取到二维码标签内的乐器类别和型号后，以二维码标签内存储的位置信息为基点，计算出乐器的轮廓和操作区域，如琴弦、品格、钢琴按键等，并根据常用的使用习惯划分不同的位置操作区域，并为每个位置的操作区域生成轮廓。

本发明实施例提供的另一种基于AR增强现实的乐器辅助学习系统，通过二维码标签来存储信息并提供定位。摄像头用于获取图像。显示屏显示结果，识别软件单元用于识别定位标识，并根据定位标识在乐器上生成多个对应乐器不同弹奏位置的轮廓；并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。预弹奏信息接收模块用于接收弹奏的预弹奏信息。录制模块，用于录制弹奏视频供用户观看并纠正错误。显示结果方便，简单明了，成本低廉。

一个实施例中，本发明还提供了一种基于AR增强现实的乐器辅助学习方法，如图3所示，包括以下步骤：

通过摄像头获取定位标识；

根据定位标识在显示屏上生成多个轮廓，每个轮廓与乐器上的一处弹奏位置对应；

获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

根据预弹奏信息判断姿态和手势是否正确；

根据判断结果显示不同颜色的轮廓。

本发明实施例提供的一种基于AR增强现实的乐器辅助学习方法，通过摄像头获取定位标识，根据定位标识在显示屏上生成轮廓，通过弹奏时的轮廓的颜色表明弹奏时的姿态和手势的是否正确，简单明了，方便用户学习。

作为对上述实施例的一种补充说明，本发明实施例提供另一种基于AR增强现实的乐器辅助学习方法，如图4所示，包括以下步骤：

通过摄像头获取定位标识；

根据定位标识在显示屏上生成多个轮廓，每个轮廓与乐器上的一处弹奏位置对应；

一些可选实施例中，根据定位标识在显示屏上生成多个轮廓，每个轮廓与乐器上的一处弹奏位置对应包括：

根据定位标识确定乐器的类型和型号以及定位标识在乐器上的位置；

以定位标识在乐器上的位置为基点，根据乐器的类型和型号生成符合乐器的轮廓并显示在显示屏上。

获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

根据预弹奏信息判断姿态和手势是否正确，在实际应用中，根据预弹奏信息获取正确的弹奏姿态和手势；

将正确的弹奏姿态和手势与姿态和手势进行对比获取判断结果。

根据判断结果显示不同颜色的轮廓，当弹奏姿态和手势正确时，轮廓显示绿色；

当弹奏姿态和手势不正确时，轮廓显示红色。

应当理解的是，红色和绿色只是本发明实施例一种可选的实现方式，还可以选用其他颜色。在实际应用中，还可以使用颜色之外的方式来显示结果。示例性的，当弹奏姿态和手势正确时，轮廓显示变亮；当弹奏姿态和手势不正确时，轮廓变暗。

本发明实施例提供的另一种基于AR增强现实的乐器辅助学习方法，以定位标识为基点生成符合乐器的轮廓，不用在乐器上标注轮廓，直接生成，完全符合乐器形状，通过颜色来判断结果是否正确，方便准确。能够有效的辅助用户学习乐器。

一个实施例中，本发明还提供了一种基于AR增强现实的乐器辅助学习装置，如图5所示，包括：

定位标识获取模块51，用于通过摄像头获取定位标识；

轮廓生成模块52，用于根据定位标识在显示屏上生成多个轮廓，每个轮廓与乐器上的一处弹奏位置对应；

预弹奏信息及姿态和手势获取模块53，用于获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

判断模块54，用于根据预弹奏信息判断姿态和手势是否正确；

结果显示模块55，用于根据判断结果显示不同颜色的轮廓。

本发明实施例提供的一种基于AR增强现实的乐器辅助学习装置，定位标识获取模块通过摄像头获取定位标识；轮廓生成模块根据定位标识在显示屏上生成多个轮廓；预弹奏信息及姿态和手势获取模块，获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；判断模块根据预弹奏信息判断姿态和手势是否正确；结果显示模块根据判断结果显示不同颜色的轮廓，可以实现用户的姿态矫正，手势提醒，辅助用户进行乐器学习。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。