阅读说明：本技术 一种钢琴弹奏指法评判方法及系统、存储介质及终端 (A kind of piano playing fingering evaluation method and system, storage medium and terminal ) 是由 许楠 刘世超 燕斌 刘晓露 于 2019-07-19 设计创作，主要内容包括：本发明提供一种钢琴弹奏指法评判方法及系统、存储介质及终端,包括以下步骤：在钢琴曲弹奏过程中获取弹奏视频,并基于所述弹奏视频构建各个时间点的弹奏者手形三维数据；比对各个时间点的所述弹奏者手形三维数据和标准手形三维数据,生成评判结果。本发明的钢琴弹奏指法评判方法及系统、存储介质及终端相较于人工目测方式,能够基于三维数据实现钢琴弹奏指法的评判,准确度高,极大地提升了用户体验。(The present invention provides a kind of piano playing fingering evaluation method and system, storage medium and terminal, comprising the following steps: obtains during piano music is played and plays video, and based on the player's hand shape three-dimensional data for playing video building various time points；The player's hand shape three-dimensional data and standard hand shape three-dimensional data of various time points are compared, evaluation result is generated.Piano playing fingering evaluation method of the invention and system, storage medium and terminal can realize the judge of piano playing fingering, accuracy is high, and greatly the user experience is improved compared to artificial estimation mode based on three-dimensional data.)

一种钢琴弹奏指法评判方法及系统、存储介质及终端

技术领域

本发明涉及钢琴教学的技术领域，特别是涉及一种钢琴弹奏指法评判方法及系统、存储介质及终端。

背景技术

目前，钢琴教学主要采用面对面的授课方式，老师能够对每个学生的学习状态有一个直观的了解，并能够及时进行互动。但是，面对面的教学具有以下不足：

(1)学习时间、学习地点相对固定，灵活性差；

(2)需额外消耗路上时间，导致学习效率较低；

(3)场地成本较高，且限制了教育资源的均衡分布；

(4)老师和学生的交互仅限于授课过程，无法进行课后追溯。

线上教育是一种基于网络的学***的提高，它将使传统的教育发生巨大的变化。

钢琴弹奏指法是指弹奏钢琴时手指动作的原则和方法。在钢琴的在线教学过程中，钢琴弹奏指法通常由于角度问题无法得到充分的展现，导致无法清楚地获知当前的指法。因此，如何实现钢琴弹奏指法的评判成为当前的热点研究课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种钢琴弹奏指法评判方法及系统、存储介质及终端，能够基于三维重建图像实现钢琴弹奏指法的评判，准确度高，极大地提升了用户体验。

为实现上述目的及其他相关目的，本发明提供一种钢琴弹奏指法评判方法，包括以下步骤：在钢琴曲弹奏过程中获取弹奏视频，并基于所述弹奏视频构建各个时间点的弹奏者手形三维数据；比对各个时间点的所述弹奏者手形三维数据和标准手形三维数据，生成评判结果。

于本发明一实施例中，所述评判结果包括指法相似度指数、各个时间点的手指角度对比图、各个时间点的手指位置对比图中的一种或组合。

于本发明一实施例中，基于卷积神经网络构建所述弹奏者手形三维数据和所述标准手形三维数据。

于本发明一实施例中，还包括基于所述评判结果提供弹奏建议信息。

对应地，本发明提供一种钢琴弹奏指法评判系统，包括弹奏数据构建模块和评判模块；

所述弹奏图像构建模块用于在钢琴曲弹奏过程中获取弹奏视频，并基于所述弹奏视频构建各个时间点的弹奏者手形三维数据；

所述评判模块用于比对各个时间点的所述弹奏者手形三维数据和标准手形三维数据，生成评判结果。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的钢琴弹奏指法评判方法。

本发明提供一种终端，包括处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的钢琴弹奏指法评判方法。

本发明提供一种钢琴弹奏指法评判系统，包括上述的终端和视频采集模块；

所述视频采集模块用于采集弹奏视频，并发送至所述终端。

于本发明一实施例中，还包括数据库，用于提供标准手形三维数据。

于本发明一实施例中，所述视频采集模块采用摄像头，设置在钢琴上方。如上所述，本发明的钢琴弹奏指法评判方法及系统、存储介质及终端，具有以下有益效果：

(1)能够基于三维数据实现钢琴弹奏指法的评判，准确度高；

(2)能够基于评判结果提供相关建议，提升了指法学习效率；

(3)为指法练习提供了信息支持；

(4)智能化程度高，极大地提升了用户体验。

附图说明

图1显示为本发明的钢琴弹奏指法评判方法于一实施例中的流程图；

图2显示为本发明的钢琴弹奏指法评判系统于一实施例中的结构示意图；

图3显示为本发明的终端于一实施例中的结构示意图；

图4显示为本发明的钢琴弹奏指法评判系统于另一实施例中的结构示意图。

元件标号说明

21 弹奏图像构建模块

22 标准图像构建模块

23 评判模块

31 处理器

31 存储器

41 终端

42 视频采集模块

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本发明的钢琴弹奏指法评判方法及系统、存储介质及终端通过采集到的弹奏视频和对应的标准手形三维数据，基于三维数据重建的方式实现钢琴弹奏指法的三维评判，准确度高，为用户指法练习提供了信息支撑，极大地提升了用户体验。

如图1所示，于一实施例中，本发明的钢琴弹奏指法评判方法包括以下步骤：

步骤S1、在钢琴曲弹奏过程中获取弹奏视频，并基于所述弹奏视频构建各个时间点的弹奏者手形三维数据。

具体地，在钢琴曲弹奏的过程中，通过视频采集模块实时采集用户的弹奏视频，并通过3D渲染的方式得到各个时间点的弹奏者手形三维数据。其中，所述弹奏者手形三维数据中包含有钢琴弹奏过程中的指法相关图像。

于本发明一实施例中，基于卷积神经网络构建所述弹奏者手形三维数据。其中，通过训练数据集训练卷积神经网络，并采用训练好的卷积神经网络检测、跟踪弹奏指法，生成所述弹奏者手形三维数据。

步骤S2、比对各个时间点的所述弹奏者手形三维数据和标准手形三维数据，生成评判结果。

具体地，对于各个时间点，将对应的弹奏者手形三维数据和标准手形三维数据进行比对，从而评判弹奏指法是否标准。其中，所述评判结果包括指法相似度指数、各个时间点的手指角度对比图、各个时间点的手指位置对比图中的一种或组合。具体地，指法相似度指数是指在整个弹奏过程中，弹奏指法与标准指法的相似度参数。用户可以通过选择任一时间点，查看该时间点弹奏指法和标准指法的角度对比图和位置对比图，从而便于用户能够准确获知弹奏指法是否标准以及如何进行改进。

于本发明一实施例中，本发明的钢琴弹奏指法评判方法还包括基于所述评判结果提供弹奏建议信息。具体地，根据所述评判结果，可以提示用户哪些指法具有哪些问题，哪一部分需要加强练习，从而有针对性地提供钢琴弹奏指法的指导。

于本发明一实施例中，所述标准手形三维数据从服务器中获取。具体地，对标准指法视频进行3D渲染，得到各个时间点的标准手形三维数据。其中，所述标准手形三维数据中包含有钢琴弹奏过程中的标准指法相关图像。

于本发明一实施例中，基于卷积神经网络构建所述标准手形三维数据。其中，通过训练数据集训练卷积神经网络，并采用训练好的卷积神经网络检测、跟踪标准指法，生成所述标准手形三维数据。

如图2所示，于一实施例中，本发明的钢琴弹奏指法评判系统包括弹奏数据构建模块21、和评判模块22。

弹奏图像构建模块21用于在钢琴曲弹奏过程中获取弹奏视频，并基于所述弹奏视频构建各个时间点的弹奏者手形三维数据。

具体地，在钢琴曲弹奏的过程中，通过视频采集模块实时采集用户的弹奏视频，并通过3D渲染的方式得到各个时间点的弹奏者手形三维数据。其中，所述弹奏者手形三维数据中包含有钢琴弹奏过程中的指法相关图像。

于本发明一实施例中，基于卷积神经网络构建所述弹奏者手形三维数据。其中，通过训练数据集训练卷积神经网络，并采用训练好的卷积神经网络检测、跟踪弹奏指法，生成所述弹奏者手形三维数据。

评判模块22与弹奏数据构建模块21相连，用于比对各个时间点的所述弹奏者手形三维数据和标准手形三维数据，生成评判结果。

具体地，对于各个时间点，将对应的弹奏者手形三维数据和标准手形三维数据进行比对，从而评判弹奏指法是否标准。其中，所述评判结果包括指法相似度指数、各个时间点的手指角度对比图、各个时间点的手指位置对比图中的一种或组合。具体地，指法相似度指数是指在整个弹奏过程中，弹奏指法与标准指法的相似度参数。用户可以通过选择任一时间点，查看该时间点弹奏指法和标准指法的角度对比图和位置对比图，从而便于用户能够准确获知弹奏指法是否标准以及如何进行改进。

于本发明一实施例中，本发明的钢琴弹奏指法评判方法还包括基于所述评判结果提供弹奏建议信息。具体地，根据所述评判结果，可以提示用户哪些指法具有哪些问题，哪一部分需要加强练习，从而有针对性地提供钢琴弹奏指法的指导。

于本发明一实施例中，所述标准手形三维数据从服务器中获取。具体地，对标准指法视频进行3D渲染，得到各个时间点的标准手形三维数据。其中，所述标准手形三维数据中包含有钢琴弹奏过程中的标准指法相关图像。

于本发明一实施例中，基于卷积神经网络构建所述标准手形三维数据。其中，通过训练数据集训练卷积神经网络，并采用训练好的卷积神经网络检测、跟踪标准指法，生成所述标准手形三维数据。

于本发明一实施例中，本发明的钢琴弹奏指法评判系统还包括提示模块，用于基于所述评判结果提供弹奏建议信息。具体地，根据所述评判结果，可以提示用户哪些指法具有哪些问题，哪一部分需要加强练习，从而有针对性地提供钢琴弹奏指法的指导。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的钢琴弹奏指法评判方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图3所示，于一实施例中，本发明的终端包括处理器31及存储器32。

所述存储器32用于存储计算机程序。

优选地，所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述教学终端执行上述的钢琴弹奏指法评判方法。

优选地，所述处理器31可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图4所示，于一实施例中，本发明的钢琴弹奏指法评判系统包括上述的终端41和视频采集模块42。

所述视频采集模块42与所述终端41通信连接，用于采集弹奏视频，并发送至所述终端41。

于本发明一实施例中，本发明的钢琴弹奏指法评判系统还包括数据库，用于提供标准手形三维数据。所述数据库可以是本地数据库，也可以是云端数据库。

于本发明一实施例中，所述视频采集模块42采用摄像头，设置在钢琴上方，以采集弹奏视频。

综上所述，本发明的钢琴弹奏指法评判方法及系统、存储介质及终端能够基于三维数据实现钢琴弹奏指法的评判，准确度高；能够基于评判结果提供相关建议，提升了指法学习效率；为指法练习提供了信息支持；智能化程度高，极大地提升了用户体验。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。