一种基于音视频演奏示范的交互式乐谱展示方法及系统
阅读说明：本技术 一种基于音视频演奏示范的交互式乐谱展示方法及系统 (Interactive music score display method and system based on audio and video playing demonstration ) 是由 魏新元 方家文 何欣燕 黄民 于 2021-07-26 设计创作，主要内容包括：本发明公开了一种基于音视频演奏示范的交互式乐谱展示方法及系统,所述方法包括如下过程：将演奏示范文件中的音频和乐谱文件对齐；将对齐结果以光标的形式在乐谱相应的位置上显示出来；演奏示范文件中的音频和乐谱文件对齐的方法如下：获取演奏示范文件中的音频和乐谱文件；将音频文件和乐谱文件进行分帧并逐帧提取特征,逐帧计算每个乐谱帧和音频帧的特征相似度矩阵,取每帧信号与乐谱信号相似度最大值处的坐标值；输出音频和乐谱的对齐路径。本发明提升了用户的交互体验,提高音乐教学与欣赏的效果与便利性。(The invention discloses an interactive music score display method and system based on audio and video playing demonstration, wherein the method comprises the following steps: aligning the audio and score files in the performance demonstration file; displaying the alignment result on the corresponding position of the music score in a cursor form; the method of audio and score file alignment in a performance demonstration file is as follows: acquiring audio and music score files in a performance demonstration file; the audio file and the music score file are subjected to framing, the characteristics are extracted frame by frame, the characteristic similarity matrix of each music score frame and each audio frame is calculated frame by frame, and the coordinate value of the maximum value of the similarity of each frame of signal and the music score signal is taken; and outputting the aligned paths of the audio and the music score. The invention improves the interactive experience of the user and improves the effect and convenience of music teaching and appreciation.)
技术领域
本发明涉及乐谱交互展示技术领域，更具体地，涉及一种基于音视频演奏示范的交互式乐谱展示方法及系统。
背景技术
随着音乐教育的日益普及和互联网产业的日益发达，与音乐相关的音视频演奏/教学等素材越来越多，尤其是大师/音乐教师的演奏音视频示范极大地满足了广大音乐爱好者/学习者的视听/教学方面的需求。
在音乐教学或者欣赏的场景中，通常依赖于乐谱。而这些音视频示范中通常并不包含乐谱，在乐谱上进行标注、定位当前播放的示范在乐谱上的位置等常见操作仍需采用传统方式进行，同时在此基础上也无法支持变速、变调等操作，这是非常不便利的。
现有技术中，公开号为CN109377818A，中国发明专利于2019年2月22日公开了一种数字音乐教学系统的乐谱播放模块组件，所述乐谱播放模块组件包括曲谱播放单元、唱名播放单元、范唱、伴奏播放单元以及唱词播放单元。本发明提供一种新的数字音乐教学系统的乐谱播放模块组件，该数字音乐教学系统的乐谱播放模块组件提供多种播放模式，可以满足用户的需求，且不仅可以播放录制好的歌曲和伴奏，还能对编写的曲谱进行识别并自动合成播放，不仅满足教师的教学需要，还可以满足学生的使用需求；播放过程中模拟音乐键盘同时显示乐符在键盘上的位置，实现音符、歌词和虚拟键盘的一一映射。该方案实现的是乐谱的播放，没有实现变调、变速等交互功能。
发明内容
本发明为克服上述现有的乐谱展示无法实现用户的友好交互的缺陷，提供一种基于音视频演奏示范的交互式同步乐谱展示方法及系统。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种基于音视频演奏示范的交互式乐谱展示方法，包括如下过程：
1)将演奏示范文件中的音频和乐谱文件对齐；
2)将对齐结果以光标的形式在乐谱相应的位置上显示出来；
其中，演奏示范文件中的音频和乐谱文件对齐的方法如下：
11)获取演奏示范文件中的音频和乐谱文件；
12)将音频文件和乐谱文件进行分帧并逐帧提取特征，
13)逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；
14)输出音频和乐谱的对齐路径。
进一步地，还包括有对演奏示范文件的视频和乐谱进行变速、变调，包括如下过程：
3)对演奏示范文件的视频和乐谱进行变速、变调；
4)以光标的形式在乐谱相应的位置上显示出来。
对演奏示范文件的示范视频和乐谱进行变速方法如下：
31)根据演奏示范文件中视频的帧率和音频分帧时的帧长和帧跳计算出每个音频帧所对应的视频图像索引号，用于实现音画同步；
32)获取变速倍数，根据变速倍数生成变速后音频帧索引序列t'，利用变速后音频帧索引序列t'重建音频时域信号；
33)将重建后的音频与乐谱文件对齐得到变速后音频帧索引序列对应的乐谱帧索引序列s1；
34)根据变速后音频帧索引序列将其对应的图像播放出来，同时根据乐谱帧索引序列s1，将光标实时在乐谱的相应位置显示；
对演奏示范文件的示范视频和乐谱进行变调方法如下：
35)获取升降调的音分数；
36)将音分数转化成频率并通过分数形式表示；
37)将时域音频数据和分数形式的频率输入至相位声码器中变速后得到音频信号，根据分数形式频率的分子和分母对变速后的音频信号进行重采样，得到变调后的音频。
进一步地，根据变速倍数生成变速后音频帧索引序列t'具体步骤为：
输入音频的变速倍数a，原始音频帧序列t为0，1，2…,N，N为原始音频总帧数，经过变速a倍后，新的音频帧序列变为t'，其中t'为0，a，2a，3a…N；
利用变速后音频帧索引序列t'重建音频时域信号具体步骤为：
将音频帧索引序列t'中的任一元素m向下取整得到整数帧为n，小数部分α，则该帧介于原始音频的第n帧和n+1帧之间；
对音频帧索引序列t'中第m帧幅度谱重建得到：
Sm＝(1-α)Sn+αSn+1
对第m帧相位谱计算得到：
其中Sm和Pm分别第m个元素对应帧的幅度谱和相位谱，表示当前第m个元素对应的相位增量，Pt(n-1)表示第n-1帧对应的相位；
第m帧信号重建后的傅里叶变换Cm表示为：
Cm＝Sm*exp(i*Pm)
其中i为复数，Cm即为变速后音频索引序列t'中第m个元素，即第m帧所对应的频域信号，频域信号通过逆傅里叶变换后即可得到第m帧时域信号。
进一步地，音分数换算成频率的公式为：
其中，m表示音分数；
频率进行分数化表示的公式为：
其中分子和分母分别为a1和a2；
音频信号重采样的公式为：
sshift＝resample(spv,a1,a2)
其中，spv表示音频信号，sshift表示变调后的音频。
进一步地，还包括有将多个音视频示范文件进行合并的方法，包括如下过程：
5)将多个演奏示范文件进行合并；
6)以光标的形式在乐谱相应的位置上显示出来；
将多个演奏示范文件进行合并的方法包括如下步骤：
51)将每个演奏示范文件中音频对应的声部移到与总谱相同的音调上；
52)选择A方式或B方式进行声部合并：
其中，A方式：利用文件对齐模块将所有示范音频都与总谱进行对齐，根据对齐路径对所有演奏示范文件的音频进行变速，使所有演奏示范文件的速度都统一到与总谱相同，然后再将变速后的演奏示范文件进行合并；
B方式：选取其中一个演奏示范作为参考示范，首先将参考示范与总谱进行对齐操作，然后按照对齐路径来修改总谱，让总谱与参考示范的演奏相匹配，将修改后的总谱再分别与其他演奏示范进行对齐后，根据对齐路径对除参考示范外的所有演奏示范文件的音频进行变速，然后再将变速后的演奏示范文件进行合并。
本发明第二方面提供了一种基于音视频演奏示范的交互式乐谱展示系统，包括：
文件对齐模块、播放操作模块、演奏示范文件合成模块，所述文件对齐模块用于将演奏示范文件中的音频和乐谱路径对齐；
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
所述演奏示范文件合成模块用于将多个演奏示范文件进行合并。
进一步地，所述系统还包括有标注模块，所述标注模块用于乐谱的标注和插入多媒体文件。
进一步地，所述标注模块实现步骤为：
获取指令打开标注功能，首先在乐谱上选出要给出标注的音符、小节、乐句、段落，并计算索引范围，然后基于html5的多媒标签技术在所选中的乐谱索引范围内嵌入多媒体文件。
进一步地，乐谱中的标注同步上传至远程的服务器中，当其他用户请求当前乐谱时，当前乐谱带有的标注同步发送至用户。
进一步地，所述多媒体文件包括有：画图、文本、图片、音视频。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出的一种基于音视频演奏示范的交互式乐谱展示方法，通过演奏示范文件与乐谱文件的对齐、交互式的变调变速，多文件合成，提升了用户的交互体验，提高音乐教学与欣赏的效果与便利性。
附图说明
图1为本发明中演奏示范文件中的音频和乐谱文件对齐方法程图。
图2为本发明中对演奏示范文件的示范视频和乐谱进行变速方法流程图。
图3为本发明中对演奏示范文件的示范视频和乐谱进行变调方法流程图。
图4为本发明实施例第一种基于音视频演奏示范的交互式乐谱展示系统框图。
图5为本发明实施例第二种基于音视频演奏示范的交互式乐谱展示系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
一种基于音视频演奏示范的交互式乐谱展示方法，包括如下过程：
1)将演奏示范文件中的音频和乐谱文件对齐；
2)将对齐结果以光标的形式在乐谱相应的位置上显示出来；
需要说明的是，演奏示范文件中的音频和乐谱文件对齐，如图1所示，步骤为：
11)获取演奏示范文件中的音频和乐谱文件；
12)，将音频文件和乐谱文件进行分帧并逐帧提取特征；
13)，逐帧计算每个乐谱帧和音频帧的特征相似度矩阵，取每帧信号与乐谱信号相似度最大值处的坐标值；
14)，输出音频和乐谱的对齐路径。
需要说明的是，输出对齐路径即当前音频帧对应了乐谱上的具体的一帧。如果该对齐结果的误差较大，可以人为进行修正。最终结果以光标的形式实时显示在乐谱上。
需要说明的是，本发明中，所有乐谱和演奏示范文件中音视频播放位置相匹配的操作均由上述音频和乐谱对齐结果来实现，例如在演奏示范文件上拖动进度跳到某一位置，即可确定音频所在帧数，根据对齐结果可以找到该帧音频所对应的乐谱帧，进而以光标的形式在乐谱相应的位置上显示出来。反之亦然，即在乐谱上选定位置，演奏示范文件的进度条跳转到相应的位置进行播放。包括对已经变速或变调后的音视频示范进行上述操作。
本方案中，还包括有对演奏示范文件的视频和乐谱进行变速、变调，包括如下过程：
3)对演奏示范文件的视频和乐谱进行变速、变调；
4)以光标的形式在乐谱相应的位置上显示出来。
在本发明中，如图2所示，对演奏示范文件的示范视频和乐谱进行变速方法如下：：
31)，根据演奏示范文件中视频的帧率和音频分帧时的帧长和帧跳计算出每个音频帧所对应的视频图像索引号，用于实现音画同步；
32)，获取变速倍数，根据变速倍数生成变速后音频帧索引序列t'，利用变速后音频帧索引序列t'重建音频时域信号；
33)，将重建后的音频与乐谱文件对齐得到变速后音频帧索引序列对应的乐谱帧索引序列s1；
34)，根据变速后音频帧索引序列将其对应的图像播放出来，同时根据乐谱帧索引序列s1，将光标实时在乐谱的相应位置显示。
本发明中，根据变速倍数生成变速后音频帧索引序列t'具体步骤为：
输入音频的变速倍数a，原始音频帧序列t为0，1，2…,N，N为原始音频总帧数，为了方便可用0：1：N来表示，经过变速a倍后，新的音频帧序列变为t'，其中t'为0，a，2a，3a…N，为了方便可用0：a：N来表示；
例如，若当前音频总长度为N帧，则原音频所有音频帧索引的序列t是从1到N的整数，当播放速度变为原来2倍的时候，只需将音频帧索引t变为0，2，4…N即可，然后根据第一步的对齐路径选取音频帧索引所对应的乐谱帧索引序列s1；
本发明中利用变速后音频帧索引序列t'重建音频时域信号具体步骤为：
将音频帧索引序列t'中的任一元素m向下取整得到整数帧为n，小数部分α，则该帧介于原始音频的第n帧和n+1帧之间；
对音频帧索引序列t'中第m帧幅度谱重建得到：
Sm＝(1-α)Sn+αSn+1
对第m帧相位谱计算得到：
其中Sm和Pm分别第m个元素对应帧的幅度谱和相位谱，表示当前第m个元
素对应的相位增量，Pt(n-1)表示第n-1帧对应的相位；
第m帧信号重建后的傅里叶变换Cm表示为：
Cm＝Sm*exp(i*Pm)
其中i为复数，Cn即为变速后音频帧索引序列t'中第m个元素，即第m帧所对应的频域信号，频域信号通过逆傅里叶变换后即可得到第m帧时域信号。
进一步地，如图3所示，对演奏示范文件的示范视频和乐谱进行变调方法如下：
35)，获取升降调的音分数；
36)，将音分数转化成频率并通过分数形式表示；
音分数换算成频率的公式为：
其中，m表示音分数；
频率进行分数化表示的公式为：
其中分子和分母分别为a1和a2；
需要说明的是，本发明根据十二平均律将升降的音分数转换成频率。
37)，将时域音频数据和分数形式的频率输入至相位声码器中变速后得到音频信号，根据分数形式频率的分子和分母对变速后的音频信号进行重采样，得到变调后的音频。音频信号重采样的公式为：
sshift＝resample(spv,a1,a2)
其中，spv表示音频信号，sshift表示变调后的音频。
需要说明的是，变调后的音频音频sshift的长度和原始音频的长度基本相同，主要误差是将平移的频率f从小数转分数的时候引入。
在一个具体的实施例中，通过对音频进行变速、变调后，然后将变调处理后的音频与相应的乐谱进行对齐，从而变速后的音频实现了点击乐谱上的任意音符，演奏示范文件的音视频的进度条自动跳转到相应位置进行播放的功能，反之拖动演奏示范文件的视频进度条到某一位置，乐谱上的光标就立刻跳转到相应音符。
进一步地，还包括有将多个音视频示范文件进行合并的方法，包括如下过程：
5)将多个演奏示范文件进行合并；
6)以光标的形式在乐谱相应的位置上显示出来；
将多个演奏示范文件进行合并的方法包括如下步骤：
51)将每个演奏示范文件中音频对应的声部移到与总谱相同的音调上；所述总谱就是所有声部都合在一起的谱子，并且所有声部速度都是统一的；
52)选择A方式或B方式进行声部合并：
A方式：将所有示范音频都与总谱进行对齐后进行变速伸缩，将所有示范文件的速度都统一到与总谱相同，然后再进行合并；
B方式：选取其中一个演奏示范作为参考示范，首先将参考示范与总谱进行对齐操作，然后按照对齐路径来修改总谱，让总谱与参考示范的演奏相匹配，将修改后的总谱再分别与其他演奏示范进行对齐后，再进行变速伸缩，最后再将所有声部合并。
需要说明的是，所述的多个演奏示范文件进行合并也就是实现多个演奏示范文件对应的声部的合并，声部可以是不同的音调和任意自由的演奏速度，其中方式A虽然能将所有演奏示范文件整齐地合并到一起，但弊端就是没有了个人演奏的感情色彩，都是机械式的按乐谱统一的速度去播放，美感较差；方式B是合并后的音频将会按照参考示范中的节奏进行播放，而不是方式A中按照固定的节奏进行播放，将会更具美感。
图4示出了第一种基于音视频演奏示范的交互式乐谱展示系统框图。
本发明第二方面提供了一种基于音视频演奏示范的交互式乐谱展示系统，其特征在于，包括：
文件对齐模块、播放操作模块、演奏示范文件合成模块，所述文件对齐模块用于将演奏示范文件中的音频和乐谱路径对齐；
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
所述演奏示范文件合成模块用于将多个演奏示范文件进行合并。
图5示出了第二种基于音视频演奏示范的交互式乐谱展示系统框图。
所述系统还包括所述标注模块，所述标注模块用于乐谱的标注和插入多媒体文件；
所述标注模块实现步骤为：
获取指令打开标注功能，首先在乐谱上选出要给出标注的音符、小节、乐句、段落，并计算索引范围，然后基于html5的多媒标签技术在所选中的乐谱索引范围内嵌入多媒体文件。所述多媒体文件包括有：画图、文本、图片、音视频。
需要说明的是，在一个具体的实施例中可以在SVG(ScalableVectorGraphics)框架下进行乐谱的标注和展示操作，本发明中，所有在乐谱任意位置画图、在乐谱任意音符、小节、乐句、段落中插入画图、文本、图片、音视频等多媒体文件的操作均通过标注模块实现。
乐谱中的标注同步上传至远程的服务器中，当其他用户(例如同一个老师的学生)请求当前乐谱时，当前乐谱带有的标注同步发送至用户。
所述播放操作模块用于对演奏示范文件中的视频和乐谱进行交互式同步播放、变速、变调；
需要说明的是，所述交互式同步播放即点击乐谱上任意音符，视频进度条就跳到响应的位置播放；反之亦然，拖动视频进度条到某一位置，乐谱上的光标就立刻跳转到相应音符。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种通用型可调节钢琴谱架