Design of Music Learning Assistant Based on Music and Score Recognition

Abstract

악기 연주를 마스터하는 과정에서 연습은 가장 중요한 단계이다. 이 단계에서, 미숙한 학습 초보자들에게는 어려움이 있을 수 있다. 예를 들어, 학습자는 음정과 박자를 정확하게 잡을 수 있도록 노력해야 하기 때문이다. 이러한 문제를 해결하기 위해 다음과 같은 특징을 갖는 음악학습 보조기를 디자인 하였다.

그 체계의 두가지 주요한 업무에는 음악 점수 인식과 음악 전사가 있다. 음악 점수 인식 업무에서는 분절된 음악 기호 이미지로부터 HOG의 특징들을 추출하게 된다. 기호들을 인식하기 위하여 이 시스템은 SVM 분류자를 만들어내고, 피아노 초보자 음악 점수를 고려하게 되면 분류자의 평균 성적의 정확도는 96.02%로 나타나게 된다.

음악 전사 작업에서 제안된 방법으로는 박자를 추적하기 위한 음악의 파형의 채도 이미지를 사용하는 것이다. 채도 이미지는 소리의 신호를 어떠한 옥타브 형태의12 단계의 반음들로 분류하기 위하여 유용한 음악적 정보를 획득할 수 있다. 그러한 특징들의 집합을 고려해보면 HMM모델은 Baum-Welch 방법을 사용하여 고안되었다. 그리고 안내 시스템은 실시간으로 현재 상태를 추정하기 위하여 단기간의 연속된 채도 이미지에서 Viterbi 알고리즘을 운영한다. 그 결과는 음악 점수의 측정 결과와 비교되기도 한다. 그러므로, 실시간 박자 추적과 점수 측정은 가능해지게 되며 음악적인 보조 시스템이 실현 가능해질 수 있다.

In the journey of mastering musical instruments, practice is the most important step. In this phase, an unskilled beginning learner might be having difficulties. For example, they struggles to play the musical notes and catch the tempo accurately. Practicing musical instruments could be more effective if there is a music learning assistant that listens and gives feedback to the learner. To solve this problem, this paper proposes a design of music learning assistant that follows music scores while listening to the performance.

There are two main tasks of the system, music score recognition and music transcription. In the music score recognition task, the proposed method extract the histogram of oriented gradients (HOG) features from segmented music symbols image. In order to recognize the symbols, the system employ Support Vector Machine (SVM) Classifier. Given beginner piano music score, the classifier average performance accuracy is 96,02 %.

In music transcription task, the proposed method uses chroma features of the waveform music to track the pitches. Chroma features captures musical info useful for classifying the audio signal into 12 semitones of any octave. Given a collection of such features, a Continuous Hidden Markov Model (HMM) has been designed using the Baum-Welch method. The guiding system runs Viterbi algorithm on short term sequence of chroma features to estimate the current note in real time. The result is compared to the reading of the music score. Realtime pitch tracking and score reading is possible and musical assistance is feasible.