실시간 장면 전환 검출을 위한 적응적 임계값과 가중치 설정에 관한 연구

Abstract

장면 전환 검출은 비디오 데이터의 장면 변화가 발생하는 경계를 검출하는 기술로써 효과적인 비디오 데이터 관리를 위한 기반 기술이다. 본 논문에서는 장면 전환 검출을 위한 다양한 특징 추출 방법과 임계값을 설정하는 방법, 계산량 감소를 위한 방법, 알고리즘의 성능 평가 방법과 여러 가지 문제점 등 기존의 연구들을 체계적으로 정리하였다. 본 논문에서는 기존에 해결되지 않았던 문제들 중에서 장면 변화가 발생하는 프레임의 특징을 정확하게 추출해 내는 특징 추출 척도와 다양한 영상에 대해서 적응적으로 사용될 수 있는 임계값 설정 방법, 그리고 고속 실시간 처리를 위한 알고리즘 개선과 실제 하드웨어 장치에서의 구현 등 세 가지 요소에 대한 문제 해결을 목표로 하여 연구를 진행하였다. 이를 위해서 세 가지의 장면 전환 검출 방법을 제안하였고 세부적으로는 정확한 프레임 특징 추출을 위한 척도인 가중치 분산, 가변 참조 구간의 평균 특징값을 이용한 적응적인 임계값 설정 방법, 자동적 임계값 가중치 결정을 통한 완전 자동적 장면 전환 검출 방법을 제안하였다. 최종적으로는 제안한 방법을 바탕으로 한 실시간 장면 전환 검출 모델을 제시하였다. 동일한 비디오 데이터를 이용한 9가지 실험을 통해서 제안한 방법이 기존의 방법들보다 정확하면서도 고속으로 처리되는 알고리즘임을 확인하였고, 상용 PMP에서 제안한 알고리즘의 구현 및 동작을 확인하였다. 제안한 장면 전환 검출 기술은 다양한 소프트웨어 및 하드웨어 플랫폼과 PMP나 휴대폰 같은 휴대용 장치에서의 고속 비디오 데이터 관리를 위해서 유용하게 사용될 것이다.

Shot change detection is a main technique for automatic temporal segmentation of video. In this paper, we survey conventional researches which include various measurement of feature extraction, threshold setting schemes, techniques of computation reduction, evaluation measurements of algorithms, and various problems. Conventional methods require still solutions of the following problems: exact frame feature extractor, adaptive threshold setting scheme, fast and real-time processing, and implementation on hardware device. To solve above problems, we propose three algorithms to detect shot change. Particularly, we propose the weighting variance to extract frames feature, adaptive threshold setting scheme using average of feature value on variable sliding window, and automatic decision technique of threshold weighting factor. Lastly, we present the real-time shot change detection model based on proposed algorithms. Our experiments obtained the detection rate of about 0.9783 in overall accuracy, demonstrating a higher detection rate and a computational amount less than the conventional algorithms. We verified the real-time operation of shot change detection by implementing our algorithm on the PMP of Homecast. The proposed algorithm will be helpful in searching video data on portable media players such as PMPs and cellular phones.