Finger-pointing gesture analysis for slide presentation

Abstract

컴퓨터 비전은 인간과 컴퓨터의 상호작용을 더 편안하게, 편리하게, 자연스럽게 바꿀 수 있는 기술이다. 이를 활용하여 간단한 제스쳐나 가리키는 동작을 인식하는 기계를 통해, 우리는 스크린에 있는 물체를 손가락을 이용해 집거나 슬라이드를 앞뒤로 움직이는 일을 편리하게 할 수 있다. 이것으로 인해 포인팅 장비나 슬라이드를 제어하는 리모컨 등의 필요성은 사라지게 될 것이다. 이 논문은 슬라이드를 사용하는 발표자들이 보다 효과적인 구술 발표를 하기 위해 제스쳐나 손가락 동작 인식으로 향상된 컴퓨터와 슬라이드 조작의 상호작용을 제안한다. 제안된 방법은 다음과 같은 일련의 단계를 거친다. 첫 번째, 프로젝터 빔의 장명에서 손과 손가락을 검출한다. 두 번째, 검출된 결과에 따라 손과 가리키는 손가락의 궤도를 추정한다. 마지막 단계로 추정한 궤도 값을 응용 소프트웨어를 이용해 스크린 화면에 전송한다. 이 과정을 통해 슬라이드 제어는 프레젠테이션에서 슬라이드의 앞장과 뒷장을 넘길 수 있는 특징적인 시스템이 추가된다. 이러한 손으로 슬라이드를 조작하는 방법은 기존의 레이저 포인터를 이용하여 슬라이드를 제어하는 방법과 다르게 포인팅과 제스쳐를 통해 중요한 내용을 강조할 수 있고 더 효과적으로 보여줌으로써 시청자들의 시선을 사로잡을 수 있을 것이라 사려 된다.

Computer vision is a technology that will change human - computer interaction more comfortable, convenient and natural. For example, it will allow us to control machines using simple gestures and teacher will find it very convenient if they can use their pointing fingers to pick or direct attention to screen objects and move the slides back and forth. This will remove the need for a pointing device or a remote slide control. This thesis presents a finger pointing and gesture recognition system designed to help teachers and slide-based speakers for an effective oral presentation with a natural improved interaction with the computer and slide navigation. The proposed method consists of a sequence of steps, starting from hand and finger detection in the scene of projector beam, followed by the estimation the smooth trajectory of the hand and the pointing finger, and finally an interface to an application system. The slide control is an added feature of the system that includes navigating slides back and forth in the presentation. The proposed method of finger pointing considered to be more convenient than laser pointers since the hand, the pointing, and the highlighting are more visible and thus better grab the attention of the audience.