휴대폰 카메라 영상에서 단위 세그멘트의 평균값을 이용한 자동 점자 인식 시스템

Abstract

본 논문에서는 휴대폰을 통해 획득된 영상에서 점자를 인식하고 한글로 변환하는 기법을 적용하여 시각장애인들과 일반인들의 의사소통을 도와주는 자동 점자 인식 시스템을 제안하였다. 휴대폰에서의 점자 인식 시스템은 PC에서 Java로 개발한 프로그램을 Java ME 플랫폼의 WIPI 에뮬레이터에서 구현되었다. 먼저 휴대폰 카메라로 촬영한 점자 문서의 영상을 USB로 입력한다. 입력된 영상을 회색조로 변환하여 문서와 비문서 부분의 영역 경계를 검색해 영상을 정렬하고 점자 문서 영역을 한정하였다. 쓰레스홀딩을 통해 배경과 점자 부분을 구분하여 이진영상으로 변환했다. 점자 영상에서 점자의 경계선을 중심으로 수평과 수직선을 생성해 점자 문서와 유사한 형태의 영상을 만들어 평균이 되는 점자의 크기를 구하기 위해 수평선과 수직선이 처음 교차하는 곳을 기준으로 검사하여 점의 평균 크기, 점과 점사이의 거리를 알아낸다. 이를 기본으로 6점 점자 패턴을 생성해 점자의 유무를 검사하여 점자 코드가 출력 된다. 코드로 출력된 점자는 한글로 변환 오토마타를 통해 한글로 변환되고, 변환된 한글 문서를 음성 변환 출력으로 소리로 출력된다. 먼저 점자 영상의 회색조로의 변환과 쓰레스홀딩을 통해 영상을 단순화하여 컬러 영상에서 겪을 수 있는 잡음과 그에 따른 시간의 소요를 줄였다. 점자문서의 점이 가지는 회색조 평균을 구하여 점의 유무를 확인하는 방법을 사용하여 휴대폰 카메라를 통해 획득된 영상 내에서 점자의 크기와 개수에 관계없이 정형화되지 않은 영상에서도 인식을 보였다. 추출된 점자 코드가 동일한 바이너리 코드를 가지는 점자의 한글 출력에 대한 문제의 경우 점자 문서의 첫 부분을 우선 촬영하는 것으로 해결을 하였다.

This paper deals with an application based on mobile system for communicating to the visually impaired people by converting Braille type letter to alphabetical letter(Hangul). Braille recognition system which is working automatically through a mobile phone camera is developed. It has two main tasks, the first is to recognize the printed Braille cells, and the second is to convert them to regular text. First of all, this Braille recognition system obtains the image of Braille document from mobile phone camera, and then it makes Braille patterns through the horizontal and perpendicular searching. The 6 points Braille codes are created from the patterns searched, and they are represented in binary form. The obtained Braille binary codes are converted to the Korean alphabetic letters. The converting procedure from Braille binary to the text is not simply a one-to-one mapping, because one cell may represent one symbol(the Korean letter, digit, or special character), two or more symbols, or part of a symbol. Moreover, multiple cells may represent a single symbol. This system is developed with Mobile Java language in Wipi which is a development environment for Mobile emulator. The Braille documents used in the experiment are picked randomly from the library of a school for the blind.