A Study on the Traffic Sign Recognition Based on Convolutional Neural Network for Autonomous Vehicles

Abstract

The use of advanced driver systems has significantly impacted our daily lives while driving. Roadside traffic signs serve the purpose of warning drivers of forthcoming road situations and necessary regulations. By utilizing Artificial Intelligence, these signs can be identified and updated to provide drivers with relevant assistance. The research proposes a technique utilizing a deep Convolution Neural Network (CNN) to recognize and categorize traffic signs. The approach displays a high performance for accurate detection and effective training and recognition processes. The system includes three main steps: extracting Regions of Interests (ROIs) from traffic signs, refining and classifying those ROIs, and then performing post-processing. The initial step in our approach is to identify ROIs for traffic signs using the Maximally Stable Extreme Regions (MESRs) method on both the grayscale and normalized RGB channels. Our research goal is to enhance the accuracy of data-driven elements that are critical for the secure operation of autonomous vehicles. To achieve this, we have developed a method to produce diverse and Data Augmentation Techniques (DAT) with various quality issues. This approach ensures that the training data is enhanced, which ultimately results in more accurate data-driven components. The proposed model's performance is evaluated by utilizing the GTSRB (German Traffic Sign Recognition) and CTSD (Chinese Traffic Signs Dataset) datasets. The multi-task CNN we introduced is utilized to classify and refine the extracted regions of interest into their specific categories. This network has been trained using a significant amount of data, labeled images and incorporating artificially-generated traffic signs obtained from visual perspectives of roads. To address the impact of inaccurate labels, we adopt a strategy where we train the latter layers of the Deep Neural Network (DNN) for a shorter duration while keeping the preceding layers unchanged throughout the training process. We suggested early stopping, which is used to prevent overfitting in machine learning models. This technique is useful in achieving more dependable and consistent outcomes. Our proposed method efficiently handles substantial variations in the visual characteristics of traffic signs, encompassing alterations in lighting, diverse camera distances, partial obstructions, varying weather conditions, and rotations. | 첨단 운전자 시스템의 사용은 운전 환경에서 우리의 일상 생활에 큰 영향을 미쳤다. 도로변의 교통 표지판은 다가오는 도로 상황과 필요한 규정을 운전자에게 경고하기 위한 목적으로 사용된다. 인공 지능을 활용하면 이러한 표지판을 식별하고 업데이트하여 운전자에게 관련 정보를 제공할 수 있다. 본 연구는 교통 표지판을 인식하고 분류하기 위해 심층 컨볼루션 신경망 (Convolution Neural Network, CNN)을 활용하는 기술을 제안한다. 이 접근 방식은 효율적인 학습 및 인식 프로세스를 통해 높은 인식 성능을 나타낸다. 이 시스템에는 세 가지 주요 단계가 포함되어 있다. 교통 표지판에서 관심 영역 (Regions of Interests, ROI)을 추출하고 해당 ROI를 세분화 및 분류한 다음 후처리를 수행한다. 접근 방식의 첫 번째 단계는 그레이스케일 및 정규화된 RGB 채널 모두에서 MESR (Maximally Stable Extreme Regions) 방법을 사용하여 교통 표지판에 대한 ROI를 식별하는 것이다. 또한 자율 주행 차량의 안전한 작동에 중요한 역할을 하는 데이터 기반 요소의 정확성을 향상시키는 것이다. 이를 위해 다양한 품질 문제가 있는 다양한 데이터를 생성하는 DAT (Data Augmentation Techniques)을 개발하였다. 이 접근 방식을 통해 학습 데이터가 향상되어 궁극적으로 더 정확한 데이터 기반 구성 요소가 생성된다. 제안한 전체 모델의 성능은 GTSRB (독일 교통 표지 인식) 및 CTSD (중국 교통 표지 데이터 세트) 데이터 세트를 활용하여 평가하였다. 다중 작업 CNN은 추출된 관심 영역을 특정 범주로 분류하고 세분화하는 데 활용된다. 이 네트워크는 상당한 양의 데이터, 레이블이 지정된 이미지, 도로의 시각적 관점에서 얻은 인위적으로 생성된 교통 표지판을 통합하여 학습되었다. 부정확한 레이블의 영향을 해결하기 위해, 심층 신경망 (Deep Neural Network, DNN)의 후반 계층을 더 짧은 기간 동안 훈련하는 동시에, 이전 계층은 학습 과정 동안 변경되지 않는 전략을 채택하였다. 기계 학습 모델에서 과적합을 방지하기 위해 사용되는 조기 종료(Early Stopping) 방법을 제안하였다. 이 기술은 보다 신뢰할 수 있고 일관된 결과를 얻는 데 유용하다. 제안한 방법은 밝기의 변화, 다양한 카메라 거리, 부분적인 장애물, 변화하는 날씨 조건 및 회전 등의 교통 표지판의 시각적 특성의 상당한 변화에도 효율적으로 동작한다.