Optimal Path Finding for Autonomous Vehicles by Adopting Deep Q-Learning in Mixed Traffic Condition

Abstract

자율주행차량이란 운전자의 개입 없이 주변 환경을 인식하고 주행상황을 판단하여 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 차량을 의미한다. 자율주행기술은 세계적으로 각광 받고 있는 분야 중 하나이며 자율주행차량의 상용화 시대에 대비하여 지속적인 기술 개발 및 규제 개선을 추진하고 있다. 본 연구에서는 자율주행기술의 주요기술 중 하나인 경로탐색을 중점으로 연구를 수행하였다. 자율주행차량의 경로탐색을 미시적인 관점으로 바라보며 심층강화학습 기법을 활용하여 자율주행차량의 횡방향 동작을 제어하는 차로변경을 학습시켜 최적경로탐색의 효율성을 입증하고자 하였다. 심층강화학습 기법은 Deep Neural Network를 이용하여 강화학습을 수행하는 Deep Q-Learning을 활용하였고 시뮬레이션은 오픈소스 기반의 미시적 교통 시뮬레이터인 SUMO를 활용하였다. 시뮬레이션 환경은 실제 도로환경을 반영하여 OSM과 HD MAP을 활용하였으며 교차로 내 방향별 신호데이터는 현장조사를 통해 수집하였다. 교통량은 드론 기체를 활용하여 두 차례 수집한 15분 항공영상을 1시간 교통량으로 환산하여 총 962대를 입력값으로 사용하였다. 시뮬레이션 시나리오는 크게 두 가지로 구분하였다. 전체 시나리오는 출발지에서 랜덤차로로 출발하여 용소 삼거리 방향으로 주행하는 시나리오로 설정하였고 심층강화학습 적용 시나리오는 출발지에서 랜덤차로로 출발하여 목적지의 3차로까지 차로변경을 통하여 우회전하는 것으로 설정하였다. 본 연구의 목적에 따라 자율주행차량이 우회전을 하기 위하여 의무적으로 차로변경을 수행하도록 설정하였다. 연구의 결과는 세 가지의 효과 척도에 따라 비교 분석하였다. 평균 통행 속도는 효과 척도의 기본요소로 Deep Q-Learning을 적용한 결과 약 40% 향상되었다. 평균 대기 시간은 SUMO에서 제시한 측정기준에 따라 기록되며 Deep Q-Learning을 적용한 결과 약 2초 정도 감소하였다. 평균 대기 행렬 길이는 정차된 차량의 시작점부터 마지막 지점까지의 총 차량 대수의 평균을 의미하며 Deep Q-Learning을 적용한 결과 약 2.3대 감소하였다. 따라서 본 연구는 Deep Q-Learning을 활용하여 자율주행차량의 차로변경 학습을 통한 최적경로탐색의 효율성을 입증하였다. 향후 본 연구에서 제시한 방법을 활용하여 자율주행차량이 안전하고 신속하게 주행하는 방안을 마련하여 상용화 시대에 대비하고자 한다.