소형 셀 통신지연을 최소화를 위한 강화학습 기반 사용자 접속과 캐시 교체 전략

Abstract

이 논문은 캐시 사용이 가능한 small cell network (SCN)에서 콘텐츠 전송 지연을 최소화하기 위한 사용자 접속과 캐시 교체전략의 최적화 연구이다. 사용자가 콘텐츠를 요청할 때마다 central unit (CU)는 콘텐츠를 전달할 small cell base stations (SBSs) 중 하나를 선택하고 사용자의 위치, SBS의 캐시 상태 및 환경을 고려하여 선택한 SBS의 캐시를 업데이트 한다. 이 논문은 정책 최적화에서 캐시 적중률과 통신 신뢰성 간의 균형을 고려하여 Markov decision process (MDP)에 의해 위 순차 결정 문제를 공식화한다. 효과적인 정책을 도출하기 위해 deep Q-network (DQN) 알고리즘을 채택하고 문제 특성을 활용하여 DQN 알고리즘에 대한 새로운 신경망 구조 및 입력 벡터를 설계한다. 다양한 환경에서의 시뮬레이션 결과 제안된 기법이 주어진 환경에 적합한 효과적인 전략을 학습할 수 있음을 보여줌으로써 평균 지연 시간 측면에서 기존의 전략 뿐만 아니라 기본 DQN 알고리즘보다 우수한 성능을 보였다. 또한, 콘텐츠의 요청확률이 시간에 따라 변화하는 환경에서의 시뮬레이션 결과에서 제안한 기법의 학습 과정이 콘텐츠에 적절히 학습됨을 보여준다.