Resource Scheduling and Performance Optimization in Distributed Environment Based on Federated Learning and Reinforcement Learning

Abstract

본 논문에서는 딥러닝 기반 분산 통신 및 레이더 환경에서 자원 스케줄링과 성능 최적화 기법을 제안합니다. 먼저 연합학습(Federated learning) 기반 시스템에서 분산 환경을 고려합니다. 다중 클라이언트가 서버에 gradient를 전송할 때 학습 효율을 높이기 위한 전략을 제안합니다. 첫 번째로, 각 클라이언트의 송신 신호가 겪는 채널 페이딩으로 인한 왜곡을 극복하기 위해 채널 이득을 이용한 MRC (Maximum Ratio Combining) 기반의 gradient update 가중치 설정, 채널이 좋지 않은 시점의 학습을 차단하는 임계값 설정 전략과 각 클라이언트의 송신 전력이 제한된 경우 중요한 정보를 담은 송신 데이터(크기가 큰 gradient 벡터)에 적응적으로 전력을 할당하는 기법을 제안합니다. 두 번째로, 각 클라이언트의 송신 신호가 겪는 채널 페이딩으로 인한 왜곡을 극복하기 위해 딥러닝의 한 종류인 Auto-Encoder 기반 송, 수신 전략을 제안합니다. 제안된 학습 및 송, 수신 전략은 채널 보정 및 성능 향상에 효과적임을 확인하였습니다. 그 후 OFDM 기반 RadCom 시스템에서 non-linear stepped OFDM 기술과 신호처리 기법을 제시한 뒤 강화학습 기반 분산 부대역 할당 기법을 제안한 뒤 그 성능을 검증합니다.

In this paper, the resource scheduling and performance optimization methods in deep learning-based distributed communication and radar environments are proposed. First, a distributed environment in a federated learning-based system is considered. When multiple clients send gradients to the server, we propose a strategy to increase learning efficiency. First, to overcome the distortion caused by channel fading experienced by each client's transmission signal, we set the gradient update weight based on MRC (Maximum Ratio Combining) with the channel gain and set the threshold value to block corresponding round at the time when the channel is not good. We propose a strategy and a technique for adaptively allocating power to transmit data containing important information, that is, large gradient vector when the transmit power of each client is limited. It has been confirmed that the proposed training and transmitting/receiving strategies are effective for channel correction and performance improvement. After that, the non-linear stepped OFDM signal and processing method are presented in the OFDM-based RadCom system, and the reinforcement learning-based distributed subband allocation method is proposed and the performance is verified.