Federated Learning in Small-Cell Networks: Stochastic Geometry-based Analysis on the Required Base Station Density

Abstract

Recent advances in the sensing and computation capabilities of mobile devices help to generate various types of data and exploit this for autonomous and intelligent services. To embed artificial intelligence (AI) into the services, machine learning (ML) models based on training data are used to make predictions or decisions without human intervention. The traditional ML technologies require private data on user equipment to be collected at a central server for training. However, this centralized approach violates privacy regulations and exposes sensitive intimate data. This also leads to huge communication overheads, latency, and resource inefficiency.

To address these limitations, a novel ML model, namely federated learning (FL), has emerged. FL adopts a distributed training approach and decouples training from data collection. FL mechanism generates massive benefits of shared ML models obtained from enormous data without compromising security and privacy requirements as well as communication costs, making this setting relevant for numerous wireless applications. However, FL generally operates in complex, large-scale, heterogeneous wireless edge networks that involve many resource constraints and unreliableness such as limited bandwidth or transmission interferences. This makes FL performance in wireless communications not well understood and triggers challenges for FL implementations in wireless settings.

In this thesis, we investigate federated learning in small-cell cellular networks where multiple base stations and users are located according to homogeneous Poisson point process (PPP) with different densities. We comprehensively analyze the effects of geographic node deployment on the model aggregation in federated learning on the basis of stochastic geometry-based analysis. We derive the closed-form expressions of coverage probability with tractable approximations and discuss the minimum required base station density for achieving a target model aggregation rate in small-cell networks with algorithms for optimizing the target transmission rate and the base station density. Our analysis and simulation results provide insightful information for understanding the behaviors of federated learning in small-cell networks, and it can be exploited as a guideline for designing the network facilitating the wireless federated learning.

최근 모바일 기기의 센싱 및 연산 능력이 크게 향상됨에 따라 다양한 유형의 데이터가 모바일 기기를 통해 생성되고 이를 바탕으로 지능적인 서비스에 활용되고 있다. 지능형 서비스를 위한 인공지능(AI) 구축을 위해서는 훈련 데이터를 기반으로 머신러닝(ML) 모델을 학습시켜야 한다. 기존의 ML 기술은 모바일 기기가 보유한 개인 데이터를 중앙 서버에서 수집해 모델 학습을 수행하였으나, 이러한 중앙 집중식 접근 방식은 개인 정보보호 규정을 위반하고 민감한 개인 정보를 노출시키게 하는 위험성을 갖는다. 또한 방대한 수의 모바일 기기로부터 데이터를 수집하는데 막대한 통신 오버헤드, 지연 시간이 발생되어 통신자원의 비효율성을 유발한다.

이러한 기존의 중앙집중식 ML의 프라이버시 문제 해결을 위해 분산 ML을 수행하는 연합 학습(FL)이 최근 큰 관심을 받고 있다. FL은 분산 훈련 방식을 채택하여 데이터 수집과 훈련을 분리한다. 따라서 FL 메커니즘은 보안 및 개인 정보 보호뿐만 아니라 통신 비용에도 영향을 주지 않으면서 방대한 데이터로부터 얻은 공유 ML 모델의 막대한 이점을 제공하므로 다수의 기기들로 구성된 무선 네트워크에 적합하다. 하지만, FL은 일반적으로 제한된 대역폭이나 전송 간섭과 같은 통신자원과 신뢰성에 제약이 있는 대규모 이기종 무선 에지 네트워크에서 동작하기 때문에 완전한 통신환경 하에서 개발된 기존 FL 기법을 그대로 적용할 수 없는 문제가 있다.

본 논문에서는 여러 기지국과 사용자가 서로 다른 밀도의 Poisson point process (PPP)에 따라 위치한 소형셀 네트워크에서의 연합학습을 연구한다. 확률 기하학 분석을 기반으로 연합학습에서 노드 배치가 모델 집계에 미치는 영향을 종합적으로 분석하였다. 높은 SNR 근사화를 통해 커버리지 확률의 폐쇄형 식을 도출하고 목표 전송 속도 및 기지국 밀도를 최적화하기 위한 알고리즘을 제안해 목표 성능 달성을 위한 최소 기지국 밀도를 도출한다. 이를 통해 얻어진 시뮬레이션과 분석 결과는 소셀 네트워크에서의 연합 학습의 행동을 이해하기 위한 통찰력 있는 정보를 제공하며, 무선 연합학습을 위한 네트워크 설계에 가이드라인으로 활용될 수 있다.