귀뒤 EEG신호와 딥 러닝을 이용한 에지 컴퓨팅 마이크로컨트롤러 기반 운전자 졸음 감지 시스템

Abstract

운전자의 졸음은 일반적으로 교통 사고 및 인명 손실을 초래하는 주요 요인 중 하나이다. 널리 사용되는 졸음 감지 방법은 머신 러닝(ML)과 두피에서 나오는 뇌파(EEG) 신호를 모니터링하는 것을 기반으로 한다. 그러나, 설치는 일반적으로 부피가 크고 일상 생활에서 사용하기에는 너무 눈에 띈다. 또한, 기존의 뇌파 기반 졸음 감지 시스템은 웨어러블 마이크로컨트롤러(MCU) 기반의 뇌파로부터 신호 데이터를 수신하는, 대형 컴퓨터와 같은 하드웨어(클라우드 서버, 개인용 컴퓨터 등)에 데이터 처리 장치를 탑재하여 무선 기술을 통해 장치를 수집한다. 이는 시스템을 복잡하며, 고정형으로 만들고, 무선 연결로 인한 대기 시간과 전력 소비 문제를 갖습니다. 본 논문에서 사용되는 귀 뒤(BTE) EEG시스템은 기존보다 더 편리하고 실용적인 솔루션을 약속하는 새로운 접근 방식이다. Edge-Computing은 컴퓨팅 및 데이터 스토리지를 에지 장치라고 하는 데이터 소스에 더 가깝게 가져오는 개념이다. 이 개념에서 에지 장치는 데이터를 수집한 후 바로 처리할 수 있다. 이는 데이터 처리 장치 및 데이터 전송을 위한 무선 연결 역할을 하는 다른 하드웨어를 사용할 필요가 없다. 최근 MCU 기반 디바이스에서 Edge Computing을 위한 TinyML(Tiny Machine Learning)의 성과로 ML 기반 졸음 감지 부분을 Edge Computing 개념의 웨어러블 임베디드 디바이스로 가져올 수 있다. 이 아이디어는 언급된 한계를 극복하기 위한 새로운 접근법이 될 수 있다. 본 연구는 온-디바이스 신경망(NN) 모델을 실행할 수 있는 웨어러블 헤드밴드 장치를 이용한 새로운 종단간 귀 뒤 EEG 기반 졸음 감지 시스템을 제시한다. 장치에서 EEG 신호는 사전 처리 전에 4개의 제안된 BTE 위치에서 수집되고 Welch의 방법을 적용하여 3개의 EEG 대역(세타, 알파, 베타)의 상대 전력 스펙트럼 밀도(rPSD) 비율을 추출한다. 두 가지 제안된 NN 모델인 MLP(다층 퍼셉트론) 및 CNN(컨볼루션 신경망)은 임베디드 장치에 배포되기 전에 SVM(지원 벡터 머신) 모델과 훈련 및 비교된다. 그런 다음 이렇게 잘 훈련된 배포된 모델은 온-디바이스 평가를 위한 벤치마크를 거쳤다. 결과는 CNN 모델이 MLP 모델(96.4%)에 비해 졸음 감지(97.95%)에서 가장 놀라운 정확도를 달성함을 보여준다. 양자화 기술은 또한 모델 크기 코드를 줄이고 하드웨어 대기 시간을 개선하는 능력을 입증했지만 모델 정확도는 약간 저하되었다. 우리의 테스트 결과는 온-디바이스 졸음 감지를 위한 임베디드 시스템의 실용성과 실현 가능성을 확립했다. |Driver drowsiness is commonly one of the major factors leading to traffic accidents and loss of life. A popular drowsiness detection method is based on machine learning (ML) and monitoring electroencephalogram (EEG) signals from the scalp. However, the setup is usually bulky and too obtrusive for use in daily life. Besides, in the traditional EEG-based drowsiness detection system, the data processing unit is placed on big computer-like hardware (cloud servers, personal computers, etc.) that receives the signal data from a wearable microcontroller (MCU)-based EEG-gathering device through wireless technology. This makes the system complex, and static, and has high latency and power consumption issues due to wireless connectivity. Our system, behind the ear (BTE) EEG, used in this paper is a novel approach that promises a more convenient and practical solution than before. Edge Computing is the concept that brings computation and data storage closer to the sources of data, called edge device. In this concept, the edge device can process the data right after collecting them. This eliminates the need for the utilization of a data processing unit and other hardware that serves as a wireless connection for data transmission. With the recent achievement of tiny machine learning (TinyML) for Edge Computing on MCU-based device, the ML-based drowsiness detection part can be brought to the wearable embedded device for edge-computing concept. This idea can be a novel approach to overcome the mentioned limitations. This study presents a novel end-to-end behind-the-ear-EEG-based drowsiness detection system using a wearable headband device, which can run on-device neural network (NN) models. On the device, the EEG signals are collected from four proposed BTE locations before preprocessing and applied Welch's method to extract the relative power spectral density (rPSD) ratio of three EEG bands (Theta, Alpha, Beta). Two proposed NN models, multilayer perceptron (MLP) and convolutional neural network (CNN), are trained and compared to support vector machine (SVM) models before being deployed to embedded device. Then, these deployed well-trained models underwent a benchmark for on-device evaluation. The results show that the CNN model achieves the most remarkable accuracy in detecting drowsiness (97.95%) compared to the MLP model (96.4%). The quantization technique also proved the ability to reduce the model size code and improve hardware latency, with minor degradation in model accuracy. Our test results established the practicality and feasibility of our embedded system for on-device drowsiness detection.