Artificial Intelligence System for Negative Emotional State Recognition During Social Media Consumption using EEG Signals

Abstract

지난 10 년 동안 뇌-컴퓨터 인터페이스 (BCI)는 뇌파 (EEG) 신호를 사용하여 신경 활동을 명령으로 디코딩하는 잠재적 인 기술로 등장했습니다. 이 새로운 기술은 마비 된 사람들이 그들의 마음을 사용하여 의사 소통 할 수 있게 합니다. 이 연구의 주요 목표는 인공 지능의 도움으로 일상 생활에서 감정 상태를 모니터링하는 BCI 시스템을 개발하는 것입니다. 오늘날 소셜 미디어의 급속한 발전으로 사용자는 부정적이거나 끔찍한 뉴스를 소비하여 정신 질환 및 심리적 장애로 고통 받을 수 있습니다. 따라서 소셜 미디어에서 거대한 정보와 상호 작용하는 동안 사용자의 정서적 상태와 정신 건강을 모니터링하는 것이 중요합니다. 제안 된 EEG 헤드셋은 8 개의 활성 센서로 구성되어 있으며 본체는 사용자에게 편안한 사용감을 제공하는 유연한 소재를 사용하여 3D 인쇄 기술로 완벽하게 제작되었습니다. SSVEP 및 눈을 감은 신호를 기반으로 제안 된 헤드셋에서 얻은 EEG 신호의 품질을 검증합니다. 그런 다음 푸리에 및 웨이블릿 변환을 기반으로 하는 여러 유형의 EEG 기능을 조사했습니다. SVM (Support Vector Machine), MLP (Multilayer Perceptron) 및 Convolutional Neural Network는 이 작업에서 감정 상태의 신경 메커니즘을 탐색하기 위해 적용되는 머신 러닝 접근법 중 하나입니다. 머신 러닝 모델은 데이터 세트에 맞게 훈련되었습니다. 14 명의 피험자에 대한 오프라인 데이터 분석 결과는 CNN 모델이 SVM 및 MLP와 비교하여 부정적인 감정 상태를 인식하는 데 최고의 성능을 얻는 것으로 나타났습니다. 14 명의 피험자에 대해 1 초 길이의 윈도우로 95,8 %의 평균 분류 정확도를 얻었다. 또한 분석 결과는 감정을 반영하는 가장 좋은 특징이 주파수 점 특징이라는 것을 보여 주었다. 그 결과, 주파수 포인트 기능과 결합된 CNN을 사용하여 실시간 부정적인 감정 인식을 위한 내장된 딥러닝 모델을 구축했습니다. 결과적으로 제안된 헤드셋은 감정 상태를 자동으로 감지하여 사용자의 부정적인 뉴스 읽기에 대한 조기 경고를 위해 스마트 폰으로 보냅니다. 따라서 이 연구를 통해 인간의 부정적인 감정을 실시간으로 포착 할 수 있고 실제 응용 분야에 적용하려는 지능형 임베디드 EEG 헤드셋을 제시했습니다.

In the past decade, brain–computer interface (BCI) has emerged as a potential technology for decoding neural activities into commands by using electroencephalogram (EEG) signals. This new technology allows paralyzed people to communicate using their minds. The main aim of this research is to develop a BCI system with the help of artificial intelligence to monitor their emotional states in their daily lives. Nowadays, with the rapid development of social media, users can suffer from mental illness and psychological disorders due to consuming negative or horrible news. Hence, it is important to monitor the emotional states as well as the mental health of the users during their interaction with huge information across social media. The proposed EEG headset consists of eight active sensors and its body was completely fabricated with 3-D printing technique using a flexible material providing a comfortable feeling to the users for prolonged use. Based on SSVEP and eyes-closed signals, we validate the quality of EEG signals acquired from the proposed headset. Then, several types of EEG features based on Fourier and wavelet transforms were investigated. Support Vector Machine (SVM), Multilayer Perceptron (MLP), and Convolutional Neural Network were among machine learning approaches that are applied in this work to explore the neural mechanism of emotional states. Machine learning models were trained to fit the dataset. Offline data analysis results of 14 subjects showed that the CNN model obtains its best performance in recognizing negative emotional states compared to SVM and MLP. Average classification accuracy of 95,8% was obtained with 1-s window length for 14 subjects. Moreover, analysis results showed that the best feature which reflects emotion was a frequency-point feature. As a result, CNN in combination with frequency-point feature was employed to build the embedded deep learning model for real-time negative emotion recognition. Consequently, the proposed headset automatically detects the emotional state and sends it to a smartphone for early warning of negative news readings of the users. Hence, through this research, we presented an intelligent embedded EEG headset that can real-time capture negative emotion in humans and intends to apply it in real-life applications.