Affective Computing System based on Machine learning for Emotion Recognition using 8-channel custom designed EEG headset

Abstract

Emotions are considered natural states incorporated with a particular pattern of physiological activity. Affective computing is an emerging technology that empowers computers and systems to recognize and reproduce human perceptions and emotions. Until now, it has grown with numerous applications in many fields, including education, healthcare, marketing, gaming, and technology. Among multiple human representatives for affective computing in emotion discovery, including facial expressions, heart rate, body temperature and electromyography, the electroencephalography (EEG) signals have drawn considerable attention in tremendous previous studies by their robust accuracy, objectivity. This study aims to develop an affective computing system for emotion recognition using EEG signals. The proposed system consists of two main sections: a wireless and wearable 8-channel EEG custom-designed device for collecting EEG signals from human brain activities and self-programmed software installed on the computer for data visualization and storage. The suggested EEG design consists of 8 dry active sensors arranged on the scalp for brain signal acquisition while watching inspirational videos. The collected data is then transmitted to the software on the computer through the wireless Bluetooth protocol. Six entropy measures are investigated for extracting relevant features that provide essential information for emotion recognition. Three machine learning approaches, including the support vector machine (SVM), multi-layer perceptron (MLP), and one-dimensional convolutional neural network (1D-CNN), are implemented in this study to explore the neural mechanism of emotional states. The experiment was conducted on eight subjects watching emotional videos with three groups (Positive, Neutral, and Negative) to evoke their emotions. The results show that the 1-CNN model achieves the most remarkable accuracy in detecting emotional states than SVM and MLP. The average classification accuracy was reached at 85.81% when using sample entropy measure (SAE) for feature extraction and 1D-CNN for detecting 3-state emotions across eight subjects with 0.5s window length. This study's achieved results demonstrate the feasibility and practicality of our affective computing system for emotion recognition using EEG signals in real-world applications.

감정은 특정 패턴의 생리적 활동과 결합된 자연적인 상태이다. 감성 컴퓨팅은 컴퓨터와 시스템이 인간의 인지와 감정을 인식하고 재현할 수 있도록 하는 새로운 기술이다. 지금까지, 이것은 교육, 의료, 마케팅, 게임 및 기술을 포함한 많은 분야에서 수많은 응용 프로그램으로 성장했다. 얼굴 표정, 심박수, 체온 및 근전도 등의 감성 컴퓨팅을 위한 인간을 나타내는 여러 지표들 중에서 뇌파 검사 (EEG) 신호는 강력한 정확성과 객관성으로 인해 이전 연구에서 상당한 관심을 끌었다. 본 연구는 뇌파 신호를 이용한 감정 인식을 위한 감성 컴퓨팅 시스템을 개발하는 것을 목표로 한다. 제안된 시스템은 두 가지 주요 섹션으로 구성된다: 인간의 뇌 활동에서 EEG 신호를 수집하기위한 무선 및 웨어러블 8 채널 EEG 맞춤형 설계 장치와 데이터 시각화 및 저장을 위해 컴퓨터에 설치된 자체 프로그래밍 소프트웨어이다. 제안된 EEG 디자인은, 영감을 주는 비디오를 보며 뇌 신호를 수집하기 위해서, 두피에 배열된 8 개의 건식 활성 센서로 구성된다. 수집된 데이터는 무선 블루투스 프로토콜을 통해 컴퓨터의 소프트웨어로 전송된다. 감정 인식에 필수적인 정보를 제공하는 관련 특징을 추출하기 위해 6 개의 엔트로피 측정을 조사합니다. SVM (서포트 벡터 머신), MLP (다층 퍼셉트론) 및 1D-CNN (1 차원 합성곱 신경망) 을 포함한 세 가지 기계 학습 접근 방식이 이 연구에서 구현되어 감정 상태의 신경 메커니즘을 탐구한다. 실험은 감정을 불러 일으키는 8개의 주제로 구성된 감성 비디오를 시청하며, 그룹의 성격에 따라서 분류된 세 그룹(긍정적, 중립적, 부정적)을 대상으로 진행되었다. 결과는 1-CNN 모델이 SVM 및 MLP보다 감정 상태를 감지하는 데 가장 뛰어난 정확도를 달성한다는 것을 보여준다. 특징 추출을 위해 샘플 엔트로피 측정 (SAE)을 사용하고, 창 길이가 0.5 초인 8 명의 피험자에서 3가지 상태의 감정을 감지하기 위해 1D-CNN을 사용한다. 이때, 평균적인 분류 정확도는 85.81 %에 도달했다. 이 연구에서 얻은 결과는 실제 응용 프로그램에서 EEG 신호를 사용하여 감정 인식을위한 우리의 감성 컴퓨팅 시스템의 타당성과 실용성을 보여준다.