Robust Heart Rate Estimation in Challenging Scenarios by Combining PPG and BCG Methods

Abstract

미국 보건 협회 (AHA)의 연구에 따르면 심장 관련 질병은 미국과 전 세계에서 인간의 가장 주요한 사망 원인 중 하나다. 심장 관련 생체 신호는 상대적으로 초기 단계에서 이상 징후를 감지할 수 좋은 지표이므로 이러한 생체 신호를 정기적이고 비침습적인 방식으로 모니터링하는 것이 중요하다. 무엇보다 이상 징후를 빠르게 감지하면 더 나은 예방적 치료가 가능하다. 따라서 일상적인 생체 신호 모니터링을 위한 접근 가능하고 사용하기 쉬운 시스템을 제공하는 것이 중요하다. 심박수는 이러한 모니터링을 필요로 하는 중요한 생체 신호 중 하나다. 심박수 모니터링을 위해 광범위하게 접근할 수 있는 시스템을 제공하는 이상적인 방법은 컴퓨터, 스마트폰과 같이 현대인들의 필수품이 된 장치를 사용하는 것이다. 이러한 장치에는 일반적으로 카메라가 장착되어 있기 때문에 비전 기반 접근 방식에 초점을 두고, 사용자의 편의를 고려하여 비접촉식 시스템을 구현하는 것이 이상적이다. 비접촉 방식으로 심박수를 측정하는 가장 좋은 방법 중 하나는 카메라를 사용하여 얼굴의 생리적 변화를 분석하는 비전 기반 방법을 구현하는 것이다. 여러 연구에서 PPG (Photoplethysmography) 생리적 변화나 BCG (Ballistocardiography) 생리적 변화 또는 두 가지 모두를 분석하여 이러한 방법을 제공하기 위해 노력해 왔다. 우선, PPG 현상은 심장 박동 중에 사람의 얼굴에 미묘한 색 변화를 통해 관찰된다. 이러한 색상 변화는 심장 박동으로 인한 혈관의 주기적 혈액량 변화로 인해 발생하는데, 이러한 혈량 변화는 피부 조직의 빛 반사율에 영향을 미치며 카메라를 통해 관찰할 수 있다. 반면, BCG 현상은 심장 박동이 뛰는 동안 혈액 방출로 인한 힘에 대한 신체의 뉴턴 반응으로 관찰된다. 이러한 반응은 심장 박동의 진동수에 의한 주기적인 머리 움직임으로 나타난다. 따라서 심장 박동으로 인한 두 현상의 특성을 분석하여 심박수를 추정할 수 있다. 그러나, PPG 현상으로 인한 생리적 변화는 매우 미묘하게 포착되기 때문에 조명 조건으로 인해 방해를 받거나 피부색이 어두운 환자에게서 관찰하기 어려울 수 있다. 또한, BCG 현상으로 인한 움직임도 미묘하여 임의적, 자발적 움직임이 발생할 경우 관찰하기 어려울 수 있다. 반면, BCG 접근 방식은 까다로운 조명 조건에서도 강인한 특성이 있으며 PPG 접근 방식은 관심 영역을 잘 추적하면 움직임에 크게 영향을 받지 않는 장점이 있다. 조명 상태 및 움직임 문제 외에도 이러한 시스템이 모바일 플랫폼에서 구현될 때 손떨림의 문제가 발생한다. 손떨림 문제는 사용자가 심박수를 측정하는 동안 스마트폰을 손에 들고 있다는 사실에서 발생한다. 이러한 문제를 해결하기 위한 방안을 제공하기 위해 본 논문에서는 모바일 및 데스크톱 플랫폼에 구현된 몇 가지 접근 방식을 소개한다. 먼저 PPG 기반 심박수 측정 시 중요 단계로서 심박 신호의 피크 검출 방법을 소개한다. 둘째, BCG 기반 심박수 측정 시 모바일 플랫폼에서 손떨림 문제를 해결하기 위한 일련의 방법들을 소개한다. 배경 특징를 활용하여 손떨림 문제를 처리하는 초기 방법부터 차원 감소 자동 인코더를 사용하는 가장 최근의 방법에 이르기까지 구현된 시스템을 많은 사용자들이 스마트폰을 사용하여 정확하게 심박수를 측정할 수 있도록 손떨림 문제를 해결하는 방법들을 자세히 설명한다. 마지막으로 BCG와 PPG 기술을 결합하여 보다 일관되고 강인한 심박수 측정이 가능한 시스템을 제안한다. 제안된 하이브리드 기술의 목표는 현실적이고 까다로운 조건에서도 비침습적 방식으로 정확한 심박수 측정이 가능한 강인한 시스템을 제공하는 것이다. 예를 들어, 화상 통화의 경우, 사용자는 자연스럽게 대화에 집중하는 동안 시스템은 심박수를 정확하게 측정할 수 있도록 한다. 모바일 플랫폼에서 제안된 방법은 손떨림 문제 처리에서 기존 방법들을 훨씬 능가하는 성능을 보여주었으며, 데스크톱 플랫폼에서 제안된 방법은 기존 심박수 측정 시 장애가 되었던 까다로운 조건을 처리하는 데 있어 월등한 성능을 보여주었다.

As reported by a study from the American health association (AHA), heart-related diseases are part of leading causes of human death in the United States and around the world. Since heart-related vital signs are good indicators to detect anomalies in relatively early stages, it appears important to monitor such vital signs in a regular and noninvasive way. Moreover, fast detection of anomalies would result in better and preventive treatments. Thus, it is important to provide an accessible and easy-to-use system for daily vital signs monitoring. The heart rate is one of such important vital signs. The ideal way to provide a widely accessible system for heart rate monitoring would be to use the most omnipresent devices in a modern human’s local space such as computers and smartphones. As those devices are usually equipped with cameras, focusing on a vision-based approach seems trivial. With the users’ comfort in mind, implementing a touchless system is ideal. One of best ways to measure heart rate in a touchless manner, is to implement a vision-based method that analyses physiological changes on the human face using cameras. Several researches have worked to provide such methods by analyzing either Photoplethysmography (PPG) physiological changes, or Ballistocardiography (BCG) physiological changes, or both in some cases. On one hand, the PPG phenomenon is observed through subtle color changes on the human face during heartbeats. Such color changes are caused by cyclical blood volume variations in vessels due to heartbeats. Those blood volume variations influence the light reflectance of skin tissue and can be observed through a camera. On the other hand, BCG is observed as the body's Newtonian reaction to forces caused by blood ejection during each heartbeat. Such reactions cause the head to move in a cyclic way with respect to heartbeats’ frequencies. Therefore, the heart rate can be estimated by analyzing characteristics of both phenomena caused by heartbeats. Physiological changes that are caused by the PPG phenomenon are so subtle and can be disturbed by challenging lighting conditions or difficult to observe from patients with darker skin tones. Movements caused by the BCG phenomenon are also subtle and can be difficult to observe in cases of larger voluntary or involuntary movements. However, BCG approaches tend to be more robust to challenging lighting conditions while PPG approaches tend to be more robust to movements if the region of interest is well tracked. Besides lighting condition changes and head movement challenges, the hand-shaking problem is introduced when those systems are implemented on mobile platforms. Hand-shaking problems come from the fact that the user holds the smartphone while measuring the heart rate. With the aim of providing guidelines of tackling such challenges, this dissertation introduces several of our approaches that were implemented for mobile and desktop platforms. First, we introduce our contribution to PPG-based real peak detection that is an important step to acquire heart rate information. Second, a series of BCG systems that try to tackle hand-shaking problems on mobile platforms are introduced. From our early approach of dealing with hand-shaking problems through background features to our most recent approach of using a dimensionality reducing auto-encoder, we explain detailed ways to tackle hand-shaking problems on smartphones so that the implemented system can be used by as many users as possible in an accurate way. Finally, a system that combines BCG and PPG technique to create a more consistent and robust method is explained. The aim of the hybrid technique was to provide a system robust enough to be used in realistic and challenging conditions where the measurements would be done in a noninvasive way. For example, a video call where the subject just focuses on the conversation while the system adapts itself to accurately measure the heart rate. The most recent method for mobile platforms showed flattering results on handling hand-shaking problems by outperforming related works and our older works. On the desktop platform, our method showed the best results on handling challenging conditions through an implementation of a hybrid method that takes advantage of BCG and PPG techniques.