A Novel Deep Learning Method for Generalization of Deepfake Detection with Meta-Learning

Abstract

딥페이크(deepfake)는 딥러닝 알고리즘의 빠른 개발로 믿을 수 없을 정도의 사실적인 비디오 및이미지를 생성하고 합성할 수 있다. 이는 악의적인 목적을 가진 사기성 데이터 사용에 대한 우려가 커지게 되었다. 얼굴 위조 생성 알고리즘이 급속도로 발전하여 다양한 동영상과 이미지를 변형할 수 있게 되었다. 이로 인하여 가짜 정보 생성이 증가하여 탐지하기가 어렵다. 얼굴 조작 기술이 야기하는 심각한 문제로 인해 얼굴 위조 감지는 컴퓨터 비전 분야에서 점점 더 많은 관심을 받고 있다. 실제 응용 프로그램에서 얼굴 위조 감지 알고리즘은 일반화(generalization)가 좋지 않기 때문에 알 수 없는 도메인에서 제대로 작동하지 않는다. 본 연구에서는 메타 학습 알고리즘을 기반으로 한 메타 딥페이크 검출(Meta Deepfake Detection: MDD)이라는 딥페이크 검출 방법을 제안한다. 이 모델의 목표는 모델 업데이트 없이 보이지 않는 도메인을 직접 처리할 수 있는 일반화된 모델을 만드는 것이다. 제안한 메타 딥페이크 검출 모델은 다른 도메인에서 오는 얼굴 이미지에 대해 다른 가중치를 결정한다. 특히 메타 딥페이크 검출 기법은 메타 가중치 학습을 사용하여 소스 도메인에서 메타 최적화 단계를 통하여 대상 도메인으로 정보를 이동한다. 이는 모델이 소스 및 대상 도메인의 효과적인 표현을 생성하는 것을 목표로 한다. 메타 분할 전략은 다중 도메인 세트를 구축하여 메타 훈련 세트와 메타 테스트 세트를 만든다. 이러한 세트를 기반으로 MDD 모델은 경사 하강법(gradient decent)을 결정하고, 역전파(backpropagation) 기법을 갖다. 이는 내부 루프 기울기와 외부 루프 기울기가 합쳐져서 MDD모델을 업데이트하여 일반화를 향상시킨다. 또한 페어 어텐션 손실, 평균 중심 정렬 손실을 도입함으로써 딥페이크 검출 기능이 크게 향상되었다. 그러므로 본 논문에서는 딥페이크 데이터 세트에서 설정된 일부 평가 벤치마크를 사용하여 여러 기준에서 일반화를 비교하고 그 효과를 평가한다|Fast development of deep learning algorithms that can create and synthesis videos/images that are incredibly realistic which is called Deepfake. Concerns about the use of fraudulent data with malicious purpose have also grown as a result of its development. Face forgeries producing algorithms have advanced rapidly, resulting in a variety of altered videos and images. This leads to an increase in the creation of fake information, making it challenging to detect. Face forgery detection is receiving increasingly more attention in the field of computer vision as a result of the serious concerns that facial manipulation technologies create. In real-world applications, face forgery detection algorithms commonly run into and perform badly in unknown domains because of poor generalization. In this research, we propose a Deepfake detection method based on meta learning algorithm, named Meta Deepfake Detection (MDD). The aim of the model is to create a generalized model that can handle unseen domains directly without the need for model updates. The MDD model, which determines different weights for face images coming from different domains. Specifically, the MDD use meta-weight learning to shift information from source domains to target domains with meta-optimization steps, which aims for the model to generate effective representations of the source and target domains. We build multi-domain sets by meta splitting strategy to create meta-train set and meta-test set. Based on these sets, the model determines the gradient decent and get backpropagation. The inner loop gradient and outer loop gradient are aggregated to update the model to enhance generalization. By introducing pair-attention loss, average-center alignment loss, the detection capabilities of the system are substantially enhanced. Besides, we use some evaluation benchmarks established from several popular Deepfake datasets to compare generalization of our proposal in several baselines and assess its effectiveness.