Novel Face Morphing Methods based on Texture Features and Parallel Deep Convolutional Neural Network

Abstract

모핑(Morphing)은 한 이미지나 형태가 다른 이미지로 원활하게 전환되는 이미지 처리 기법이다. 인간과 동물의 형상이나 형상 사이에 모조화가 행해질 때, 인간의 특징, 감정 또는 의도에 대한 귀속이 비인간적인 실체에 놓이는 것을 Anthropomorphism (의인화) 라고 한다. 본 연구에서는, 의인화를 위해, Deep Convolutional Neural Network(DCNN)를 이용하여 사람의 얼굴과 동물의 얼굴과의 유사성을 발견하고, 후에 그 사이에 텍스쳐 피쳐 기반의 모핑을 적용하는 컴팩트 시스템을 제안하고 있다. 그 후에, 우리는 인간 얼굴들 사이의 형태만을 위해 간단한 텍스쳐 기능 기반의 형태 시스템을 제안하고 있다. 의인화의 전 과정은 우선 특정 인간의 얼굴에 가장 유사한 동물 얼굴을 발견하는 DCNN 을 이용하여 동물 얼굴 분류기를 만드는 것으로 시작된다. 접근법을 시작하기 위해, 우리는 만 개의 동물 표면과 16개의 레이어 병렬 DCNN을 포함하는 자체 데이터셋을 구축했다. 우리의 제안된 병렬 DCNN은 많은 양의 데이터셋과 더 많은 양의 특징을 추출할 수 있는 능력을 얻었다. 이 네트워크의 가장 중요한 점은 서로 평행하게 작용하는 네 가지의 경합 기능을 가지고 있다는 것이다. 일단 유사성이 확립되면, 기존의 인간 보조 수동 모핑 시스템 대신에, 우리는 텍스처 기능 알고리즘 기반의 자동 모핑 시스템을 사용하여 인간의 얼굴에 대한 얼굴 형상을 감지하고 제어 지점을 자동으로 잡을 수 있다. 그러나 우리는 동물 얼굴 제어 지점을 수동으로 저장하고 그것들을 모조하는 과정에서 사용했다. 이후 제안에서는 동일한 texture feature 알고리즘을 사용하여 사람 얼굴 사이의 형태를 만들었다. 시뮬레이션 결과는 정확도가 92.0%인 우리의 제안된 DCNN이 동물 클래스와 가장 흡사한 것을 발견하고 특징적인 모핑 시스템이 자동으로 한 이미지에서 다른 이미지로 원활하게 전환되는 것을 확인하는 동시에 다른 DCNN을 능가한다는 것을 보여준다

Morphing is an image processing technique where one image or shape goes through a seamless transition into another. When morphing is done between human and animal images or shapes, it is known as Anthropomorphism where attribution of human traits, emotions, or intentions are placed onto non-human entities. In this research, for anthropomorphism, we are proposing a compact system that finds the resemblance between a human face and an animal face using Deep Convolutional Neural Network (DCNN) and later applies texture feature-based morphing between them. Afterward, for morphing between human faces only, we are proposing a simple texture feature-based morphing system. The whole process of anthropomorphism begins by firstly building an animal face classifier using DCNN that finds the most similar animal face for a particular human face. To initiate our approach, we built our own dataset containing ten thousand animal faces and a sixteen layer parallel DCNN. With the inclusion of the state of the art Batch Normalization function and Exponential Linear Unit (ELU), our proposed parallel DCNN has gained the capability of analyzing large datasets as well as extracting more features than before. The significance of our network is that it has four sets of convolutional functions that work parallelly with each other. Once the resemblance is established, instead of the conventional human assisting manual morphing system, we used a texture feature algorithm-based automatic morphing system that detects the facial features of the human face and takes the Control Points automatically. However, we stored the animal face Control Points manually and used them during the morphing process. In the later proposal, we used the same texture feature algorithm to accomplish morphing between human faces only. The simulation results demonstrate that with an accuracy rate of 92.0%, our proposed DCNN outperforms its counterparts while making sure that it finds the most resembled animal classes and the texture featured morphing system automatically finishes morphing process maintaining a seamless transition from one image to another.