A Deep Learning Algorithm based on Multi Neural Network Architecture and Data Generation for Noise Removal

Abstract

Image processing technologies play a crucial role across various application domains, aiming to enhance the quality of digital images and extract meaningful information. In particular, image denoising is considered an essential task in fields such as medical imaging, satellite imaging, and surveillance systems. Among various types of noise, Additive White Gaussian Noise (AWGN) is one of the most common in real-world environments and can significantly degrade both the visual quality of images and the accuracy of data processing. Therefore, the development of algorithms that can effectively remove AWGN has become a major research topic in image processing. In recent years, deep neural network (DNN)-based image restoration techniques have garnered considerable attention due to their outstanding performance. Specifically, convolutional neural networks (CNNs) have demonstrated exceptional capabilities in processing image data and have emerged as effective approaches to the image denoising problem. CNNs offer powerful representational capabilities by learning spatial features through multiple layers, enabling the distinction between noise and original image data. However, training CNN models from scratch typically requires large amounts of data and considerable time, and building models optimized for specific domains can be challenging. To address these limitations, transfer learning techniques have been introduced. Transfer learning adapts pre-trained models by leveraging their learned weights for new tasks, proving particularly beneficial in scenarios with limited data or restricted training time. The initial weights of pre-trained models are known to have captured important features such as edges and textures, making them effective for removing pervasive noise like AWGN. In particular, the early layers of CNNs, which emphasize local features through their filter structures, are advantageous for suppressing the randomness of AWGN while preserving the structural features of the original image. Consequently, transfer learning enables the rapid and efficient removal of noise based on previously learned weights. In this paper, a deep learning algorithm based on a multi-neural network structure and data generation is proposed for image denoising. The proposed algorithm enhances learning performance by modifying the neural network architecture for denoising and effectively preserves the detailed features of the original images through a residual learning structure.|영상 처리 기술은 디지털 영상의 품질을 향상시키고 유의미한 정보를 추출하기 위해 다양한 응용 분야에서 중요한 역할을 하고 있다. 특히 영상 잡음 제거는 의료 영상, 위성 영상, 감시 시스템 등 다양한 분야에서 핵심적인 전처리 단계로 인식되고 있다. 그중 AWGN(additive white Gaussian noise)은 실제 환경에서 빈번히 발생하며, 영상의 시각적 품질과 데이터 처리의 정확도를 저하시킬 수 있다. 따라서 AWGN을 효과적으로 제거하기 위한 알고리즘 개발은 영상 처리 분야의 핵심 연구 과제 중 하나로 여겨진다. 최근 몇 년간 심층 신경망(DNN : deep neural networks) 기반의 영상 복원 기법은 탁월한 성능을 입증하며 활발한 연구의 대상이 되고 있다. 특히, 합성곱 신경망(CNN : convolutional neural network)은 영상 데이터의 처리에 있어 탁월한 성능을 발휘하며, 영상 잡음 제거 문제에서도 효과적인 접근법으로 자리 잡았다. CNN은 다 중 계층을 통해 영상의 공간적 특징을 학습하고, 잡음과 원본 데이터를 구분할 수 있는 강력한 표현력을 제공한다. 그러나 CNN을 처음부터 학습시키기 위해서는 대규모 데이터와 상당한 학습 시간이 필요하며, 특정 도메인에 최적화된 모델의 구축에 어려움이 있다. 이러한 한계를 극복하기 위해 전이 학습 기법이 도입되었다. 전이 학습은 이미 학습된 사전 훈련 모델의 가중치를 활용하여 새로운 작업에 적응시키는 방법으로, 데이터가 제한적이거나 모델 학습 시간이 제한적인 상황에서 특히 유용하다. 사전 훈련된 모델의 초기 가중치는 에지, 텍스처와 같은 영상에서 중요한 정보를 포함한 특징을 잘 학습하고 있기 때문에, AWGN과 같이 전반적으로 퍼져있는 잡음 제거에 효과적이다. 특히 CNN의 초기 계층은 국소적 특징을 강조하는 필터 구조를 가지므로 AWGN의 무작위성을 억제하면서도 원본 영상의 구조적 특징은 보존에 유리하다. 따라서 전이 학습을 통해 기존에 학습된 가중치를 기반으로 빠르고 효율적으로 잡음을 제거할 수 있다. 본 논문에서는 잡음제거를 위한 다중 신경망 구조와 데이터 생성에 기반한 딥러닝 알고리즘을 제안한다. 제안된 알고리즘은 잡음제거의 신경망 구조를 변형하며, 2차 학습을 위한 데이터 생성을 사용하여 학습 성능을 강화한다. 1차 학습 신경망은 은닉층을 병렬로 추가하여 잡음 제거 성능을 개선하였으며, 원본 영상의 세부 구조를 효과적으로 보존하였다. 이 때, 추가된 은닉층은 다중 스케일 학습을 사용하여, 입력된 패치를 다운 샘플링으로 학습시켜 전역적 구조에 대한 잡음 성분을 학습시킨다. 이후 업 샘플링으로 복원한 후, 데이터 병합에 사용하거나 출력 레이어에 전달하였다. 신경망 학습을 위한 데이터 생성은 변형된 스티어링 커널 기반 필터링 기법을 이용하여 구성하며, 이를 통해 노이즈가 제거된 영상의 특징 정보를 학습한다. 추가된 학습 데이터는 신경망의 2차 학습에 사용되며, 특히, 필터링 영상으로부터 추출된 특징 맵을 사용하여 노이즈와 실제 이미지 간의 차이를 분리하고, 구조적 세부 사항의 보존에 중점을 두었다.