Deep Neural Networks for Anomaly Detection and Segmentation in Acoustic and Biomedical Imaging

Abstract

본 연구에서는 이상 탐지, 분할(segmentation), 해상도 향상을 위해 심층 신경망(deep neural networks)을 통합하여 초음파 영상 및 생의학 영상의 전반적인 품질을 향상시키는 방법을 제안한다. 특히 최신(state-of-the-art, SOTA) 딥러닝 모델을 스캐닝 음향 현미경(Scanning Acoustic Microscopy, SAM 또는 Scanning Acoustic Tomography, SAT)과 임상용 생의학 영상에 적용함으로써 산업 및 의료 진단 분야에서의 주요 문제를 효과적으로 해결하는 데 중점을 둔다.

첫 번째 과제에서는 박리(delamination), 빈 공간(voids), 균열(cracks) 등 내부 결함이나 포함된 물체를 정밀하게 분할하는 문제를 다룬다. 이러한 기술은 웨이퍼, 전력 반도체, 트랜지스터, 플립칩, 다층 세라믹 커패시터(MLCC) 등 다양한 산업 부품의 비파괴 검사에 필수적이다. 본 연구에서는 자체 제작한 스캔 시스템을 활용해 6종의 SAM 영상을 수집하고 직접 정답 마스크를 입력하여 학습용 데이터셋을 구축하였다. 분할 모델로는 Meta Segment Anything Model (MetaSAM)을 활용하여 SAM 영상에 맞게 미세 조정하였다. 이를 통해 기존의 분할 기법들보다 우수한 성능을 확인할 수 있었다. 또한 다양한 형태의 객체를 안정적으로 인식할 수 있는 범용 분할 프레임워크를 구현함으로써 산업 자동화 및 결함 검출의 신뢰성을 크게 향상시킬 수 있었다.

두 번째 과제에서는 표면이 불균일하거나 변형된 시료를 영상화할 때 발생하는 문제를 해결하고자 한다. 이러한 표면 불균형은 트랜스듀서와 시료 간의 안정적인 접촉을 방해하고 초음파 신호의 전달을 저해하여 데이터의 왜곡이나 누락을 초래할 수 있다. 이에 본 연구에서는 B-스캔 영상에서 표면 형상을 정밀하게 검출할 수 있도록 YOLO 기반의 표면 분할 기법을 제안한다. 위 방법은 A-스캔 신호를 보다 정확하게 재구성할 수 있게 하며, 결과적으로 C-스캔 영상의 해상도 및 구조적 선명도를 크게 향상시킨다. 또한 다양한 YOLO 변형 모델 및 최신 분할 기법들과의 비교 평가를 통해, 제안한 방식이 표면 검출과 영상 재구성에서 뛰어난 성능을 보임을 확인하였다.

세 번째 과제에서는 산업 현장에서 대형 시료, 특히 12인치 웨이퍼를 검사할 때 영상 품질과 스캔 시간이 작업 효율에 결정적인 영향을 미친다는 점에 주목하였다. 이러한 문제를 개선하기 위해 회전식 스캐닝 음향 현미경(Rotary Scanning Acoustic Microscopy, R-SAM) 시스템에서 획득한 선형 음향 영상의 해상도를 높이는 GAN (Generative Adversarial Network) 기반 모델인 LinearTGAN을 제안한다. 본 모델은 영상의 품질을 향상시키는 동시에 스캔 시간을 최대 86%까지 단축하여 기존 SAM 기반 검사에서 발생하던 속도와 품질 간의 상충 문제를 효과적으로 해소한다.

마지막 과제에서는 기존 세포 생존율 평가 방식인 화학 염색 기법이 갖는 많은 시간 소요, 높은 비용 및 노동 집약성과 같은 문제를 해결하고자 한다. 이를 위해 MDA-MB-231 유방암 세포를 대상으로 YOLO 기반의 딥러닝 모델을 개발하고 세포 분할에 적합하도록 정밀하게 조정하였다. 본 모델은 염색이나 추가 후처리 과정 없이도 현미경 영상만으로 생존 세포와 사멸 세포를 직접 구분할 수 있어서, 빠르고 효율적인 고속 생물학 실험이 가능하다. 또한 위 방법은 암 연구 및 약물 스크리닝을 비롯한 다양한 생의학 분야에서 실시간으로 활용될 수 있는 높은 확장성과 적용 가능성을 보여준다.|In this study, we present comprehensive advancements in acoustic and biomedical imaging through the integration of deep neural networks for anomaly detection, segmentation, and resolution enhancement. The research focuses on applying state-of-the-art (SOTA) deep learning models to optimize imaging performance in Scanning Acoustic Microscopy (SAM), also known as Scanning Acoustic Tomography (SAT), and clinical microscope, addressing critical needs in both industrial and medical diagnostics.

The first challenge involves the segmentation of objects and internal defects, such as delaminations, voids, and cracks, in acoustic scanned images, which is essential for the inspection of industrial components including wafers, power semiconductors, transistors, flip chips, and multilayer ceramic capacitors. To support this effort, we constructed a custom dataset comprising six categories of SAM images acquired using our in-house scanning system, along with manually annotated ground truth masks. A segmentation approach based on the Meta Segment Anything Model (MetaSAM) was fine-tuned for the SAM imaging. Experimental results demonstrate that the proposed model consistently outperforms several leading segmentation methods. Furthermore, a generalizable framework was developed to facilitate the detection of arbitrary objects in SAM images, thereby enhancing automation and reliability in industrial inspection workflows.

Another significant challenge arises when imaging samples with irregular or deformed surfaces, which disrupt transducer coupling and degrade ultrasonic signal transmission, often resulting in incomplete or distorted data. Therefore, we propose a surface segmentation method based on the YOLO neural network, designed to accurately localize surface profiles within B-scan images. This enables more precise A-scan signal reconstruction, leading to substantial improvements in the resolution and structural clarity of the reconstructed C-scan images. Comparative evaluations against multiple YOLO variants and SOTA models confirm the superior performance of our approach in surface detection and image reconstruction.

Moreover, in industrial inspection environments, particularly when scanning large-format samples such as 12-inch wafers, both image quality and scanning time critically influence operational efficiency. To overcome these limitations, we introduce an enhanced generative adversarial network (GAN)-based model designed to improve the resolution of linear acoustic images obtained from the Rotary Scanning Acoustic Microscopy (R-SAM) system. Our architecture achieved notable enhancements in image fidelity while reducing scanning time by 86%, thereby effectively mitigating the trade-offs between speed and quality inherent in conventional SAM-based inspections.

Finally, in biomedical imaging, we address the limitations of traditional cell viability assessment methods, such as chemical staining, which are typically labor-intensive, time-consuming, and costly. To provide a rapid, non-invasive alternative, we developed a YOLO-based deep learning model fine-tuned for the segmentation of MDA-MB-231 breast cancer cells. This approach enables direct discrimination between viable and non-viable cells from microscope images without the need for staining or additional post-processing. The proposed method offers substantial improvements in efficiency and scalability for high-throughput biological assays and shows strong potential for real-time applications in cancer research, drug screening, and broader biomedical fields.