인공신경망을 사용하는 치아 및 치석 인식

Abstract

정보화 기술과 인공지능 기술의 발달로 인하여 인공지능을 헬스케어에 접목한 여러 시도가 이뤄지고 있다. 그중에서 인공지능을 이용한 치아 인식 분야의 연구도 활발한데, 대부분은 치아의 번호를 판단하여 진료를 보조하는 딥러닝 모델에 관한 연구이며, 치석 등 치아의 건강 상태를 추정하는 연구는 시도되지 않았다. 본 연구에서는 치아의 건강 상태를 알 수 있는 치아 인식 및 치아 건강 판단 모델을 제안한다. 제안 모델은 합성곱 신경망(Convolutional Neural Network: CNN)을 직접 설계한 모델과 ResNet 모델을 전이학습 시킨 모델을 비교함으로써 최적의 치아 인식 및 치아 건강 판단 모델을 학습하는 방법을 연구하였다. 또한, ResNet 전이학습 모델의 층의 깊이에 따른 모델 성능의 변화, 데이터 증강을 통한 딥러닝 모델의 성능 향상을 확인하는 방향으로 연구를 진행했다. 결과적으로 치아 인식 모델에서 직접 설계한 CNN 모델은 0.00010 Loss, ResNet 전이학습 모델은 0.00022 Loss로 직접 설계한 CNN모델의 성능이 더 좋은 것을 확인했다. 그리고 치아 건강 판단 모델에서 ResNet 모델의 층이 깊어짐에 따라 모델의 성능이 향상되는 것을 확인하였고, 데이터 증강은 원본 데이터를 20등분하고, 밝기에 대해 증강하였을 때 가장 성능이 좋았음을 확인하였다. 또한, 치아 건강 판단 모델에서 직접 설계한 CNN 모델은 정확도가 87.45%이고, ResNet 전이학습 모델은 정확도가 91.9%이므로 ResNet 전이학습 모델의 성능이 더 좋은 것을 확인했다. 그리고 학습된 치아 인식 모델과 치아 건강 판단 모델은 클라우드 서버에 학습된 모델 파일을 탑재하고, 웹 페이지를 통해 사용자가 모델에 접근하는 방식의 사용법을 연구하였다. 이때 위와 같은 사용법으로 학습된 모델에 대해 각각 20개의 테스트 이미지의 평균 점수를 구한 결과, 학습 데이터와 유사한 데이터 중 건강한 치아 데이터는 평균 90.42점, 편집된 치석이 포함된 데이터는 평균 57.99점, 학습 데이터와 유사하지 않은 데이터 중 연예인 치아 데이터는 평균 96.21점, 실제 치석이 포함된 데이터는 평균 77.23점으로 구강 건강 점수가 나타났다. 이는 치아 건강 모델이 본 연구에서 의도한 수준의 치아 건강 점수를 찾은 것을 의미한다.

Due to the development of information technology and artificial intelligence technology, various attempts are being made to graft artificial intelligence into healthcare. Among them, research in the field of tooth recognition using artificial intelligence is also active, but most of them are studies on a deep learning model that assists in treatment by judging tooth numbers, and the health status of teeth is unknown. This study proposes a tooth recognition and dental health judgment model that can know the health of teeth. First, a method for learning the optimal tooth recognition and dental health judgment model was studied by comparing a model directly designed with a Convolutional Neural Network (CNN) and a model obtained by transfer learning of a ResNet model. In addition, the study was conducted in the direction of confirming the change in model performance according to the layer depth of the ResNet transfer learning model and the improvement of the performance of the deep learning model through data augmentation. As a result, it was confirmed that the CNN model directly designed from the tooth recognition model performed better with 0.00010 Loss and the ResNet transfer learning model with 0.00022 Loss. And in the dental health judgment model, it was confirmed that the performance of the model improved as the layer of the ResNet model became deeper, and it was confirmed that the data augmentation performed best when the original data was divided into 20 equal parts and the brightness augmentation was formed. In addition, since the CNN model designed directly from the dental health judgment model has an accuracy of 87.45% and the ResNet transfer learning model has an accuracy of 91.9%, it is confirmed that the performance of the ResNet transfer learning model is better. And the learned tooth recognition model and health judgment model loaded the learned model file on the cloud server and studied how the user accesses the model through a web page. At this time, as a result of verifying the model trained using the above method with 20 test images, the average of 90.42 points for healthy tooth data, 57.99 points for data including edited calculus among data similar to the training data, and the average of 96.21 points for celebrity dental data, 77.23 points for data that included actual calculus not similar to the training data, indicating oral health scores. This means that the dental health model found the intended level of dental health score in this study.