Tilt-Invariant Lemon Size Estimation Using RGB-D Camera Images

Abstract

과일의 크기는 시장 가치에 크게 영향을 미칩니다. 레몬의 경우 크기 등급은 단면 직경에 의해 결정되며, 특정 크기 기준을 충족하는 레몬을 수확해야 합니다. 현재의 수동 측정 방법은 금속 링을 사용하며, 이는 레몬의 품질을 저하시킬 수 있고 노동 집약적입니다. 본 연구는 RGB-D 이미지를 이용한 비접촉 방식으로 레몬의 직경을 추정하는 방법을 제안합니다. 우리의 접근 방식은 딥러닝을 사용하여 레몬과 그 끝부분을 탐지하며, 깊이 정보를 활용하고 탐지된 레몬 마스크 경계에 대한 끝부분의 위치를 바탕으로 레몬의 기울기와 관계없이 크기를 추정합니다. 실내외에서 촬영된 2,038 장의 녹색 레몬 이미지를 사용한 결과, 완전히 보이는 레몬에 대해 평균 절대 오차(MAE) 2.94mm 를 달성하였으며, 가려진 부분이 있는 경우 정확도가 떨어졌습니다. 이 연구 결과는 필드 조건에서 기울기에 상관없이 정확한 레몬 크기 측정이 가능함을 시사하며, 수확을 지원하는 유용한 도구로 활용될 수 있음을 보여줍니다.|The size of fruits significantly impacts their market value. For lemons, the size grade is determined by the cross-sectional diameter, necessitating the harvest of lemons that meet specific size criteria. Current manual measurement methods, involving metal rings, may degrade lemon quality and are labor-intensive. This study proposes a non-contact method for estimating lemon diameter using RGB-D images and deep learning. Our approach detects lemons and their tips, utilizing depth information and the position of the tip relative to the boundary of detected lemon mask to estimate size irrespective of the lemon's tilt. With 2,038 images of indoor and outdoor green lemons, our method achieved a Mean Absolute Error (MAE) of 2.94 mm for fully visible lemons, though accuracy decreased with occlusions. These findings suggest that accurate, tilt-independent lemon size measurement is feasible in field conditions, providing a valuable tool for harvest support.