A Measurement Method for Fish Surface Area and Volume Based on 3D-Coordinate Using Image Processing Method

Abstract

The fish processing industry requires technological solutions that focus on automating the processing task to increase production, and reduce time and costs. In the fish processing industry, measuring the surface area and volume of fish is an important step in the whole process. The technology advances in an image processing method enables the application of new techniques to measure surface area and volume of fish precisely, fast and accurately. This dissertation presents a measurement method for fish surface area and volume based on 3D-coordinate using an image processing method. Three measurement methods for fish surface area and volume in this dissertation are proposed: an analytic method and a partition measurement method for fish surface area and volume, a real-time measurement method for fish surface area and volume, and a real-time measurement method of moving objects for fish surface area and volume. To do this task, the followings are done. Firstly, the overview of the measurement methods proposed in this dissertation is provided. This dissertation presents mathematical modeling useful for calculating fish surface area and volume, reviewing image processing methods, stereo camera and moving object tracking. For mathematical modeling, the fish shape is considered to be ellipsoidal. Mathematical modeling consists of an analytic method and a partition method applied for image processing to measure fish surface area and volume. The image processing methods used for this dissertation are focusing on image segmentation by using mathematical morphology and edge detection. The pinhole camera model is adopted to define the modeling of stereo triangulation for obtaining camera parameters. For moving object tracking, Kalman filter for multi-object tracking is presented. Secondly, the structure hardwares of the measurement systems used for the above three measurement methods for measuring fish surface area and volume are presented as follows: the measurement system on analytic and partition measurement methods for fish surface area and volume, the measurement system on real-time measurement method for fish surface area and volume, and the measurement system on real-time measurement method of moving object. The structure hardwares are developed with mechanical and electrical parts such as personal computer (PC), monitor screen, LED lamp, HD camera, stereo camera, frame, fixed or moving plywood panel, etc. Thirdly, an analytic and partition measurement methods for fish surface area and volume are proposed. The measurement method is implemented in offline. The image processing method is built in Matlab programing language. The images are captured by using high density (HD) camera to acquire digital profile images used for image acquisition. The digital profile images are extracted as segmented image and used for measuring fish surface area and volume. The actual length, height, and width of the fish in millimeters are measured. These are used to calibrate the length, height, and width in pixels of a feature extracted from the profile digital image of the fish. Camera calibration constant, image preprocessing, image segmentation and feature extraction are utilized in the algorithm to calculate the fish surface area and volume. The measurement results of the fish surface area and volume of the partition method is compared with those of the analytic method to prove its validity. Fourthly, a real-time measurement method for fish surface area and volume is proposed. It is shown that the proposed partition measurement method using image processing methods is valid because the difference between experimental results using an image processing method and analytical method was small. However, this method is built in offline. The main problems of an image captured by the video camera result in excessive information, complex disparities, and the change of the shape and appearance of an object due to lighting conditions. Therefore, a method to extract the foreground object image is needed to solve these problems. A real-time image segmentation method is proposed to solve these problems. To execute this tasks, a stereo camera is used. The real-time image segmentation is developed by using library available in open source computer vision (OpenCV, C++). The real-time image segmentation is done by combining HSV color space, threshold value, mathematical morphological transformations, and contour detection techniques to extract objects in a graph-based image. A 3D coordinate measurement of fish surface area and volume by using stereo camera is used. By using the 3D coordinate measurement, the length, width, and height (mm) of the fish image are obtained. Fish surface area and volume are calculated from the length, width, and height of the fish image. Fifthly, a real-time measurement method of moving objects for fish surface area and volume is proposed. In this method, an object is moving on a moving plywood panel driven offline by a motor and a stereo camera determines the size of the object. The real-time image segmentation of moving objects is developed by using library available in open source computer vision (OpenCV, C++). To determine the size of objects which cannot be contained within the camera field of view, it is useful to track their contours. To complete this task, the following steps are done. The first step is that the segmented object is shown in the target view. The second step is that each image is classified and stored in computer as image library. The third step is that a stereo camera automatically identifies the targeting object by matching the two views of the contour. The final step is to reposition the stereo camera at the reference position relative to the planar contour, and measure the object centroid and the object size. Finally, the experimental results are shown to verify the effectiveness and applicability of the proposed three measurement methods.

"Keywords: Image processing, Image segmentation, Real-time image segmentation, Stereo camera, 3D coordinate measurement, Fish surface area calculations, Fish volume calculations, Moving object."

오늘날, 어류공정산업은 생산증가, 시간과 비용감소를 하기 위한 공정을 자동화하는 것에 중점을 둔 기술적 해결책을 요구한다. 어류공정산업에서는 어류의 표면적과 부피를 측정하는 것이 전공정에 있어서의 중요한 단계이다. 영상처리법에 있어서의 기술진보는 어류의 표면적과 부피를 정밀하고 빠르고 정확하게 측정하는 새로운 기술의 응용을 가능하게 한다. 본 연구는 영상처리법을 이용한 3D좌표기반 어류 표면적 및 체적 측정법을 제시한다. 이를 위해 다음과 같이 수행한다. 본 연구에서는 어류 표면적과 부피측정을 위해 다음과 같은 세가지 측정법이 제시된다-해석적 측정법과 분할측정법, 실시간 측정법과 이동물체의 실시간 측정법. 이를 위해 다음과 같이 수행한다. 첫째, 본 연구에서 제시된 측정법들에 사용된 수학적 모델링과 영상처리법에 대한 개요가 제시된다. 본 연구는 어류표면적 및 부피계산에 사용되는 수학적 모델링, 영상처리법의 검토, 스테레오카메라의 모델링과 이동물체 추적법이 제시된다. 먼저 어류모양을 타원체형이라 간주한 수학적 모델링이 제시된다. 어류표면적과 체적을 측정하기 위한 영상처리에 적용된 수학적 모델링은 해석적 측정법과 분할측정법으로 구성된다. 영상처리법은 수학적 형태학과 에지탐지를 사용한 영상분할에 집중하고 있다. 핀홀 카메라모델이 카메라 매개변수들을 얻기 위하여 스테레오 삼각법의 모델링을 정의하기 위해 채용된다. 이동 다물체를 추적을 위해 칼만필터가 제시된다. 둘째, 본 연구에 사용되는 어류 표면적과 부피측정용 세가지 측정시스템의 하드웨어구조들이 다음과 같이 제시된다-해석적 측정법과 분할 측정법을 위한 측정시스템들, 실시간 측정법을 위한 측정시스템, 이동물체의 실시간 측정법을 위한 측정시스템. 하드웨어 구조는 컴퓨터, 모니터, LED 램프, HD카메라, 스테레오카메라, 프레임, 고정 또는 이동 목판 판넬 등으로 기구적 및 전기적 부품으로 구성된다. 셋째, 어류 표면적과 부피를 측정하기 위한 오프라인으로 측정되는 해석적 측정법과 분할 측정법이 제시된다. 고밀도(HD)카메라를 시용해 얻어진 디지털 프로파일 영상들이 분할영상으로 추출되며 어류표면적과 부피측정에 사용된다. mm로 측정된 어류의 실제길이, 높이, 폭은 디지털 프로파일 영상으로부터 추출된 형상의 픽셀로 된 길이, 높이, 폭을 교정하기 위해 사용된다. 카메라 교정상수, 영상처리, 영상분할과 형상추출이 어류표면적과 부피를 계산하기 위한 알고리즘에 사용된다. 어류표면적과 부피에 대한 분할 측정법에 의한 측정결과는 그 유효성을 증명하기 위해 해석적 측정법에 의한 측정결과들과 비교된다. 넷째, 어류표면적과 부피에 대한 실시간 측정법이 제시된다. 영상처리법을 사용한 제안된 분할 측정법과 해석적 측정법을 사용한 실험결과들의 차이가 작기때문에 제안된 분할 측정법이 유효함을 보여준다. 이 측정법 또한 오프라인으로 만들어져 있으며 비디오 카메라에 의해 얻어진 영상의 주된 문제들은 과도한 정보, 복잡한 불균형, 빛의 조건에 기인한 물체의 형태와 외관모양의 변화를 낳는다. 그러므로 이러한 문제들을 해결하기 위해 전경 물체영상을 추출하는 법이 필요하며 실시간 영상분할법이 제시된다. 이러한 일을 수행하기 위해 스테레오카메라가 사용된다. OpenCV에서 이용할 수 있는 라이브러리를 사용함으로써 실시간 영상분할이 수행된다. 실시간 영상분할은 HSV칼라공간, 문턱값, 수학적 형태학적 변환들과 그래프기반 영상에서의 목적물들을 추출하기 위해 윤곽탐지기술들을 결합함으로써 수행된다. 스테레오카메라를 사용하여 어류 표면적과 부피를 측정하기 위해 3D좌표측정이 사용된다. 3D좌표측정법을 사용해 mm로 얻어진 어류영상의 길이, 폭, 높이로 어류표면적과 부피가 계산된다. 다섯째, 어류 표면적과 부피를 측정하기 위한 이동물체의 실시간 측정법이 제시된다. 물체는 모터에 의해 오프라인으로 구동되는 이동 목판 판넬 위에서 이동된다. OpenCV에서 이용할 수 있는 라이브러리를 사용함으로써 이동물체의 실시간 영상분할이 수행된다. 카메라 뷰(영상) 내에 포함될 수 없는 물체들의 크기를 결정하기 위해, 그들의 윤곽들을 추적하는 것이 유용하다. 이를 위해 다음과 같은 단계들이 수행된다. 첫 번째 단계는 분할된 물체가 목표 뷰 안에 보이는 것이다. 두 번째 단계는 각 영상이 분리되어 영상 라이브러리로서 컴퓨터 안에 저장되는 것이다. 세 번째 단계는 스테레오카메라가 윤곽의 두 개의 뷰들을 매칭시킴으로써 목표물체를 자동적으로 확인시키는 것이다. 마지막 단계는 스테레오카메라를 평면 윤곽에 상대적인 목표위치에 재위치시키고 물체 도심과 물체크기를 측정하는 것이다. 마지막으로 실험결과들이 제안된 3개의 측정법의 유효성과 적용가능성을 보여주기 위해 제시된다.

"키워드: 영상처리, 영상분리, 실시간 영상분리, 3D좌표측정, 어류표면적 계산, 어류체적 계산, 이동물체."