Visual Multi-Object Tracking and Exploration based on Deep Learning

Abstract

Currently, visual object tracking has been attracted by the newest technological findings and scientific researches of controlling systems, which has an essential role for autonomously monitoring procedures of AI and robotics. Generally, the meaning of the visual object tracking is a process of detecting a moving target from the video sequence frames, by taking the initial location of the objects to set a tracking point, additionally, giving a unique IDs to each detected target, and track them as they move around frame to frame in a time period of the video sequence. In this research, for visual object tracking, we have presented two research points to discover more adjustable method for development of visual tracking models. In the first study, the main attention focused on the stat-of-the-art method’s performance, by applying one of the commonly used a Channel and Spatial Reliability of Discriminative Correlation (CSR-DC) tracking filter with the integration of a novel Faster RCNN (Region-based Convolutional Neural Network) object detection model, that we proposed the combined algorithm with deep learning-based object detection and CSRT (Channel and Spatial Reliability Tracking), in case of creating neural network based tracking system, as well as, to overcome most crucial challenging task of the visual object tracking. Our integrated implementation method presented much better results, instead of using CSRT tracker itself. In order to continue our researches further, we have explored a new research methodology in visual object tracking, our next research study was conducted in the field of Multi-object tracking, which we have proposed a novel model LSTM (Long-Short Term Memory) Network with Tracking Association for Multi-Object Tracking. Multi-object tracking is quite different from single one, which we are going to face additional challenges. Most common and obvious tasks in object tracking are occlusion, motion blur, similarity, overlapping, environmental variations and so on, apart from those in multi-object tracking we have some other additional challenges or more intensified form of the listed problems. So, the LSTM network based tracking association method has been proposed by building a network structure, which is associated with tracking can give us to learn the trackable objects location directly, appearance, and motion details, additionally, the LSTM network has an ability, that by learning objects features and other information, it will save that details to network cells and uses that information for predicting, next movement of the targets in the time series of the sequences, which it would be a future prediction according to their initial position. According to the performance of the jointly object tracking with LSTM network is more powerful and adoptable to learn and tracking parallelly. Both proposed methods can work in online mode, which increases the efficiency and effectiveness of the proposals. In the first approach we have applied our own dataset, in the second one opensource dataset have been used. The significance our proposals, in both cases deep learning-based module integrated with high visual and qualitive performance, compared with conventional and also with current research method results.

현재 시각 물체 추적은 AI와 로봇의 절차를 자율적으로 감시하는 데 필수적인 역할을 하는 제어 시스템의 새로운 기술적 발견과 과학적인 연구에 의해 대부분 관심을 끌고 있다. 일반적으로 시각적 객체 추적의 의미는 영상 시퀀스 프레임에서 움직이는 대상을 감지하는 과정으로, 물체의 초기 위치를 파악하여 추적 지점을 설정하고, 추가로 검출된 각 대상에 고유한 ID를 부여하며, 비디오 시퀀스의 시간대에 프레임에서 프레임으로 이동하는 동안 추적한다. 본 연구에서는 시각적 객체 추적을 위해 시각적 추적 모델의 개발을 위한 보다 조정 가능한 방법을 발견하기 위한 두 가지 연구 포인트를 제시하였다. 첫 번째 연구에서는 우리가 제안했던 CSR-DC(Channel and Spatial Reliability of Discriminative Correlation) 객체 탐지 모델의 통합과 함께 흔히 사용되는 Faster RCNN (Region-based Convolutional Neural Network) 추적 필터 중 하나를 적용하여 최첨단 방법의 성능에 주목하였다.e 시각적 객체 추적의 가장 중요한 과제를 극복하기 위해 신경망 기반 추적 시스템을 구축하는 경우, 심층 학습 기반 객체 감지 및 CSRT(Channel and Spatial Reliability Tracking)와 결합된 알고리즘. CSRT Tracker 자체를 사용하는 대신, 우리의 통합 구현 방법은 훨씬 더 나은 결과를 제시했다. 연구를 더 지속하기 위해, 우리는 시각적 객체 추적의 새로운 연구 방법론을 탐구했고, 다음 연구는 다중 객체 추적 분야에서 진행되었는데, 다중 객체 추적을 위한 추적 협회와 함께 새로운 모델 LSTM (Long-Short Term Memory) Network를 제안했다. 다중 객체 추적은 단일 개체와 상당히 다른데, 우리는 추가적인 도전에 직면하게 될 것이다. 객체 추적에서 가장 보편적이고 분명한 작업은 폐색, 모션 흐림, 유사성, 중복성, 환경적 변화 등이며, 다중 객체 추적에 있는 과제와는 별개로 우리는 열거된 문제들에 대해 몇 가지 추가적인 도전이나 보다 강화된 형태를 가지고 있다. 그래서 LSTM 네트워크 기반 추적 연결 방법은 네트워크 구조를 구축함으로써 제안되어 왔는데, 추적과 관련된 것은 추적 가능한 물체 위치, 외관, 동작 세부 정보를 직접 학습할 수 있게 해주고, 추가로 LSTM 네트워크는 물체 특징 및 기타 정보를 학습함으로써 음미할 수 있는 능력을 갖게 된다.e 네트워크 셀에 대한 세부사항과 그 정보를 시퀀스의 시계열에서 대상의 다음 이동을 예측하기 위해 사용하며, 이는 초기 위치에 따라 미래 예측이 될 것이다. LSTM 네트워크와의 공동 객체 추적 성능에 따라 병렬로 학습하고 추적하기 위해 더 강력하고 채택할 수 있다. 제안된 두 가지 방법 모두 온라인 모드에서 작동할 수 있으며, 이는 제안의 효율성과 효과를 증가시킨다. 첫 번째 접근방식은 자체 데이터셋을 적용했고, 두 번째 접근방식은 오픈소스 데이터셋을 사용했다. 기존의 연구 방법 결과와 비교했을 때, 두 경우 모두 높은 시각적 및 자격적 성과와 통합된 딥러닝 기반 모듈에서 우리의 제안이 갖는 중요성.