A Study on the Implementation of Video Stabilization for Real-time Application

Abstract

Video Stabilization is the technique to reduce jittery motion in a video. In this thesis, we shall discuss the steps involved in video stabilization using Optical Flow: Feature extraction, Optical Flow using the Lucas-Kanade method, Image Affine transformation. In this thesis, we will also discuss mathematical models involved in each step of video stabilization. In the latter part of the thesis, we have mentioned methods to improve the video stabilization results and make it more efficient while applying to high-resolution videos.

In this thesis, first we shall discuss the history of video stabilization and how the need for software technique arose over mechanical solutions. Then we shall discuss video stabilization using Optical Flow, in which this thesis covers all the mathematical formulae involved. This thesis will give the reader a clear idea of all the mathematical models involved in video stabilization using optical flow.

In the latter part, this thesis discusses the result of our program on various image resolution and FPS. We shall also compare the results of other video stabilization algorithms with our program.

Video stabilization using optical flow can be successfully implemented by using OpenCV functions. As Optical Flow based video stabilization is purely software-based, the performance of our program varies from system to system. To speed up our program we can use parallelism in our program, by using Intel TBB, Nvidia CUDA(only on Nvidia GPU powered systems).

비디오 안정화는 비디오에서 불안한 동작을 줄이는 기술입니다. 이 논문에서는 Optical Flow : Feature 추출, Lucas-Kanade 방법을 사용한 Optical Flow, 이미지 아핀 변환을 사용하여 비디오 안정화 단계를 설명합니다. 이 글에서는 비디오 안정화의 각 단계에 관련된 수학적 모델에 대해서도 논의 할 것입니다. 이 문서의 뒷부분에서는 고화질 비디오를 적용하는 동안 비디오 안정화 결과를 향상시키고 더 효율적으로 만드는 방법에 대해 언급했습니다.

이 논문에서는 먼저 비디오 안정화의 역사와 소프트웨어 기술에 대한 필요성이 기계적 해결책보다 어떻게 논의되는지에 대해 논의 할 것이다. 이 논문에서 다루는 모든 수학 공식을 다루는 Optical Flow를 사용하여 비디오 안정화에 대해 논의 할 것입니다. 이 논문은 옵티컬 플로우를 사용한 비디오 안정화와 관련된 모든 수학적 모델에 대한 독자의 이해를 돕습니다.

이 논문에서는 다양한 이미지 해상도와 FPS에 대한 우리 프로그램의 결과에 대해 논의한다. 우리는 또한 다른 비디오 안정화 알고리즘의 결과를 우리의 프로그램과 비교할 것입니다.

OpenCV 기능을 사용하여 옵티컬 플로우를 사용한 비디오 안정화를 성공적으로 구현할 수 있습니다. Optical Flow 기반 비디오 안정화는 순수한 소프트웨어 기반이므로 우리 프로그램의 성능은 시스템마다 다릅니다. 프로그램 속도를 높이기 위해 Intel TBB, Nvidia CUDA (Nvidia GPU 기반 시스템에서만)를 사용하여 프로그램에서 병행 을 사용할 수 있습니다.