H.264/AVC에서 고속 율왜곡 최적화 및 선택적 인트라 예측에 대한 연구

Abstract

1980년대 중반 네트워크와 음성 및 영상 저장미디어 정보의 디지털화가 진행되면서 멀티미디어의 시대가 시작 되었으며 최근에는 광대역 시대로의 급속한 발전과 더불어 컴퓨터, 통신 기구 등의 하드웨어적 기술 향상으로 통신과 멀티미디어의 융합이 주목 받고 본격적인 영상 통신 시대로 도래하고 있다. 이러한 시대적 요청에 의해 정보 전달 매체로서 동영상이 부각되고 있으나 문서 및 정지 영상과 같은 이전의 정보 전달 매체와 비교하였을 때, 그 방대한 데이터 용량은 전송이나 저장 시 큰 문제점으로 지적되었다. 이를 해결하기 위한 방법으로 동영상 압축에 대한 관심과 필요도가 커지고 지난 20년간 활발히 연구가 진행되어 눈부신 발전을 하여 근래에는 동영상 압축은 필수적인 요소가 되었고, 더 나아가 스케일러블 코딩 등의 다양한 응용 기법들로의 발전으로 전송 및 저장 매체를 보다 효율적으로 사용할 수 있도록 해주는 역할도 하고 있다. 다양한 플랫폼 상에서 압축된 동영상 데이터를 효율적으로 사용하기 위해서는 호환성이 필요하였고, 이를 위해 동영상 압축의 표준안들이 등장하였다. 동영상 압축의 표준안은 ISO/IEC (international organization for standardization & international electrotechical commission)의 MPEG (moving picture experts group)과 ITU-T (international telecommunication union - telecommunication standardization sector)의 VCEG (video coding experts group)를 중심으로 만들어 졌다. MPEG은 ISO/IEC의 멀티미디어 부호화 작업 그룹이며, 주로 CD-ROM과 DVD 같은 저장 멀티미디어의 규격을 표준화 하였다. MPEG에서 발표한 동영상 압축의 표준안들은 MPEG-x로 명칭이 붙여지며 MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21, MPEG-AVC 등이 있다.[1-4] VECG는 ITU-T 조직의 멀티 미디어 부호화 작업 그룹이며 화상전화와 화상회의 같은 비디오 통신과 관련된 표준화를 진행하였다. VCEG에서 발표한 동영상 압축 표준안들은 H.26x로 명칭이 붙여지며 H.261, H.262, H.263, H.264등이 있다.[2][4-6] 또한 ISO/IEC의 MPEG과 ITU-T의 VCEG가 같이 JVT (joint video team)라고하는 통합 그룹을 조직하여 각 그룹의 특징을 잘 반영하는 기존의 MPEG-x, H.26x 압축 표준안 보다 뛰어난 동영상 압축 성능을 가지는 새로운 표준안을 개발하기도 하였다. MPEG-2와 H.262에서 최초로 공동 작업을 하였으며, 최근 2003년 5월에 MPEG-4와 H.264에서 공동 발표한 것으로 MPEG-4 Part 10 Advanced Video Coding과 H.264라는 명칭이 각각 있으나 통칭 H.264/AVC라고 불리는 표준안을 발표하였다. H.264/AVC는 기존의 표준안인 MPEG-4와 H.263에 비해 동일 비트율에서 2배 이상의 압축 효율을 가지고 있는 획기적인 표준안이다. H.264/AVC는 부호화 효율의 개선을 위해 가변 블록 크기의 움직임 추정 및 보상 (variable block size motion estimation/compensation), 1/4 화소 정밀도의 움직임 추정 및 보상 (quarter pixel accurate motion estimation/compen-sation), 다중 참조 픽처 움직임 추정 및 보상 (multiple reference picture motion estimation/compensation), DCT 기반의 4x4 정수 변환 (4x4 integer transform based DCT), CABAC (context-adaptive binary arithmetic coding), 율-왜곡 최적화 (rate-distortion optimization), 인트라 예측 부호화 등의 새로운 기법들이 사용되었다.[7-10] H.264/AVC에서 새롭게 시도된 많은 기법들은 기존의 표준안들에 비해 부호화 성능을 개선하여 압축 효율을 상당히 높여주지만, 부호기의 복잡도가 극도로 높아져 실시간 구현이 어려운 단점이 있다. 이런 단점을 극복하고 실시간 구현을 가능하게 하기 위해 부호기의 복잡도를 감소시키는 고속 알고리즘에 대한 관심이 커지며 H.264/AVC의 발표 이후 지금까지 많은 고속 알고리즘들이 연구 및 발표 되어지고 있다.[11-13] 본 논문에서는 H.264/AVC 부호기의 복잡도를 증가시키는 주요 원인 중 율-왜곡 최적화와 인트라 예측 부호화에 관련된 계산량을 감소시키면서도 화질 저하는 미미한 효율적인 고속 알고리즘을 제안한다. 율-왜곡 최적화는 QP 특성에 맞추어 가변 블록과 skip 모드, 인트라 모드에 대하여 모두 RD_cost를 계산하여 최소의 RD_cost를 가지는 모드를 해당 블록의 최적 모드로 결정하는 기법이다. 하지만, RD_cost를 계산하기 위하여는 왜곡 정보와 해당 모드로 압축하고 코딩했을 때 발생되는 비트량 즉, 율 정보를 구해야 하므로 선택되지 않는 모드라 할지라도 모든 모드에 대해 코딩 과정까지 진행해야하며 이는 인코더의 계산량을 증가시키는 요인이 된다. 그리고 다중 참조 픽쳐를 적용할 때 최적의 참조 픽쳐을 선택하기 위해서 사용되는 MV_cost는 왜곡 정보와 예측 모션 벡터와 실제 모션 벡터간의 차이 정보 등을 이용하여 계산되고 이는 최적의 블록 모드를 선택하기 위해 사용되는 RD_cost와 유사한 경향을 가질 가능성이 크다. 그러므로 본 논문에서는 MV_cost를 사용하여 미리 RD_cost값을 예측하고 이를 근거로 율-왜곡 최적화를 생략하는 알고리즘을 제안한다. 그리고 H.264/AVC에서는 P-picture에서도 인트라 예측 모드를 적용하는데, 이 때 최적으로 선택되는 인트라 예측 모드는 평균적으로 3%정도이다. 하지만 이 3%를 위하여 모든 매크로 블록마다 인트라 예측 부호화를 시행하고 율-왜곡 최적화를 거쳐 최종 모드 결정을 하고 있다. 인트라 예측 부호화는 P-picture에서 QP의 특성을 더욱 높여주는 역할을 하는데, 낮은 QP에서는 비트량 감소의 역할을 하며, 높은 QP에서는 화질적 보완을 해준다. 하지만, 인트라 예측을 수행하는데 사용되는 계산량이 많아 인코더의 복잡도를 증가시키므로 인트라 예측 모드가 최적으로 선택되는 조건을 영상 복잡도를 이용하여 판별하고 이전에 선택된 최적의 가변블록과 예측 모션 벡터에 의해서 인트라 예측의 모드도 선택적으로 수행하여 복잡도를 줄여주는 알고리즘을 제안한다. 모의 실험 결과 QP에 따라 차이는 생기지만, 전자의 알고리즘은 미미한 화질 저하는 생기지만 코딩 시간을 평균 5%감소 시켰으며, 후자의 알고리즘 역시 미미한 화질 저하가 생기지만 평균 35%의 코딩 시간을 감소시켰다. 그리고 두 알고리즘을 동시에 사용하였을 때는 평균 40%이상의 코딩 시간을 감소시켰다. 본 논문은 서론에 이어 2장에서는 H.264/AVC에서 압축 효율을 높이기 위해 도입된 움직임 추정 및 보상 기술에 대해 기술하고, 3장에서는 새롭게 제안하는 적응적 율-왜곡 최적화 알고리즘과, 제한적 인트라 예측 부호화 알고리즘에 대한 내용을 기술하며 4장에서는 모의 실험을 통해 기존의 방법과 제안하는 알고리즘의 성능을 비교 분석하고 5장에서 결론을 맺도록 구성된다.

H.264/AVC is video image international standard that has superior video compression performance to conventional video image standard. H.264/AVC uses new technologies to improve encoding efficiency. Various inter prediction block modes and intra prediction block modes and rate distortion optimization algorithm among new technologies decide the best block mode from them. It greatly improves a bit rate but increases an amount of computation of H.264/AVC. This paper proposes fast rate distortion optimization algorithm and optional intra prediction algoritm in H.264/AVC. Fast rate distortion optimization algorithm omits to compute the optimization cost by predicting it from the cost calculated for motion estimation. And optional intra prediction algoritm in H.264/AVC omits intra perdiction to using image complexity and best inter mode and predicted motion vectors. The simulation results show that mix up two proposed algorithm, on average, keeps about 95% of a bit rate gained by the rate distortion optimization while reduces about 50% of computation added by it.