2-Boyutlu video ve derinlik haritası temelli 3-Boyutlu video kalite değerlendirmesi

Abstract

Günden güne gelişen 3 Boyutlu (3B) video teknolojilerine (kodlama, iletim, saklama vs) geri bildirim oluşturabilmesi dolayısı ile 3B Video Kalite Değerlendirmesi (VKD) günümüzde 3B video üreticileri için ihtiyaç haline gelmiştir. Bu ihtiyaç da araştırmacıların ilgisini çekmiş ve önemli bir çalışma alanı haline gelmiştir. Böylece hem 2 Boyutlu (2B) hemde 3B metrikler geliştirilmeye başlanmıştır. Günümüzde, araştırmacılar tarafından 2B videolar için yaygın olarak kullanılan nesnel VKD metrikler literatürde yerini almıştır. Fakat, 3B videolarda 2B videolarda bulunmayan derinlik, doğallık, yoğunluk hassasiyeti gibi bilgilerin bulunmasından ve bunların değerlendirilmesinin zor olmasından ötürü İnsan Görsel Sistemi (İGS) ile yüksek ilintiye sahip yaygın kullanımlı bir metrik 3B videolar için geliştirilememiştir. Bundan dolayıdır ki, 3B VKD için halen zaman ve maliyet dezavantajları olmasına rağmen öznel testler kullanılmaktadır. Literatürdeki nesnel metrikleri ele aldığımızda üç başlık altında incelenmiştir: Tam Referanslı (TR), Azaltılmış Referanslı (AR) ve Referanssız metrikler. TR metriklerin videoyu kalite değerlendirebilmesi için videonun orjinaline sahip olması gerekmektedir. AR metriklerin VKD yapabilmesi için orijinal video dizisinden elde edilen özniteliklerin olması gerekirken Referanssız metriklerin VKD yapabilmesi için orijinal videoya ya da özniteliklerine sahip olmasına gerek yoktur. Bu yüzden Referanssız metrikler zaman ve hız bakımından avantajlarının yanında bant genişliğini de verimli kullanmamızı da sağlar. Dolayısıyla güvenilir bir Referanssız 3B VKD metriği geliştirmek çok önemli ve elzemdir. Bu tezin amacı, 2B+derinlik haritası temelli 3B videoların farklı hızlarda kodlanmış 2B videolarının İGS ile bağlantılı hareket, yapısal karmaşıklık ve kontrast bilgiler ini kullanarak Referanssız bir 3B nesnel VKD metriği geliştirmektir. Önerilen 3B nesnel VKD metriği farklı bit oranlarında kodlanan videolardan elde edilen öznel ve literatürde çok kullanılan 2B TR nesnel VKD sonuçlarıyla karşılaştırılmış ve oldukça yüksek performans elde edilmiştir. Sonuç olarak, geliştirilen 3B nesnel VKD metriğinin orijinal videoya ya da özniteliklerine gereksinim duymadan 3B VKD' sini başarıyla gerçekleştirdiği sonucuna varılmıştır.

Advancement in 3 Dimensional (3D) video technologies (coding, transmission, storage etc) enable a necessity for Video Quality Assessment (VQA) due to feedback it can provide to them. This necessity has received attention from researchers and has become a prominent area of research. Thus, a new era has started for developing both 2 Dimensional (2D) and 3D metrics. Currently, objective VQA metrics widely utilized by researchers for 2D videos exist in literature. However, a widely exploited 3D VQA metric correlating with Human Visual System (HVS) has not been developed by now since 3D video has depth, nature, and depth sensitivity properties absent in 2D video which can be assessed is a pretty sophisticated manner. For this reason, subjective tests are employed for 3D VQA even though they have time and cost disadvantages. Onjective metrics in literature are classified in to three categories: Full Reference (FR), Reduced Reference (RR) and No-reference (NR) metrics. The original video is required for VQA considering the FR metrics. While features obtained from the original video are required for RR metrics to evaluate the quality, NR metrics do not require original video or its features for evaluating the video quality. Therefore, besides its time and speed advantages, NR metrics allow us to use bandwidth efficiently. Consequently, it is of vital importance to develop a reliable NR 3D video VQA metric. The aim of this thesis is to develop a NR 3D VQA metric considering motion, structural complexity, and contrast information associated with HVS in 2D videos belonging to 2D+DM based 3D videos and coded with different bit rates. The proposed 3D objective VQA metric is compared with subjective and well-known objective FR VQA metric results and it delivers high performance. Consequently, it is concluded that the developed 3B objective VQA metric performs 3D VQA successfully without using the original video or its attribution.