İçerik tabanlı çokluortam endekslemesi için ses ve görüntü bilgisi yardımıyla saklı Markov modeli kullanarak video özetleme


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Mühendislik Fakültesi, Elektrik ve Elektronik Mühendisliği Bölümü, Türkiye

Tezin Onay Tarihi: 2003

Tezin Dili: İngilizce

Öğrenci: Yağız Yaşaroğlu

Danışman: ABDULLAH AYDIN ALATAN

Özet:

Bu tez çalışması öyküye dayanan videoların sahne seviyesinde özetlenmesi üzerine bir çalışmadır. Probleme iki ayrı bakış açısından yaklaşılmıştır. Birinci yaklaşım videoların bütün halinde modellenmesini öngörmektedir. Elde edilen model yardımıyla sahne sınırları belirlenmektedir. İkinci yaklaşım farklı türdeki sahneler için modeller oluşturulmasına ve videonun analizi sırasında sahne türlerinin belirlenmesine dayanmaktadır. Her iki yöntemde de kullanılan modeller saklı Markov modelleridir. Birinci yöntemde tez kapsamında kısaca değinilen video özetleme ile video prodüksiyonu arasındaki ilişkiden yararlanmak için içerik türleri tanımlanmıştır. Sistemde iki içerik türü gerçeklenmiş (hareket ağırlıklı içerik ve diyalog ağırlıklı içerik) ve yapılan deneylerde gereklilikleri doğrulanmıştır. Farklı içerik türleri farklı saklı Markov modelleri ve öznitelikler kullanmaktadır. İçerik türüne göre seçilen model videoyu bir bütün olarak işleyip bölütlemektedir. İkinci yöntemde ise sahne türleri modellenmektedir. Farklı modeller ve öznitelikler kullanan iki sahne türü belirlenmiştir: hareketli sahneler ve diyalog sahneleri. Girdi videonun sabit uzunluktaki parçaları iki sahne türünden birisine sınıflanır, ve her vi parça ayrı ayrı sahne türüne göre bölütlenir. İki yöntemin performansı görsel öselliklere ve video yapısıyla ilgili kurallara dayanan bir topaklama metoduyla karşılaştırılmıştır. Saklı Markov modelleri kullanarak içerik türüne bağlı video özetleme en iyi performansa sahiptir