Analysis of dataset, object tag, and object attribute components in novel object captioning
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK VE ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: ENES MUVAHHİD ŞAHİN
Danışman: GÖZDE AKAR
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:İmge altyazılama Bilgisayarlı Görü ve Doğal Dil İşleme alanlarının kesişiminde yer alan hem popüler hem de zorlayıcı bir iştir. İmge altyazılamanın özel bir alt kolu olan Özgün Nesne Altyazılama son yıllarda ilgi görmektedir. Özgün Nesne Altyazılama eğitim sırasında görülmemiş özgün nesneler içeren imgeler için altyazı üretmeye odaklanmaktadır. Son yıllarda hem genel imge altyazılama hem de Özgün Nesne Altyazılama için üretilen altyazıların kalitesini arttırmak amacıyla çok sayıda yaklaşım önerilmiştir. Bu yaklaşımlar Özgün Nesne Altyazılama için büyük çaplı nesne tespiti veri kümelerinden faydalanmaktadır. Ayrıca, bu yöntemler imgedeki nesne etiketlerini (sınıf isimleri) kullanmaktadırlar. Bu yaklaşımlar birçok açıdan oldukça başarılı olsa da birkaç büyük veri kümesinde, haftalarca Grafik İşleme Birimi (GPU) üzerinde eğitilmektedir. Üstelik bu yöntemler tarafından üretilen altyazılar görsel temellendirme açısından zayıf kalabilmekte ve imgedeki detayları gözden kaçırabilmektedir. Bu nedenle, bu tezde, Özgün Nesne Altyazılama için veri kümesi, nesne etiketi ve nesne sıfatı bileşenlerinin analizi gerçekleştirilmiştir. Veri kümesi boyutunun imge altyazılama performansı üzerindeki etkisinin analizi için küçük çaplı [2] ve büyük çaplı [3] veri kümelerinde Görsel Kelime Hazinesi Ön Eğitimleri (Visual Vocabulary Pretraining) [1] yapılarak en gelişmiş imge altyazılama yönteminin [4] imge altyazılama performansı karşılaştırılmıştır. Nesne etiketinin kalitesinin Özgün Nesne Altyazılama performansına etkisinin analizi için iki farklı nesne etiketi kümesi kullanılarak eğitilmiş yöntemler karşılaştırılmıştır: özgün nesne içermeyen büyük nesne etiketi kümesi, özgün nesne içeren küçük nesne etiketi kümesi. Son olarak, daha zengin altyazılama elde etmek ve imgedeki gözden kaçan detayları azaltmak amacıyla nesne sıfatlarından faydalanan özgün bir yaklaşım önerilmiştir. Deneysel sonuçlar hem Özgün Nesne Altyazılama hem de genel imge altyazılama görevlerinde gösterilmiştir. Deneysel sonuçlar özgün nesne etiketlerinin Özgün Nesne Altyazılama'da kritik bir rol oynadığını ve önerilen yaklaşımın baz alınan yaklaşıma göre daha zengin ve detaylı altyazılar ürettiğini ortaya koymuştur.