Semi-supervised generative guidance for zero-shot semantic segmentation

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: İngilizce

Öğrenci: ABDULLAH CEM ÖNEM

Danışman: Ramazan Gökberk Cinbiş

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Anlamsal görüntü bölütlemeye yönelik derin ağlar için veri etiketleme süreci piksel başına işaretlemenin zorluğundan ötürü engelleyici ölçüde maliyetli olabilmektedir. Bu bağlamda, sıfır-örnekli öğrenme tabanlı yöntemler, yeni sınıfların eğitim örneği gerektirmeden tanınmasını sağlayarak etiketli veri ihtiyacını azaltmaktadır. Fakat anlamsal bölütlemede sıfır-örnekli öğrenme üzerine olan son dönem çalışmaları problemin zorluğunun altını çizmektedir. Bu tezde, görülmeyen sınıflara yönelik sıfır-örnek genelleştirmenin etiketlenmemiş görüntülerden yararlanılarak iyileştirilmesine yönelik bir yaklaşım önerilmektedir. Ana amaç, sıfır-örnekli bölütleme tahminleri ile koşullu bir üretici görüntü modelini yarı-denetimli bir biçimde öğrenmek ve üretici modelden bölütleme tabanlı koşul girdilerine doğru olan geri beslemeyi yönlendirici olarak kullanmaktır. Bu yöntemle, sıfır-örnek bölütleme modelinin, üretici modele daha bilgilendirici koşul girdileri sunabilecek şekilde daha doğru tahminler yapmaya yönlendirilmesi hedeflenmektedir. Ek olarak üretici model, modelin eğitim dinamiklerini geliştirmek için bölütleme mimarisinin öncül evrişimsel katmanlarından elde edilen öznitelik uzayında tanımlanmakta, sonuç olarak yüksek seviyeden düşük seviyeye üretici geri besleme döngüsü oluşturulmaktadır. Yaklaşım yakın dönem çalışmalarla uyumlu olarak COCO-Stuff veri kümesinde deneysel olarak incelenmektedir.