Self-supervised learning for unsupervised image classification and supervised localization tasks

MELİH BAYDAR

Self-supervised learning for unsupervised image classification and supervised localization tasks

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2024

Tezin Dili: İngilizce

Öğrenci: MELİH BAYDAR

Danışman: Emre Akbaş

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Son yıllarda, örnek ayrıştırma görevinin evrişimli sinir ağları (CNNler) için temel bir ön eğitim görevi olduğu öz-denetimli öğrenme yöntemleri, öğrenme aktarmasında büyük başarı elde etti. Örnek ayrıştırma görevi, görüntü düzeyinde öğrenme nedeniyle sınıflandırma için etkili olsa da, yoğun öznitelik öğreniminden yoksundur ve bu durum, nesne tespiti gibi yerelleştirme görevleri için tam uygun olmamasına yol açar. Bu tezin ilk bölümünde, örnek ayrıştırma görevinin bu eksikliğini gidermek amacıyla, onu görüntü düzeyindeki özniteliklerin yanında aynı zamanda yoğun öznitelikler öğrenmeye de teşvik etmeyi hedefliyoruz. Görüntü düzeyinde öğrenmeye paralel olarak sınıf bağımsız maskeler tahmin eden bir bölütleme dalı ekleyerek, özniteliklerin lokasyon farkındalığını artırıyoruz. Yaklaşımımız, PASCAL VOC'de %1.7 AP, COCO nesne tespitinde %0.8 AP, COCO örnek bölütlemede %0.8 AP ve PASCAL VOC anlamsal segmentasyonda %3.6 mIoU'ya kadar performans iyileşmeleri sağlıyor. Son yıllarda, Vision Transformerlar (ViTs), geleneksel bilgisayarlı görü görevlerinde derin öğrenme modellerini önemli ölçüde ilerleterek, öz denetimli öğrenmede de büyük ilerlemelere yol açtı. Bu tezin ikinci bölümünde, iyileştirilmiş özellik temsili ve öz-denetimli ViT'lerin üstün en yakın komşu performansından yararlanan bir denetimsiz görüntü sınıflandırma yöntemi olan UCLS'yi öneriyoruz. Denetimsiz görüntü sınıflandırma için temel yöntemleri kademeli olarak geliştiriyor ve çok başlı sınıflandırıcıların kullanımını optimize etmek amacıyla bir kümeleme toplama metodolojisinden yararlanmayı ve bir kendi kendine eğitim adımı kullanmayı öneriyoruz. Yoğun deneyler ile, UCLS'nin tamamen denetimsiz ayarlarda, CIFAR10'da %99.3, CIFAR100'de %89 ve ImageNet'te %70'in üzerinde denetimsiz performansa ulaştığını gösteriyor ve bu bağlamda en son teknolojiye uygun performans sağladığını belirtiyoruz.