Context-based visual data generation for image enhancement and automatic colour calibration
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK VE ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: ECE SELİN BÖNCÜ
Danışman: Gözde Akar
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Dijital kameraların geniş uygulama alanları nedeniyle bu cihazların temsil kalitesi önemli bir performans kriteri haline gelmiştir. Donanım sınırlamaları veya sahnedeki anlık değişimler nedeniyle, çıktı görüntüsünde istenmeyen bozulmalar görünebilir. Prosedür tekrarlanamaz olduğundan, görüntü iyileştirme yöntemleri çoğunlukla kötü konumlanmış olarak ortaya çıkar. Çalışma kapsamında, kendi yazdığı bir betimlemeye dayalı olarak görüntüler üreten ve bağlama dayalı bir bozulma uygulayarak bu görüntünün düzenlenmiş versiyonunu özerk bir şekilde sağlayan yeni bir ajan olan olan AIti-FAct önerilmiştir. AIti-FAct, uçtan uca görüntü düzenleme görevini betimleme oluşturma, görüntü oluşturma ve bozma gibi daha basit alt görevlere ayırır ve birden fazla araç kullanımına izin verir. Ayrıca, bozma alt görevi, görüntüyü içeriğine göre çarpıtmak için 12den fazla aracın mevcut olduğu başka bir ajanı aracı olarak uygulanır. Eğitilmiş BDMlerin gücünden yararlanan bu iç içe geçmiş aracı, yalnızca kullanıcı istemleri yürütmekle kalmaz, aynı zamanda yalnızca betimlemeye bağlı olarak görüntü üzerinde gerçekçi bir bozma yaratır. İçteki Bozulma Aracısının metne bağlı karar verme performansı, görüntü başlıklama verisetlerinde öznel bir değerlendirme yoluyla gösterilmektedir. Renk kalitesi için bir uzantı olarak, renk sabitliği için 2 aşamalı bir yaklaşım sunulmaktadır. Küçük ölçekli veri setlerinin renk sabitliği konusundaki sınırlamaları, sentetik olarak üretilen verilerin kullanılmasıyla giderilir. Öncelikle, sRGB görüntülerini kamerayla eşlenen RAW görüntülere dönüştüren yeni bir aracın eklenmesiyle verisetleri genişletilmiştir. Seçilen literatür yaklaşımlarının performansı, kıyaslama verisetleri üzerinde aktarım öğrenimi yoluyla artırılmaktadır. Ayrıca CLIP tabanlı yeni bir yöntem olan CLIP Kılavuzlu Renk Sabitliği, CKRS, önerilmektedir. CKRS, metin \& görüntü kodlayıcılarıyla problem karşılaştırmalı öğrenme alanında yeniden tanımlamakta ve performans literatür seviyesine ulaşmaktadır.