Attention-based object placement for image compositing
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK-ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2023
Tezin Dili: İngilizce
Öğrenci: AKİF ÇAĞLAR
Danışman: Gözde Akar
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Görüntü birleştirme, sentetik veri oluşturma ve fotoğraf düzenleme gibi işlemlerde kullanılan, bilgisayarlı görünün üretici bir işlemidir. Bu alan, verilen görsel bileşenlerden gerçekçi yeni görüntüler oluşturmayı içerir. Görüntü kompozisyonu, görüntü uyumlandırma, nesne yerleştirme ve gölge oluşturma gibi birçok alt görevi içerir. Nesne yerleştirme, verilen bir nesneyi uygun bir biçimde verilen bir arka plana yerleştirme işlemini kapsar ve nesnenin boyutu, destekleyici zemini ve örtme durumu gibi faktörleri dikkate alır. Obje yerleştirme literatürü, nöral ağ teknolojilerindeki gelişmelere paralel olarak gelişmiştir. Evrişimli sinir ağı tabanlı görüntü sınıflandırıcılar, çekişmeli üretici ağlar ve dikkat mekanizmaları kronolojik sırayla bu alanın en gelişmiş modellerinin temel bileşenleri olmuştur. Günümüzde dikkat tabanlı yaklaşımlar, nesne yerleştirme alanında iki farklı yöntemi izlemektedir: biri, çapraz dikkat mekanizmasını kullanarak dönüşüm vektörünü hesaplamayı içerirken diğeri, kendine dikkat mekanizmasını kullanarak nesneyi yerleştirmek için konumların uygunluğunu nitelendiren bir yerleştirme uygunluğu ısı haritası üretmektedir. Ancak, bu iki yaklaşım arasında kapsamlı bir performans analizi literatürde bulunmamaktadır. Bu çalışmada, bu iki modelin performansını inceleyerek ve karşılaştırarak literatürdeki gelecek adımlar için içgörü sağlamayı amaçlıyoruz. Ayrıca, dikkat tabanlı nesne yerleştirme nöral ağlarına nesne sınıf kodlarının ayrıca verilmesinin etkilerini inceliyoruz. Ek olarak, yerleştirme uygunluğu ısı haritasından yerleştirme konumlarının çıkarılma yöntemlerini incelemiş ve kendi yöntemimizi önermiş bulunuyoruz. Sonuçlar, çapraz dikkat mekanizmasını kullanarak dönüşüm vektörünü hesaplamanın, nesne yerleştirme için daha efektif bir tasarım seçimi olduğunu; nöral ağ modeline sınıf kodlamalarının ayrıca verilmesinin daha ağır bir dikkat mekanizması içeren mimarilerde daha etkili olduğunu ve önerdiğimiz ısı haritasından yerleştirme konumlarının çıkarım yönteminin literatürdeki yöntemden daha etkili olduğunu ortaya koymaktadır.