Systematic evaluation of the effects of low-resolution and monochrome images on instant neural graphic primitives based 3d reconstruction
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2023
Tezin Dili: İngilizce
Öğrenci: İLYAS EREN YILMAZ
Asıl Danışman (Eş Danışmanlı Tezler İçin): Erol Şahin
Eş Danışman: Emre Akbaş
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Son dönemde çıkmış olan Nöral Parlaklık Alanları (NeRF) üç boyutlu rekonstrüksiyon alanında üzerine dikkatleri toplamayı başarmış bir metoddur. Bu metod kompleks bir sahneden alınan resimlerle eğitildikten sonra sahneye ilişkin özgün görüntüler oluşturabilmektedir ve klasik üç boyutlu rekonstrüksiyon metodlarına bir alternatif olarak giderek yükselmektedir. Genel anlamda her ne kadar NeRF başarılı bir model olsa da NeRF'ün limitli durumlarda da başarılı olup olmayacağına dair net bir bilgi bulunmamaktadır. Bu tez en güncel NeRF bazlı üç boyutlu rekonstrüksiyon modellerinin sınırlarını farklı düşük çözünürlüklü ve farklı renk modlu resimlerle test etmeyi hedeflemektedir. Bu deneylerin yapılmasının arkasındaki temel amaç, günümüz modellerinin küçük quadrotorlar gibi sistemlerle gerçek dünyadan alınan düşük çözünürlüklü resimlerle kullanılıp kullanılamayacağı ve NeRF bazlı metodlarda başarıya ulaşabilen minimum bilgi nedir sorularının daha kavrayabilmektir. Bu soruları cevaplayabilmek için NeRF'ün öğrenim ve sonuç çıkarım hızını arttıran bir metod olan Anlık Nöral Grafik Primitifleri (Instant NGP) ve NeRFü Habitat Lab simülasyonundan elde edilmiş farklı renk modu ve farklı düşük çözünürlükteki resimlerle ve bu resimler kullanılarak COLMAP'ten elde edilen kamera pozlarıyla birlikte test eden bir test ortamı yaratılmıştır. Deneylerin çıktıları PSNR, SSIM ve LPIPS metrikleri ile raporlandırılmıştır. Sonuçların neticesinde, (i) yüksek çözünürlükteki resimler daha iyi kalitede rekonstrüksiyon yarattığı, (ii) renk modularının her bir metriği farklı etkilediği ve (iii) daha yüksek çözünürlükteki resimler kullanılarak elde edilen dış kamera parametrelerinin düşük çözünürlükteki resimlerle kullanılınca rekonstrüksiyon kalitesini artırdığı ortaya çıkmıştır. Ayrıca, (iv) Instant NGP için en iyi parametre konfigürasyonu her sahne için değişkenlik gösterebilir ve her sahne için ayrı ayrı ayarlanması gerektiği gözlemlenmiştir ve (v) COLMAP ile yapılan rekonstrüksiyonlar detayları ve sahnenin karakteristik özelliklerini koruyamamakta ve sahnede delikler oluşabilmektedir, bu nedenle Instant NGP rekonstrüksiyon için daha uygun bir aday olarak görülebilir.