Learning-Based Methods for Multi-Modal and Multi-Spectral Data


Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2020

Tezin Dili: İngilizce

Öğrenci: SAVAŞ ÖZKAN

Danışman: Gözde Akar

Özet:

Veriye dayalı çözümler günlük hayatımızın vazgeçilmez bir parçası haline geldi. Bu çözümler genellikle büyük miktarda denetlenen veri tüketmektedir. Ek olarak, insan bilgi düzeyine dogru bir ¸sekilde ula¸sabilmek için geni¸s bir ö ˘ grenilebilir parametreler ˘ bütünü egitilmelidir. Bununla birlikte, bu ba ˘ gımlılıklar, özel ö ˘ grenme yapıları aracı- ˘ lıgıyla alana özgü özelliklerin tam olarak kullanılmasıyla a¸sılabilir. ˘ Bu tez, özellikle farklı sensör tiplerini ve uygulama alanlarını kullanarak denetimsiz ve çok modlu verileri ele almaktadır. ˙Ilk yönümüz, veriye özgü özellikler uygun ¸sekilde modellenebilirse, saglam temsillerin denetim olmaksızın verilerden hesapla- ˘ nabilecegini kanıtlamaktır. Bu amaçla, zengin içerik bilgisi sa ˘ glayan multispektral ve- ˘ riler kullanılır. Spektral malzeme imzaları ve bunların karı¸sım oranları verilerden kör olarak elde edilirmektedir. ˙Ikinci yön, çok modlu verilerin karma¸sık görsel görevleri çözmek için teorik ve pratik faydalar sundugunu göstermektir. Özellikle, biyomedikal ˘ verileri çe¸sitli görsel modalitelerden bölümlere ayırabilen yeni bir NN modeli öneriyoruz. Üstünlük, hem egitim hem de test a¸samalarında veri modaliteleri hakkında ˘ vii hiçbir bilginin saglanmamasıdır. Bu özellik, kaçınılmaz olarak bu modelin uygulana- ˘ bilirligini artırmaktadır. Ayrıca çözüm tek bir modelde birle¸stirildi ˘ gi için ö ˘ grenilebi- ˘ lir parametrelerin sayısı azalmı¸stır. Bu amaçla, NN yapısında yeni modifikasyonlar sunuyoruz ve farklı modaliteler için alanları kümelemeyi ve uyarlamayı amaçlayan GAN kullanılır. Son olarak, daha dogru çözümler için büyük miktarda veriye ihtiyaç ˘ duyulan multispektral verilerin regresyon optimizasyonu için multimodal ögrenmeyi ˘ uygulanmaktadır. Regresyon ve sınıflandırma görevlerini aynı anda çözerek bu sınırlama ortadan kaldırılır. Benzer ¸sekilde, deneysel sonuçlar, her iki yöntemin de bütün önceki yöntemlere kıyasla performansı önemli ölçüde artırdıgını göstermektedir.