Deep Learning-Based Object Tracking System by Using Visual and Thermal Infrared Fusion

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Modelleme ve Simülasyon Anabilim Dalı, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: İngilizce

Öğrenci: ABBAS TÜRKOĞLU

Asıl Danışman (Eş Danışmanlı Tezler İçin): Elif Sürer

Eş Danışman: Erdem Akagündüz

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Nesne takibi, özellikle engeller (oklüzyon), aydınlatma değişiklikleri ve hareket bulanıklığı gibi zorlu koşullarda bilgisayarla görünün zorlu bir problem olarak karşımıza çıkmaktadır. Son yıllarda, derin öğrenme, nesne takibi için büyük umut vaat etmektedir. Ancak, çoğu derin öğrenme tabanlı nesne takip modeli yalnızca görünür bant (RGB) görüntüleri kullanır. Bu nedenle zorlu koşullarda sınırlı performans gösterirler. Fakat termal kızılötesi elektromanyetik dalgalar (TIR) nesne sıcaklığı gibi ek bilgiler sağlayabilmektedirler. Bu tez, kaynaştırılmış RGBT görüntülerini kullanan derin öğrenme tabanlı bir nesne izleme sistemi önermektedir. Sistem iki ana bileşenden oluşur: öznitelik çıkarıcı ve takip edici. Öznitelik çıkarıcı, hem RGB hem de TIR görüntülerinden özellikler ve nirengi noktaları çıkarır. Takip edici daha sonra bir sonraki karedeki nesneyi izlemek için bu özellikleri kullanır. Önerilen sistem, yaygın olarak kullanılan RGBT nesne izleme veri kümeleri olan RGBT234 ve LasHeR veri kümeleri üzerinde değerlendirilmiştir. Sonuçlar, önerilen sistemin RGBT234 ve LasHeR veri setlerinde son teknoloji ürünü RGB nesne izleyicilerinden daha iyi performans sergilediğini göstermektedir.