Human presence detection in emergency situations using deep learning based audio-visual systems
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Bilişsel Bilimler Anabilim Dalı, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: İZLEN GENECİ
Asıl Danışman (Eş Danışmanlı Tezler İçin): BANU GÜNEL KILIÇ
Danışman: HÜSEYİN CEM BOZŞAHİN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Gözetleme ve arama kurtarma sistemlerinde acil durum tespitinin önemi son yıllarda araştırmacıların dikkatini çekmiştir. Mevcut yöntemler, genellikle ortamlara yalnızca görsel sensörler yerleştirildiğinden, herhangi bir anomali durumunu tanımlamak için çoğunlukla görsel verilere dayanır. Diğer yandan, acil bir durumda, ses bilgileri ayırt edilebilir anomali tespitine yardımcı olabilir. Görsel bilginin sınırlı olduğu durumlarda, ses dalgaları bir dereceye kadar nüfuz edebilir. Ayrıca, seste gürültü olduğu ve faaliyet alanının yoğun olduğu durumlarda görsel analiz uygulamaları yararlı olabilir. Bu nedenle, derin öğrenmenin son zamanlardaki hızlı büyümesiyle birlikte, tek modaliteden çok modlu öğrenmeye geçiş çok önemli hale gelmiştir. Görsel-işitsel bir sistem oluşturmak amacıyla hem ses analizi hem de görsel analiz ayrı ayrı gerçekleştirilmiştir. Ses tabanlı analizde, çeşitli ses olaylarının aynı anda gerçekleştiği gerçekçi ortamlarda hedef bir ses sınıfının kısa penceresini yakalamak için kayan pencere tekniği kullanılarak ses örneklere dönüştürülmüştür. Bu nedenle, gerçek zamanlı bir işletim sisteminde, hedef ses kısa bir süreliğine gerçekleştiğinde acil durumların tanınması hedeflenmiştir. İnsan sesi sınıfları "Konuşma", "Çığlık" ve "Ağlama" için minimum kayan pencere boyutları sırasıyla 0.25 s, 1 s ve 0.30 s olarak belirlenmiştir. Görsel analizde, beş yüz işaret noktası kullanılarak yüz hizalaması ile birlikte yüz algılama gerçekleştirilmiştir. Yüz tespiti için Average Precision (AP) değeri WIDER Face veri setinde %77 olarak belirlenmiştir (IoU=0,5). Tespit edilen yüzler kullanılarak, dikkat temelli bir yöntemle yaş ve cinsiyet tahminlerinin yanı sıra yüz ifadesi tanıma (FER) gerçekleştirilmiştir. Yedi temel duygu için, AffectNet doğrulama veri setinde model tarafından %64.14 doğruluk elde edilmiştir. Bu işitsel ve görsel tabanlı sistemlerin kombinasyonu, her iki modalitedeki algılama görevlerinin limitlerini ortadan kaldırmak için kullanılabilir.