Hand crafted versus learned representations for audio event recognition
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2023
Tezin Dili: İngilizce
Öğrenci: SELVER EZGİ KÜÇÜKBAY
Danışman: Sinan Kalkan
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Ses Olay Tanımı (SOT), ses sinyallerindeki olay türlerinin tanımlanması ile ilgili yapılan çalışmalar bütünüdür. SOT, ses sinyallerine dayalı olarak alınacak kararların etkili olduğu bazı uygulamalarda çok önemli bir rol oynar. Bu uygulamalar; sağlık, gözetlem ve güvenlik uygulamaları olabilir. Derin öğrenme yöntemlerinin bir problemin çözümünde en iyi çözümleri ürettiği kanıtlanmış olmasına rağmen, SOT çalışmalarında problemin çözümünde derin öğrenme kullanılmasına rağmen, hala, bir uzmanın tasarladığı algoritma çıktısı olan el yapımı öznitelikler kullanılmaktadır. Bununla ilgili olarak, bu tez çalışmasında yaygın olarak literatürde kullanılan el yapımı özniteliklerin (spectrogram, mel spectrogram, logmel spectrogram ve mel frekans sepstral katsayıları) evrişimsel otokodlayıcılar kullanılarak çıkarılmış öznitelikler ve daha önce öğrenilmiş bir ağ ile çıkarılmış öznitelikler ile karşılaştırması yapılmıştır. Bilindiği kadarıyla, bu soruyu soran ve SOT için öznitelik temsillerini bu şekilde kapsamlı bir şekilde ele alan ilk çalışmadır. Bu amaçla, el yapımı öznitleik çıkarımları için en iyi pencere ve atlama boyutu bulunmuş ve optimize edilmiş el yapımı öznitelikler otokodlayıcının çıktısı olan öznitelikler ile karşılaştırılmıştır. Kapsamlı analizlerimiz neticesinde, AudioSet veri kümesinden oluşturulmuş bir alt veri kümesinde le yapımı özniteliklerin, öğrenilmiş özniteliklerden daha iyi performans (30 AP) gösterdiği söylenebilir. Ek olarak el yapımı özniteliklerle önceden eğitilmiş ağlardan elde edilen öğrenilmiş temsiller arasında karşılaştırmalı bir analiz de gerçekleştiriyoruz. Bulgularımız, logmel spektrogramının üstün performansını sürdürdüğünü göstermektedir (8 AP). Ayrıca bahsi geçen ses özniteliklerinin birbirleri ile tamamlayıcı olup olmadığını araştırmak için farklı birleştirme yöntemleri araştırılmıştır. En iyi sonucu elde ettiğimiz el yapımı öznitelikle kıyasladığımızda erken birleştirme düzeniyle önemli geliştirmelerin elde edilebileceğini gösterilmiştir (6 AP).