Enhancing DNN Test Data Selection Through Uncertainty-Based and Data Distribution-Aware Approaches
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Bilişim Sistemleri Anabilim Dalı, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: DEMET DEMİR
Asıl Danışman (Eş Danışmanlı Tezler İçin): Elif Sürer
Eş Danışman: Aysu Betin Can
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu tezde, Derin Sinir Ağı (DNN) modellerindeki hataları ortaya çıkaran verileri belirlemek ve bu hataların nedenlerini tespit etmek için tasarlanmış bir test çerçevesi sunulmaktadır. DNNlerin veri odaklı doğası göz önüne alındığında, testlerin etkinliği etiketlenmiş test verilerinin yeterliliğine bağlıdır. Test verisi seçimi, test edilen DNN modelinde hatalara neden olacak test girdilerini belirleme ve önceliklendirme hedefiyle gerçekleştirildi. Bunu başarmak amacıyla modelin bir girdi için belirsizlik derecesinden faydalanıldı. İlk olarak, en ileri belirsizlik tahmin yöntemleri ve metrikleri kullanıldı, ardından yenileri önerildi. Son olarak, birden fazla belirsizlik metriğini birleştiren bir meta-model kullanan, metriklerin tek başına kullanımlarının sınırlamalarını aşan ve çeşitli senaryolarda etkinliği artıran yenilikçi bir yaklaşım geliştirildi. Test verisi dağılımı, DNN performansını önemli ölçüde etkilemekte ve test sonuçlarının değerlendirilmesinde kritik bir rol oynamaktadır. Bu nedenle, dağılım farkındalığına sahip bir perspektifle test veri setleri oluşturuldu. İlk olarak, DNN modelinin doğru tahmin yapması beklenen dağılım içi veriye odaklanılması ve ardından dağılım dışı (OOD) verinin dahil edilmesi önerildi. Ayrıca, yanlış tahminlerin nedenlerini belirlemek için sonradan açıklanabilirlik metodları incelendi. Görsel açıklama teknikleri, DNN'lerin yanlış karar verme nedenleri hakkında içgörüler sağlamaktadır ancak, bu detaylı bir manuel değerlendirme gerektirir. Önerilen metodolojiler, görüntü sınıflandırma DNN modelleri ve veri setleri kullanılarak değerlendirildi. Sonuçlar, belirsizliğe dayalı test seçiminin, hatayı ortaya çıkaran girdileri belirlemede etkili olduğunu göstermektedir. Özellikle, meta-model yaklaşımı ile yapılan önceliklendirme, en ileri yöntemlerden daha iyi performans sergilemektedir. Sonuç olarak, testlerde önceliklendirilmiş veri kullanmanın, DNN model hatalarını tespit etme oranını önemli ölçüde artırdığı sonucuna varılmıştır.