Crowd counting, localization and anomaly detection with convLSTM based CNN using synthetic images
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK VE ELEKTRONİK MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: MUHAMMET FURKAN COŞKUN
Danışman: GÖZDE AKAR
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Güvenlik amaçlı izleme, trafik yönetimi, afet yönetimi ve halka açık alanların dizaynı gibi bir çok topluma yararlı uygulamaları sebebiyle, kalabalık analizi problemleri son yıllarda popülerleşmeye başladı. Bilgisayarlı görü literatüründe kalabalık sayımı, lokalizasyonu ve kalabalıkta anomali tespiti konularında bir çok çalışmalar mevcuttur. Bu çalışmada, bahsedilen bu üç problemi birlikte tek bir derin sinir ağı ile çözen ConvLSTM tabanlı bir evrişimli sinir ağı önerilmiştir. Önerilen model, bir kalabalık sayımı ve lokalizasyonu olan P2P-Net algoritması ile özgün olarak tasarlanan ve önerilen bir kalabalık anomali tespiti modülünden oluşmaktadır. P2P-Net algoritması, bir VGG-16 omurgası ile bu omurgadan çıkan öznitelik haritası üzerinden direkt olarak nokta tabanlı tahmin yapan iki adet kafadan oluşmaktadır. Anomali tespit modulü ise bir adet ConvLSTM kodlayıcı ve bir adet ikili tahmin yapan anomali tespiti kafasının birleşimidir. Önerilen ağ mimarisi ortak omurga, çoklu kafa yapısına sahiptir ve üç problem için birlite çıktı ürekmektedir. Bu problemler: kalabalık sayımı, kalabalık lokalizasyonu ve kalabalıkta anomali tespitidir. Önerilen mimari sentetik görüntüler ile uçtan uça eğitilmiştir. Kalabalık sayımı ve lokalizasyonu problemleri yüksek doğruluklu piksel seviyesinde etiketlemelere ihtiyaç duyduğu için, bu problemler için gerçek dünya görüntülerinden etiketli veri kümesi oluşturmak çok fazla insan emeği gerektirir ve zordur. Kalabalık için anomali tanımı konusunda uzlaşılmış bir tanım olmadığından farklı veri setlerinde farklı tanımlar bulunmakta ve farklı veri kümeleri bir arada kullanılamamaktadır. Ayrıca, mevcut veri kümelerinden bir ağı baştan sona eğitecek kadar veri bulunan bir küme bulunmamaktadır. Bahsedilen veri kümesi problemlerinden dolayı, bu çalışmada eğitim sırasında sentetik veri kümesi kullanılmıştır. Probleme uygun GTA-Events isimli bir sentetik veri kümesi olmasına rağmen bu veri kümesindeki veri azlığı nedeniyle GTA-V oyunu kullanarak probleme uygun yeni bir veri kümesi oluşturulmuştur. Oluşturulan veri kümesi farklı sahneleri, zamanları ve hava koşullarını içermektedir. Model eğitilirken GTA-Events veri kümesi ve oluşturulan veri kümesini birlikte kullanılmıştır. Ardından hem gerçek dünya görüntüleri hem de sentetik görüntüler ile testler gerçekleştirilmiştir. Sonuçlar, kalabalıkta anomali tespiti probleminde yüzde doksanlara yakın başarım sağlandığını ve klasik optik akış tabanlı yöntemlerin geçildiğini göstermektedir. Kalabalık sayımı ve lokalizasyonu probleminde ise sentetik görüntülerde mevcut yöntemlerden çok daha iyi durumda iken gerçek dünya görüntülerinde bir miktar geride olduğu görülmektedir. Bu çalışma ile çoklu kalabalık problemlerinin tek bir derin öğrenme mimarisi ile çözülebileceğini gösterilmiştir. Kalabalık sayımı ve lokalizasyonu için kullanılan regresyon ve sınıflandırma kafa yapılarının kullanılmasının anomali tespit doğruluğunu artırdığı görülmüştür. Bu amaçla sadece anomali tespiti yapılan bir ağ, regresyon ve sınıflandırma kayıp fonksiyonları olmadan yalnızca anomali kayıp fonksiyonu kullanılarak eğitilmiştir. Sonuçlar önerilen çoklu tahmin yapısının, sadece anomali tahmini durumuna göre daha başarılı olduğunu göstermektedir. Ayrıca, bu çalışmada sentetik veri kümeleri hakkında bilgiler ve GTA-V oyunu kullanarak bir sentetik veri kümesi oluşturma prosedürü de verilmiştir.