ALET (Automated Labeling of Equipment and Tools): A Dataset for Tool Detection and Human Worker Safety Detection


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2020

Tezin Dili: İngilizce

Öğrenci: FATİH CAN KURNAZ

Asıl Danışman (Eş Danışmanlı Tezler İçin): Sinan Kalkan

Eş Danışman: Erol Şahin

Özet:

Robotların ve insanların çeşitli görevlerde, ortak bir gerçek dünya ortamında çalışabilmeleri için robotların aletlerle çalışabilir olmaları gerekmektedir. Bunu sagla mak ve aletleri amaçları dogrultusunda kullanabilmeleri için robotlar aletleri tanı yabilmeli, konumlarını ve oryantasyonlarını tespit edebilmelidir. Ancak, ne robotik toplumu ne de bilgisayarlı görü toplumu, bu gerçek dünya problemlerini çözen bir verikümesine sahip degildir. Bu çalışmada, belirtilen zorlukları hedef alan ve çift lik, bahçe, ofis, taş işçiligi, araç, çalışma masası ve tahta işçiliği ortamlarında gerçek dünya alet kullanımını barındıran bir verikümesi tanıttık. Verikümemiz karmaşık sahneler barındırmakta ve bazen aletleri kullanan insanları da içermektedir. Bu sahneler aynı zamanda, objelerin birbirlerinin önünde olması, farklı türler arasındaki benzerlikler ve aynı türler arasındaki farklılıklar gibi zorlukları da barındırmaktadır. Bu verikümesi üzerinde temel bir analizi en son teknoloji nesne tanımlayıcıları (Bunlar Faster R-CNN, Cascade R-CNN, RetinaNet, YOLOv3, RepPoint Detection, FreeAnchor ve Guided Anchor) kullanarak yaptık. Kullandıgımız derin nesne tanımlayıcılarının özellikle verikümemizdeki küçük boyutlu objelerde zorlandıgını tespit ettik. Bunun üstüne, sonuçları iyileştirmek için verikümemize alan adaptasyonu kullanarak sentetik resimler ekledik ve sonuçları iyileştirdigini gözlemledik. Dahası, verikümemize ek bir fayda olarak maske, kask, kulaklık, eldiven ve gözlük aletlerinin notlandırıldıgı resimleri kullanmanın, işçilerin güvenlik önlemlerini alıp almadığını gösteren bir derin nöron agı eğitmemizi sağladığını gösterdik. Bütün bu katkılarla, çalışmamız aletler ve onların bilgisayarlı görü ve robotik uygulamalarında kullanımlarıyla ilgili gelecekteki araştırmalara bir temel oluşturmaktadır.