Human pose and shape estimation based on masked mesh modelling from single view RGBD

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: İngilizce

Öğrenci: ÖZHAN SUAT

Danışman: Emre Akbaş

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu tez, insan vücudunun 3B pozunu ve şeklini tek bir RGBD görüntüden tahmin etme gibi zorlu bir görevi amaçlamaktadır. Bu araştırmanın motivasyonu, sınırlı görsel ipuçlarından insan vücudu şeklini ve eklemlerini doğru bir şekilde yakalayabilen bir yöntem geliştirmektir. Bunun için, tek-görünümlü RGBD verilerinden çıkarılan kısmi bilgileri etkin bir şekilde tamamlayan transformer tabanlı modelleri kullanan yeni bir yaklaşım öneriyoruz. Tamamen denetimli eğitim, RGBD görüntüsü ve 3B örgü etiket çiftleri içeren bir veri kümesi gerektirir. Ancak, böyle bir veri kümesini toplamak maliyetli ve zordur; bu nedenle, mevcut veri kümeleri poz ve şekil çeşitliliği azdır ve boyut olarak küçüktür. Bunu aşmak için ağımızı eğitmek üzere hareket yakalama veri kümelerinden yararlanıyoruz. Yaklaşımımız, hareket yakalama veri kümelerinden gövde modellerini kullanarak kısmi nokta bulutları ve 3B insan vücut örgüsü çiftleri oluşturmayı içeriyor. Kısmi bir nokta bulutu, bir RGBD kameranın tek bir bakış açısından sağladığı derinlik verilerinin türünü simüle eder. Oluşturulan bu çiftleri kullanarak modelimizi eğitiyoruz. Test sırasında, yöntemimiz, RGBDden oluşturulan 3B noktalar ile 3B insan vücudu yüzeyindeki noktaları eşleştirmek için 2B görsel ipuçlarını kullanır. Bunun için, bir RGB görüntüsünden bir UV haritası oluşturan kullanıma hazır bir 2B yöntem kullanıyoruz. UV harita değerlerini 3B insan vücudu modeli UV değerlerine eşleyerek, 2B görüntüde vücut modeli noktalarını buluyoruz. 2B vücut modeli noktaları derinlik bilgisi kullanılarak 3B uzaya konumlandırılır.Yöntemimizin temel katkısı, maskeli görüntü modelleme çabalarına benzer şekilde, insan vücudu modelindeki eksik ayrıntıları doldurmak için transformer kullanmaktır. Metodumuz, 3B insan vücudu örgü modelinin görünmeyen kısımlarını tamamlayarak tüm vücut örgüsünü oluşturur. Yöntemimiz, 3DPW ve BEHAVE veri kümelerinde sırasıyla 40.64, 83.59 PVE ve 37.36, 68.15 MPJPE hatası elde ederek yaklaşımımızın etkinliğini doğrulamaktadır.