A context-aware model for stochastic planning in environments with hidden states

---

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: İngilizce

Öğrenci: ÖMER EKMEKCİ

Danışman: FARUK POLAT

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Kısmi Gözlemlenebilir Markov Karar Süreçleri (KGMKS) belirsizlik altında çözülmesi gereken stokastik planlama problemlerinin gösterimlerinin formalize edilmesi için yaygın bir biçimde kullanılmaktadır. Bu düzende, otonom etmenler durum bilgisine kusursuz bir biçimde sahip değildir. Bunun için, etmenler gözlemlerine bağlı olarak hangi durumda olduğunun bilgisini saptamak için bellek tutma gereksinimi duyarlar. Durum uzayının büyük olduğu alanlarda plan oluşturmak çok masraflı hale gelebilir. Bu problemin üstesinden gelmek için, önermesel mantık ve/veya gramer-tabanlı modeller kullanılarak elde edilen kompakt gösterimler oldukça faydalıdır. Bu gösterimler, verilen bir problemde bulunan durum-aksiyon ilişkilerinden faydalanır. Yine de, KGMKS'ler bu ilişkileri kodlamazlar. KGMKS planlaması için var olan kesin çözüm algoritmaları çok büyük durum uzayına sahip bir görev için işe yarar bir poliçe bulma konusunda verimsizlerdir. Buradan hareketle, bu tezde, daha önceki bir çalışmadan ilham alarak kısmi gözlemlenebilir ortamlarda Markov ardışık karar verme problemlerini daha yapısal bir biçimde temsil etmek için Bağlam-Farkında KGMKS (BF-KGMKS) isimli yeni gramer-tabanlı bir model sunduk. BF-KGMKS, KGMKS yapılarını durum, aksiyon ve gözlemler arasındaki nedensel ilişkileri entegre ederek değiştirerek geliştirir ve böylece görevlerin yapısal, mümkünse kompakt, gösterimini sağlar. BF-KGMKS'nin ifadesel avantajını göstermek için, KGMKS ve BF-KGMKS arasındaki dönüşümün karmaşıklığının kuramsal sınırlarını çizdik. İkinci olarak, tam gözlemlenebilir alanlar için, daha iyi bir performans adına yerel ilişkileri de kullanan ve kısmi gözlemlenebilir ortamlar için olabilecek çözüm yöntemine de yol göstermesi için bir plan üretme algoritması sunduk. Çözüm algoritmamızın kuramsal tanımını ve analizini yapmış olup farklı problemler ile gerçekleştirdiğimiz deneylerimizi sunduk. Sonuçlar, içerik bilgisinin çözüm algoritmasında kullanılmasının poliçe oluşturulmasını önemli ölçüde geliştirdiğini göstermiştir.