Automated Video Game Testing Using Reinforcement Learning Agents
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Bilişim Sistemleri Anabilim Dalı, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: İngilizce
Öğrenci: SİNAN ARIYÜREK
Asıl Danışman (Eş Danışmanlı Tezler İçin): Elif Sürer
Eş Danışman: Aysu Betin Can
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu tez çalışmasında bilgisayar oyunu test yöntemlerini otomatize etmek ve geliştirmek için birçok metodoloji tanıtılmaktadır. Bu yöntemler, Pekiştirmeli Öğrenme (RL) ajanlarına dayanmaktadır. Öncelikle, video oyunu testini otomatize etmek için sentetik ve insan-benzeri test ajanları önerilmiştir. Sentetik ajan, oyun senaryolarından oluşturulan test hedeflerini kullanmaktadır. İnsan-benzeri ajan ise test edenin izlediği yollardan çıkarılan test hedeflerini kullanmaktadır. Bu test ajanları, Sarsa ve Monte Carlo Ağaç Araması (MCTS) kullanılarak türetilmekledir. Geleneksel oyun oynama ajanları oyun skorlarını maksimize etmeye odaklanmışken, test ajanlarının odağı hataları bulmaya yöneliktir. İkinci olarak, MCTS'nin hata bulma yetisini geliştirmek için çeşitli MCTS modifikasyonları önerilmiştir. Üçüncü olarak, oyun testini iyileştirmek için gelişen karakter tasarımı sunulmuştur. Gelişen karakter, bir ajanın kişiliğini geliştirmeye olanak sağlar ve böylece daha doğru oyun testleri elde edilir. RL algoritmalarının amacı toplam ödülü maksimize edecek yolları bulmaktır. Bununla birlikte aynı hedefe ulaşan alternatif yolları keşfetmek de oyun testi için önemlidir. Bu nedenle, RL ajanlarının bu alternatif yolları da keşfedebilmesi için, Alternatif Yol Bulucu (APF) tanıtılmıştır. Önerdiğimiz metodolojileri Genel Video Oyun Yapay Zeka (GVG-AI) ve VizDoom ortamlarını kullanarak test etmekteyiz. Deneyler, insan-benzeri ve sentetik ajanların, gerçek insanların yaptıkları testlerdeki hata bulma performanslarıyla rekabet ettiğini ortaya koymaktadır. Ayrıca deneyler, hata bulma performansının MCTS modifikasyonları sayesinde iyileştirildiğini göstermektedir. Dahası, deneyler gelişen karakterin oyuna ve farklı oyuncuların oyunu nasıl oynayacağına dair daha iyi bir fikir sağladığını göstermektedir. Son olarak, APF tarafından bulunan alternatif yollar sunulmuş ve geleneksel RL ajanlarının neden bu yolları bulamadığı açıklanmıştır.