Metadata-guided generation of domain-specific peer reviews with LLMS

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Enformatik Enstitüsü, Bilişim Sistemleri Anabilim Dalı, Türkiye

Tezin Onay Tarihi: 2025

Tezin Dili: İngilizce

Öğrenci: EZGİ ÇAVUŞ

Danışman: Tuğba Taşkaya Temizel

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Büyük Dil Modelleri (LLM'ler) akademik değerlendirmeyi desteklemek için giderek daha fazla kullanılmaktadır, ancak genellikle titiz bir hakemlik süreci için gerekli olan alan-özel ölçütleri yakalamakta zorlanırlar. Mevcut hakem yönergeleri ve araştırma kontrol listeleri, çoğaltılabilirlik, etik değerlendirmeler, sınırlamaların belirtilmesi ve toplumsal etki gibi genel konulara değinse de, genellikle bir makalenin metodolojisine, veri kümesine veya değerlen- dirme stratejisine göre değişen disipline özgü ölçütleri göz ardı ederler. Bu tez, OpenReview sistemindeki önceki değerlendirmelerden alan-özel inceleme sorularını otomatik olarak çıka- ran ve bunları metodoloji, veri kümesi ve değerlendirme metrikleri gibi makale içeriğinden türetilmiş yapılandırılmış üstveriler aracılığıyla yeni başvurularla hizalayan bir çerçeve sunar. Sonuçlar, önerilen çerçevenin üretilen incelemelerin özgüllüğünü ve bağlamsal uygunluğunu artırdığını göstermektedir. Temel modellerle karşılaştırıldığında, genel performans ölçütleri benzer olsa da incelemelerin içeriği ve odağı üzerinde daha hassas kontrol sağlar; çünkü ince- lemeleri açık bir şekilde üstveri ve geçmiş değerlendirme örüntüleriyle temellendirir. Sistem, izlenebilirliği artırır, uydurulmuş içerikleri azaltır ve otomatikleştirilmiş hakemli değerlendir- menin yorumlanabilirliğini artırır.