A comparative study of prompting and fine-tuning for binary text classification of sustainable development goals
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Orta Doğu Teknik Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: MERT ATAY
Danışman: Pelin Angin Ülküer
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Birleşmiş Milletler'in 2015 yılında 17 Sürdürülebilir Kalkınma Amaçlarını (SDG) açıklaması ve ilgili belge hacminin artmaya devam etmesi nedeniyle bu küresel hedeflere uygun otomatik belge sınıflandırma ihtiyacı önem kazanmıştır. Mevcut araştırmalar, otomatik SDG sınıflandırması için geleneksel yöntemlere odaklanmakta olup, son yaklaşım olarak İnce-Ayar (Fine-Tuning) üzerine yoğunlaşmaktadır ve çeşitli görevlerde İstemleme (Prompting) veya İstem Mühendisliği (Prompt Engineering) yoluyla üstün etkinlik gösteren Büyük Dil Modellerindeki (LLM) gelişmeleri ihmal etmektedir. Bu araştırma, en son teknoloji LLM'ler olan ChatGPT ve Gemini'nin, değişen bağlam düzeyleriyle Sıfır-Atışlı ve Az-Atışlı İstemleme teknikleri kullanarak, SDG ilişiği için ikili metin sınıflandırma performansını, kıyas noktası olarak hizmet veren Transformer-tabanlı modeller BERT ve kaynak verimli varyantı DistilBERT'e uygulanan geleneksel İnce-Ayar yöntemi ile karşılaştırmaktadır. Karşılaştırmalı analize göre, İnce-Ayarlı Transformer-tabanlı modeller, ikili SDG metin sınıflandırmasında, LLM'ler ile İstemleme yönteminden daha iyi performans göstermektedir ve bu durum mevcut araştırma bulgularıyla örtüşmektedir. Sıfır-Atışlı İstemleme, her iki model için de üstün sonuçlar gösterirken, alınan performans İstem'in (Prompt) bağlam düzeyi arttıkça iyileşmektedir. Buna karşın, Az-Atışlı İstemleme ile her iki model de daha düşük performans sergilemektedir; özellikle ChatGPT belirgin bir düşüş yaşamaktadır. Az-Atışlı İstemleme'de örnek sayısının artırılması, her iki model için de herhangi bir performans iyileşmesine yol açmamaktadır. İnce-Ayarlı modeller arasında, DistilBERT ve BERT, ikili SDG metin sınıflandırmasında benzer performans gösterirken, DistilBERT hesaplama verimliliği nedeniyle özellikle avantajlıdır. Ancak, LLM'ler daha yetkin modellerin ve etkili İstemleme yöntemlerinin geliştirilmesiyle, metin sınıflandırmada iyileşme potansiyeli göstermektedir.