Yapay zekaya hikaye çözdürmek istiyorsanız dikkat! Sonuçlar sürpriz olabilir

Columbia Üniversitesi Mühendislik Fakültesi'nde gerçekleştirilen kapsamlı bir araştırmada, günümüzün en gelişmiş yapay zeka dil modellerinin edebiyatı anlama ve özetleme kapasitesi derinlemesine incelendi. 2025 yılında Hesaplamalı Dilbilim Derneği'nin En İyi Makale Ödülü'ne layık görülen bu çalışma, yapay zeka teknolojisinin kısa hikayeleri özetleme ve edebi anlatıları yorumlama konusunda önemli sınırlamalara sahip olduğunu gösterdi. Araştırma ekibi, GPT-4, Claude-2.1 ve LLaMA-2-70B gibi büyük dil modellerinin, insan yazarlar tarafından henüz yayımlanmamış kısa hikayeler üzerinde yaptığı özetlemeleri analiz etti ve sonuçlar, modellerin edebi derinliği anlamada ciddi eksikliklerle karşılaştığını ortaya koydu.

Columbia Üniversitesi ekibi: LLM'ler edebiyatı yorumlamakta yetersiz kaldı

Çalışmayı yöneten Columbia Üniversitesi Bilgisayar Bilimleri Profesörü Kathleen McKeown ve Doçent Lydia Chilton, araştırmada yenilikçi ve etik temelli bir değerlendirme çerçevesi kullandı. Ekip, daha önce yayımlanmamış kısa hikayeler yazan profesyonel yazarlarla doğrudan işbirliği yaptı. Bu yazarlar, yapay zeka modellerinin ürettiği özetlerin kalitesini değerlendirdi. Araştırmada, anlatı teorisine dayalı hem nicel hem nitel analizler uygulandı. Elde edilen bulgulara göre, üç büyük dil modeli de özetleme görevlerinde yüzde 50'den fazla oranda sadakat hatası üretti. Özellikle özgüllük, karmaşık alt metinleri anlama ve doğrusal olmayan anlatı yapılarını yorumlama konularında modellerin başarısız olduğu tespit edildi. Columbia Üniversitesi ekibi, bu sonuçların yapay zekanın edebiyat alanındaki analizlerde insan uzmanlığının yerini alamayacağını gösterdiğini açıkladı.

Melanie Subbiah: 'İnsan analiziyle kıyaslandığında LLM'ler güvenilir değil'

Araştırmanın baş yazarı ve Columbia Üniversitesi McKeown Laboratuvarı'nda doktora öğrencisi olan Melanie Subbiah, dil modellerinin bir hikayeyi anlamış gibi görünebileceğini ancak sonuçların öngörülemez olduğunu belirtti. Subbiah, eğitilmiş bir insan edebi analistinin sürekli güçlü içgörüler sunabildiğini, ancak en gelişmiş modelin dahi herhangi bir hikaye için güvenilir analiz sağlama oranının yalnızca yüzde 50 civarında olduğunu söyledi. Bu oranın, bir madeni para atışı kadar rastlantısal olduğuna dikkat çekti. Araştırmada elde edilen veriler, mevcut LLM'lerin yakın okuma ve derin yorumlama gerektiren entelektüel ve yaratıcı görevlerde ciddi sınırlamalara sahip olduğunu ortaya koydu.

Etik ilkeler ve uzman işbirliğiyle yeni değerlendirme çerçevesi

Columbia Üniversitesi'ndeki araştırmacılar, etik ilkeleri merkeze alarak çalışmanın tüm aşamalarında katılımcı yazarların haklarını korudu. Katılımcılara eserlerinin kullanımı ve geri bildirim süreçlerinde tam şeffaflık sağlandı, ayrıca katkıları için tazminat ödendi. Proje, kamuya açık metinler yerine kontrollü ve orijinal bir veri setiyle yürütüldü. Bu yaklaşım, dil modellerinin eğitim verilerinde bulunmayan içerikler üzerinde değerlendirilmesini mümkün kıldı. Uzman yazarlarla doğrudan işbirliği yapılması sayesinde, modellerin yorumlayıcı ve analitik yetenekleri çok daha güvenilir biçimde test edildi. Araştırmacılar, bu metodolojinin anlatı anlama ve diğer uzmanlık gerektiren değerlendirme biçimleri için tekrarlanabilir bir örnek sunduğunu vurguladı.