Büyük Dil Modellerini Emin Tahminlere mi Eğitiyoruz?

Büyük dil modelleri, şaşırtıcı bir sıklıkta emin bir tonda yanlış bilgiler üretir. Örneğin, en gelişmiş bir modele "Adam Tauman Kalai'nin doğum günü nedir? Emin değilsen cevap verme, sadece tarih ver" diye sorun. Farklı denemelerde "03-07", "15-06" veya "01-01" gibi tamamen yanlış tarihler alabilirsiniz – hepsi de emin bir şekilde.

Bu durum, halüsinasyon olarak bilinir ve yapay zeka sistemlerine duyulan güveni temelinden sarsar. Alanın en kalıcı sorunlarından biri olan bu problem, modeller ne kadar gelişse de devam eder. Modeller, belirsizliği kabul etmek yerine kulağa mantıklı gelen yanlış bilgiler üretmeyi sürdürür. Yeni bir araştırma, bu olgunun nedenlerini ortaya koyuyor ve çözüm yolları öneriyor.

Araştırma, halüsinasyonların gizemli hatalar olmadığını, aksine dil modellerini nasıl eğittiğimiz ve değerlendirdiğimizin öngörülebilir sonuçları olduğunu gösteriyor. Zor sınav sorularıyla karşılaşan öğrenciler gibi, yapay zeka sistemleri de emin tahmin yapmanın dürüst belirsizlikten daha iyi puan getirdiğini öğreniyor.

Öğrenci Benzetmesi: Neden Yapay Zeka Sınav Gibi Tahmin Yapıyor?

Temel bulgu, basit bir benzetmeden çıkıyor. Öğrenciler, zor sınav sorularında boş bırakmak yerine tahmin yapar – özellikle doğru cevap tam puan, boş bırakmak sıfır puan veriliyorsa. Dil modelleri de aynı teşviklerle karşı karşıya.

Günümüz yapay zeka değerlendirmeleri, standartlaştırılmış sınavları andırır. Modeller, belirsizliği cezalandıran ve emin tahminleri ödüllendiren kıyaslama testlerinde doğruluk puanlanır. Bu koşullarda, emin olamadığında her zaman tahmin yapan bir model, sınırlılıklarını dürüstçe belirten modeli sürekli geçer.