Yapay Zeka Modellerinde Halüsinasyon Nasıl Ölçülüyor? Değerlendirme Yöntemlerini Anlama Rehberi 2027
Yapay zeka modellerinde halüsinasyon ölçümü, yalnızca kaç yanıtın doğru olduğunu saymaktan ibaret değildir. Bir modelin yanlış bilgiyi ne kadar sık ürettiği, cevabını verilen kaynakla ne ölçüde desteklediği ve emin olmadığı sorularda bunu ifade edip etmediği birlikte değerlendirilir.
Bu ayrım önemlidir; çünkü yüksek doğruluk puanı alan bir model, bilmediği sorularda sürekli tahmin yapıyorsa pratikte güvenilir olmayabilir. Sağlıklı bir değerlendirme, doğru yanıtı ödüllendirirken temelsiz ve aşırı özgüvenli cevapları da cezalandırır. Bu başlıkla ilişkili ek bilgiler Yapay Zeka Araştırmaları kategorisindeki ilgili yazılar içeriğinde yer alıyor.
Halüsinasyon değerlendirmesi hangi soruya cevap verir?
Halüsinasyon, dil modelinin kulağa makul gelen fakat gerçeklerle çelişen, kaynakta bulunmayan veya doğrulanamayan bir ifade üretmesidir. Ölçümün amacı, “Model kaç soruyu doğru bildi?” sorusunu daha kullanışlı bir soruya dönüştürmektir: “Model, hangi koşullarda ne kadar güvenilir cevap veriyor?”
Bir değerlendirme tasarlanırken önce görev türü belirlenir. Kaynak verilen özetleme görevinde temel ölçüt, cevabın kaynak metne sadık kalmasıdır. Açık uçlu bilgi sorularında dış dünyadaki gerçeklerle uyum aranır. Diyalog sistemlerinde ise önceki mesajlarla çelişme ve konuşma boyunca iddiaları koruma da hesaba katılır.
Yapay zeka modellerinde halüsinasyon ölçümü için kullanılan temel metrikler
| Metrik | Ne ölçer? | Nasıl yorumlanır? |
|---|---|---|
| Doğruluk | Yanıtın doğru kabul edilen cevaba uyumunu | Tek başına halüsinasyon oranını göstermez |
| Factuality veya claim precision | Üretilen iddiaların kaçının desteklendiğini | Açık uçlu cevaplarda daha açıklayıcıdır |
| Faithfulness | Cevabın verilen kaynağa sadakatini | Özetleme ve RAG sistemlerinde kritiktir |
| Abstention oranı | Modelin cevap vermek yerine belirsizlik bildirme sıklığını | Tek başına iyi veya kötü değildir; doğrulukla birlikte okunur |
| Kalibrasyon | Modelin güven düzeyi ile gerçek başarı arasındaki uyumu | Aşırı özgüveni yakalamaya yardımcı olur |
Örneğin bir model 100 sorunun 70’ini doğru yanıtlayabilir. Ancak yanlış cevaplarının 25’inde yüksek güven bildiriyorsa, yalnızca yüzde 70 doğruluk oranına bakmak riskli bir tabloyu gizler. Kullanıcı açısından güvenilirlik, doğru cevabın yanı sıra yanlış cevabın nasıl sunulduğuna da bağlıdır.
Benchmark testleri halüsinasyonu nasıl yakalıyor?
Benchmark, modelleri aynı soru ve değerlendirme koşulları altında karşılaştırmak için hazırlanmış test setidir. HaluEval, halüsinasyon içeren ve içermeyen örnekleri insan etiketleriyle karşılaştıran önemli çalışmalardan biridir. Bu tür testler, modelin yanlış bilgiyi üretme veya mevcut bir metindeki hatayı fark etme becerisini ayrı ayrı inceleyebilir.
Daha yeni yaklaşımlar gerçek kullanıcı sorularına benzeyen, farklı zorluk seviyelerine sahip istemler kullanıyor. FactBench çalışmasında iddialar; desteklenen, desteklenmeyen veya mevcut kanıtlarla kesinleştirilemeyen biçiminde sınıflandırılıyor. Bu yaklaşım, “kanıt bulunamadı” ile “yanlış olduğu gösterildi” durumlarını birbirine karıştırmaması bakımından değerlidir.
Benchmark sonuçlarını okurken testin kapsamına bakmak gerekir. Sadece çoktan seçmeli sorulardan oluşan bir test, uzun ve kaynak gerektiren rapor üretimindeki halüsinasyon riskini tam olarak yansıtmaz. Aynı model farklı alanlarda, dillerde ve istem biçimlerinde farklı sonuçlar verebilir.
İddia düzeyinde değerlendirme neden daha açıklayıcı?
Uzun bir yanıtı tek bir “doğru” veya “yanlış” etiketiyle değerlendirmek çoğu zaman yetersizdir. Bunun yerine cevap atomik iddialara bölünür. Her iddia için destekleyen kanıt, çelişen kanıt veya karar vermeye yetmeyen kanıt aranır.
Örneğin bir modelin verdiği üç cümlelik yanıtta ilk cümle doğru, ikinci cümle kısmen destekli, üçüncü cümle ise uydurma olabilir. İddia düzeyindeki ölçüm, hatanın metnin hangi bölümünde oluştuğunu gösterir. Bu bilgi, yalnızca toplam doğruluk puanından daha kullanışlıdır; çünkü geliştiriciye hangi tür cevapların yeniden tasarlanması gerektiğini söyler.
2026’da yayımlanan VISTA yaklaşımı, çok turlu diyaloglarda iddiaları konuşma geçmişi ve güvenilir kaynaklarla birlikte incelemeyi öneriyor. Bu, tek bir yanıtı izole biçimde puanlamak yerine modelin konuşma boyunca tutarlılığını takip etmeyi mümkün kılıyor.
Güven skoru gerçekten modelin bildiğini gösteriyor mu?
Bir modelin cevabına “yüzde 90 eminim” demesi, gerçek olasılığın yüzde 90 olduğu anlamına gelmez. Burada ölçülen şey kalibrasyondur: Modelin yüzde 70 güven verdiği cevapların yaklaşık yüzde 70’inin doğru olması beklenir.
Kalibrasyonu incelemek için araştırmalarda Expected Calibration Error, Brier skoru ve güven-doğruluk eğrileri kullanılır. Düşük kalibrasyon hatası, güven ifadelerinin başarı oranıyla daha uyumlu olduğunu gösterir. Ancak bu metrikler görev türüne, güven skorunun nasıl üretildiğine ve veri dağılımına duyarlıdır.
2023 tarihli bir ACL çalışması, bazı talimatla eğitilmiş modellerde doğrudan istenen sözel güven puanlarının, ham token olasılıklarına kıyasla daha iyi kalibre olabildiğini bildirdi. Bu sonuç, modelden güven istemenin her durumda güvenilir bir ölçüm olduğu anlamına gelmez; yöntemin test edilen veri setine ve istem biçimine bağlı olduğu unutulmamalıdır.
“Bilmiyorum” demek neden değerlendirme skorunu değiştirir?
Yanıt vermemek, her testte başarısızlık olarak değerlendirilirse model belirsiz olduğu sorularda tahmin yapmaya teşvik edilir. Oysa bazı sorular eksik bilgi, belirsiz ifade veya doğrulanamaz öncül içerir. Böyle bir durumda kontrollü biçimde cevap vermemek, uydurma bir bilgi sunmaktan daha güvenli olabilir.
Bu yüzden daha kapsamlı değerlendirmeler üç sonucu ayrı raporlar: doğru yanıt, yanlış yanıt ve abstention yani yanıtı erteleme veya reddetme. OpenAI’nin halüsinasyon değerlendirmesine ilişkin açıklamasında da yalnızca doğruluğa bakmanın, belirsizliği doğru ifade eden modelleri dezavantajlı bırakabileceği vurgulanıyor. openai.com
Okuyucu için en anlamlı sonuç, tek bir skor değil, şu dengedir: Model ne kadar doğru cevaplıyor, ne kadar sık yanlış cevap veriyor ve bilmediği durumda ne kadar sık durabiliyor?
Bir modelin halüsinasyon skorunu nasıl karşılaştırmalısınız?
- Aynı görevi karşılaştırın: Özetleme sonucu ile genel bilgi sorusunun skorunu doğrudan yan yana koymayın.
- Test veri setini inceleyin: Soruların güncelliği, dili, alanı ve zorluk düzeyi sonucu etkiler.
- Doğruluk ve yanlışlık oranını birlikte okuyun: Yüksek doğruluk, yüksek özgüvenli hataları gizleyebilir.
- Abstention oranını kontrol edin: Çok düşük oran tahmin eğilimini, çok yüksek oran ise aşırı temkinliliği gösterebilir.
- İddia düzeyindeki sonuçlara bakın: Uzun cevaplarda tek bir ortalama skor yeterli değildir.
- Gerçek kullanım senaryosuyla test edin: Modelin kullanılacağı dil, belge türü ve alanla benzer örnekler hazırlayın.
Bir karşılaştırmada kazanan modeli seçmeden önce, hata maliyetini de tanımlayın. Yaratıcı fikir üretiminde küçük bir olgusal hata tolere edilebilirken sağlık, hukuk, finans veya kurumsal raporlama gibi alanlarda desteklenmeyen tek bir iddia bile ciddi sonuç doğurabilir.
Sonuç: En iyi skor, en güvenilir model anlamına gelmez
Yapay zeka modellerinde halüsinasyon ölçümü, doğruluk puanını; iddia desteği, kaynak sadakati, belirsizlik bildirimi ve güven kalibrasyonuyla birlikte okumayı gerektirir. Kullanıcı açısından iyi model, yalnızca çok sayıda doğru cevap üreten değil, hangi durumda kanıta ihtiyaç duyduğunu ve ne zaman kesin konuşmaması gerektiğini de doğru yöneten modeldir.
Bu nedenle model kartlarında veya benchmark tablolarında tek bir genel puan yerine görev bazlı sonuçları, yanlış cevap oranını ve abstention davranışını arayın. Güvenilirlik kararı, bu sinyallerin aynı kullanım senaryosunda birlikte değerlendirilmesiyle verilebilir.
