Beş popüler yapay zeka botu test edildi! %58 sorunlu yanıt oranı dikkat çekti

BMJ Open'da yayımlanan yeni bir araştırma, yapay zeka sohbet botlarının sağlık alanında verdiği tavsiyelerin güvenilirliğini masaya yatırdı. Araştırmacılar, dünyanın en çok kullanılan beş sohbet botunu sistematik bir stres testine tabi tuttu. ChatGPT, Gemini, Grok, Meta AI ve DeepSeek üzerinde gerçekleştirilen bu çalışma, kullanıcıların sağlıkla ilgili sorularına verilen yanıtların doğruluğunu ve referansların geçerliliğini değerlendirdi. Sonuçlar, sohbet botlarının tıbbi konularda önemli oranda yanlış ve yanıltıcı bilgiler sunduğunu ortaya koydu. Özellikle tıbbi referansların doğruluğu konusunda ciddi eksiklikler tespit edildi. Test edilen beş sohbet botu, 50 farklı sağlık sorusuna verdiği yanıtlarda hem içerik hem referans bazında güven sarsıcı sonuçlar verdi. Araştırmada, verilen yanıtların neredeyse %20'sinin son derece sorunlu, yarısının ise sorunlu olduğu belirlendi. Hatta hiçbir sohbet botu, 25 denemeden birinde bile tamamen doğru referans listesi sunamadı. Bu bulgular, sağlık alanında yapay zeka sohbet botlarının kullanımında dikkatli olunması gerektiğini bir kez daha gündeme taşıdı.

Uzmanlar: 'Yapay zeka tıbbi referanslarda güven vermiyor'

Çalışmada görev alan iki uzman, sohbet botlarının verdiği yanıtları bağımsız olarak değerlendirdi ve sonuçlar endişe verici boyuta ulaştı. Beş sohbet botunun yanıtlarının yaklaşık %50'si sorunlu, %20'si ise son derece sorunlu olarak sınıflandırıldı. Özellikle Grok, %58'lik sorunlu yanıt oranı ile en düşük performansı gösterdi. ChatGPT ve Meta AI ise sırasıyla %52 ve %50 oranında sorunlu yanıt verdi. Araştırmacılar, sohbet botlarının tıbbi referans üretme konusunda güvenilirlikten uzak olduğunu vurguladı. 250 sorudan yalnızca iki tanesi yanıtlanmayı reddedildi, kalan tüm yanıtlarda ise referansların ya eksik ya da hatalı olduğu görüldü. Hatalar arasında yanlış yazar isimleri, bozuk bağlantılar ve tamamen uydurulmuş makaleler yer aldı. Bu durum, özellikle sağlık alanında yapay zeka sohbet botlarının sunduğu referansların kanıt gibi algılanmasının ciddi bir risk oluşturduğunu gösteriyor. Kullanıcılar, düzgün formatlanmış bir kaynak listesiyle karşılaştıklarında, içeriğin doğruluğunu sorgulamadan kabul edebiliyor. Bu nedenle, yapay zeka sohbet botlarının tıbbi referansları, mutlaka bağımsız kaynaklarla doğrulanmalı.

Sağlık sorularında yapay zeka botları neden yanıltıyor?

Sohbet botlarının sağlık alanında neden sıkça yanlış bilgi verdiği sorusu da araştırmanın odak noktalarından biri oldu. Uzmanlar, yapay zeka sohbet botlarının temelinde dil modellerinin yer aldığını ve bu modellerin bilgiye sahip olmadığını belirtti. Botlar, eğitim aldıkları veri setlerine ve bağlama göre istatistiksel olarak en olası kelimeyi seçerek yanıt üretiyor. Eğitim verileri ise yalnızca hakemli makalelerle sınırlı değil; Reddit başlıkları, sağlık blogları ve sosyal medya tartışmaları gibi farklı kaynaklardan oluşuyor. Bu durum, sohbet botlarının tıbbi bilgi üretirken güvenilirlikten uzaklaşmasına yol açıyor. Araştırmada, sohbet botlarının yanıtlarının özellikle açık uçlu sorularda daha sorunlu olduğu tespit edildi. Açık uçlu soruların %32'si son derece sorunlu yanıtlar içerirken, kapalı sorularda bu oran %7'ye geriledi. Gerçek dünyada ise kullanıcıların büyük bölümü açık uçlu sorular soruyor ve bu, yanlış bilgi riskini artırıyor. Ayrıca, araştırmacılar sohbet botlarını yanıltıcı cevaplar vermeye zorlayan istemler de kullandı. Bu, yapay zeka güvenlik araştırmalarında sıkça uygulanan 'kırmızı takım' testlerinin bir parçası olarak değerlendirildi. Ancak, ücretsiz sürümlerin test edildiği bu çalışmada, çoğu insanın gerçek hayatta da bu ücretsiz sürümleri kullandığı vurgulandı.

Referansların doğruluğunda büyük eksiklik: Kullanıcılar dikkatli olmalı

Araştırmanın çarpıcı bulgularından biri de, sohbet botlarının bilimsel referans üretme konusunda yaşadığı ciddi eksiklikler oldu. Araştırmacılar, her bot yanıtında on bilimsel referans talep etti ancak ortalama tamlık puanı yalnızca %40 seviyesinde kaldı. Hiçbir sohbet botu, 25 denemede tek bir tamamen doğru referans listesi oluşturamadı. Yanlış yazar isimleri, hatalı bağlantılar ve uydurma makaleler, referans listesinin güvenilirliğini zedeledi. Bu durum, sağlık alanında yapay zeka sohbet botlarının sunduğu bilgilerin sorgulanmadan kullanılmasının tehlikeli sonuçlar doğurabileceğini gözler önüne serdi. Düzenli bir kullanıcı, referans listesinin düzgün formatlanmış olmasına güvenerek, içeriğin doğruluğunu sorgulamadan kabul edebiliyor. Oysa, referansların büyük bir kısmı ya yanlış ya da tamamen uydurma bilgiler içeriyor. Bu nedenle, yapay zeka sohbet botlarının sunduğu tıbbi referanslar, mutlaka bağımsız kaynaklarla karşılaştırılmalı ve doğruluğu titizlikle kontrol edilmeli.