OpenAI'dan ChatGPT Health için kritik uyarı! Acil durumlarda risk büyüyor

OpenAI'ın sağlık alanına yönelik geliştirdiği ChatGPT Health, acil tıbbi vakaları tanıma konusunda ciddi eksiklikler gösterdi. Mount Sinai Icahn Tıp Okulu'ndan bilim insanları tarafından gerçekleştirilen yeni bir araştırmada, yapay zekâ tabanlı sistemin, yaşamı tehdit eden acil durumların önemli bir bölümünü doğru şekilde tespit edemediği belirlendi. Özellikle ChatGPT Health'in, klinik olarak acil müdahale gerektiren vakaların %52'sini yanlış bir şekilde zararsız olarak değerlendirdiği bildirildi. Bu sonuçlar, kullanıcıların sağlık konusunda yanlış bir güven duygusuna kapılmasına yol açabileceği için endişe yaratıyor.

Uzmanlar: ChatGPT Health acil vakalarda güven vermiyor

Yapılan araştırmada, Ashwin Ramaswamy liderliğindeki ekip, doktorların tanı koyarken kullandığı 60 farklı klinik vaka senaryosunu ChatGPT Health'e sundu. Yapay zekâ, orta düzeydeki rahatsızlıklarda genel olarak doğru yanıtlar verirken, acil müdahale gerektiren ağır vakalarda ciddi hatalar yaptı. Özellikle diyabetik ketoasidoz veya solunum durması gibi hayati tehlike içeren durumlarda, ChatGPT Health'in çoğu zaman yalnızca dinlenmeyi veya birkaç gün içinde doktor randevusu almayı önerdiği tespit edildi. Uzmanlar, bu tür yanlış yönlendirmelerin hastalar için ölümcül sonuçlara yol açabileceğini belirtti. Araştırmacılar, ChatGPT Health'in acil durumlar söz konusu olduğunda güvenilir bir rehber olmadığını vurguladı.

Yapay zekâ 'yalakalık' eğilimiyle risk oluşturuyor

Çalışmada dikkat çeken bir diğer bulgu ise ChatGPT Health'in, kullanıcı tarafından verilen ek bilgilere ve bağlama aşırı uyum sağlama eğilimi oldu. Eğer vaka anlatımında bir arkadaşın belirtileri hafife aldığına dair bir ifade varsa, yapay zekâ bu değerlendirmeyi on iki kat daha fazla benimseyerek acil durumu hafife aldı. Bu durum, "sycophancy" yani modelin kullanıcıya onay verme eğilimi olarak tanımlanıyor. Ayrıca, sistemin güvenlik mekanizmaları da sorgulandı. Araştırmacılar, intihar düşüncesi içeren vakalarda ChatGPT Health'in doğru uyarılar verdiğini tespit etti. Ancak laboratuvar değerleri gibi teknik bilgiler eklendiğinde, sistemin güvenlik uyarılarının tamamen devre dışı kaldığı görüldü. Bu da ChatGPT Health'in, basit teknik veriler karşısında bile güvenlik protokollerini atlayabildiğini gösteriyor.