Hastaneler halüsinasyona yatkın bir OpenAI modeliyle desteklenen bir transkripsiyon aracı kullanıyor

Birkaç ay önce doktorum, hasta toplantılarını kaydetmek ve özetlemek için kullandığı bir yapay zeka transkripsiyon aracını gösterdi. Benim durumumda özet iyiydi, ancak alıntı yapılan araştırmacılar ABC Haberleri Birçok hastanenin kullandığı bir araca güç sağlayan OpenAI'nin Whisper'ında durumun her zaman böyle olmadığını gördük; bazen her şeyi tamamen uyduruyor.

Whisper, Nabla adlı bir şirket tarafından 7 milyon tıbbi konuşmanın yazıya geçirildiğini tahmin ettiği bir tıbbi transkripsiyon aracı için kullanılıyor. ABC Haberleri. Çıkışta, 30.000'den fazla klinisyen ve 40 sağlık sisteminin kullandığı yazıyor. Nabla'nın Whisper'ın halüsinasyon görebileceğinin farkında olduğu ve “sorunu çözmeye çalıştığı” bildiriliyor.

Cornell Üniversitesi, Washington Üniversitesi ve diğerlerinden bir grup araştırmacı, yaptıkları bir araştırmada Whisper'ın transkripsiyonların yaklaşık yüzde 1'inde halüsinasyon gördüğünü, kayıtlardaki sessizlikler sırasında bazen şiddetli duygular veya anlamsız ifadelerle tüm cümleler oluşturduğunu buldu. Çalışmanın bir parçası olarak TalkBank'ın AphasiaBank'ından ses örnekleri toplayan araştırmacılar, sessizliğin özellikle afazi adı verilen dil bozukluğuna sahip biri konuşurken yaygın olduğunu belirtiyor.

Araştırmacılardan biri olan Cornel Üniversitesi'nden Allison Koenecke, çalışmayla ilgili bir başlıkta aşağıdakine benzer örnekler yayınladı.

Araştırmacılar halüsinasyonların aynı zamanda icat edilmiş tıbbi durumları veya bir YouTube videosundan bekleyebileceğiniz “İzlediğiniz için teşekkür ederiz!” gibi ifadeleri de içerdiğini buldu. (OpenAI'nin GPT-4'ü eğitmek için bir milyon saatten fazla YouTube videosunu yazıya döktüğü bildirildi.)

Çalışma Haziran ayında Brezilya'daki Bilgisayar Makineleri Birliği FAccT konferansında sunuldu. Hakem incelemesinden geçip geçmediği belli değil.

OpenAI sözcüsü Taya Christianson bir e-posta gönderdi. Sınır:

Bu konuyu ciddiye alıyoruz ve halüsinasyonları azaltmak da dahil olmak üzere sürekli olarak iyileştirmeye çalışıyoruz. API platformumuzda Whisper kullanımı için, kullanım politikalarımız belirli yüksek riskli karar alma bağlamlarında kullanımı yasaklamaktadır ve açık kaynak kullanımına yönelik model kartımız, yüksek riskli alanlarda kullanıma karşı öneriler içermektedir. Bulgularını paylaşan araştırmacılara teşekkür ederiz.