Harvard araştırmasında yapay zeka, acil servis doktorlarından daha doğru teşhisler sundu

Yeni bir çalışma, büyük dil modellerinin, gerçek acil servis vakaları da dahil olmak üzere çeşitli tıbbi bağlamlarda nasıl performans gösterdiğini inceliyor; burada en az bir model, insan doktorlardan daha doğru görünüyor.

Çalışma bu hafta Science dergisinde yayınlandı ve Harvard Tıp Fakültesi ve Beth Israel Deaconess Tıp Merkezi'ndeki doktorlar ve bilgisayar bilimcileri tarafından yönetilen bir araştırma ekibinden geldi. Araştırmacılar, OpenAI modellerinin insan doktorlarla karşılaştırıldığında nasıl olduğunu ölçmek için çeşitli deneyler yaptıklarını söyledi.

Bir deneyde araştırmacılar, Beth Israel acil servisine gelen 76 hastaya odaklandı ve iki doktorun sunduğu teşhisleri OpenAI'nin o1 ve 4o modelleriyle oluşturulan teşhislerle karşılaştırdı. Bu teşhisler, hangilerinin insanlardan, hangilerinin yapay zekadan geldiğini bilmeyen diğer iki doktor tarafından değerlendirildi.

Çalışmada, “Her tanısal temas noktasında, o1 ya nominal olarak daha iyi performans gösterdi ya da ilgili iki doktorla ve 40'la eşit performans gösterdi” dedi ve “farklılıkların özellikle hasta hakkında en az bilginin mevcut olduğu ve doğru kararı vermenin en acil olduğu ilk tanısal temas noktasında (ilk ER triyajı) belirgin olduğunu” ekledi.

Harvard Tıp Fakültesi'nin çalışmayla ilgili basın açıklamasında araştırmacılar, “verileri hiçbir şekilde önceden işlemediklerini” vurguladılar; yapay zeka modellerine, her teşhis anında elektronik tıbbi kayıtlarda mevcut olan bilgilerin aynısı sunuldu.

Bu bilgiyle o1 modeli, triyaj vakalarının %67'sinde “kesin veya çok yakın tanı” sunmayı başardı; bir doktor %55 oranında kesin veya yakın tanı koyarken diğer hekim %50 oranında isabetli sonuç verdi.

Harvard Tıp Fakültesi'nde bir yapay zeka laboratuvarına başkanlık eden ve çalışmanın baş yazarlarından biri olan Arjun Manrai, basın bülteninde şunları söyledi: “Yapay zeka modelini hemen hemen her kıyaslamayla test ettik ve hem önceki modellerimizi hem de doktor referanslarımızı gölgede bıraktı.”

Açık olmak gerekirse, çalışma yapay zekanın acil serviste gerçek ölüm kalım kararlarını vermeye hazır olduğunu iddia etmiyor. Bunun yerine, bulguların “bu teknolojileri gerçek dünyadaki hasta bakımı ortamlarında değerlendirmek için ileriye dönük denemelere acil ihtiyaç olduğunu” gösterdiği belirtildi.

Araştırmacılar ayrıca, modellerin yalnızca metin tabanlı bilgiler sağlandığında nasıl performans gösterdiğini incelediklerini ve “mevcut çalışmaların, mevcut temel modellerin metin dışı girdiler üzerinde akıl yürütme konusunda daha sınırlı olduğunu öne sürdüğünü” belirtti.

Aynı zamanda çalışmanın baş yazarlarından biri olan Beth Israel doktoru Adam Rodman, Guardian'ı, yapay zeka teşhisleri konusunda “şu anda hesap verebilirlik için resmi bir çerçeve bulunmadığı” ve hastaların hâlâ “ölüm kalım kararları konusunda insanların onlara rehberlik etmesini istedikleri” konusunda uyardı. [and] zorlu tedavi kararlarında onlara rehberlik etmek”.