ChatGPT Araması İlişkilendirme Çalışmasında %76,5 Hata Oranını Gösteriyor

Columbia Üniversitesi Tow Dijital Gazetecilik Merkezi tarafından yapılan bir araştırmaya göre, OpenAI'nin ChatGPT Araması haber yayıncılarından doğru şekilde alıntı yapmakta zorlanıyor.

Raporda, sık sık yanlış alıntılar ve yanlış atıflar yapıldığı tespit edildi; bu durum, yayıncılar arasında marka görünürlüğü ve içerikleri üzerindeki kontrol konusunda endişelere yol açtı.

Ek olarak bulgular, OpenAI'nin gazetecilikte sorumlu yapay zeka gelişimine olan bağlılığına da meydan okuyor.

ChatGPT Aramasının Arka Planı

OpenAI, haber sektörüyle kapsamlı işbirliği yaptığını ve yayıncı geri bildirimlerini birleştirdiğini iddia ederek geçen ay ChatGPT Arama'yı başlattı.

Bu, yayıncıların içeriklerinin önceden bildirilmeksizin veya izin alınmaksızın yapay zeka modellerini eğitmek için kullanıldığını keşfettiği ChatGPT'nin orijinal 2022 sürümüyle çelişiyor.

Artık OpenAI, yayıncıların robots.txt dosyası aracılığıyla ChatGPT Arama sonuçlarına dahil edilmek isteyip istemediklerini belirtmelerine olanak tanıyor.

Ancak Tow Center'ın bulguları, yayıncıların katılım tercihleri ​​ne olursa olsun yanlış atıf ve yanlış beyan riskiyle karşı karşıya olduklarını gösteriyor.

Doğruluk Sorunları

Tow Center, ChatGPT Arama'nın 20 yayından alıntı kaynaklarını belirleme yeteneğini değerlendirdi.

Temel bulgular şunları içerir:

  • 200 sorgunun 153'ü yanlıştı.
  • Yapay zeka hatalarını nadiren kabul ediyordu.
  • Sadece yedi yanıtta “muhtemelen” gibi ifadeler kullanıldı.

ChatGPT genellikle doğruluktan ziyade kullanıcıları memnun etmeye öncelik veriyordu; bu da okuyucuları yanıltabilir ve yayıncının itibarına zarar verebilir.

Ek olarak araştırmacılar, ChatGPT Arama'nın aynı soru birden çok kez sorulduğunda tutarsız olduğunu, bunun da muhtemelen dil modelindeki rastgelelikten kaynaklandığını buldu.

Kopyalanan ve Yayınlanan İçerikten Alıntı Yapmak

Araştırmacılar, ChatGPT Arama'nın bazen orijinal kaynaklar yerine kopyalanan veya dağıtılan makalelerden alıntı yaptığını buldu.

Bunun nedeni büyük olasılıkla yayıncı kısıtlamaları veya sistem sınırlamalarıdır.

Örneğin, bir New York Times makalesinden alıntı istendiğinde (şu anda OpenAI'ye karşı bir davada yer alıyor ve tarayıcılarını engelliyor), ChatGPT başka bir sitedeki yetkisiz bir sürüme bağlantı verdi.

OpenAI'nin tarayıcılarına izin veren MIT Technology Review'da bile, sohbet robotu orijinal yerine ortak bir kopyadan alıntı yaptı.

Tow Center, tüm yayıncıların ChatGPT Arama tarafından yanlış beyan edilme riskiyle karşı karşıya olduğunu tespit etti:

  • Tarayıcıların etkinleştirilmesi görünürlüğü garanti etmez.
  • Tarayıcıların engellenmesi içeriğin gösterilmesini engellemez.

Bu sorunlar, OpenAI'nin içerik filtrelemesi ve gazeteciliğe yaklaşımıyla ilgili endişeleri artırıyor ve bu da insanları orijinal yayıncılardan uzaklaştırabiliyor.

OpenAI'nin Yanıtı

OpenAI, Tow Center'ın bulgularına, açık atıf yoluyla yayıncıları desteklediğini ve kullanıcıların özetler, alıntılar ve bağlantılar içeren içeriği keşfetmesine yardımcı olduğunu belirterek yanıt verdi.

Bir OpenAI sözcüsü şunları söyledi:

“Haftalık 250 milyon ChatGPT kullanıcısının özetler, alıntılar, net bağlantılar ve atıflar aracılığıyla kaliteli içeriği keşfetmesine yardımcı olarak yayıncıları ve yaratıcıları destekliyoruz. Satır içi alıntı doğruluğunu geliştirmek ve yayıncı tercihlerine saygı göstermek için iş ortaklarıyla işbirliği yaptık; robots.txt dosyasında OAI-SearchBot'u yöneterek aramada nasıl göründüklerini etkinleştirdik. Arama sonuçlarını geliştirmeye devam edeceğiz.”

Şirket alıntı doğruluğunu iyileştirmek için çalışsa da OpenAI, belirli yanlış atıf sorunlarını çözmenin zor olduğunu söylüyor.

OpenAI, arama ürününü geliştirmeye kararlıdır.

İleriye Bakış

OpenAI haber sektörüyle işbirliği yapmak istiyorsa yayıncı içeriğinin ChatGPT Arama'da doğru şekilde temsil edilmesini sağlamalıdır.

Yayıncıların şu anda sınırlı yetkileri var ve OpenAI'ye karşı açılan davaları yakından izliyorlar. Sonuçlar içerik kullanım haklarını etkileyebilir ve yayıncılara daha fazla kontrol sağlayabilir.

ChatGPT gibi üretken arama ürünleri insanların haberlerle etkileşime geçme biçimini değiştirdikçe OpenAI, kullanıcının güvenini kazanmak için sorumlu gazetecilik taahhüdünü göstermelidir.


Öne Çıkan Görsel: Robert Way/Shutterstock


Yayımlandı

kategorisi

yazarı:

Etiketler:

Yorumlar

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir