SparkToro'nun yeni bir raporuna göre yapay zeka araçları neredeyse her aynı soruyu yanıtladığında farklı marka öneri listeleri üretiyor.
Veriler, ChatGPT'nin veya Google'ın Aramadaki Yapay Zekasının (Yapay Zeka Genel Bakış/Yapay Zeka Modu), aynı istemin tekrarlanan çalıştırmalarında aynı marka listesini döndürme ihtimalinin 100'de 1'den az olduğunu gösterdi.
SparkToro'nun kurucu ortağı Rand Fishkin, araştırmayı yapay zeka izleme girişimi Gumshoe.ai'den Patrick O'Donnell ile birlikte yürüttü. Ekip, Kasım ve Aralık aylarında yüzlerce gönüllüyü kullanarak ChatGPT, Claude ve Google Arama Yapay Zeka Genel Bakışlarında (Genel Bakışlar görünmediğinde kullanılan Yapay Zeka Moduyla) 2.961 istem çalıştırdı.
Veriler Ne Bulundu?
Yazarlar, şef bıçakları, kulaklıklar, kanser bakım hastaneleri, dijital pazarlama danışmanları ve bilim kurgu romanları dahil olmak üzere kategoriler genelinde marka önerileri isteyen 12 istemi test etti.
Her istem platform başına 60-100 kez çalıştırıldı. Neredeyse her yanıt üç açıdan benzersizdi: Sunulan markaların listesi, önerilerin sırası ve iade edilen ürün sayısı.
Fishkin temel bulguyu şöyle özetledi:
“Bir yapay zeka aracına yüz kez marka/ürün önerileri sorarsanız neredeyse her yanıt benzersiz olacaktır.”
Claude aynı listeyi iki kez oluşturma konusunda biraz daha yüksek tutarlılık gösterdi ancak aynı sıralamayı üretme olasılığı daha düşüktü. Platformların hiçbiri yazarların güvenilir tekrarlanabilirlik tanımına yaklaşamadı.
Ani Değişkenlik Sorunu
Yazarlar ayrıca gerçek kullanıcıların istemleri nasıl yazdığını da inceledi. 142 katılımcıdan seyahat eden bir aile üyesi için kulaklıklarla ilgili kendi istemlerini yazmaları istendiğinde neredeyse hiçbir iki istem birbirine benzemiyordu.
İnsanların yazdığı bu istemler arasındaki anlamsal benzerlik puanı 0,081 idi. Fishkin ilişkiyi şu şekilde karşılaştırdı:
“Kung Pao Tavuğu ve Fıstık Ezmesi.”
Yönlendirmeler temel bir amacı paylaşıyordu ancak bunun dışında çok az şey vardı.
Hızlı çeşitliliğe rağmen yapay zeka araçları, markalara nispeten tutarlı bir değerlendirme kümesinden geri dönüş sağladı. Bose, Sony, Sennheiser ve Apple, çeşitli kulaklık komutlarına verilen 994 yanıtın %55-77'sinde yer aldı.
Yapay Zeka Görünürlük Takibi İçin Bunun Anlamı Nedir?
Bulgular, bir ölçüm olarak “Yapay Zeka sıralama konumu”nun değerini sorguluyor. Fishkin şunu yazdı: “'Yapay zekada sıralama konumu' veren her araç palavralarla doludur.”
Ancak veriler, bir markanın birçok benzer istemde görünme sıklığının daha tutarlı olduğunu gösteriyor. Bulut bilişim sağlayıcıları gibi dar kategorilerde yanıtların çoğunda en iyi markalar yer aldı. Bilim kurgu romanları gibi daha geniş kategorilerde sonuçlar daha dağınıktı.
Bu, ele aldığımız diğer raporlarla uyumludur. Aralık ayında Ahrefs, Google'ın Yapay Zeka Modu ve Yapay Zeka Genel Bakışlarının aynı sorgu için %87 oranında farklı kaynaklardan alıntı yaptığını gösteren veriler yayınladı. Bu rapor farklı bir soruya odaklanıyordu: aynı platform ancak farklı özelliklere sahip. Bu SparkToro verileri aynı platformu ve istemi inceliyor ancak farklı çalıştırmalarla.
Bu çalışmalardaki örüntü aynı yöne işaret ediyor. İster platformlar arasında, ister bir platform içindeki özellikler arasında veya aynı özelliğe yönelik tekrarlanan sorgular arasında karşılaştırma yapıyor olun, AI önerileri her düzeyde farklılık gösteriyor gibi görünüyor.
Metodoloji Notları
Araştırma, yapay zeka izleme araçları satan Gumshoe.ai ile ortaklaşa yürütüldü. Fishkin bunu açıkladı ve başlangıç hipotezinin yapay zeka izlemenin “anlamsız” olacağı yönünde olduğunu belirtti.
Ekip, tüm metodolojiyi ve ham verileri halka açık bir mini sitede yayınladı. Ankete katılanlar normal AI araç ayarlarını standartlaştırma olmadan kullandılar; yazarlar bunun gerçek dünyadaki çeşitliliği yakalamak için tasarlandığını söyledi.
Rapor hakemli bir akademik araştırma değildir. Fishkin metodolojik sınırlamaları kabul etti ve daha büyük ölçekli takip çalışması çağrısında bulundu.
İleriye Bakış
Yazarlar, güvenilir görünürlük verileri elde etmek için kaç adet istem çalıştırması gerektiği ve API çağrılarının manuel istemlerle aynı varyasyonu sağlayıp sağlamadığı konusunda açık sorular bıraktılar.
Bulgular, yapay zeka izleme araçlarını değerlendirirken sağlayıcılardan metodolojilerini göstermelerini istemeniz gerektiğini gösteriyor. Fishkin şunu yazdı:
“Yapay zeka görünürlüğünü takip etmek için bir kuruş harcamadan önce, sağlayıcınızın burada ortaya koyduğumuz soruları yanıtladığından ve matematiklerini gösterdiğinden emin olun.”
Öne Çıkan Görsel: NOMONARTS/Shutterstock
Bir yanıt yazın