Yapay zeka metin oluşturucuları anlaşılır bir şekilde klasik bir psikoloji testinde başarısız oluyor ve ikisi eşleşmiyorsa renkli olarak gösterilen renkli kelimeleri doğru şekilde adlandıramıyor. Bu, GPT-4o, Claude 3.5 Sonnet, GPT-5, Claude Opus 4.1 ve Gemini 2.5'in Stroop testini tamamlayan ABD'li bir araştırma ekibi tarafından keşfedildi.
Reklamdan sonra devamını okuyun
İki renk eşleşmezse yapay zeka modelleri yalnızca birkaç kelime için görünen rengi doğru şekilde atayabilir. Kendilerine daha fazlası sunulduğunda hata oranı hızla arttı. Eşleşen ve farklı renk ve terim çiftleri dönüşümlü olarak gösterildiğinde, yapay zeka modelleri sürekli olarak hatalıydı. Ekip, bu bulgunun genel yapay zekanın geliştirilmesinde dikkate alınması gerektiğine inanıyor.
Daha fazla kelime, önemli ölçüde daha fazla hata
Stroop testi, insanların otomatik bir reaksiyonu ne kadar iyi bastırabildiklerini klinik olarak değerlendirir. Bunu yapmak için kelimeler renkli yazı tipiyle yazdırılır ve deneklerin kelimenin anlamını göz ardı ederek yazı tipi rengini söylemeleri beklenir. Ortalama olarak, renk ve anlam farklıysa bunu yapmak biraz daha uzun zaman alır (“kırmızı“, “maviNew York Şehir Üniversitesi'nden Suketu Chandrakant Patel liderliğindeki araştırma ekibi, “) eşleşmediğini açıklıyor. Bununla birlikte,” uzun kelime listelerinde bile istikrarlı ve son derece hassas performans sağlayabiliyorlar. “İncelenen yapay zeka modelleri için bu söylenemez, tam tersi.
Araştırma grubunun açıkladığı gibi, beklendiği gibi sonuçlar, yapay zeka modellerinin ilgili kelimeyle eşleşen yazı tipi renklerini adlandırması gerektiğinde en iyi sonucu veriyor. Ama o zaman bile 40 dönemde bir düşüş var. İkisi eşleşmiyorsa, adlandırma yalnızca birkaç kelime için işe yarar; 10 kelimede isabet oranı %60'a düşüyor, 40 kelimede ise %20'nin bile altında. Renk bazen eşleşiyor, bazen uymuyorsa modeller tamamen standart dışı kalıyor; 40 kelimeyle isabet oranı %0'a bile düşüyor. Modeller yalnızca bir koşul altında tamamen doğruydu: Renkli kelimeler yerine, sayısı ilgili renkli kelimedeki harf sayısına karşılık gelen nötr “X” karakterleri sunulduğunda.
Yapay zeka modellerinin bir metinde neyin dikkat edilmesi gerektiğini ve neyin dikkat edilmesi gerektiğini güvenilir bir şekilde belirlememesi yeni bir şey değil. PNAS Nexus'ta yayınlanan çalışma, insanlar gibi büyük dil modellerinin (LLM) renkleri adlandırmaktan ziyade kelimeleri okumak konusunda daha iyi eğitildiğini doğruladı. Ancak insanlar uzun kelime listeleriyle bile okumayı bastırıp rengi adlandırmaya odaklanabiliyorlardı. Yapay zeka modellerinin performansındaki tam düşüş, “biyolojik dikkat ile karşılaştırıldığında temel sınırlamalara işaret ediyor.” Ancak bu kontrol mekanizmaları genel yapay zekaya ulaşmak için temeldir. Yapay zeka modelleri, gerekli olmayan bilgileri daha güvenilir bir şekilde göz ardı edebilirse, bilgi işlem gücünden de tasarruf edilebilir.
(mho)
Bir yanıt yazın