Princeton Üniversitesi'ndeki araştırmacılar, yapay zeka ajanlarına alışılmadık bir görev veren, uzun vadeli yeni bir kıyaslama olan CEO Bench'i sundular: 500 gün boyunca sahte bir yazılım girişimi çalıştırmaları gerekiyor. Mevcut modellere ilişkin sonuç ayıltıcıdır. Test edilen on yapay zeka modelinden yalnızca üçü, hesapta bir milyon ABD doları tutarındaki başlangıç sermayesinden daha fazla para tutmayı başardı. Karşılaştırıldığında, Amerika Birleşik Devletleri'ndeki insan liderliğindeki girişimlere ilişkin veriler, tüm girişimlerden beşte birinin ilk yılda başarısız olduğunu ve girişimlerin yüzde 65'e varan kısmının kurulduktan sonraki on yıl içinde başarısız olduğunu gösteriyor.
Duyurudan sonra devamını okuyun
Temel testte bir karşılaştırma olarak, araştırmacılar ayrıca manuel olarak kodlanmış, kural tabanlı bir aracının aynı görevi herhangi bir makine öğrenimi olmadan gerçekleştirmesini sağladı. Üç kazananın dışında yapay zeka modellerinden daha iyi performans gösterdi.
arXiv'de yayınlanan çalışmada anlatılan simülasyon çalışması, “NovaMind” adlı bir start-up etrafında dönüyor. Yapay zeka ajanları müşteri olmadan ve bir milyon dolarla başlar. Hesap bakiyesi sıfırın altına düşerse şirket iflas eder ve oyun biter. Temsilcilerin start-up'larını yönetmek için ellerinde 34 araç vardır: fiyatlandırmadan ürün tasarımına ve pazarlamaya kadar. Aldıkları girdiler arasında, diğer şeylerin yanı sıra, “şirket içi” veritabanları, öncelikle çözülmesi gereken tercihleri olan müşteri grupları hakkındaki bilgiler ve sürekli değişen bir pazar yer alıyor. Buna ekonomik döngüler, rakiplerin baskısı ve pazar durumundaki değişiklikler de dahildir. Modeller, kafa karıştırıcı ve birbirine bağlı kurumsal veritabanlarını analiz etmeli, verileri ve olayları sağlam temellere dayanan stratejilere dönüştürmeli ve çok sayıda kararı koordine etmelidir. Çalışma yazarlarının belirttiği gibi, izole görevleri tamamlama yeteneğini değil, “itici zeka” dedikleri şeyi ölçüyorlar: belirsizliklere rağmen karmaşık bir sistemi daha uzun bir süre boyunca kontrol etme yeteneği.
Yalnızca Claude Opus 4.8 ve GPT-5.5 sıçramayı gerçekleştiriyor
Ana değerlendirmede tüm modellerin her biri üç çalışmayı tamamladı. Model başına en iyi uygulama, performansın bir ölçüsü olarak hizmet eder. Claude Opus 4.8, 500 gün sonra 27,8 milyon ABD doları civarında, GPT-5,5 ise 21,3 milyon civarında nihai bakiyeye ulaştı. Her iki model de en iyi turlarında başlangıç sermayesinin oldukça üzerinde yer aldı, diğer iki turda ise onun altında kaldılar ve testi “geçemediler”. CEO Bench proje sayfasına göre Claude Fable 5 tek seferde yaklaşık 47 milyon dolar kazandı; Ancak bu durumda, Fable ciddi güvenlik kısıtlamaları nedeniyle görevleri çalıştırmayı defalarca reddettiği için test bir süre Opus ile yürütüldü.
Geriye kalan modeller başlangıç sermayelerinin altına düştü veya iflas etti. Claude Opus 4.7, tüm çalışmalarda 500 gün boyunca hayatta kaldı, ancak yalnızca 390.000 dolar kazandı. Grok 4.20 en iyi ihtimalle yalnızca 37 gün sürdü, DeepSeek V4 Pro ise en fazla 176 gün sürdü.
Farklı stratejiler, yüksek varyans
Duyurudan sonra devamını okuyun
Başarılı modeller, başarılarına ulaşmak için çok farklı yaklaşımlar benimsemiştir. Claude Opus 4.8 tek hamlede radikal bir tahsilat stratejisi izledi: önce agresif müşteri büyümesi, ardından ciddi maliyet kesintileri ve sonuçta sıfır aktif müşteriyle yüksek nakit bakiyesi elde edilmesi. Hedefe ulaşıldı ama gerçek hayatta bunun hiçbir değeri olmazdı. Öte yandan GPT-5.5 kalıcı bir müşteri tabanına sahipti ve geliştirme bütçesinin yaklaşık %89'unu gruba özel iyileştirmelere yatırdı. Her iki model de kod dosyalarını bağımsız olarak yazdı: Opus 4.8, grup bazlı bir nakit tahmini oluşturdu, GPT-5.5, müşteri tercihlerini belirlemek için ticaret geçmişini analiz etti.
Aynı modelin serileri arasındaki fark da büyüktür. Örneğin GPT-5.5, 77 gün sonraki ilk arızalar ile tam 500 gün arasındaki ilk arızalar arasında dalgalandı. Bu nedenle bireysel çalışmalar istikrarlı bir performans tablosu sağlamaz. 50 günlük kısaltılmış versiyonda bile çoğu temsilci başarısız oldu; bu da onlar için sadece uzun ufkun değil, aynı zamanda belirsizlik altında kararların temel koordinasyonunun da sorun olduğunu gösteriyor.
Teorik optimuma olan mesafe çok büyük olmaya devam ediyor
Sonuç, yapay zeka modellerinin uzun vadeli yeterliliğine ilişkin mevcut araştırmaların çerçevesine uyuyor. “Ortaya Çıkan Dünya” projesinde ChatGPT, Grok, Claude ve Gemini gibi modeller simüle edilmiş şehirleri yönetebiliyordu ve bazen tuhaf sonuçlarla karşılaşıyordu: Gemini 3 Flash yüksek suç oranı olan bir dünya yarattı, Claude Sonnet 4.6 ise neredeyse çatışmasız bir “midilli çiftliği” inşa etti. Modellerin uzun vadeli açık senaryolarda tahmin edilemeyecek şekilde davranma eğiliminde olduğu bir kez daha ortaya çıktı. Bununla birlikte, her iki simülasyonda da test edilen yapay zekaların dünya modelleri değil, öncelikle muhakeme modelleri olduğu ve muhtemelen bu tür görevler için ideal olmadığı da eklenmelidir.
(tekrar)
Bir yanıt yazın