Bu analiz, şirketin GPT-4o modeli için bir yükseltme duyurusundan 24 saatten kısa bir süre sonra geldi. OpenAI, X hakkında şunları yazdı: “Modelin yaratıcı yazma yeteneği arttı; daha doğal, ilgi çekici ve özel olarak yazılmış yazılar, alakayı ve okunabilirliği artırıyor.” Bu iddiaların geçerliliğini sürdürüp sürdürmediği artık şüpheye düşüyor.
Yapay Analiz, perşembe günü bir X gönderisi aracılığıyla modelin Yapay Analizinin “OpenAI'nin GPT-4o sürümünde bağımsız değerlendirmelerimizi yürütmeyi dün tamamladık ve sürekli olarak GPT-4o'nun Ağustos sürümüne göre önemli ölçüde daha düşük değerlendirme puanları ölçüyoruz” dedi. Kalite Endeksi 77'den 71'e düştü (ve artık GPT-4o mini'ninkine eşit).
Dahası, GPT-4o'nun GPQA Diamond kıyaslamasındaki performansı %51'den %39'a, MATH kıyaslamaları ise %78'den %69'a düştü.
Eş zamanlı olarak araştırmacılar, modelin yanıt hızının iki katından fazla arttığını, saniyede yaklaşık 80 çıkış tokenından yaklaşık 180 token/s'ye çıktığını keşfettiler. Araştırmacılar, “OpenAI modelleri için lansman gününde genel olarak önemli ölçüde daha yüksek hızlar gözlemledik (büyük olasılıkla benimsenmeden önceki OpenAI sağlama kapasitesi nedeniyle), ancak daha önce 2 kat hız farkı görmedik” diye yazdı.
Bekle – yeni GPT-4o daha küçük ve daha az akıllı bir model mi?
OpenAI'nin GPT-4o sürümünde bağımsız değerlendirmelerimizi dün tamamladık ve sürekli olarak GPT-4o'nun Ağustos sürümüne göre önemli ölçüde daha düşük değerlendirme puanları ölçüyoruz.
GPT-4o (Kasım) ve GPT-4o (Ağustos):
➤… pic.twitter.com/gjY2pBFuUv— Yapay Analiz (@ArtificialAnlys) 21 Kasım 2024
“Bu verilere dayanarak, OpenAI'nin 20 Kasım'daki GPT-4o modelinin muhtemelen Ağustos sürümünden daha küçük bir model olduğu sonucuna vardık” diye devam ettiler. “OpenAI'nin 20 Kasım sürümü için fiyatları düşürmediği göz önüne alındığında, geliştiricilerin iş yüklerini dikkatli bir test yapmadan Ağustos sürümünden kaydırmamalarını öneriyoruz.”
GPT-4o, mevcut GPT-3.5 ve GPT-4 modellerini geride bırakmak üzere ilk olarak Mayıs 2024'te piyasaya sürüldü. OpenAI'ye göre GPT-4o, ses, çok dilli ve görsel görevlerde son teknoloji ürünü karşılaştırma sonuçları sunuyor ve bu da onu gerçek zamanlı çeviri ve konuşma yapay zekası gibi gelişmiş uygulamalar için ideal kılıyor.
Bir yanıt yazın