GPT-SIO: OpenAAI tarafından açılan modellerin derinlemesine incelenmesi

Açık ağırlıklı ilk Opeeni modelinin uzun süre beklemesi sona erdi: Openaai 5 Ağustos'ta piyasaya sürüldü. Daha dikkatli bir incelemede, beklemenin buna değdiğini gösterir. Model mükemmel çalışıyor ve birçok yenilik içeriyor. Çok liberal bir Apache 2.0 lisansı ile de mevcuttur.

Dr. Christian Winkler özellikle Doğal Dil Metinlerinin (NLP) otomatik analizi ile ilgilenmektedir. Nürnberg'e profesör olarak, kullanıcının araştırmalarındaki deneyiminin optimizasyonuna odaklanıyor.

Model Mimarisi

Gerçekte, Openii bir model değil, iki tane yayınladı. 117 milyar parametreli büyük 120B modele ek olarak, 21 milyar parametreli küçük bir 20B model de var.

Her iki model de uzman karışımının mimarisini kullanır ve bu nedenle hesaplamaya giren çıkarım aşamasında önemli ölçüde daha az aktif parametrelere ihtiyaç duyar. Bu, özellikle 128 uzmanının sadece dördünü aynı anda kullanan büyük modelle belirgindir. Sonuç olarak, aktif parametrelerin sayısındaki iki model arasında büyük bir fark yoktur. Bu nedenle en küçük model çok daha hızlı değildir, ancak önemli ölçüde daha düşük bir bellek gerektirir (daha sonra daha fazlası).

Model	GPT-OS-12120B	GPT-OS-20B
Parametre Sayısı	117 milyar	21 milyar
Aktif parametrelerin sayısı	5.1 milyar	3,6 milyar
Katman sayısı	36	24
Uzman sayısı	128	32
Aktif uzmanların sayısı	4	4
Dikkat kafalarının sayısı	64	64

Seviyenin mimarisi ilginçtir: Openi, alternatif olarak eksiksiz bir tutum, yani tüm içeriğin görünümü ve içeriği daha küçük ve üst üste binen segmentlere ayırdığı kayan pencereli bir tutum kullanır. Bu varyant, önemli ölçüde daha düşük bir bellek ve hesaplama zamanı gerektirir, ancak daha az iyi bağlamlarla karşılaşabilir. Bu, ortadaki katmanlardaki tüm saldırıyı telafi eder.

Daha az depolama ihtiyacı, daha esnek akıl yürütme

Embrace Model sekmesinde, büyük modelin bir H100 GPU'da gerçekleştirilebileceğini söylüyor. Bu başlangıçta şaşırtıcıdır, çünkü 121 milyar parametre de Deepseek tarafından kullanılan FP8 ekonomik formatında (8 -Bit Yüzer Noktası) çok büyüktür. Bununla birlikte, OpenAAI daha fazla bağışladı ve ağırlıkları daha da kompakt bir MXFP4 formatında (4 -Bit Kayan Nokta) yayınladı, bu da belleğin sadece yarısını gerektirdi. Bu, modelin ağırlıklar için sadece 60 GB RAM gerektirdiği anlamına gelir. Dezavantajı, yalnızca H100 veya RTX 5090 kartlarında kullanılan hopper GPU'larının bu biçimi etkili bir şekilde hesaplayabilmesidir.

Modeller eski neslin GPU'ları üzerinde çalışır, ancak dört kat daha fazla belleğe ihtiyaç duyar. Nvidia ile çapraz sponsorluk hakkında düşünen bir Schelm. Bununla birlikte, sadece bir yıl içinde yerleşik BFLOAT16 formatının (en azından bu modellerle) dört bite indirgendiğini ve bu nedenle depolama alanının sadece dörtte birinin gerekli olduğunu belirtmek ilginçtir.

Openai ayrıca GPT-Oß modellerinin yapılandırılmasına izin verir. Böylece modellerin düşüncelerinizi ne kadar ayrıntılı olarak göstermesi gerektiğini belirleyebilirsiniz. Bu son derece kullanışlıdır, çünkü bazı modeller akıl yürütme tarzında çok kırılmış ve birçok jeton yaratır. Yani sadece uzun açıklamaları okumak ve nesli beklemek zorunda değilsiniz, aynı zamanda birçok jeton için de ödeme yapmanız gerekmez. Uygulama, bu tutumun gerçekten ne kadar iyi çalıştığını göstermelidir.

Harmony'ye yeni yanıt biçimi

Alibaba'nın Hibritleri Qwen3 modelleri ile /no_think Çok esnek olmayan akıl yürütmeyi derhal devre dışı bırakırken. Burada Openi'nin daha fazla düşüncesi var ve yeni bir sohbet biçimi tanımladı: Harmony'ye yanıt biçimi önceki tüm sohbet modellerinden çok daha esnektir ve modellerle birçok etkileşim yoluna izin verir.

Daha dikkatli bir sınavda, şimdi ardıl olarak ortaya çıkan sohbet modellerini kaydetmiş olmanız neredeyse şaşırtıcı. Haziran 2024'te GPT-OS tarafından bilginin kesilmesinin harmonik kodlarını denediğinizde, model için en son eğitim verilerinin bir yıldan fazla olması heyecan vericidir. Harmony için bir pas kodu olması da, Openi'nin yazılımın verimliliğini artırmak için programlama dili ile dahili olarak çalıştığının bir göstergesi olabilir.

Harmony, önceki sohbet modellerinden önemli ölçüde daha esnek bir formattır. Modelin cevap sırasında da dikkate alındığı birden fazla talimat ve çok yönlü kanallara izin verir. Tüm avantajlarla, Harmony'nin de bir dezavantajı vardır: Sistem kurallar ve kanallar gibi ek alanlar geliştirerek birçok jeton üretir. Azaltılmış verimlilik, azaltılmış akıl yürütmeyi telafi edemez.

29 Ekim'de şirketteki LLMS çevrimiçi konferansı, doğru modeli nasıl seçileceğini, altyapıyı oluşturmayı ve güvenliği kontrol altında tutmayı gösteriyor. Buna ek olarak, IX ve DPunkt.verlag'ın temalı günü, yeni nesil LLM gibi sıvı temel modellerine bir bakış açısı sunar.

GPT-SIO, işlevleri hatırlayabilen bir ajan modelidir. Openai ileriye doğru adım atıyor ve son zamanlarda web navigasyonuna izin verdi. Bununla birlikte, antropik gibi tedarikçiler, tarayıcının tarayıcıyı modelleriyle kontrol etmesine uzun zamandır izin verdiler ve şaşkınlık bile tarayıcılarını sunuyor. GPT-OSS ayrıca Python kodunu gerçekleştirmenizi sağlar. Oluşturulan koda ne ölçüde güvenebileceğiniz hemen söylenemez.

Openi, eğitim sürecinin ayrıntıları ve kullanılan veriler konusunda çok sessizdir. Herkes muhtemelen burada çorbasını pişiriyor ve Çin modelleri bile tedarikçiler azalıyor. Tüm AI Enstitüsü Olmo ve Smollm için yüzünüzü kucaklamak için tüm detaylar gerçekten yayınlandı.