Yıllık zirvesinde (Boston'da 20 ila 21 Mayıs arasında) Red, modellerin eğitimi alması için platform ve düşük donanım gereksinimleriyle çalışan bir çıkarım sunucusu tanıttı.
Sunucu, yalnızca Interentz modellerini sanallaştırmakla kalmayıp aynı zamanda donanım kaynaklarını verimli bir şekilde kullanmak için arşiv yönetimini ustaca yapılandıran LLM Virtual LLM (VLSM) projesine dayanmaktadır. Kırmızı, Kubernetes ile bir konteynerleştirme seçti, böylece sunucu tüm konteyner platformlarında ve hiper ölçeklerinde gerçekleştirilir, Kubernetes'i destekler ve gerekli donanımı sağlar: NVIDIA, AMD veya Google'dan GPU. Kenarların kullanımı da mümkündür. Buna ek olarak, üreticiye göre, tüm yaygın modeller üzerinde yönetilebilir.
Kullanıcılar ayrıca, şirketin Google, IBM, NVIDIA ve diğerleriyle birlikte çalıştığı bir proje olan LLM-D olan farklı kaplarda birkaç kap kullanabilirler.
Kucak yüzünde kaplı kap bitti
Bu mimari ve daha fazla sıkıştırma prosedürü (nöral sihir) nedeniyle Red, eğitimli modellerin daha eski ve daha ucuz donanım üzerinde çalıştığına ve en son NVIDIA kartlarına ihtiyaç duymadığına söz verdi. Sunucu RHEL veya açık kayma ne olursa olsun yönetilebilir. Red Hat, kucaklayan yüzünde optimize ve güvenli kaplara sahiptir.
Çıkarım motorda çalışır ve belleği optimize etmekten sorumludur.
(Resim: Red Hat)
Etki, tamamen eğitimli bir modelin gerçek işleyişini gösterir ve kullanıcılarla ve istekleriyle arayüzü temsil eder.
(DSÖ)
Bir yanıt yazın