LLM-Beschleunigung: Apple, Nvidia ile işbirliği yaptı

Apple'ın Nvidia ile ortak bir projesi var, bu da büyük KI-Sprach modellerinde (Büyük Dil Modelleri, LLM'ler) basit çıkarımlar yapma ve diğer Token token'ları ile birlikte deneniyor. Beim Inferencing führen KI-Beschleuniger, KI-Algoritmalarını eğitmiştir.

Anzeige

Konzern, Kasım ayında bir GitHub yayınında aynı Paper Code'da Recurrent Drafter, kurz ReDrafter yazılım adlarını yayınladı. ReDrafter, TensorRT-LLM-Framework'ü bir blog gönderisi olarak KI-Riese ile donattı. Bu, “yeni, özel bir Kod Çözme Tekniği”, Entwicklern helfe, Nvidia GPU Yongalarındaki İş Yükü Performansı “önemli ölçüde önemli”.

Büyük bir üretim modeli edinin

Apple, ReDrafter ve TensorRT-LLM ile birlikte gelir; bu, Açgözlü Kod Çözme işlemine yardımcı olan 2,7-Fache ile Token Üretimi sağlar. Überprüft, çok sayıda Milyar Parametreli bir Üretim modeliyle, yani Apple'la birlikte ölür. “Die Benchmark-Ergebnisse zeigen, dass diese Technologie die Latenz, die die Nutzer wahrnehmen, önemli reduzieren könnte.” Gleichzeitig yedek adam Performance und Strom.

Spesifik Kod Çözme, Token ile paralel olarak Yüksek Lisans Çıkarımı sırasında Verfahren'de Nvidia tarafından yapılmıştır. “Bei werden kleinere 'Entwurfs'-Module verwendet, um künftige Token vorherzusagen, die dann vom Hauptmodell überprüft werden.” Bei der Methode sei die Ausgabequalität so gut wie zuvor, “während die Antwortzeiten, insbesondere bei geringem Traffic, deutlich reduziert werden”. Kaynakları çok daha verimli bir şekilde kullanın.

Code steht gesamter Industrie zur Verfügung

Apple somut olarak, bu adam Nvidia-GPU'lar ile Sunucu Geliştirmeye paralel olarak aynı zamanda Apple-Silikon-Geräten'in Yüksek Lisans Çıkarımına da paraleldir. iPhone Konzern seti – aynı zamanda Meta Konkurrenz veya OpenAI ile birlikte – Nvidia-Technik'in en iyi LLM eğitimleri arasında yer alıyor. KI-Teams'in, endüstrinin geri kalanından kârlı bir şekilde faydalanması sağlandı. Açık Kaynaklı Model ile ReDrafter'ın satışı, her bir Generierungsschritt Schneller için 3,5 Token karşılığında gerçekleşir. Lanet olsun ki, Kod Çözme-Verfahren übertroffen'in spekülatif olması mümkün değil.

TensorRT-LLM-Framework'ün yalnızca taslak hazırlama için yeni bir sürümü mevcuttur – aynı zamanda Nvidia'da bulunan her motor için de geçerlidir. Asgari genel gider. Apple ile yapılan uygulama TensorRT-LLM “mächtiger ve esnek” gemacht'a sahiptir.

(bsc)