Yapay zeka çıkarımı: ABD-Alman start-up'ı Nvidia'yı geçmek istiyor

2017 yılında Recogni adı altında kurulan Tensordyne şirketi, yapay zeka hızlandırıcısı “Napier”in sözde banttan çıkarılmasını kınadı. Bu isim, hesaplama yardımcısı olarak logaritmanın mucidi olarak kabul edilen John Napier'e atıfta bulunmaktadır. Logaritmik matematik sayesinde Napier çipi, yapay zeka modellerini kullanırken ihtiyaç duyulan birçok çarpma işlemini toplamalara dönüştürmeyi amaçlıyor.

Eklemeler daha verimli bir şekilde hesaplanabildiğinden Tensordyne, mevcut Nvidia GB300 teknolojisine sahip AI sunuculara göre raf başına önemli ölçüde daha yüksek bilgi işlem gücü vaat ediyor. AI modeline bağlı olarak, bir Napier rafının, Nvidia GB300 NVL72'ye göre saniyede 13 kat daha fazla token dağıttığı söyleniyor.

Watt başına saniye başına jeton cinsinden hesaplanan verimliliğin 17 kat daha iyi olduğu söyleniyor.

Şirkete göre halihazırda Napier sistemleri için toplam 200 milyon dolardan fazla sipariş var. Ancak Tensordyne, ilk TDN72 kapsüllerinin ne zaman teslim edileceğini henüz tam olarak açıklamadı.

Ancak Nvidia, çıkarım için özel olarak optimize edilmiş Groq 3 LPX sistemini 2026 yılı sonuna kadar pazara sunmak istiyor. Bir zamanlar yine çıkarım için duyurulan Rubin CPX'in artık söz konusu olması muhtemel değil.

SRAM ve HBM3E'ye sahip Napier çip

Logaritmik hesaplama yöntemi, Napier'in gerçek hesaplama birimlerinin daha küçük olmasını sağlar, böylece çipe daha fazlası sığabilir ve hızlı SRAM için yer açılır. Her çip 144 GB HBM3E RAM ile eşleştirilmiştir. Teledyne ayrıca özellikle hızlı ara bağlantı kurar.

Bir TDN72 bölmesi, her biri dokuz Napier yongasına sahip, sıkı bir şekilde ağ bağlantılı dört raf muhafazasından oluşur. Bir Tensordyne Napier Rafı (TDN Rafı), 288 Napier çipi olan dört TDN72 bölmesinden oluşur.

TDN rafı 608 PFlops'a ulaşır, 42 TByte HBM3E, 78 GByte SRAM ve 256 TByte RAM'e sahiptir. Tam yükte 120 kilowatt güç tüketiyor ve hava soğutması gerektiriyor. Raftaki ara bağlantı 275 TByte/s'ye kadar aktarım yapar.

Napier çipi, diğer şeylerin yanı sıra FP16, FP8, FP4 ve Int8 veri formatlarını işlemek üzere tasarlanmıştır. Tensordyne'e göre Kimi K2.6, DeepSeek-R1/V4 Pro, Llama3.1 405B, Mixtral 8x22B, GPT-OSS-120B ve Qwen 80B gibi yaygın AI modelleri için uygundur.

Karşılaştırma için: Nvidia, bir Groq 3 LPX rafına her biri 500 MB SRAM içeren toplam 256 Groq 3 LPU kurmak istiyor. Bu, raf başına 128 GB SRAM ve ayrıca 12 TB DDR5 RAM anlamına gelir.

Broadcom ve TSMC ile işbirliği

Tensordyne'nin genel merkezi Silikon Vadisi'ndedir ve Münih'te bir şubesi bulunmaktadır. Birkaç kıdemli geliştirici daha önce şu anda HPE'nin bir parçası olan Juniper Networks'te çalışıyordu.

Tensordyne, Napier'i geliştirmek için Broadcom ile ortaklık kurdu. Broadcom ayrıca Google'ın birkaç nesil TPU'su gibi diğer şirketler için de yapay zeka çipleri geliştiriyor.

(chiw)