Google'ın artık sekizinci nesil Tensör İşleme Birimleri (TPU'lar) bir değişiklikle geliyor: Yapay zeka modellerini eğitmek ve bunların yürütülmesi (çıkarım) için optimize edilmiş, TPU 8t ve TPU 8i adı verilen iki sürüm biçiminde görünüyorlar. Ayrıca Google bunu ilk kez kendi ARM işlemcileri (Axion) ile birlikte kullanıyor.
Reklamdan sonra devamını okuyun
Her iki TPU çeşidi de, çipler arasındaki aktarım hızının 19,2 Tbit/s'ye iki katına çıkarılması ve özellikle kompakt kayan nokta formatı FP4'ün desteklenmesi gibi bazı gelişmeleri paylaşıyor. Diğer parçalar ilgili uygulama için ayrıştırılmış ve optimize edilmiştir.
Solda daha küçük olan TPU 8t, sağda ise TPU 8i yer alıyor.
(Resim: Google)
Çıkarım için TPU 8i
TPU 8i, iki AI hızlandırıcıdan daha büyük olanıdır. Gelecekte Google, kullanıcılar için görevleri yerine getirecek yapay zeka aracılarını çalıştıracak.
TPU 8i, gerçek AI bilgi işlem birimlerine sahip iki hesaplama kalıbından, sekiz yüksek bant genişlikli bellek (HBM3e) bellek yığınından ve bir G/Ç yongasından oluşur. Üst köşelerdeki iki ek yonga, yalnızca genel yapıyı stabilize etmeye hizmet edebilir.
Model, yüksek bellek verimi ve düşük gecikmeler için kısaltılmıştır. Toplam 288 GB HBM3e, verileri olabildiğince hızlı yüklemek için 8,6 TByte/s'lik paket aktarım hızına sahiptir. Google aynı zamanda gecikmeyi azaltmak için AI birimlerinde 384 MB SRAM önbelleğe güveniyor. Tüm yapay zeka hesaplama motorlarının sonuçlarını bir araya getiren yeni Kolektif Hızlandırma Motoru (CAE) da aynı amaca hizmet ediyor.
Google, bir sunucuda 8i TPU'ları gruplar halinde paketler ve bunlar daha sonra bir tabanda birleştirilir. Şirket buna boardfly topolojisi adını veriyor. 1000'den fazla yongayı bağlamak için kullanılan Optik Devre Anahtarları (OCS), fiber optik kablolar aracılığıyla çalışıyor ve bu muhtemelen şirket genelinde benzersiz olacak.
Reklamdan sonra devamını okuyun
TPU 8i bölmesinin tamamında 1152 AI hızlandırıcı ve neredeyse 332 TByte HBM3e RAM bulunur. Google, FP8 ve INT8 veri formatlarına odaklanıyor; 11,6'ya kadar FP8 exaflop dahildir.
Blok diyagramı TPU 8i.
(Resim: Google)
9600 TPU 8t'ye kadar eğitim kapsülleri
TPU 8t, tek bir hesaplama kalıbını dört HBM3e yığını ve bir G/Ç kalıbıyla birleştirir. 12,6 FP4 petaflop hızında tek bir hızlandırıcı, TPU 8i'den yaklaşık yüzde 25 daha hızlıdır. Bellek tarafında ise TPU 8t, 216 GB HBM3e ve 6,5 TByte/s gibi iyi bir aktarım hızıyla yetiniyor. SRAM önbelleği 128 MB'a küçülür. Seyrek çekirdekler olarak adlandırılan çekirdeklerin, yapay zeka eğitimi sırasında düzensiz bellek erişimlerini koordine etmesi amaçlanıyor.
Google burada devasa ölçeklendirmeye güveniyor: Toplam 121 FP4 exaflop bilgi işlem gücüne ve iki petabaytın üzerinde HBM3e'ye sahip 9.600 8 ton TPU tek bir bölmeye sığıyor. Sistem şunun altını çiziyor: Yalnızca Nvidia'nın yapay zeka hızlandırıcıları değil, tüm yapay zeka sistemleri çok fazla DRAM'e ihtiyaç duyar. Çipler bir ağa (3D torus topolojisi) bağlanır.
Blok diyagramı TPU 8t.
(Resim: Google)
|
hızlandırıcı |
TPU 8t |
TPU 8i |
|
odak |
(Ön)eğitim |
Örnekleme, sunma, akıl yürütme |
|
Ağ topolojisi |
3 boyutlu simit |
Tahta sineği |
|
Uzmanlıklar |
Seyrek Çekirdek ve Yüksek Lisans Kod Çözücü Motoru |
Kolektifin Hızlandırma Motoru |
|
HBM3e kapasitesi |
216 GB |
288GB |
|
SRAM önbelleği |
128MB |
384 MB |
|
Maksimum FP4 Pflop'lar |
12.6 |
10.1 |
|
HBM bant genişliği |
6.528 GB/sn |
8.601 GB/sn |
Gemide çok sayıda ortak
8 serisi TPU'lar da yine su soğutmasına ihtiyaç duyuyor.
(Resim: Google)
8 serisi TPU sistemlerinin 2026 yılı sonlarında kullanıma hazır olması bekleniyor. Görünüşe göre sözleşmeli çip üreticisi TSMC, en azından 2 nanometre teknolojisine sahip hesaplama kalıpları üretiyor. Önceki nesiller gibi TPU 8t'nin de tüm bulut hiper ölçekleyicilerin AI hızlandırıcılarında yer alan Broadcom tarafından ortaklaşa tasarlandığı söyleniyor.
Mediatek'in TPU 8i'den sorumlu olduğu söyleniyor. Müzakerelerde kendi konumunuzu güçlendirmek için bunu birkaç ortak arasında bölmek mantıklıdır. Görünüşe göre Google, daha fazla bölünme için Marvell ile de pazarlık yapıyor.
Ancak hiper ölçekleyici kendisini Nvidia'dan hiçbir şekilde ayırmıyor. Google Cloud Next etkinliğinde AI donanım patronu Amin Vahdat, Google'ın Nvidia'nın Vera Rubin NVL72 AI sunucusunun ilk alıcılarından biri olduğunu vurguladı.
(mma)
Bir yanıt yazın