AMD, Apple, Intel, Nvidia ve Qualcomm çiplerinde özel yapay zeka özelliklerinin reklamını yapıyor. Apple ve Microsoft da kendi işletim sistemlerinin (Apple Intelligence ve Copilot+) AI işlevlerinin reklamını yapıyor. Konu yapay zeka olunca pek çok şey kafa karıştırıcı oluyor, gelin bunları analiz edelim.
Duyuru
Yapay zeka hesaplamalarının faydaları nelerdir?
Yapay zeka hızlandırıcıları tam olarak neyi normal CPU çekirdeklerinden daha iyi yapabilir?
Çoğu yapay zeka algoritması çok yüksek bilgi işlem gücü gerektirir, ancak çoğunlukla iki çok özel işlevle idare ederler: büyük matris çarpımı ve Matrix Multiply Accumulate (MMA) adı verilen sonraki ekleme. Bu işlem adımları için özel olarak optimize edilmiş bir düzenek, verileri genel bir işlemci çekirdeğinden çok daha hızlı ve aynı zamanda daha enerjik bir şekilde işler. Ancak pratikte bu yalnızca birkaç koşulun karşılanması durumunda işe yarar.
Uygulamaların ve AI hızlandırıcıların uyumluluğu
Herhangi bir AI yazılımı bir AI hızlandırıcı kullanabilir mi?
Hayır, sorun şu: Belirli bir AI hesap makinesini kullanmak için, bir AI uygulamasının buna özel olarak programlanması gerekir. Ne yazık ki AMD, Apple, Intel, Nvidia ve Qualcomm çiplerindeki farklı yapay zeka bilgi işlem birimleri ikili düzeyde birbirleriyle uyumlu değil. Daha da kötüsü: Bazı çipler iki veya üç farklı yapay zeka hesaplama motoru içerir. Sürücüler ve standartlaştırılmış programlama arayüzleri (API'ler) aracılığıyla ilgili işletim sistemine entegre edilirler ve uyumlu AI çerçeveleri de mevcuttur. Ancak bazı AI uygulamaları yalnızca belirli AI birimleriyle veya belirli API'lerle işbirliği yapar, diğerleri ise onlara fayda sağlamaz.
Gösterilen Intel Core Ultra 200V (Lunar Lake) gibi mevcut mobil işlemciler, AI uygulamaları için CPU çekirdekleri ve entegre grafik işlemcisinin (IGP) yanı sıra bir Sinir İşleme Birimi (NPU) içerir.
Yapay zeka programlama arayüzleri
Hangi yapay zeka yazılımının donanımımdan en iyi şekilde yararlandığını nasıl öğrenebilirim?
Bu zor. Çoğu yazılım şirketi, yapay zeka uygulamalarının hangi yazılım arayüzünü (Uygulama Programlama Arayüzü, API) kullandığını bile açıklamıyor. Bu bilgiyle bile uygulamanın belirli bir bilgisayarda ne kadar iyi çalışacağını tahmin etmek zordur. AI çerçevesi, AI API, sürücüler ve donanımın kombinasyonuna bağlı olarak performans büyük ölçüde değişiklik gösterir.
Yapay zeka uygulamaları genellikle TensorFlow, Caffe, PyTorch veya Keras gibi yapay zeka çerçevelerini kullanır. Mevcut AI bilgisayarlara, sürücülere ve işletim sistemlerine bağlı olarak bunlar Microsoft DirectML (Windows ML), Apple CoreML, Nvidia TensorRT, AMD AI Engine, Intel OpenVINO, Qualcomm AI Engine Direct veya l Vulkan jenerik arayüzü gibi farklı programlama arayüzlerini kullanır. .
Microsoft, farklı çip şirketlerinin yapay zeka birimlerini kontrol etmek için kullanılabildiği için programcıların Windows altında DirectML kullanmasını teşvik ediyor. Ancak karşılaştırmalar, DirectML'in genellikle ilgili donanım üreticisinin kendisi tarafından sağlanan API'den önemli ölçüde daha az bilgi işlem gücü gerektirdiğini gösteriyor. Bu özellikle Nvidia TensorRT ve Intel'in OpenVINO'su için geçerlidir.
Üstler nedir?
Sürekli olarak “üst” ölçü birimiyle karşılaşıyorum. Bunun saniyede tera işlemi anlamına geldiğini zaten anladım. Peki bu ne anlama geliyor?
Yapay zekanın zaferi için önemli olan şey, birçok yapay zeka algoritmasının oldukça basitleştirilmiş değerlerle çalışırken bile iyi sonuçlar sağladığının farkına varılmasıydı. Birçok yapay zeka uygulamasının kuantize edilmiş verilerle hesaplama yapmasının nedeni budur. Örneğin, her biri 32 bitlik kayan nokta değerleri (32 bit kayan nokta, FP32) yerine yalnızca FP16 veya 8, 6 ve hatta yalnızca 4 bitlik tamsayılar (tamsayılar) kullanırlar. Böyle bir Int8 değeri 1 bayt yer kaplar; bu da bir FP32 değerinin gerektirdiğinin yalnızca dörtte biri kadardır. Gelişmiş Vektör Uzantıları (AVX) gibi modern CPU hesaplama birimleri, saat döngüsü başına çok daha “sıkı” verileri işler. Örneğin AVX-VNNI, 256 bit vektörleri işler ve alternatif olarak sekiz FP32 değeri yerine aynı anda 32 Int8 sayısını hesaplar. Küçük verilerin çoğu RAM ve önbelleğe sığar.
Bir aritmetik birimin saniyede işleyebileceği maksimum veri değeri sayısı için “saniye başına işlem” ölçü birimi (ayyy, saniye başına hesaplama adımları) oluşturulmuştur. Yapay zeka aritmetik birimlerinde bu genellikle matris çarpımları sırasında saniyede işlenen Int8 değerlerinin sayısı anlamına gelir ve bu sayı uzun süredir trilyonlarca olmuştur: tera-ops veya kısaca en yüksek. Hepsi olmasa da çoğu yapay zeka hesap makinesi FP16 değerlerini de işler, ancak Int8'in yalnızca yarısı kadar hızlıdır; Üreticiler genellikle en yüksek değeri beyan ederler. Kayan noktalı sayılarla uğraşırken, flop'ları yazma eğilimindeyiz: saniyedeki kayan nokta işlemleri. İlgili AI hesaplayıcının işleyebileceği veri formatları hakkında özel bilgi olmadan, maksimum değerler yalnızca çok kaba performans karşılaştırmalarına izin verir.
Hangi yapay zeka hızlandırıcıları var?
Mevcut Windows ve macOS bilgisayarlarda ne tür AI hızlandırıcılar mevcut?
Mevcut x86 ve ARM işlemcilerin çoğunda, olağan CPU çekirdekleri zaten yapay zeka algoritmaları için optimize edilmiştir ve bu nedenle öncekilerden önemli ölçüde daha hızlıdır. AMD, Intel ve ARM, ilgili vektör hesaplama birimlerini (Gelişmiş Vektör Uzantıları, AVX ve Ölçeklenebilir Vektör Uzantıları, SVE) revize ederek artık BF16, FP16 veya Int8 gibi AI veri formatlarını da işleyebiliyorlar. İdeal olarak, aynı saat frekansına sahip eski işlemcilerden iki ila sekiz kat daha hızlıdırlar. Örneğin, bir AMD Ryzen 9 9950X'in 16 CPU çekirdeği birlikte Int8'de yaklaşık 10 zirveye ulaşıyor.
Mevcut işlemcilerin çoğu aynı zamanda entegre grafik işlemcileri (iGPU, IGP) içerir. Pahalı bir grafik kartının GPU'sundan önemli ölçüde daha zayıf olmalarına rağmen, 3D hesaplamalar ve ışın izlemenin yanı sıra artık AI veri formatlarını da anlayan benzer bilgi işlem birimleri içeriyorlar. Örneğin Intel Core Ultra 9 288V mobil işlemcinin IGP'si 67 üst değer sunuyor. Fiyatı 300 Euro olan Nvidia GeForce RTX 4060, 242 üst değer sunuyor.
Ayrıca AMD, Apple, Intel ve Qualcomm'un mevcut tüm mobil işlemcileri, Sinir İşleme Birimleri (NPU'lar) adı verilen ayrı AI bilgi işlem birimleri içerir. Çoğu yalnızca Int8 ve FP16 değerlerini işler ve genellikle entegre GPU'dan daha zayıftır: Core Ultra 100'deki Intel NPU en üstte 13'tür ve Core Ultra 200V'de en az 45 üsttedir. Microsoft, “Copilot+” logosu için en az 40 üst kısmı olan bir NPU'ya ihtiyaç duyuyor. NPU'ların püf noktası: özellikle verimli olmaları ve az enerji tüketmeleridir. Bunlar esas olarak dizüstü bilgisayarın pilini hızlı bir şekilde tüketmek istemeyen yapay zeka uygulamaları için tasarlanmıştır: ses tanıma, ses ve video akışlarının optimizasyonu.
Bir AI bilgisayarın ne kadar RAM'e ihtiyacı vardır?
Yapay zekaya sahip bir bilgisayarın çok fazla RAM'e ihtiyacı var mı?
Bunu genel anlamda söylemek mümkün değil. Yerel olarak çalışan AI modelleri, örneğin Office uygulamalarına göre çok daha fazla RAM kullanabilir. Bu nedenle Microsoft, Copilot+ logolu Windows 11 bilgisayarları için en az 16 GB RAM'e ihtiyaç duymaktadır. Apple Intelligence'ın tanıtılmasından önce Apple, Mac'lerinin minimum kapasitesini de 16 GB'a çıkarmıştı.
Önceki Copilot+ dizüstü bilgisayarların yanı sıra Apple bilgisayarları da tümleşik GPU'lara ve NPU'lara sahip işlemcilere sahipti; bu işlemcilerde üç bilgi işlem birimi de mevcut RAM'i paylaşıyordu. Yapay zeka modeli ayrı bir grafik kartında çalışacaksa yerel belleğinin yeterince büyük olması gerekiyor.
Windows 11, Aygıt Yöneticisi'nde mevcut NPU kullanımını gösterir.
Yapay zeka hızlandırıcılarının uyarlanması
Dizüstü bilgisayarımda veya PC'mde bir AI hızlandırıcıyı yükseltebilir miyim?
Ücretsiz PCI Express x16 (PCIe x16) yuvasına sahip masaüstü bilgisayarlarda çok iyi çalışır: oraya modern bir grafik kartı takılabilir. Ne kadar güçlü olabileceği yalnızca cüzdanınıza değil aynı zamanda sahip olduğunuz güç kaynağına da bağlıdır; çünkü pek çok grafik kartı, özellikle de 75 watt'ın üzerinde güç tüketimine sahip olanlar, ek güç kabloları gerektirir.
Şimdiye kadar Nvidia RTX grafik kartları, yalnızca nispeten yüksek miktarda AI bilgi işlem gücü sağlamaları değil, aynı zamanda Nvidia'nın sürücüleri ve programlama arayüzlerini de iyi muhafaza etmesi nedeniyle özellikle tavsiye edildi. AI uygulamasına bağlı olarak AMD veya Intel kartları da mümkündür.
Çok az sayıda dizüstü bilgisayar ve mini PC'de grafik kartı yuvası bulunur. Ancak M.2 tasarımında Hailo 8L gibi 100 Euro'dan daha düşük bir fiyata en az 13 tepeye sahip AI hızlandırıcılar var. Ancak Linux veya Windows altında hangi AI uygulamalarının bunu kullandığını henüz bulamadık.
Her 14 günde bir Almanya'nın en büyük BT editör ekibi size BT güvenliği ve veri koruması, donanım, yazılım ve uygulama geliştirmeleri, akıllı ev ve çok daha fazlası hakkında güncel ipuçları, kritik raporlar, kapsamlı testler ve derinlemesine raporlar sunar. Bağımsız gazetecilik her şeyin başı ve sonudur.
(chiw)
Bir yanıt yazın