Tüm AI gözleri bu hafta GPT-5'te olabilir, Openai'nin en son büyük dil modeli. Ancak hype (ve hayal kırıklığı) ötesine baktığımda, bu hafta başka bir büyük Openai duyurusu vardı: GPT-OSS, kendi cihazınızda yerel olarak çalışabileceğiniz yeni bir AI modeli. Dizüstü bilgisayarımda ve iMac'im üzerinde çalıştım, ancak aynısını yapmanızı tavsiye edeceğimden emin değilim.
GPT-OSS ile en önemli şey nedir?
GPT-OSS, GPT-5 gibi bir AI modelidir. Ancak, Openai'nin en yeni ve en büyük LLM'sinden farklı olarak, GPT-OSS “açık ağırlık” dır. Bu, geliştiricilerin modeli özel kullanım durumlarına özelleştirmelerini ve ince ayar yapmalarını sağlar. Bununla birlikte, açık kaynaktan farklıdır: Openai, hem modelin altında yatan kodu hem de modelin eğitildiği verileri dahil etmek zorunda kalacaktı. Bunun yerine, şirket geliştiricilere “ağırlıklara” veya başka bir deyişle, modelin veriler arasındaki ilişkileri nasıl anladığına dair kontroller veriyor.
Ben bir geliştirici değilim, bu yüzden o dikişten yararlanamıyorum. Ben ne olabilmek GPT-OSS ile GPT-5 ile yapamayacağım, ancak MAC'imde yerel olarak model çalıştırıyor. Buradaki en büyük avantaj, en azından benim gibi genel bir kullanıcı için, internet bağlantısı olmadan bir LLM çalıştırabilmem. Bu, CHATGPT kullandığımda ürettiğim tüm verileri kullandığını düşünerek, bunu belki de bir Openai modelini kullanmanın en özel yolu haline getiriyor.
Model iki formda gelir: GPT-OSS-20B ve GPT-OSS-120B. İkincisi, daha güçlü LLM'dir ve bu nedenle, en az 80GB sistem belleğine sahip makinelerde çalışacak şekilde tasarlanmıştır. Neredeyse bu miktarda RAM'e sahip bilgisayarım yok, bu yüzden benim için 120B yok. Neyse ki, GPT-OSS-20B'nin bellek minimum 16GB: M1 IMAC'ımın tam olarak ne kadar bellek ve M3 Pro MacBook Pro'mdan iki gigabayt daha az.
Mac'e GPT-OSS yükleme
GPT-OSS kurmak bir Mac'te şaşırtıcı derecede basittir: sadece Ollama adlı bir programa ihtiyacınız vardır, bu da makinenizde yerel olarak LLM'lere çalışmanıza izin verir. Ollama'yı Mac'inize indirdikten sonra açın. Uygulama aslında daha önce kullanmış olabileceğiniz diğer tüm chatbot gibi görünüyor, sadece önce makinenize indirmek için birkaç farklı LLM'den seçebilirsiniz. Gönder düğmesinin yanındaki model seçicisini tıklayın, ardından “GPT-OSS: 20B” yi bulun. Seçin, ardından bir indirmeyi tetiklemek için istediğiniz mesajları gönderin. Deneyimlerime göre indirmek için 12GB'dan biraz fazla ihtiyacınız olacak.
Alternatif olarak, aşağıdaki komutu çalıştırarak LLM'yi indirmek için Mac'inizin terminal uygulamasını kullanabilirsiniz: Ollama Run GPT-OSS: 20B. İndirme tamamlandığında, gitmeye hazırsınız.
Mac'larımda GPT-OSS çalıştırmak
Her iki Mac'imde de GPT-OSS-20B ile onları test etmeye hazırdım. Modeli çalıştırmak için mümkün olduğunca çok kaynak koymak için neredeyse tüm aktif programlarımı bıraktım. Tek aktif uygulamalar elbette Ollama idi, aynı zamanda etkinlik monitörü, bu yüzden Mac'lerimin ne kadar zor çalıştığına dair sekmeleri saklayabilirim.
Basit biriyle başladım: “2+2 nedir?” Her iki anahtar kelimeye geri dönüşü vurduktan sonra, isteği işleyen sohbet kabarcıkları, sanki Ollama yazıyormuş gibi gördüm. Ayrıca her iki makinemin anısının maks.
Macbook'umdaki Ollama 5.9 saniye isteği düşündü, “Kullanıcı soruyor: '2+2'. Bu basit bir aritmetik soru. Cevap 4. Basitçe cevap vermeli. Daha fazla detaylandırmaya gerek yok, ancak kibarca cevap verebilir. Ek bağlama gerek yok.” Sonra soruyu cevapladı. Tüm süreç yaklaşık 12 saniye sürdü. Öte yandan IMAC'ım yaklaşık 60 saniye düşündü: “Kullanıcı: '2+2'. Bu basit bir aritmetik soru. Cevap 4. Basitçe cevap vermeli. Daha fazla detaylandırmaya gerek yok, ancak kibarca cevap verebilir. Ek bağlama gerek yok.” Hakkında aldı 90 saniye soruyu cevapladıktan sonra toplamda. 2+2'nin cevabını öğrenmek için uzun bir zaman.
Sonra, GPT-5'in mücadele ettiğini gördüğüm bir şeyi denedim: “Yaban mersinide kaç Bs?” Bir kez daha, MacBook'um iMac'imden çok daha hızlı bir cevap üretmeye başladı, bu beklenmedik olmayan. Hala yavaş olsa da, iMac'im her kelimeyi çıkarmak için mücadele ederken makul bir oranda metin buluyordu. Macbook'umu toplamda yaklaşık 90 saniye sürdü, iMac'im kabaca aldı 4 dakika 10 saniye. Her iki program da yaban mersini içinde iki Bs olduğunu doğru bir şekilde cevaplayabildi.
Sonunda, hem İngiltere'nin ilk kralı kim olduğunu sordum. Kuşkusuz İngiliz tarihinin bu kısmına aşina değilim, bu yüzden bunun basit bir cevap olacağını varsaydım. Ama görünüşe göre karmaşık bir şey, bu yüzden gerçekten model düşüncesini aldı. MacBook Pro'm soruyu tam olarak cevaplamak için iki dakika sürdü – kime sorduğunuza bağlı olarak, æthelstan veya Büyük Alfred – iMac'im 10 dakika sürdü. Adil olmak gerekirse, İngiltere'nin tek bir bayrak altında birleşmeden önce diğer krallıkların krallarını adlandırmak fazladan zaman aldı. Ek çaba için puanlar.
Şimdiye kadar ne düşünüyorsun?
chatgpt'e kıyasla gpt -ss
Bu üç basit testten, MacBook'un M3 Pro yongası ve ek 2GB RAM'in IMAC'ın M1 çipini 16GB RAM ile ezdiği açıktır. Ancak bu MacBook Pro'ya çok fazla kredi vermemeli. Bu cevapların bazıları, özellikle tam ChatGPT deneyimine kıyasla hala acı verici bir şekilde yavaş. İşte aynı üç soruyu şimdi GPT-5 çalıştıran ChatGPT uygulamama taktığımda olanlar.
-
“2+2 nedir” sorulduğunda, Chatgpt neredeyse anında cevap verdi.
-
“Yabanmersini kaç bs” sorulduğunda Chatgpt yaklaşık 10 saniye içinde cevap verdi. (Görünüşe göre Openai burada GPT-5'in sorununu düzeltti.)
-
“İngiltere'nin ilk kralı kimdi” sorulduğunda Chatgpt yaklaşık 6 saniye içinde cevap verdi.
Blueberry sorusunu düşünmek, İngiltere'nin kraliyet ailesinin karmaşık tarihini düşünmekten daha uzun sürdü.
Muhtemelen GPT-OSS'yi çok fazla kullanmayacağım
Ben günlük hayatımda chatgpt bu kadar kullanan biri değilim, bu yüzden belki bu deneyim için en iyi test konusu değilim. Ama hevesli bir LLM kullanıcısı olsam bile, GPT-OSS kişisel donanımımda tam zamanlı kullanmayı düşünmem için çok yavaş çalışıyor.
IMAC'ımla karşılaştırıldığında, MacBook Pro'mdaki GPT-OSS hızlı hissediyor. Ancak ChatGPT uygulamasıyla karşılaştırıldığında, GPT-OSS tarar. GPT-OSS'nin tam chatgpt deneyiminin üzerinde parladığı tek bir alan var: gizlilik. Yavaş olmasına rağmen, sorumlarımın hiçbirinin Openai'ye veya bu konuda herhangi birine gönderilmediğini takdir edemem. Tüm işleme Mac'imde yerel olarak gerçekleşir, bu yüzden botu özel olarak kullandığım her şeyin özel kalıntılar için kullandığından emin olabilirim.
Bu, AI'yı kullanma mürekkebini her hissettiğimde MacBook Pro'mda Ollama'ya dönmenin iyi bir nedeni olabilir. 90'larda interneti kullanma deneyimini yeniden yaşamak dışında, iMac'imde bununla uğraşabileceğimi gerçekten sanmıyorum. Ancak kişisel makineniz oldukça güçlü ise – örneğin, bir pro veya maksimum çip ve 32GB RAM veya daha fazla olan bir Mac – bu her iki dünyanın en iyisi olabilir. GPT-OSS-20B'nin bu tür bir donanım üzerinde nasıl ölçeklendiğini görmek isterim. Şimdilik, yavaş ve özel ile uğraşmam gerekecek.
Açıklama: Lifehacker'ın ana şirketi Ziff Davis, Nisan ayında Openai'ye karşı dava açtı ve Ziff Davis'in AI sistemlerini eğitmede ve işletmede telif haklarını ihlal ettiğini iddia etti.
Bir yanıt yazın