OpenShift AI platformu, 2.15 sürümünde, merkezi model yönetimi olarak model kaydı da dahil olmak üzere bir dizi yeni özellik alıyor. Bu, tahmine dayalı ve üretken yapay zeka modellerini, meta verileri ve model yapıtlarını paylaşmanıza, sürüm oluşturmanıza, dağıtmanıza ve kontrol etmenize olanak tanır. Bu, üretici Red Hat tarafından duyuruldu. OpenShift AI, hibrit bulut ortamında yapay zeka tabanlı uygulamalar geliştirmeye ve çalıştırmaya yönelik bir yapay zeka ve makine öğrenimi platformudur. Görevleri arasında veri toplama ve hazırlama, model eğitimi, ayarlama, model dağıtımı, izleme ve donanım hızlandırma yer alır.
Duyuru
Sapma tespiti ve tarafsız yapay zeka
OpenShift AI 2.15'teki bir diğer yenilik ise veri kayması tespitidir. Bu özellik, halihazırda kullanımda olan makine öğrenimi modelleri için giriş verilerinin dağıtımındaki değişiklikleri tespit eder. Sapma tespiti, model tahminlerinden elde edilen gerçek zamanlı veriler eğitim verilerinden önemli ölçüde saptığında veri bilimcilerini uyarır. Giriş verileri sürekli izlendiğinden modelin güvenilirliği doğrulanabilmekte ve gerekiyorsa model gerçek verilere uyarlanabilmektedir. Önyargı tespiti de yeni bir özellik olup, adil ve tarafsız yapay zekanın geliştirilmesine yardımcı olur. Araç yalnızca modellerin eğitim verilerine dayalı olarak tarafsız olup olmadığını göstermek için değil, aynı zamanda modellerin uygulamadaki adilliğini de izlemek için tasarlanmıştır.
Bir diğer yeni özellik ise Düşük Dereceli Uyarlama (LoRA) ile ayarlama yapmaktır. Bu, Llama 3 gibi yüksek lisansların daha hızlı ayarlanmasına olanak tanır. Yeni NVIDIA NIM desteği, mikro hizmetleri kullanan yapay zeka uygulamalarının dağıtılmış dağıtımını hızlandırır. NIM, NVIDIA AI Enterprise yazılım platformunun bir parçasıdır ve GenAI uygulamalarının sunumunu geliştirir. OpenShift, NVIDIA'nın yanı sıra AMD GPU'ları da destekliyor. Bu, model geliştirme amacıyla AMD GPU'ları kullanmak için bir AMD ROCm Workbench görüntüsüne erişim sağlar. Yenilik aynı zamanda AMD GPU'larla eğitim/optimizasyon kullanım durumlarına hizmet etmek için kullanılabilecek görüntülere erişime de olanak tanıyor. Bu, yoğun işlem gerektiren görevlerde performansı artırmak amacıyla GPU'ların kullanılmasına yönelik ek seçenekler sunar. Red Hat OpenShift AI'nin yeni sürümü aynı zamanda KServe Model Arabalarla da çalışır: Konteynerli model sürümlerini depolamak ve bunlara erişmek için bir seçenek olarak Açık Konteyner Girişimi (OCI) depoları eklenebilir.
Altyapıdan bağımsız dil modelleri
Red Hat, kendisini uygulamadan bağımsız bir platform sağlayıcısı olarak görüyor ve bu nedenle yapay zeka modellerinin platformdan bağımsız çalışmasını sağlamak zorunda. Ancak burada giderek büyüyen bir sorun var: Büyük dil modelleri, üzerinde çalıştıkları donanıma büyük ölçüde bağlıdır. Red Hat, bu sorunu çözmek için yakın zamanda bir MIT yan kuruluşu olan Neural Magic'i satın aldı ve şimdi de pazara bir tür “açık hibrit yapay zeka” getirmek istiyor. Bunu yapmak için Yüksek Lisans'ların, sanal makine tabanlı “sanal Yüksek Lisans (vLLM)” adı verilen herhangi bir platformda çalışabilecekleri noktaya kadar soyutlanması gerekir. Konsept, Berkeley'deki Kaliforniya Üniversitesi'nde geliştirildi ve AMD, Intel ve Nvidia işlemcilerinin yanı sıra Amazon Web Services ve Google'ın özel çipleri de dahil olmak üzere çeşitli donanım platformlarında yapay zeka modellerinin etkinleştirilmesi amaçlanıyor.
Aşırı güç gereksinimleri için küçük modeller
Ancak tek sorun bu değil: En güçlü LLM'ler son derece yüksek miktarda bilgi işlem gücü gerektirir ve bu ihtiyaç katlanarak artmaktadır. Öte yandan, büyük evrensel modeller çoğu kurumsal uygulama için büyük boyutludur. Red Hat, basit yapay zeka kullanım senaryolarına uygun modeller olan “Küçük Dil Modelleri”ne (SML) güveniyor. Büyük bir model, belirli uygulamaların tatmin edici bir şekilde işlenebilmesi için özel olarak eğitilir. Red Hat bunun için InstructLab'ı kullanıyor. RHEL ve Red Hat'in ana şirketi IBM'in Granite modeliyle birlikte hemen hemen her model, belirli bir kullanım durumuna tam olarak uyacak şekilde özel olarak eğitilebilir. Bu modeller önemli ölçüde daha az bilgi işlem gücü gerektirir, böylece sunucunuzda ve hatta yeni AI bilgisayarlardan birinde çalışabilirler. Red Hat bu konuda Intel ile yakın işbirliği içinde çalışıyor.
IBM, Granite-7B dil modelini InstructLab'a entegre etti; böylece herkes, modelin daha önce üzerinde eğitim aldığı hiçbir şeyi kaybetmeden yeni beceriler ve bilgiler ekleyebilir ve bunları bir şirketin özel ihtiyaçlarına göre özelleştirebilir. Performans açısından IBM, Granite kod modellerini COBOL'u Java'ya çevirecek şekilde eğitmenin başlangıçta toplam dokuz ay boyunca 14 ayarlama döngüsü sürdüğünü söylüyor. Ekip, InstructLab'ı kullanarak yeniden ayarlanmış COBOL becerilerini eklemeyi ve yalnızca bir turda ve bir hafta içinde daha iyi performans elde etmeyi başardı.
Teknolojideki eksiklikler ve şeffaflıktaki noktalar
Genel olarak, yapay zeka için açık kaynak kullanımına hâlâ eleştirel gözle bakılıyor. Bu, örneğin büyük şirketlerden bağımsızlık için geçerlidir. Red Hat Kıdemli Başkan Yardımcısı ve EMEA genel müdürü Hans Roth, “Microsoft, Facebook, Google ve Tesla gibi büyük yapay zeka şirketleri olmadan yapay zeka daha fazla gelişemez; bu özellikle yapay zekanın açık kaynak modellerle kullanımı için geçerlidir” diyor. Bunun temel nedeni, Yüksek Lisans'ların geliştirilmesi ve sürdürülmesinin, topluluğun sağlayamayacağı kadar büyük kaynaklar gerektirmesidir.
Ancak buna rağmen açık kaynak hâlâ tescilli ürünlere eşdeğer bir alternatif değil. Linux Vakfı'nın yapay zeka konusunda uzmanlaşmış bir alt kuruluşu olan LF AI & Data Foundation, bu konu üzerinde yoğun bir şekilde çalışıyor. Karşılaştırmalı bir çalışmada mevcut açık kaynak modelleri çoğu görevde kapalı kaynak modellerinden daha kötü performans gösterdi. Bu aynı zamanda güvenlik için de geçerlidir. Hugging Face ve GitHub'daki 100.000'den fazla açık kaynak şablon üzerinde Bandit, FlawFinder ve Semgrep gibi kod güvenlik açığı tarayıcıları kullanılarak yapılan analiz, şablonların %30'undan fazlasının ciddi güvenlik açıklarına sahip olduğunu gösterdi. Kapalı modellerde genellikle çok daha az güvenlik riski vardır.
Yapay zeka için açık kaynak kullanmanın özel bir sorunu sınıflandırmanın kafa karıştırıcı olmasıdır. Kuruluş, pek çok satıcının “açık kaynak” uygulamasından şikayetçi: Ürünleri açık kaynağın tanınmış ilkelerine ve özgürlüklerine aykırı olsa bile, ürünlerinin açık kaynak olduğunu iddia ediyorlar. LF AI & Data Foundation'ın tanımına göre açık kaynaklı bir yapay zeka, şu koşulları karşılayan bir yapay zeka sistemidir: “Herhangi bir amaç için ve izinsiz olarak kullanılabilir, sistemin işlevselliği serbestçe incelenebilir, Sistem, çıktılardaki değişiklikler de dahil olmak üzere herhangi bir amaç için değiştirilebilir ve sistem, başkalarının herhangi bir amaç için kullanması için değişiklikler yapılarak veya yapılmadan yayınlanabilir. Pythia mı (Eleuther AI), OLMo (AI2), Amber, CrystalCoder (LLM360) ve T5 (Google), ancak lisansları veya yasal şartları değişirse dahil edilebilecek birkaç tane daha var BLOOM (BigScience), Starcoder2 (BigCode) ve Falcon (TII) açık kaynak ilkeleriyle kesinlikle uyumsuzdur: Llama2 (Meta), Grok (X/Twitter), Phi-2 (Microsoft) ve Mixtral (Mistral).
Vakıf, tanımla dolaylı olarak kapalı kaynak modellerinin en büyük sorunlarından birini ele alıyor: kullanılan algoritmaların ve verilerin şeffaf olmaması. Bu durum önemli hukuki sorunlara da yol açma potansiyeline sahiptir. Açık kaynak satıcıları burada açık bir avantaj görüyor. Hans Roth'un açık kaynak lehine güçlü argümanı, “Tüm yazılımlarımız üçüncü taraf iddialarına karşı garantilidir – ve bu aynı zamanda yapay zeka çözümlerimiz için de geçerlidir”.
(Sen)
Bir yanıt yazın