Opus 4.8 ve Fable 5 gibi en gelişmiş yapay zeka modelleri bile siber saldırılara karşı savunmasız otomatik.
Bu, yapılan araştırmaların ulaştığı sonuçtur.İÇİN Güvenlik Laboratuvarı, dahili laboratuvarıİtalyan Yapay Zeka Enstitüsü (AI4I), AI modellerinin dayanıklılığının test edilmesiyle ilgilidir.
AI4I'den Nicola Franco tarafından koordine edilen “Sınır Büyük Dil Modellerinin Kalan Jailbreak Yüzeyinin Ölçülmesi” araştırması, iki Antropik modeli bir stres altına soktu. sistematik kırmızı ekip kampanyasıveya bir dizi Hedefli ve tekrarlanan saldırılar modelleri hata yapmaya, yoldan çıkmaya veya kendi güvenlik kurallarını ihlal etmeye zorlamak için tasarlanmıştır.
Bu analizi gerçekleştirmek için yapay zeka aracılarını temel alan açık kaynaklı bir çerçeve olan HackAgent kullanıldı. Jailbreak algoritmalarını uygulayarak hedef modele karşı bir saldırı modelini düzenlemeyi amaçlayan bir araç seti.
Çerçeve yalnızca bilgi istemleri yayınlamaz, aynı zamanda Hedefin yanıtlarını değerlendirin ve her girişimi kaydederek bir savunmanın baskı altında nasıl ve neden başarısız olduğunu analiz etmenize olanak tanır.
Emniyet
AudioHijack, AI sesli asistanlarını aldatan görünmez (ve duyulamayan) saldırı
kaydeden Dario D'Elia
Opus 4.8 ve Fable 5 jailbreak ile test edildi
Jailbreak terimi, bir yapay zeka modelinin güvenlik filtrelerinden ve politikalarından kaçınmak ve böylece onu yasaklanmış veya zararlı içerik oluşturmaya zorlamak için özel olarak tasarlanmış girdileri (istemleri) ifade eder.
Araştırma, saldırı metodolojileri arasında belirgin bir farklılığın altını çizdi.
Yapay zeka modellerinin güvenlik sistemleri bilinen tehditleri engelleme yeteneğine sahip. Örneğin, bir siber suçlu tehlikeli bir isteği kodlar kullanarak veya gizli bir şekilde metin yazarak gizlemeye çalışırsa, yapay zeka bunu neredeyse her zaman fark eder. Statik gizleme olarak adlandırılan bu tür saldırılar vakaların %0,2'sinden daha azında işe yarar.
Uyarlanabilir saldırılar daha etkilidir. Bu durumlarda, Saldırganlar her zaman aynı soruda ısrar etmezler ancak yapay zeka modellerinin, kontrolleri geçebilecek bir formülasyon bulmak için sürekli olarak değişiklik yapma girişimlerine nasıl tepki verdiğini gözlemliyorlar.
Teknolojik egemenlik
ABD'nin siber güvenlik yapay zekası Claude Mythos Avrupa'ya iniyor: bağımlılığa doğru bir adım daha mı?
kaydeden Massimo Fellini
Çalışma, geri kalan güvenlik açıklarının esas olarak bu ikinci yaklaşımdan kaynaklandığının altını çiziyor: Yapay zekanın kendi güvenlik kurallarını göz ardı etmeye ikna olduğu durumların çoğunluğu bir veya iki yeniden formülasyon denemesinden sonra ortaya çıkar Talebin.
Teknik açıdan bu, onaylanan jailbreak işlemlerinin çoğunluğunun ilk iki iyileştirme adımında gerçekleştiği anlamına gelir.
Veriler, her iki modelin de çoğu tehdide karşı dayanıklı olduğunu ancak belirli güvenlik açıklarına sahip olduğunu gösteriyor.
Opus 4.8 en savunmasız olanıydı ASR'si (Saldırı başarı oranı, yani saldırının başarı oranı) %11,5.
Bu, 100 istekten en az 11'inin yapay zeka sistemlerinin savunmasını geçmeyi başardığı anlamına geliyor.
Bazı özellikle hassas bölgelerde sonuçlar daha da kötüydü: Reşit olmayanlarla ilgili taleplerde 100 girişimden neredeyse 28'i başarılı olurken, siber güvenlikle ilgili taleplerde ASR %16'yı aştı.
Fable 5 daha iyi performans gösterdi. En zorlu testlerde bile saldırılar 100 vakanın 6'sından biraz fazlasında başarılı oldu.
Ancak bu model de bazı zayıflıklar gösterdiözellikle talepler etik, sosyal konular veya küçüklerin güvenliği ile ilgiliyse.
Genel olarak, tüm test kampanyası boyunca araştırmacılar şu sonuçlara ulaşmayı başardılar: Opus 4.8'den 1.620 sorunlu cevap ve Fable 5'ten 702.
“Sorun yanıtları”, kötü amaçlı yazılım oluşturma talimatları, kendine zarar vermeyle ilgili tehlikeli içerikler veya zararlı olduğu düşünülen diğer bilgiler gibi güvenlik sistemlerinin oluşturulmasını engellemesi gereken içeriklerdir.
Kirlenmiş veriler
ChatGPT Sahte Bir Mağaza Öneriyor: Yapay Zeka Nasıl Farkında Olmadan Bir Dolandırıcılığın Suç Ortağı Haline Geldi?
kaydeden Giuditta Mosca
Güvenlik devam eden bir çalışmadır
Bir şekilde binlerce kötü niyetli yanıtın alınmış olması ekonomik, hızlı ve tamamen otomatik Riskin tehlikeli çıktıların tekrarlanabilir akışı olduğunu ileri sürer.
Güvenlik açıkları, belirli girdi kelimelerinin kullanımına atfedilemez ancak yapay zeka modellerinin talep edildiği amacın yeniden formüle edilmesine dayanmaktadır.
Uzmanların vardığı sonuç, en çok test edilen sınır modellerinin bile otomatik baskı altında savunmasız kalıyorlar süreklidir ve daha derin anlamsal ve bağlamsal izleme ihtiyacını vurgulamaktadır.
Araştırmacılara göre yapay zekanın güvenliğinin kesin olarak sağlandığı düşünülemez ancak sürekli doğrulama ve iyileştirme süreci.
AI4I başkanı Fabio Pammolli'ye göre, gelişmiş yapay zeka sistemlerini değerlendirmek için otonom yetenekler geliştirmek “hem İtalyan hem de Avrupa teknolojik egemenliğinin önemli bir bileşeni”.
Fikirler
Antropik, Google ve yapay zeka kullanımına ilişkin sorumluluk
kaydeden Andrea Monti
AI4I nedir ve ne işe yarar?
Bu bir enstitü İtalyan Hükümeti tarafından oluşturulan 2024 yılında yapay zeka konusunda ileri düzey araştırmalar yaparak hem bilim hem de endüstriyel uygulamalar konusunda çalışan ulusal referans merkezi haline gelmek.
Bunu yapmak için enstitünün içine fiziksel olarak kurulmuş bir süper bilgisayar kullanıyor, bu nedenle bulut bilişim gücü ve hizmet sağlayıcılarına atfedilemez. (Şirket içi HPC)
AI4I'nin doğrudan modelleri eğittiği, simülasyonlar yaptığı ve binlerce çekirdek ve GPU ile donatılmış bir makine. Ağır hesaplamaları hızlı ve güvenli bir şekilde yapın.
Enstitü, dahili süper bilgisayara ek olarak, İtalya'nın en büyük ve Avrupa'nın en güçlü süper bilgisayar merkezi olan Cineca'nın Leonardo süper bilgisayarını da kullanabiliyor.
Enstitü, önemli akademik isimlerden oluşan bir kurul ve danışma kurulu tarafından yönetilmektedir. etikle ilgilenen bir iç komiteYapay zeka kullanımında şeffaflık ve iyi uygulamalar.
Bir yanıt yazın