Yapay zeka sistemleri nasıl manipüle edilir
E-postaları bağımsız olarak özetleyen, gezi rezervasyonu yapan ve randevuları planlayan yapay zeka asistanlarının vizyonu, OpenAI, Google ve Anthropic gibi şirketler tarafından ileri sürülüyor. Ancak bu gelişmiş yardımcıların, onları kalıcı olarak savunmasız bırakabilecek kritik bir güvenlik açığı var. AI güncellemesinin derinlemesine incelemesinde, c't podcast'i “Onlar Konuşuyor Teknoloji”den teknoloji gazetecileri Svea Eckert ve Eva Wolfangel, hızlı enjeksiyonlardan bahsediyor. Eva Wolfangel, bu saldırıların “AI uygulamalarının sonsuza kadar hacklenebilir kalmasının ve siber suçluların ve casusların en iyi arkadaşları olabilmesinin nedeni” olduğuna inanıyor.
Wolfangel'e göre, “kötü niyetli girişi meşru bir istem olarak gizleyebildiğiniz ve böylece yapay zekayı manipüle edebildiğiniz zaman” bir istem enjeksiyonu her zaman gerçekleşir. Gizli komutlar, görünüşte zararsız metinlere, e-postalara veya bir dil modelinin (LLM) okuması ve yürütmesi gereken web sitelerine yerleştirilir. Bu talimatlar genellikle insanlar tarafından görülemez, örneğin beyaz zemin üzerine beyaz yazıyla. Wolfangel, “Chatbot'lar için hiçbir şey normalden farklı değil; yalnızca metni görüyorlar” diye açıklıyor.
Bir süre önce araştırmacıların kendisine gösterdiği bir gösteride Microsoft'un Copilot sistemi saldırıya uğradı. Senaryoyu anlatan Wolfangel, “Kullanıcı yardımcı pilota talimat veriyor, lütfen bana bir e-posta gönderin” diyor. Bu e-postada, AI aracısının kullanıcının diğer e-postalarında satış rakamları veya tek kullanımlık şifreler gibi hassas bilgileri aramasına neden olan gizli talimatlar vardı. Çalınan veriler daha sonra kullanıcıya sağlanan bir bağlantıya paketlendi. Wolfangel, “Kullanıcı bağlantıyı tıklıyor, görmüyor ve ardından bu bilgi saldırgana gidiyor” diyor.
ASCII kodu aracılığıyla görünmez komutlar
Saldırganlar bu tür saldırıları gizlemek için “ASCII kaçakçılığı” gibi yöntemleri kullanıyor. Wolfangel şöyle açıklıyor: “Bu, bilgisayar URL'yi bütünüyle okurken URL'nin bazı kısımlarını insan gözüyle görünmez hale getirmek için özel karakterler kullanıyor.” Eckert şunları ekliyor: “ASCII, 'Bilgi Değişimi için Amerikan Standart Kodu' anlamına gelir ve bilgisayarın daha sonra bunları anlayabilmesi ve işleyebilmesi için her karaktere, yani her harfe benzersiz bir sayı atayan bir karakter kümesidir.” Bu kodlar değiştirildiğinde, bir bağlantı zararsız görünebilir ancak arka planda üçüncü taraf bir sunucuya veri gönderiyor olabilir.
Bu saldırıların sorunu, kolayca kapatılabilecek klasik bir güvenlik açığından yararlanamamalarıdır. Bunun yerine, dil modellerinin temel bir işlevini kötüye kullanıyorlar: doğal dildeki talimatları anlama ve takip etme yetenekleri. Üreticiler modellerini ek güvenlik talimatlarıyla korumaya çalışsalar da bu, Eckert ve Wolfangel için umutsuz bir çaba gibi görünüyor. Eckert, “Bu konuda ustalaşmak için mümkün olan her şeyi düşünmek için sonsuz derecede yaratıcı olmanız gerekir ve bu neredeyse imkansızdır” diyor. Kapatılan her boşluğun yerini hızla yeni, daha yaratıcı bir saldırı yöntemi alır.
Yapay zeka aslında ne kadar akıllı? Üretken yapay zekanın işimiz, boş zamanlarımız ve toplumumuz açısından ne gibi sonuçları var? Haberler'nin “Yapay Zeka Güncellemesi”nde The Decoder ile birlikte size hafta içi her gün en önemli yapay zeka gelişmelerine ilişkin güncellemeleri sunuyoruz. Cuma günleri uzmanlarla yapay zeka devriminin farklı yönlerini inceliyoruz.
Günlük yaşamda riskli yardımcılar
Yapay zeka ajanlarının kullanımının sonuçları geniş kapsamlıdır. Güvenlik araştırmacısı Simon Willison'un Wolfangel'e göre “ölümcül üçlü” olarak adlandırdığı üç faktörün bir araya gelmesi özellikle risklidir: “bir chatbotun özel verilere erişimi vardır, harici olarak iletişim kurma yeteneğine sahiptir ve otomatik olarak güvenilemeyecek harici içerikle karşılaşır.” Bu, bir aracı e-postayı okuduğunda veya İnternet'e eriştiğinde meydana gelir.
Bu nedenle bu tür aracılar, e-postaları otomatik olarak yanıtlama gibi görevler için uygun değildir. Bir kullanıcı, AI aracısı tarafından oluşturulan her e-postayı göndermeden önce kontrol etse bile, e-postada gizli komutlar bulunabilir. Wolfangel, “Bu e-postaları kontrol etmek için gereken çaba inanılmaz derecede yüksek olacak” diye uyarıyor. Açık tavsiyesi şu: “Aslında bunu şu anda yapmazdım.”
Sonuç olarak birçok görev için klasik, kurala dayalı sistemler daha güvenli bir seçimdir. Wolfangel, bir havayolu şirketinin chatbot'unun müşteriye sahte bir şekilde para iadesi sözü verdiğini, şirketin daha sonra bunu ödemek zorunda kaldığını ve bunun mahkeme tarafından da onaylandığını anlatıyor. Bu, ölçülemeyecek şeyleri gösterir. Basitçe “sistemlerin sonuçta ne yazacağı üzerinde hiçbir kontrolünüz yok.”
(igr)
Bir yanıt yazın