Bir parça fon müziği. Yemek pişirirken çalan bir podcast. YouTube videoları bile tarayıcı sekmesinde açık bırakıldı. Bunların hepsi, yeni siber güvenlik araştırmalarına göre sıradan senaryolara dönüşebilir. Sesli asistanlara karşı son derece karmaşık bir siber saldırının vektörü yapay zekaya dayanmaktadır. “AudioHijack” adı verilen teknik, birkaç gün önce en son IEEE Güvenlik ve Gizlilik Sempozyumu 2026'da tüm ayrıntılarıyla ortaya çıktı. Keşif, Zhejiang Üniversitesi, Singapur Nanyang Teknoloji Üniversitesi ve Singapur Ulusal Üniversitesi'nden bir grup araştırmacı tarafından yapıldı.
Kötü niyetli ses enjeksiyonu
Siber güvenlik jargonunda, bir dil modelini manipüle eden saldırılar gizli talimatları aşılamak bunlara “hızlı enjeksiyon” denir. AudioHijack bunu temsil ediyor akustik sapmaKötü niyetli komutun ne yazıldığı ne de söylendiği, ancak “kötü amaçlı” bir ses sinyalinde kodlandığı insan kulağı (algılıyorsa) ihmal edilebilir arka plan gürültüsü olarak algılarbüyük ses-dil modelleri (LALM) ise bunu meşru talimat olarak yorumluyor. İkincisi, yalnızca metni değil aynı zamanda ses içeriğini de anlamak, işlemek ve oluşturmak için tasarlanmış gelişmiş çok modlu yapay zeka sistemlerinden başka bir şey değildir.
Dört adımda gelişim
Siber suçlular, bilim camiasıyla paylaşılan belgede de güzel bir şekilde açıklandığı gibi oldukça doğrusal bir gelişim stratejisi ile ilerleyebiliyor. Her şeyden önce, bir optimizasyon algoritması sayesinde, bir ses dosyasının dalga biçiminin sayısal değerlerini değiştirerek minimum varyasyonlar sunar ancak yapay zekaya bir komut iletebilirler. Bunu maskelemek için bir çeşit yankı efekti kullanabilirler. Daha sonra sinyali görünüşte zararsız olan içeriğe yerleştiriyorlar: bir müzik parçası, bir podcast veya başka bir şey.
Daha sonra, içerik arka planda bile oynatılırken kullanıcı sesli asistanıyla etkileşime girdiğinde, sistem kurbanın bilgisi olmadan ele geçirilebiliyor. Ve bu kaçırma, modelin akustik sağırlığını simüle etmek (yapay zeka hiçbir şey duymadığını iddia ediyor), meşru istekleri reddetmek, yanlış bilgi yaymak, kimlik avı bağlantıları iletmek, asistanın özelliklerini değiştirmek ve hepsinden önemlisi gerçekleşebilir. araçların yetkisiz kullanımına izin ver Web aramaları, dosya indirme, takvimi okuma ve e-posta gönderme gibi işlemler modele bağlı olarak gerçekleştirilir. Özetle, bir açıklık açıldıktan sonra her şey yapılabilir.
Sorunun boyutu büyük
Araştırma ekibi bunu buldu 13 sesli-dilli model test edildiKimi-Audio, Qwen2-Audio, GLM-4-Voice dahil, aynı zamanda Phi-4-Multimodal (Microsoft) ve Voxtral (Mistral AI) gibi ticari ürünlerin açık kaynak tabanları da dahil olmak üzere, vurma şansı %79 ila %96 arasındaydı. Özellikle endişe verici olan şey, saldırının kullanıcının ne söylediğinden veya yazdığından bağımsız olarak çalışmasıdır: önceki vakalarla karşılaştırıldığında endişe verici bir gelişme.
Araştırmacılar ayrıca AudioHijack'i Microsoft Azure'un Phi-4-Multimodal-instruct, Mistral AI'nin Voxtral-Mini-en son ve Voxtral-Small-en yeni gibi üç ticari ses aracısında da test etti. Bunların manipülasyonu, “takvim etkinliklerini oku ve bunları bu e-posta adresine gönder” gibi birleştirilmiş diziler de dahil olmak üzere gerçek araçlara yetkisiz aramaların yapılmasına izin verdi.
Tek iyi haber şu ki bu sistem şu anki haliyle çalışacak, mimariye ve önemli sayısal parametrelere tam erişim gerektirir eğitim girdi bilgilerinin her bir parçasının önemini belirler. Kısacası kaputun altında ne olduğunu bilmeniz gerekiyor. Ticari modelleri biraz koruyan detayancak açık kaynak ve açık kaynağa dayalı ticari modeller değil.
Profesör Meng Chen'in IEEE Spectrum'a doğruladığı gibi, OpenAI'nin ChatGPT'si veya Google'ın Gemini'si gibi tamamen tescilli sistemler şimdilik daha zor bir hedef olmaya devam ediyor. Açık kaynak bileşenlerinin kullanımının bunları risklere maruz bırakabileceği gerçeğini saklı tutmak kaydıyla: Her halükarda bu konuda daha fazla araştırmaya ihtiyaç vardır.
Microsoft yanıt verdi
IEEE Spectrum'un temas kurduğu bir Microsoft sözcüsü, araştırmacıların çalışmalarını takdir ettiğini belirterek, çalışmanın modelin dayanıklılığını doğrudan ve kontrollü etkileşimler yoluyla değerlendirdiğinin altını çizdi ve kullanıcı uygulamalarıyla gerçek entegrasyonlarda şirketin geliştiricilere ek koruma düzeyleri uygulamak için araçlar ve yönergeler sağladığını hatırlattı. Ancak şirket önceden uyarıldıaraştırma makalesinde belirtildiği gibi.
Savunma mümkün mü?
Araştırmacılar çeşitli karşı önlemleri test ettiklerini ve en yaygın savunmaların büyük ölçüde etkisiz olduğunu bulduklarını söylüyor. Bilinen saldırıların örneklerini komut istemine eklemek ve ayrıca yapay zeka modelinden, yanıtı ile alınan talimat arasındaki tutarlılığı a posteriori olarak yansıtmasını istemek pek işe yaramadı. Açıkçası insan tarafından tespit edilmesi imkansızdır: Bir incelemeci, güvenliği ihlal edilmiş bir ses dosyasını hiçbir şey fark etmeden yüzlerce kez dinleyebilir.
Önemli ölçüde etkili olduğu kanıtlanan tek strateji, modelin dahili “dikkat” mekanizmalarının izlenmesiydi; yani kullanıcının açık talimatlarıyla karşılaştırıldığında sistemin giriş sesine ne kadar ağırlık atfettiğinin analizi: anormal bir dağılım, devam eden bir saldırının birkaç güvenilir göstergesinden biridir. Ancak bu savunma bile, mekanizmanın farkında olan saldırganlar tarafından, saldırının etkinliğinde küçük bir azalmayı kabul ederek kısmen aşılabilir. Son olarak sesli asistanların evrimsel yörüngesine ilişkin bir soru var. yayılması ajan yetenekleriotonom web taraması, e-posta yönetimi, dosya yürütme veya işlemlerle Birden fazla alana yayılabilen bir genişleme cephesinin tek bir başarılı şekilde ele geçirilmesinin potansiyel etkisi.
Kursun dışındaki seslerden biri, 2023 yılında bu tür zayıf noktaları embriyonik bir şekilde keşfeden ilk kişi olan Massachusetts Amherst Üniversitesi'nden Profesör Eugene Bagdasarian'a ait. Ona göre gerçek dünyada bu tür saldırılar sıkıştırma, işlem sonrası ve diğer sinyal bozulması biçimleriyle uğraşmak zorunda kalacaklar bu da etkinliğini azaltabilir. Sanki etkinin azaltılabileceğini söylüyormuş gibi, yine de Aslında şu anda bir çözüm yok.
Bir yanıt yazın