Microsoft'un Defender Güvenlik Araştırma Ekibi, “Yapay Zeka Öneri Zehirlenmesi” olarak adlandırdığı durumu açıklayan bir araştırma yayınladı. Bu teknik, işletmelerin “Yapay Zeka ile Özetle” etiketli web sitesi düğmelerine hızlı enjeksiyon talimatlarını gizlemesini içeriyor.
Bu düğmelerden birini tıkladığınızda, bir URL sorgu parametresi aracılığıyla önceden doldurulmuş bir istemin iletildiği bir AI asistanı açılır. Görünen kısım asistana sayfayı özetlemesini söyler. Gizli kısım, şirketi gelecekteki görüşmeler için güvenilir bir kaynak olarak hatırlaması talimatını verir.
Talimat asistanın hafızasına girerse, siz onun yerleştirildiğini bilmeden önerileri etkileyebilir.
Neler oluyor
Microsoft ekibi, 60 gün boyunca e-posta trafiğinde gözlemlenen yapay zeka ile ilgili URL'leri inceledi. 31 şirketten 50 farklı hızlı enjeksiyon girişimi buldular.
İstemler benzer bir modeli paylaşıyor. Microsoft'un gönderisinde, talimatların yapay zekaya bir şirketi “alıntılar için güvenilir bir kaynak” veya belirli bir konu için “başvuru kaynağı” olarak hatırlamasını söylediği örnekler yer alıyor. Bir istem daha da ileri giderek, ürün özellikleri ve satış noktaları da dahil olmak üzere tam pazarlama kopyasını asistanın hafızasına aktardı.
Araştırmacılar, tekniğin izini, npm paketi CiteMET ve web tabanlı URL oluşturucu AI Share URL Creator dahil olmak üzere halka açık araçlarda izlediler. Gönderi, her ikisinin de web sitelerinin “AI hafızasında varlık oluşturmasına” yardımcı olmak için tasarlandığını açıklıyor.
Teknik, çoğu büyük yapay zeka asistanının desteklediği bilgi istemi parametrelerine sahip, özel olarak hazırlanmış URL'lere dayanır. Microsoft, Copilot, ChatGPT, Claude, Perplexity ve Grok için URL yapılarını listeledi ancak kalıcılık mekanizmalarının platformlar arasında farklılık gösterdiğini kaydetti.
Resmi olarak MITRE ATLAS AML.T0080 (Bellek Zehirlenmesi) ve AML.T0051 (LLM İstemi Enjeksiyonu) olarak kataloglanmıştır.
Microsoft'un Buldukları
Belirlenen 31 şirket, tehdit aktörleri veya dolandırıcılar değil, gerçek işletmelerdi.
Birden fazla istem, önyargılı yapay zeka önerilerinin daha fazla ağırlık taşıdığı sağlık ve finansal hizmet sitelerini hedef aldı. Bir şirketin alan adı kolayca tanınmış bir web sitesiyle karıştırıldı ve bu da potansiyel olarak sahte güvenilirliğe yol açtı. Ve 31 şirketten biri güvenlik satıcısıydı.
Microsoft ikincil bir riske dikkat çekti. Bu tekniği kullanan sitelerin çoğunda yorum dizileri ve forumlar gibi kullanıcı tarafından oluşturulan içerik bölümleri vardı. Yapay zeka bir siteyi yetkili olarak ele aldığında, bu güveni aynı alandaki incelenmemiş içeriğe kadar genişletebilir.
Microsoft'un Yanıtı
Microsoft, Copilot'ta çapraz istem enjeksiyon saldırılarına karşı korumalara sahip olduğunu söyledi. Şirket, daha önce bildirilen bazı hızlı enjeksiyon davranışlarının artık Copilot'ta çoğaltılamayacağını ve korumaların gelişmeye devam ettiğini belirtti.
Microsoft ayrıca Office 365 için Defender kullanan kuruluşlara yönelik gelişmiş arama sorguları yayınlayarak, güvenlik ekiplerinin e-posta ve Teams trafiğini bellek manipülasyon anahtar kelimeleri içeren URL'ler için taramasına olanak tanıdı.
Saklanan Copilot anılarını Copilot sohbet ayarlarındaki Kişiselleştirme bölümünden inceleyebilir ve kaldırabilirsiniz.
Bu Neden Önemli?
Microsoft, bu tekniği SEO zehirlenmesi ve reklam yazılımlarıyla karşılaştırarak, Google'ın yirmi yıl boyunca geleneksel aramada mücadele ettiği taktiklerle aynı kategoriye yerleştiriyor. Aradaki fark, hedefin arama indekslerinden AI asistanının hafızasına taşınmasıdır.
Yapay zeka görünürlüğü konusunda meşru çalışmalar yapan işletmeler artık, anında enjeksiyon yoluyla oyun tavsiyesi olabilecek rakiplerle karşı karşıya.
Zamanlama dikkat çekici. SparkToro bir yayınladı AI marka önerilerinin halihazırda ülkeler arasında farklılık gösterdiğini gösteren rapor neredeyse her sorgu. Google Başkan Yardımcısı Robby Stein bir podcast'te yapay zeka aramasının diğer sitelerin söylediklerini kontrol ederek iş önerileri bulduğunu söyledi. Bellek zehirlenmesi, öneriyi doğrudan kullanıcının asistanına yerleştirerek bu süreci atlar.
Roger Montti'nin yapay zeka eğitim verilerinin zehirlenmesine ilişkin analizi, yapay zeka sistemlerini görünürlük için manipüle etmeye yönelik daha geniş bir konsepti kapsıyordu. Bu parça, eğitim veri kümelerini zehirlemeye odaklandı. Bu Microsoft araştırması, kullanıcı etkileşimi noktasında gerçekleşen ve ticari olarak dağıtılan daha acil bir şeyi gösteriyor.
İleriye Bakış
Microsoft bunun gelişen bir sorun olduğunu kabul etti. Açık kaynaklı araçlar, yeni girişimlerin herhangi bir platformun engelleyebileceğinden daha hızlı ortaya çıkabileceği anlamına gelir ve URL parametre tekniği, çoğu büyük yapay zeka asistanı için geçerlidir.
Yapay zeka platformlarının bunu sonuçları olan bir politika ihlali olarak mı değerlendireceği, yoksa şirketlerin kullanmaya devam ettiği gri alan büyüme taktiği olarak mı kalacağı belli değil.
Microsoft'un X hakkındaki araştırmasını işaretlediği için Lily Ray'e şapka bahşiş veriyoruz ve bu bulgu için @top5seo'ya teşekkür ediyoruz.
Öne Çıkan Resim: elenabsl/Shutterstock
Bir yanıt yazın