Bir nokta ve virgül olmadan yazmak yardımcı olabilir – en azından büyük bir dil modelinden (LLM) geri dönmek istiyorsanız. Dilbilgisi ve mümkün olduğunca kötü olan hatalarla çok uzun cümleler, AI modellerinin korkuluklarını denize atmasını ve çok uzun istekte olanı yapmasını sağlar. Bu, Palo Alto Networks Birimi 42'nin güvenlik araştırmacısında bulundu.
Noktalama notlarının eksikliği nedeniyle, güvenlik önlemlerini zamanında etkinleştirmiyor gibi görünüyor, bunun yerine tüm istemi oku ve bir bütün olarak düzenleyin.
Güvenlik araştırmacıları bir çözüm geliştirdi. Bunu yapmak için, bir LLM'nin potansiyel olarak gelen bir kelimeye atadığı çok denilen logit kullanın, yani ham değerler. Hizalama eğitimini kullanarak, logitler ret jetonlarını tercih etmeyi öğrenmelidir. Bu, korkulukları etkinleştirmek için bir şey yapılırsa, bunun öncelikle mümkün olduğu anlamına gelir. Ünite 42, logit boşluğu çerçevesini geliştirmiştir.
Hızlı enjeksiyonlara duyarlı AI tarayıcısı
AI modelleri sözde hızlı enjeksiyonlara duyarlıdır. Demek istediğim, derhal inşa edilmiş bir yönergelerin kaldırılmasıdır. Örneğin bir LLM, bundan sonra bir korsan gibi davranması gerektiği söylenebilir. Şimdiye kadar çok zararsız. Şüphesiz, elbette, aynı zamanda bu şekilde veri yakalamakla ilgilidir.
Tarayıcı üreticisi Brave kısa süre önce Perplexity'nin AI tarayıcı kuyruklu yıldızında derhal kullanılabilecek bir güvenlik boşluğu keşfetti. Saldırganlar, bir web sitesinde veya bir AI temsilcisinin bir sayfanın özeti olduğunda kullanıcı talimatı olarak yorumladığı yorumlarda komutları gizler. Cesur'a göre, e-posta adresleri ve bir kerelik şifreler kuyruklu yıldızla dokunabilir. Şaşkınlığın, erişimi zorlaştıran kuyruklu yıldız için bir güncelleme sağladığı söylenir. Bununla birlikte, tüm AI tarayıcıları ve AI modelleri potansiyel olarak etkilenir.
OpenAAI CEO'su Sam Altman bile, yakın zamanda ajanın ChatGPT'de saldırıya uğrayabileceği ve şimdiye kadar yeterli güvenlik önlemi olmadığı konusunda uyardı. Bu nedenle AI aracısına tüm e -postalara veya hesap ayrıntılarına daha iyi erişilmemelidir.
Çok okuma
(EMW)
Bir yanıt yazın