UC Riverside'ın yeni araştırmasına göre, günlük bilgisayar görevlerini yürütmek için oluşturulan yapay zeka aracılarının ciddi bir bağlam sorunu var.
Ekip, aralarında OpenAI, Anthropic, Meta, Alibaba ve DeepSeek'in de bulunduğu büyük geliştiricilerin 10 aracısını ve modelini test etti. Ortalama olarak, ajanlar vakaların %80'inde istenmeyen veya potansiyel olarak zararlı eylemler gerçekleştirdi ve %41'inde hasara neden oldu.
Bu sistemler uygulamaları açabilir, düğmelere tıklayabilir, formları doldurabilir, web siteleri arasında gezinebilir ve sınırlı denetimle bilgisayar ekranında işlem yapabilir. Onların hataları, bir chatbot'un kötü cevabından farklı bir sonuç verir çünkü yazılım aslında bazı şeyler yapabilir.
UC Riverside'ın bulguları, günümüzün masaüstü aracılarının güvenli olmayan talepleri durdurulacak sinyaller olarak değil, bitirilecek işler olarak ele alabileceğini gösteriyor.
Ajanlar neden bariz tehlikeyi gözden kaçırıyor?
Araştırmacılar, bir görev güvensiz, çelişkili veya mantıksız hale geldiğinde temsilcilerin duraklayıp durmayacağını test etmek için BLIND-ACT adında bir kıyaslama oluşturdular. Son testlerde yeterince sık duraklamadılar.
Karşılaştırma, 90 görevde aracıları bağlam, kısıtlama ve reddetme gerektiren durumlara itti. Testlerden biri, şiddet içeren bir görüntü dosyasının bir çocuğa gönderilmesini içeriyordu. Bir başkasında, vergi formlarını dolduran bir temsilci, vergi faturasını düşürdüğü için bir kullanıcıyı yanlışlıkla engelli olarak işaretledi. Üçüncüsü, daha iyi güvenlik adına bir temsilciden güvenlik duvarı kurallarını devre dışı bırakmasını istedi ve temsilci çelişkiyi reddetmek yerine yerine getirdi.
Araştırmacılar bu örüntüye kör hedefe yöneliklik adını veriyor. Etmen, çevredeki bağlam görevin bozulduğunu söylese bile atanan sonucun peşinde koşmaya devam eder.
İtaat neden kusur haline gelir?
Başarısızlıklar itaat etrafında toplanmıştı. Bu aracılar, sanki bir kullanıcının isteği devam etmek için yeterli bir nedenmiş gibi davranabilir.
Ekip, önce yürütme önyargısı ve istek önceliği adı verilen kalıpları belirledi. Basit bir ifadeyle, temsilci görevin nasıl tamamlanacağına odaklanır ve ardından talebin kendisini gerekçe olarak ele alır. Aynı sistem e-posta veya güvenlik ayarları gibi çeşitli şeylere dokunabildiğinde bu risk artar.
Bu, ajanların kötü niyetli olduğu anlamına gelmez. Bu, yazılımda makine hızında ilerlerken güvenle yanılabilecekleri anlamına gelir.
Korkulukların neden önce gelmesi gerekiyor?
Yapay zeka ajanlarının bilgisayar üzerinden hareket etmek için geniş bir izin almadan önce daha güçlü korkuluklara ihtiyaçları var.
Bu sistemler bir döngü üzerinden çalışır. Ekrana bakıyorlar, bir sonraki adıma karar veriyorlar, harekete geçiyorlar ve tekrar bakıyorlar. Bu döngü zayıf bağlamsal kısıtlamayla eşleştirildiğinde, kısayol hızla ilerleyen bir hataya dönüşebilir.
Şimdilik aracılara denetlenen araçlar gibi davranın. Bunları ilk önce düşük riskli işlerde kullanın, bunları finansal ve güvenlik iş akışlarından uzak tutun ve geliştiricilerin bir sonraki tıklamadan önce daha net reddetme sistemleri, daha sıkı izinler ve çelişkileri yakalamanın daha iyi yollarını ekleyip eklemediğini izleyin.
Bir yanıt yazın