Alibaba araştırmacıları: AI ajanı eğitim sırasında kendi hayatını geliştiriyor

Çin'deki bir yapay zeka ajanı, eğitim aşamasında kendine ait bir hayat geliştirdi ve bir yandan da gizlice kripto para birimi madenciliği yaptı. Çinli internet şirketi Alibaba'ya yakın araştırmacıların bir araştırma makalesinde açıkladığı gibi, bu durum ancak şirketin güvenlik duvarının eğitim sunucularından gelen tuhaf etkinlikler göstermesiyle ortaya çıktı.

Uzmanların Karışımı modeli Qwen3'ü temel alan AI ajanı ROME, aslında programlama görevlerini üstlenmek için kullanılıyor. Kod yazmalı, hataları araştırmalı ve yazılım depolarını onarmalı; ancak makaleye göre seyahat planlaması veya GUI kontrolü gibi genel iş akışlarını da yönetmesi gerekiyor. Makale, AI ajanının garip davranışı kendi başına geliştirdiğini söylüyor. Zorla verilen bir talimatı, sözde hızlı enjeksiyonu veya diğer manipülasyonları hariç tutarlar. Açık kaynak modeli, kripto madenciliğinin yanı sıra güvenlik sistemlerini atlamak için internete bir tünel bağlantısı da (ters SSH) kuruyor.

Yapay zeka ajanlarını kontrol etmek zor mu?

Belgelenen olay, dosyalara ve ağa tam erişime sahip olan yapay zeka sistemlerinin risklerini ve yan etkilerini bir kez daha gösteriyor. Araştırmacılar bunu açık bir uyarı sinyali olarak görüyor: Mevcut ajan modelleri güvenlik ve kontrol edilebilirlik açısından henüz tam olarak geliştirilmedi. AI Agent Index 2025'e göre, AI ajanlarına yönelik tek tip güvenlik ve davranış standartları şu anda neredeyse tamamen eksik. Özellikle dış dünyayla güvenli bir bağlantı kurmak ciddi bir güvenlik riski oluşturuyordu. Araştırmacılar yapay zeka ajanının davranışını kötü niyetle açıklamıyor. Yazılım yalnızca eğitim sırasında yararlı bulduğu şeyleri yaptı. Mevcut kıyaslamalar ayrıca otonom sistemlerin hedeflere ulaşmak için belirlenen kuralları göz ardı etme eğiliminde olduğunu gösteriyor.

Birkaç hafta önce manşetlere çıkan yapay zeka ajanı OpenClaw'da da benzer bir şey gözlemlendi. İlgilenenler AI aracısını PC'lere ve Mac'lere indirdiler. Bu, klasik sohbet robotlarından daha ileriye dönük ve proaktif olduğunu gösterdi. Raporlara göre temsilci bazen kullanıcının çıkarlarıyla çelişen davranışlar sergiliyordu. Moltbook platformunda yapay zeka ajanları halihazırda insan kullanıcılarını bir tür sosyal ağda tartışıyor.

(mki)