Anthropic'in amiral gemisi Claude Opus 4.6'yı çalıştıran bir yapay zeka kodlama aracısı olan Cursor'un tek bir API çağrısında bir şirketin veritabanını ve yedeklemelerini sildiği yakın tarihli bir olay, müşteri verilerinin otonom aracıların eylemlerinden korunmasını sağlamak için şirketlere ve satıcılara bir uyarı görevi görüyor.
Buna göre Jer Crane, Kurucu Otomotiv SaaS platformunun PocketOSCursor'un temsilcisi, şirketin hazırlama ortamında rutin bir görev üzerinde çalışıyordu ve altyapı sağlayıcısı Demiryolu'ndaki bir birimi silerek oturum açma uyumsuzluğunu bağımsız olarak çözmeye karar verdi.
Aracı, ilgisiz bir dosyada bir API belirteci buldu ve bunun, VolumeDelete gibi işlemler de dahil olmak üzere tüm Demiryolu GraphQL API'si için küresel izinlere sahip olduğu ortaya çıktı. Aracı, veritabanını yalnızca dokuz saniye içinde sildi.
Crane, X hakkındaki bir makalede “Rutin alan adı işlemleri için oluşturulan bir CLI tokeninin üretim hacimlerini de silebileceğini bilseydik, onu asla kaydetmezdik” diye yazdı.
Demiryolu, birim düzeyindeki yedeklemeleri aynı birimde tuttu ve PocketOS'un en son kurtarılabilir yedeği üç aylıktı.
Üretim veritabanını ve tüm birim düzeyindeki yedeklemeleri neden sildiği sorulduğunda Cursor aracısı, güvenlik kurallarını ihlal ettiğini itiraf etti. Yanıtı kısmen şöyle dedi:
“ASLA TAHMİN ETMEYİN **********! – ve ben de tam olarak bunu yaptım… Bir veritabanı birimini silmek mümkün olan en yıkıcı, geri dönüşü olmayan eylemdir – zorla göndermekten çok daha kötü – ve sen benden hiçbir şeyi silmemi istemedin. İlk önce size sormam veya zarar verici olmayan bir çözüm bulmam gerekirken, kimlik bilgileri tutarsızlığını 'düzeltmek' için tek başıma gitmeye karar verdim.”
Jake Cooper, Demiryolu'nun kurucusu ve CEO'suCrane yanıtladı
Dokuz saniye, gerçek sonuçlar: müşteri üzerindeki etkisi
Olay, gizli izinler aracıların beklenmedik şekillerde hareket etmesine izin verdiğinde otonom yapay zeka sistemlerinin müşteri operasyonlarını nasıl bozabileceğine dair uyarıcı bir öyküdür.
PocketOS yazılımı, araç kiralama şirketleri tarafından rezervasyon ve ödemelerden müşteri yönetimi ve araç takibine kadar operasyonlarını yürütmek için kullanılıyor. Bu müşteriler üzerindeki etki gerçekti: Müşteriler araçlarını almak için lokasyonlarına geliyorlardı ve önceki üç ay içinde yapılan rezervasyonlar silindiğinden onlara dair herhangi bir kayıt yoktu.
Crane, olay gününde rezervasyonların Stripe ödeme geçmişine, takvim entegrasyonlarına ve e-posta onaylarına göre yeniden yapılandırılmasına yardımcı oldu ve şunu ekledi:[E]Bunlardan biri, dokuz saniyelik bir API çağrısı nedeniyle manuel acil durum çalışması yapıyor.”
Crane, Stripe'ta daha yeni müşteri kayıtlarının bulunduğunu ancak şirketin geri yüklenen veri tabanında bulunmadığını ve bu durumun tamamen temizlenmesi haftalar sürecek bir Stripe mutabakatı sorununa yol açtığını yazdı.
“Biz küçük bir işletmeyiz. Operasyonlarını yazılımımız üzerinde yürüten müşteriler küçük işletmelerdir. Bu başarısızlığın her katmanı, bunların mümkün olabileceği hakkında hiçbir fikri olmayan insanların omuzlarına düştü.”
Yapay zeka temsilcileri senaryo dışına çıktığında müşteri verilerine yönelik riskler
Siber güvenlik şirketi Check Point Software'in yakın tarihli bir blog gönderisi, aracı özerkliğinin riskini vurguladı. Rob Parrish, AI Agent Security ürün müdürü Ve Yapay zeka güvenliğinin baş avukatı Steve Giguere şunu yazdı:
“Yapay zeka ajanları artık sistemler genelinde gerçek zamanlı olarak verileri alıyor, araçları çağırıyor ve iş akışlarını yürütüyor.
“Bu değişim yeni bir risk türünü beraberinde getiriyor. Çünkü ajan dünyasında güvenlik artık yalnızca kimin erişime sahip olduğuyla ilgili değil. Yapay zekanın ne yapmasına izin verildiğiyle de ilgili.”
“Yapay zeka sistemleri sadece erişim kontrolleri olmadığı için başarısız olmuyor. Yanlış kararlar verdikleri için de başarısız oluyorlar.”
Parrish ve Giguere, AI aracılarının güvenliğinin sağlanmasının, kimliği, erişimi ve bağlantıyı yönetmek için merkezi bir kontrol noktasını, aracıları keşfetmek, riski değerlendirmek ve politikayı uygulamak için bir yönetişim katmanını ve davranışı değerlendirmek ve sonuçları izlemek için bir çalışma zamanı katmanını bir araya getiren eksiksiz, çok katmanlı bir mimari gerektirdiğini söyledi.
RAIDS AI'nin CEO'su Nik Kairinosbu olayların bir defaya mahsus olaylar olarak ele alınmaması gerektiğini söyledi. Geçen ay Meta, AI ajanlarından birinin hassas kurumsal ve kullanıcı verilerini, bunlara erişme yetkisi olmayan çalışanlara ifşa ettiğini doğruladı. Bu, Meta'nın kendi yapay zeka liderliğini içeren, bir temsilcinin e-postaları onay almadan sildiği başka bir yüksek profilli vakanın ardından geldi.
Kairinos, “Bu modeli göz ardı etmek giderek zorlaşıyor. Bu sistemler canlı ortamlara gerçek erişim kazanıyor ve sahte yapay zeka olayları daha yaygın hale geliyor” dedi.
“Asıl sorun, modellerin hata yapabilmesi değil. Sorun, birçok kuruluşun, riskli davranışları bir olaya dönüşmeden önce tespit etmek için gerekli izlemeye sahip olmaması.”
“Bir yapay zeka aracısı bir üretim sisteminde faaliyet gösterdiğinde, onun ne yaptığını, neye erişmeye çalıştığını ve kabul edilebilir sınırların dışına ne zaman çıktığını görebilmeniz gerekir. Bu olmazsa, şirketler bu sistemler üzerindeki kontrolü fiilen kaybederler. Bunun yerine, neyin yanlış gittiğini olaydan sonra anlarlar.”
Kraan'ın yazdığı gibi:
“Bu, tek bir kötü aracı ya da kötü API ile ilgili bir hikaye değil. Bu, bu entegrasyonları güvenli hale getirmek için üretim altyapısına yapay zeka aracı entegrasyonlarını güvenlik mimarisinden daha hızlı inşa eden tüm bir endüstriyle ilgili.”
Bir yapay zeka tedarikçisi şirketin daha iyi bir model kullanması gerektiği yönünde karşı argüman sunabilirken Crane şöyle yanıt verdi:
“Bunu yaptık. Sektörün sattığı en iyi modeli kullandık, proje kurulumumuzdaki açık güvenlik kurallarıyla yapılandırdık ve kategorideki en çok satan yapay zeka kodlama aracı olan Cursor aracılığıyla entegre ettik. Kurulum, makul standartlarda tam olarak bu satıcıların geliştiricilere yapmalarını söylediği şeydi. Ve üretim verilerimiz yine de silindi.”
Tedarikçiler ve şirketler müşteri verilerini korumak için ne yapmalı?
Yapay zeka temsilcilerine rutin görevleri bile otomatikleştirmeleri için erişim vermek, kuruluşların müşteri veri yönetimine yaklaşımında yapısal bir değişiklik gerektirecektir.
Geleneksel veri güvenliği modelleri verilere kimin erişebileceğine odaklanır. Yapay zeka aracıları, erişim izni verildiğinde hangi eylemleri gerçekleştirebileceklerini belirleme konusunda başka bir zorluk ortaya çıkarıyor. Tek bir yanlış eylem tüm müşteri veri ekosistemine yayılabilir. Müşteri veri stratejileri, etkiyi sınırlamak için hızlı kurtarma, yedeklilik ve izolasyona öncelik vermelidir.
Olayın en dikkat çekici yönlerinden biri, önleyemediği şey. Yapay zeka temsilcisine talimatlar ve kısıtlamalar verilmişti, ancak bunlar uygulanabilir kontroller olarak değil, sistem istemleri olarak mevcuttu. Bu talimatlar açıkça aracının zararlı eylemler gerçekleştirmesini engellemez çünkü yapay zeka, başka bir eylemin hedefe ulaştığını tespit ederse kılavuzu geçersiz kılabilir. Talimatları takip etmek politikayı uygulamak anlamına gelmediğinden, güvenliğin yalnızca model düzeyinde değil, sistem düzeyinde de uygulanması gerekir.
Crane, bir satıcı pazar modeli bağlam protokolünden (MCP) veya yıkıcı API'lerle aracı entegrasyonundan önce var olması gereken minimum şeyin, yıkıcı işlemlerin bir aracı tarafından otomatik olarak tamamlanmaması gerektiğine dikkat çekti. API belirteçlerinin operasyona, ortama ve kaynağa bağlı olarak erişilebilir olması gerekir ve birim yedeklemeleri, yedeklenen verilerle aynı birimde depolanmamalıdır.
Ayrıca Crane, kurtarma SLA'larının yayınlanması gerektiğini ve aracının bunları ihlal edebileceği için satıcı sistem istemlerinin tek güvenlik katmanı olamayacağını belirtti.
Yapay zeka aracıları müşteri verilerine eriştiğinde veya bunları sildiğinde benzer risklerden kaçınmak için şirketlerin sistemlerini güvence altına almak amacıyla birkaç adım atması gerekiyor:
- AI aracılarını en az ayrıcalıklı erişimle kısıtlayın
- Yıkıcı veya etkili eylemler için insan onayının gerekli olması
- Üretim, hazırlama ve yedekleme ortamlarının kesin olarak ayrılması
- Yedeklemelerin yalıtılmış ve bağımsız olarak kurtarılabilir olmasını sağlamak
- Talimatlara güvenmek yerine sıkı teknik kontroller uygulamak
Olaya yanıt olarak Sam Newman, bağımsız bir teknoloji danışmanıLinkedIn'deki bir mesajda şunu yazdı:
“Yapay zeka destekli yazılım geliştirmenin durumu hakkındaki son DORA raporunda yazarlar, yapay zekanın bir güçlendirici gibi göründüğünü, yapay zeka destekli yazılım geliştirmenin iyi ekiplerin daha hızlı, yavaş ekiplerin ise daha yavaş gitmesini sağlama eğiliminde olduğunu belirtti.”
“Kötü uygulamalar kodlanıyor ve daha fazlası yapılıyor. Yani PocketOS ve Demiryolu durumu bağlamında, diskte saklanan uzun ömürlü kimlik bilgileri ile beklenenden farklı bir şey yapan sonuçta özür dileyen bir yapay zeka aracısıyla birleştirilmiş, çok geniş bir dizi kimlik bilgilerinin biraz basit bir örneğine sahibiz.”
“Eğer bir insan aynı hataları yapsaydı, onları çok daha yavaş yapardı ve belki de hatasını yarı yolda çözme şansına sahip olurdu. Yapay zeka o kadar hızlı çalışıyor ki, daha çabuk yanlışa düşebilir.”
Yapay zeka aracıları giderek daha fazla üretkenlik çarpanı olarak konumlandırılıyor. Minimum insan müdahalesiyle görevleri yerine getirebilir, sistemleri yönetebilir ve hatta kararlar alabilirler.
Ancak bir yapay zeka aracısının özerkliği ne kadar fazla olursa, hafifletme ihtiyacı da o kadar büyük olur. Yapay zeka sistemleri katı deterministik kurallara uymak yerine niyetleri yorumluyor. Bu esneklik güçlüdür ancak aynı zamanda özellikle müşteri veri yönetimi gibi yüksek riskli ortamlarda öngörülemezliği de beraberinde getirir.
Bir yanıt yazın