OpenAI ve Microsoft, sektörün GenAI'yi asistan olarak kullanmaktan, ortaya çıkan siber tehditleri tanımlayıp bunlara yanıt verebilecek otonom sistemlerin dağıtımına hızla geçiş yaptığını gösteren yeni siber güvenlik girişimlerini açıkladı.
Duyurular, şirketlerin giderek daha karmaşık yapay zeka saldırılarıyla karşı karşıya kaldığı ve güvenlik satıcılarının otonom aracıların güvenlik açığı keşfi, istismar ve fidye yazılımı kampanyalarını makine hızında otomatikleştirmeye başladığı konusunda uyarıda bulunduğu bir dönemde geldi.
Müşteri deneyimi liderleri için gelişmelerin BT güvenliğinin ötesinde sonuçları var. İletişim merkezleri, müşteri hizmetleri platformları, CRM sistemleri ve yapay zeka temsilcileri giderek daha fazla bağlantılı kurumsal verilere güveniyor ve bu da hızlı enjeksiyona, veri hırsızlığına ve kimlik saldırılarının operasyonel riskleri artırmasına neden oluyor.
OpenAI, yapay zekaya saldırmak için yapay zekayı kullanıyor
OpenAI, yapay zeka sistemlerindeki güvenlik açıklarını saldırganlardan önce keşfetmek için tasarlanmış dahili bir otomatik kırmızı ekip sistemi olan GPT-Red'i tanıttı.
GPT-Red modeli, diğer dil modellerine yönelik giderek daha karmaşık hale gelen saldırılar oluşturmak için makine öğrenimini kullanır. Savunma modelleri güçlendikçe, GPT-Red yeni zayıflıkları açığa çıkaracak şekilde uyum sağlayarak model güvenliği için sürekli bir iyileştirme döngüsü yaratır.
OpenAI, “GPT-Red, insanlarda %13'e kıyasla senaryoların %84'ünde başarı yakalayarak önemli ölçüde daha yüksek saldırı başarı oranları elde ediyor” dedi.
Bu tür sonuçlar müşteri deneyimi açısından önemlidir çünkü hızlı enjeksiyon yalnızca sohbet robotları için bir güvenlik sorunu değildir. Yapay zeka aracıları yazılım depolarına, kurumsal uygulamalara, müşteri verilerine ve üçüncü taraf araçlara bağlı olduğundan, normalde güvenilen içerikte gizlenen kötü amaçlı talimatlar, harekete geçme kapasitesine sahip sistemleri etkileyebilir.
Vincent Danen, Red Hat'in ürün güvenliğinden sorumlu başkan yardımcısıyakın zamanda bu riskin altını çizdi Bugün CX röportaj. “Özellikle hızlı enjeksiyon ve diğer kötü amaçlı yazılım türleri gibi şeylere baktığınızda… Aklıma, Git deposunda çalışan ve kötü amaçlı yazılım veya belirli şeyler yapmasına neden olan bazı gizli ipuçları içerebilen bir aracı geliyor. Bu aracının bu sanal alanları kullanarak yapabileceklerini sınırlayabilmek istiyorsunuz.”
GPT-Red ayrıca, saldırılarını simüle edilmiş bir ortamda ilk kez iyileştirdikten sonra ürün fiyatlarını düşürerek, pahalı envanter sipariş ederek ve müşteri siparişlerini iptal ederek gerçek bir otonom satış makinesi temsilcisini manipüle etme yeteneğini de gösterdi. OpenAI, tespit edilen güvenlik açıklarının artık açıklandığını ve düzeltmelerin test edildiğini söyledi.
Otomatik satış makinesi örneği, işletmeler için daha büyük bir sorunu göstermektedir: Yapay zeka aracıları iş sistemlerine bağlandığında, riskler yanlış yanıtlardan istenmeyen eylemlere doğru ilerlemektedir. Danen, kuruluşların çevredeki teknolojileri anlaması ve otonom ajanların beklenmedik şekilde davranması durumunda olası hasarı sınırlaması gerektiğini söyledi.
“Bu farklı teknolojiler konusunda bilgili olmak ve bilgi sahibi olmak, bu otonom ajanların dışarı çıkıp sizin tasarlamadığınız veya yapmak istemediğiniz şeyleri kendi başlarına yapmaya karar vermesi durumunda patlama yarıçapınızın biraz daha küçük olmasını sağlayacaktır.”
OpenAI, daha sonraki GPT sürümlerini güçlendirmek için GPT-Red'in önceki sürümlerini zaten kullanmış ve hızlı enjeksiyon başarı oranında önemli düşüşler ve dolaylı hızlı enjeksiyon saldırılarına karşı dirençte iyileşmeler bildirmiştir.
OpenAI, “GPT-Red eğitimi tamamladıktan sonra, bunu GPT-5.6 eğitimi için hızlı enjeksiyonlar oluşturmak için kullandık, bu da modeli GPT-Red'in saldırılarına karşı oldukça dirençli hale getirdi” dedi. “GPT-Red'i, dağıttığımız modellerden ayrı tutuyoruz. Bu, GPT-Red'de özel olarak eğittiğimiz kötü amaçlı yetenekleri düşman aktörlerin elinden uzak tutarken, üretim modellerimize sağlamlık kazandırıyoruz.”
GPT-Red, müşteriye yönelik bir ürün olmaktan ziyade gelecekteki OpenAI modellerine güç sağlamak için kullanılan dahili bir yetenek olarak kalacak.
Microsoft, insan uzmanlarını yapay zeka döngüsüne getiriyor
OpenAI güvenlik açığı keşfini otomatikleştirirken Microsoft, olaylara müdahaleyi hızlandırmaya odaklanıyor.
Şirket, kuruluşların tehditleri daha hızlı araştırmasına, önceliklendirmesine ve yanıt vermesine yardımcı olmak için Microsoft güvenlik yapay zekasını insan analistleriyle birleştiren yönetilen bir tehdit istihbaratı olan Microsoft Defender Experts Threat Intelligence'ı (MDTI) duyurdu. MDTI yetenekleri artık Defender portalında tamamen birleştirilmiştir.
Satıcı, güvenlik tehditlerinin ciddiyetinin yorumlanmasında insan uzmanların önemini vurguluyor.
“Microsoft'un uç noktalara, kimliğe, buluta ve gelişen saldırgan faaliyetlerine ilişkin görünürlüğü temel alınarak ekibinize, sizi hedeflemesi en muhtemel tehditlere ilişkin düzenli, toplu bilgiler sağlar.” Aarti Borkar, Kurumsal Başkan Yardımcısı, Microsoft Güvenlikbir blog yazısında yazdı. “Atanmış Microsoft uzmanları, küresel manzarayı sektörünüzün, coğrafyanızın ve ortamınızın merceğinden yorumluyor ve ardından bunu ekibinizin harekete geçmesi için açık, öncelikli rehberliğe dönüştürüyor.”
Borkar, hizmetin güvenlik ekosistemi genelinde toplanan büyük miktardaki telemetriyi eyleme geçirilebilir istihbarata dönüştürdüğünü ve güvenlik ekiplerinin hangi tehditlere anında müdahale edilmesi gerektiğini ve hangi iyileştirme adımlarının atılması gerektiğini anlamalarına yardımcı olduğunu açıkladı. Yaklaşım, yalnızca otomasyona dayanmak yerine yapay zeka odaklı analitiği uzman liderliğindeki araştırmalarla birleştiriyor.
Borkar, “Güvenlik ekipleri hiçbir zaman bu kadar fazla görünürlüğe sahip olmamıştı, ancak kendilerini nadiren bu kadar güvensiz hissettiler” diye ekledi. “Uç noktalardan, kimliklerden, bulut iş yüklerinden ve çok sayıda üçüncü taraf araçtan sinyaller yağıyor. Kontrol panelleri dolu, uyarılar gelmeye devam ediyor ancak günün en zor sorusu yanıtsız kalıyor: gerçekte ne oluyor, bizim için gerçekten önemli olan ne ve bu konuda ne yapıyoruz? Bir tehdidin varlığını bilmek ile ona göre hareket etmek arasındaki boşluk, istihbarat ile eylem arasındaki boşluktur.”
Duyuru, yapay zekanın tehdit tespitini, korelasyonunu ve soruşturmasını giderek daha fazla üstlendiği kurumsal siber güvenlik alanında daha geniş bir eğilimi yansıtıyor; deneyimli analistler ise bulguları doğrulamak ve müdahale çabalarını yönlendirmekten sorumlu olmaya devam ediyor.
Müşteri deneyimi açısından ne anlama geliyor?
Hem OpenAI hem de Microsoft'un duyuruları, kuruluşların müşteriye yönelik iş akışlarında AI aracılarını konuşlandırmasıyla giderek daha önemli hale gelen riskleri ele alıyor.
Hızlı enjeksiyon, işletmelerdeki yapay zeka dağıtımlarını çevreleyen en önemli güvenlik sorunlarından biri olarak ortaya çıktı. Müşteri hizmetleri temsilcileri düzenli olarak bilgi tabanlarına, e-postalara, CRM kayıtlarına, web sitelerine ve üçüncü taraf uygulamalarına erişerek, güvenilir içeriğe kötü amaçlı talimatlar yerleştirmek için birçok fırsat yaratır.
Hızlı bir enjeksiyonla güvenliği ihlal edilen bir yapay zeka aracısı, müşteri verilerini açığa çıkarabilir, işlemleri manipüle edebilir, gizli bilgileri alabilir veya bağlantılı iş sistemleri genelinde istenmeyen eylemler gerçekleştirebilir.
Danen, en basit kuralın ilk etapta temsilcilerin erişebileceklerini sınırlamak olduğunu söyledi. “Memurun insanlara söylemesini istemediğiniz şeylere erişmesine izin vermeyin.” Danen, bilinmeyen saldırı yöntemlerinin erişim kontrolünü özellikle önemli hale getirdiğini ekledi. “Eğer ajan bunu biliyorsa ve bizim henüz keşfetmediğimiz bir şekilde aldatılabilirse… var olduğunu bilmediğiniz bir şeyden kendinizi gerçekten koruyamazsınız.”
CX liderleri için bu, yapay zeka güvenliğinin veri mimarisinden ve izinlerden ayrılamayacağı anlamına gelir. Bir AI hizmet temsilcisinin yalnızca ürün bilgilerine, iade politikası verilerine veya sipariş durumuna erişime ihtiyacı varsa, daha geniş müşteri verilerini, ödeme bilgilerini, dahili notları veya ilgisiz CRM verilerini de alamamalıdır.
OpenAI'nin araştırması, otomatikleştirilmiş AI kırmızı ekibinin bu zayıflıkları geleneksel manuel testlerden daha hızlı tespit edebildiğini gösterirken, Microsoft'un duyurusu, AI tarafından oluşturulan tehdit istihbaratının anında rehberli operasyonel yanıtlara dönüştürüleceği bir geleceğe işaret ediyor.
Duyurular hep birlikte yapay zeka siber güvenliğinin yeni bir aşamaya girdiğini gösteriyor. Satıcılar, saldırıları gerçekleştikten sonra tespit etmek yerine, güvenlik açıklarını konuşlandırılmadan önce keşfetmek için yapay zekayı giderek daha fazla kullanıyor, modelleri sürekli olarak güçlendiriyor ve tehditler kaçınılmaz olarak ortaya çıktığında şirketlerin tepkilerini hızlandırıyor.
Bir yanıt yazın