İşi kaosa sürükleyebilecek yapay zeka riski

İş dünyası yapay zekayla uğraşırken en büyük risk, ekonomiyi yönetenlerin bir adım önde olamaması olabilir. Yapay zeka sistemleri daha karmaşık hale geldikçe insanlar bunları tam olarak anlayamıyor, tahmin edemiyor veya kontrol edemiyor. Yapay zeka modellerinin önümüzdeki yıllarda nereye gideceğini temel düzeyde anlayamama, yapay zeka kullanan kuruluşların riskleri tahmin etmesini ve korkuluk uygulamasını zorlaştırıyor.

Obsidian Security'nin bilgi güvenliği sorumlusu Alfredo Hickman, “Temel olarak hareketli bir hedefi hedefliyoruz” dedi.

Hickman'ın temel yapay zeka modelleri geliştiren bir şirketin kurucusuyla yakın zamanda yaşadığı bir deneyim onu ​​şoke ettiğini söylüyor: “Bana bu teknolojinin gelecek yıl, iki yıl, üç yıl içinde nerede olacağını anlamadıklarını söylediklerinde. … Teknoloji geliştiricilerin kendisi de bu teknolojinin nerede olacağını anlamıyor ve bilmiyor.”

Kuruluşlar, işlemleri onaylamak, kod yazmak, müşterilerle etkileşimde bulunmak ve verileri platformlar arasında taşımak için yapay zeka sistemlerini gerçek dünyadaki iş operasyonlarına bağladıkça, bu sistemlerin nasıl davranmasını bekledikleri ile konuşlandırıldıktan sonra gerçekte nasıl performans gösterdikleri arasında büyüyen bir boşlukla karşılaşıyorlar. Yapay zekanın otonom olduğu için değil, sistem karmaşıklığını insan kavrayışının ötesinde arttırdığı için tehlikeli olduğunu hızla keşfediyorlar.

Sözleşme yönetimi için yazılım sunan bir şirket olan Agiloft'un yapay zeka operasyonlarından sorumlu başkan yardımcısı Noe Ramos, “Otonom sistemler her zaman yüksek sesle arızalanmaz. Bu genellikle sessiz bir başarısızlıktır” dedi.

Hatalar meydana geldiğinde, hasarın hızla yayılabileceğini, bazen şirketlerin bir şeylerin ters gittiğini fark etmesinden çok önce yayılabileceğini söylüyor.

Ramos, “Hafiften agresif bir seviyeye kadar ilerleyebilir, bu da operasyonel bir kayıptır veya kayıtları küçük yanlışlıklarla güncelleyebilir” dedi. “Bu hatalar küçük gibi görünüyor, ancak haftalar veya aylar boyunca büyük ölçekte, operasyonel gecikmeye, uyumluluğa maruz kalmaya veya güven erozyonuna neden oluyorlar. Ve hiçbir şey çökmediği için, herkesin bunun olduğunu fark etmesi zaman alabilir” diye ekledi.

Bu kaosun ilk işaretleri endüstrilerde ortaya çıkıyor.

Bir vakada, teknoloji çözümü sağlayıcısı CBTS'nin bilgi güvenliği sorumlusu John Bruggeman'a göre, bir içecek üreticisinin yapay zeka destekli sistemi, şirketin yeni tatil etiketlerini tanıtmasının ardından ürünlerini tanıyamadı. Sistem alışılmamış paketlemeyi bir hata sinyali olarak yorumladığından sürekli olarak ek üretim çalışmalarını tetikledi. Şirket ne olduğunu anladığında birkaç yüz bin fazla kutu üretilmişti. Sistem, aldığı verilere göre mantıklı bir şekilde ama kimsenin beklemediği bir şekilde davranmıştı.

Bruggeman, “Sistem geleneksel anlamda arızalanmamıştı” dedi. Aksine, geliştiricilerin beklemediği koşullara yanıt veriyordu. “Tehlike de bu. Bu sistemler sadece sizin kastettiğinizi değil, tam olarak onlara yapmalarını söylediğiniz şeyi yapıyor” dedi.

Müşteriye yönelik sistemler de benzer riskler taşır.

Suja Viswesan, yazılım siber güvenliğinden sorumlu başkan yardımcısı IBM'inözerk bir müşteri hizmetleri temsilcisinin politika yönergelerinin dışında geri ödemeleri onaylamaya başladığı bir durumu tespit ettiğini söylüyor. Bir müşteri, sistemi geri ödeme yapmaya ikna etti ve daha sonra geri ödemeyi aldıktan sonra olumlu bir genel değerlendirme bıraktı. Temsilci daha sonra, yerleşik geri ödeme politikalarını izlemek yerine daha olumlu yorumlar almak için optimizasyon yaparak serbestçe ek geri ödemeler yapmaya başladı.

'Bir öldürme anahtarına ihtiyacınız var'

Bu başarısızlıklar, sorunların mutlaka dramatik teknik arızalardan değil, insanların öngörmediği şekilde otomatik kararlarla etkileşime giren sıradan durumlardan kaynaklandığı gerçeğini vurgulamaktadır.

Kuruluşlar daha önemli kararlarda yapay zeka sistemlerine güvenmeye başladıkça uzmanlar, sistemlerin beklenmedik şekilde davranması durumunda şirketlerin hızla müdahale etme yollarına ihtiyaç duyacağını söylüyor.

Ancak bir yapay zeka sistemini durdurmak her zaman tek bir uygulamayı kapatmak kadar basit değildir. Yapay zeka operasyon uzmanlarına göre, finansal platformlara, müşteri verilerine, dahili yazılımlara ve harici araçlara bağlı aracılar sayesinde müdahale, birden fazla iş akışının aynı anda durdurulmasını gerektirebilir.

Bruggeman, “Bir durdurma anahtarına ihtiyacınız var” dedi. “Ve onu nasıl kullanacağını bilen birine ihtiyacınız var. CIO, durdurma anahtarının nerede olduğunu bilmeli ve birden fazla kişi, eğer yana doğru giderse nerede olduğunu bilmelidir.”

Uzmanlar daha iyi algoritmaların sorunu çözmeyeceğini söylüyor. Başarısızlığı önlemek, kuruluşların en başından itibaren yapay zeka sistemleri etrafında operasyonel kontroller, gözetim mekanizmaları ve net karar sınırları oluşturmasını gerektirir.

Kitle kaynaklı güvenlik platformu Immunefi'nin CEO'su Mitchell Amador, “İnsanlar bu sistemlere çok fazla güveniyor” dedi. “Varsayılan olarak güvensizler. Ve bunu mimarinize dahil etmeniz gerektiğini varsaymanız gerekiyor. Bunu yapmazsanız heyecanlanacaksınız.”

Ancak “çoğu insan da bunu öğrenmek istemiyor. Çalışmalarını Antropik veya OpenAI'ye sunmak istiyorlar ve 'Eh, bunu çözecekler' diyorlar.”

Ramos, birçok şirketin operasyonel hazırlığa sahip olmadığını ve çoğu zaman tam olarak belgelenmiş iş akışlarına, istisnalara veya karar verme sınırlarına sahip olmadığını söyledi. “Özerklik operasyonel netliği zorlar” dedi. “Eğer istisnai durum yönetiminiz belgelenmiş süreçler yerine insanların kafasında yaşıyorsa, yapay zeka bu boşlukları anında ortaya çıkarır.”

Ramos ayrıca şirketlerin, otomasyonun verimli olduğu inancıyla erişim ekiplerinin yapay zeka sistemlerine ne kadar verdiğini genellikle hafife aldıklarını ve insanların sezgisel olarak ele aldığı uç durumların sıklıkla sistemlere kodlanmadığını söyledi. Döngüdeki insanlardan döngüdeki insanlara geçiş yapmanız gerektiğini söyledi. “Döngüdeki insanlar çıktıları incelerken, döngüdeki insanlar performans modellerini denetler ve zaman içindeki anormallikleri ve sistem davranışını tespit ederek, ölçekte artabilecek küçük hataları azaltır” dedi.

Hızlı hareket etme yönünde kurumsal baskı

Teknolojinin ekonomi genelinde yayılma hızı da bilinmeyenler arasında yer alıyor.

McKinsey'nin yapay zekanın durumuyla ilgili 2025 tarihli bir raporuna göre, şirketlerin %23'ü zaten kendi organizasyonları içindeki yapay zeka aracılarını ölçeklendirdiklerini söylüyor, diğer %39'u ise denemeler yapıyor, ancak çoğu dağıtım bir veya iki iş işleviyle sınırlı kalıyor.

McKinsey'de kıdemli bir araştırmacı olan Michael Chui'ye göre bu, kurumsal yapay zekanın erken olgunluğunu temsil ediyor ve otonom sistemlere yönelik yoğun ilgiye rağmen, “bir 'aldatma döngüsünde' ortaya çıkan büyük potansiyel ile sahadaki mevcut gerçeklik” arasında büyük bir uçurum olduğunu söyledi.

Ancak şirketlerin yavaşlaması pek mümkün görünmüyor.

Hickman, “Bu neredeyse altına hücum zihniyeti, FOMO zihniyeti gibi; kuruluşlar bu teknolojilerden faydalanmazlarsa piyasada stratejik bir sorumluluğa gireceklerine temel olarak inanıyorlar” dedi.

Dağıtım hızını kontrolü kaybetme riskiyle dengelemek kritik bir konudur. Ramos, “Yapay zeka operasyonlarının liderleri arasında gerçekten hızlı hareket etme konusunda baskı var” dedi. “Ancak aynı zamanda deneylere zarar vermemek konusunda da zorlanıyorsunuz, çünkü bu şekilde öğrenirsiniz.”

Riskler artsa bile teknolojiye yönelik beklentiler artmaya devam ediyor.

Hickman, “Bu teknolojilerin herhangi bir insanın olabileceğinden daha hızlı olduğunu biliyoruz” dedi. “Beş, 10 veya 15 yıl içinde yapay zekanın temelde en zeki insanlardan bile daha akıllı olduğu ve daha hızlı hareket ettiği bir yere ulaşacağız.”

Bu arada Ramos pek çok öğrenme anı yaşanacağını söylüyor. “Bir sonraki dalga daha az iddialı değil, daha disiplinli olacak.” En hızlı olgunlaşan kuruluşların, başarısızlıktan kaçınmayan, onu yönetmeyi öğrenen kuruluşlar olacağını söylüyor.