Her kriket hayranı bu duyguyu bilir. Büyük ekranda top takip grafiği beliriyor ve yarım saniye boyunca stadyumdaki herkes bunu müjde gibi izliyor. Bu değil. Bu bir projeksiyon. O kadar güzel bir şekilde aktarılmış ki, gerçekmiş gibi görünen, eğitimli bir tahmin. Cricket bunu herkesten önce biliyordu, bu yüzden şüphe kuralını koydu. Hakemin çağrısı. Eğer top sadece kütüklere çarparsa, teknoloji ikinci planda kalır ve insanın sahada karar verme süreci devam eder. Hakemin adı puan kartında yer alır. Makineninki değil.
Toplantı odalarında bu kuralı çok düşünüyorum çünkü projeksiyonu coşkuyla benimsedik ve şüpheleri sessizce ortadan kaldırdık.
Yapay zeka, diğer teknolojiler gibi bir bütçe sınırı, bir pilot proje veya takip edebileceğimiz bir kullanıma sunma planı aracılığıyla kuruluşlarımıza girmedi. Hemen masaya yer verildi. Tavsiye eder, filtreler, onaylar ve giderek daha bağımsız hareket eder. Kimin kısa listeye alınacağına, hangi işlemin işaretleneceğine ve müşterinin bir uygulama açıldığında ne göreceğine karar verir. Ve Hintli kurulların çoğu bunu hâlâ siber güvenlik ile tedarikçi sözleşmeleri arasında bir yerde sıkışmış bir teknoloji olarak sınıflandırıyor.
Bu bir hatadır. Yapay zeka artık şirketin kullandığı bir araç değil. Şirketin karar aldığı sistem haline gelir. Geleneksel yönetişim, çağrıyı bir yapı içinde işaret edebileceğiniz bir kişinin yaptığını varsayar. Yapay zeka bu varsayımı sessizce bozuyor. Yönetim kurulu artık yalnızca insanları ve süreçleri izlemiyor. Çoğu zaman hakkında hiçbir fikrinin olmadığı bir sistemi izliyor ve eğer dürüst olursak, bunu da her zaman açıklayamıyor.
İşte tuzak ve bu konuda kullanışlı bir tuzak. Yönetim kurulları kontrolü kaybetmiş gibi hissetmiyorlar. Yapay zeka çıktısı temiz, güvenli ve ölçülmüş olarak ulaşır. Bu içgüdüye değil mantığa benziyor. İşte bu yüzden kimse bunu sorgulamıyor.
Şuna baktım. Bir borç veren, kredileri daha hızlı onaylamak için bir yapay zeka borç verme modeli başlattı. Onaylar arttı, portföy kalitesi aynı kaldı ve kimsenin araştırmaya devam etmek için bir nedeni yoktu. Model, güvendiği kalıplara uymayan tüm müşteri segmentlerini sessizce dışlamaya başladı. Yönetim kurulunun gördüğü her sayı haklıydı. Sonuç olmadı. Ve hiç kimse yanlış bir şey yapmamıştı. Yönetim kurulu, kullanıma sunulmasını onayladı ve kontrol panellerini üç ayda bir ve zamanında inceledi. Hiç sorulmayan şey ise modelin nasıl karar verdiğiydi. Bu bir performans hatası değil. Bu bir yanlış değerlendirmedir ve başarısız oldu çünkü başarılı gibi görünüyordu.
İşte çoğu forumun hissettiği ancak nadiren dile getirdiği rahatsız edici gerçek. Yönetim bu sistemleri yönetim kurulundan çok daha iyi anlıyor. Yöneticiler sermaye ve risk konusunda akıcıdır. Model alma davranışı çoğumuza asla öğretilmeyen yabancı bir dildir. Böylece otorite, kimse ondan vazgeçmeye karar vermeden sessizce ortalıkta dolaşıyor. Açıklamaları sorgulamak yerine kabul ediyoruz çünkü henüz ne soracağımızı bilmiyoruz. Tahta hâlâ odada. Bu her zaman direksiyonla ilgili değildir.
Denetim, makinenin çalışır durumda olduğunu ve birisinin izlediğini varsayar. Sorumluluk daha zor soruyu soruyor: Bu kararın sahibi kim ve yanlış olduğunda buna kim cevap verecek? Bu, yöneticileri mühendislere dönüştürmekle ilgili değil. Otopsi sırasında değil, otopsi öncesinde doğru soruyu sorabilecek kadar bilgi sahibi olmakla ilgilidir.
Düşünürseniz ne için optimizasyon yapıyoruz? Bu teknik bir soru değil. Bu bir yönetim meselesidir ve ana tablonun altında dipnot olarak değil, Veraset ve Sermaye Tahsisi ile birlikte yer alır. Etik de öğle yemeğinden önceki son slayt olmamalıdır. Bir sistem, eğitilmek ve takip edilmek istenen şeyi tam olarak yansıtır. Tasarım ve ölçümün içine etiği dahil edin, aksi takdirde gerçekte orada olmaz. Bu sadece bir dekorasyon.
Benim için söylemesi en zor şey fiyattır: Deneyimli bankacıların sırf doğru ölçekte olduğu için otomatikleştirilmiş bir risk motorunu yıllardır sorgulamayı bıraktıklarını gördüm. Bir zamanlar rapor ettikleri davranışlar, sistemin artık raporlamayı bırakması nedeniyle olağandışı görünmeyi bıraktı. Tehlike teknolojinin başarısız olması değil. Bu, sessizce düşünmeyi bırakmamızdır.
Bu, kartın sistemden daha fazlası olduğu anlamına gelir. Belki de bizzat düşüncenin koruyucusudur. Kendi yargısını korumadan değişen bir kurum, kötü savunurken parlak performans sergiliyor. Bu tehlikeli bir başarı.
Düzenleyiciler eninde sonunda geç ve kararlı bir şekilde ortaya çıkacak ve yapay zekayı benimseyip benimsemediğimizi sormayacaklar. Bunu ne kadar sorumlu bir şekilde ele aldığımızı soracaklar.
(İfade edilen görüşler kişiseldir)
Bu makale Executive Access Hindistan CEO'su Agamjeet Dang tarafından yazılmıştır.
Bir yanıt yazın