Riskin yanlış ppriced olduğu yer
Yapay zekayı temiz olarak düşünmek kolaydır. Dijital. Somut olmayan. Bulutta yaşar, anında yanıt verir ve tükenmeden verimlilik vaat eder. Taşkın, ateş yakmaz, çökmez veya organize etmez. En azından ölçmek için öğretilen şekillerde değil. Ancak sigortacılar, opak makine öğrenme sistemlerinden kaynaklanırken iklim tehdidinde bulunan bölgelerden çekilmeye başladığında, artık tesadüf alanında değiliz. Toplumun değerlerine ve ne olduğuna inandığı şeylere bir değişime tanık oluyoruz.
Son iki yılda, büyük sigorta şirketleri sadece California ve Florida gibi bariz eyaletlerde değil, tüm Orta Batı'da, Pennsylvania'dan Dakotas'a kadar, iklim oynaklığının bileşik risklerine atıfta bulunarak ev ve yangın sigortası pazarlarından çıktılar. Bu arada, aynı endüstri algoritmik performans, AI odaklı ticaret sistemleri ve büyük ölçekli otomatik karar motorları için ısmarlama sigorta ürünlerine yatırım yapıyor. Bu modeller çevresel bağımlılıkları veya sosyal dışsallıkları için incelenmemektedir. Sigortalanıyorlar çünkü riskleri dağıtılıyor, gizli ve – en azından şimdilik – makul bir şekilde inkar edilebilir.
Bu sadece bir politikanın başarısızlığı değildir. Bir ayırt etme çöküşüdür.
AI altyapı olarak, soyutlama değil
Yapay zeka etrafındaki söylemlerin çoğu mecazi olmaya devam ediyor. Çoğu zaman bu sistemler bir boşlukta çalışıyormuş gibi eğitim modelleri, ince ayar zekası veya dağıtım hakkında konuşuyoruz. AI maddi dünyanın üzerinde yüzmez; İçine derin bir şekilde gömülüdür.
GPT-4 gibi büyük dil modellerini eğitmek, küçük bir kasabaya bir yıl boyunca güç verecek kadar 1,3 gigawatt saatten fazla elektrik tüketebilir (Patterson ve ark., 2021). Çıkarım-gerçek zamanlı çıktı üretimi-devam etmekte ve kümülatif olarak daha kaynak yoğundur. Bu sistemleri destekleyen veri merkezleri, soğutma için yılda milyonlarca galon su gerektirir ve genellikle iklim suşu altındaki bölgelerde bulunur (Lant, 2023). Bu sistemler ayrıca, çıkarma ekonomilerinden ve genellikle ekolojik bozulma veya insan hakları ihlalleri bölgelerinden kaynaklanan nadir toprak elemanları, kobalt ve lityum küresel bir tedarik zincirine bağlıdır.
AI dediğimiz sadece yazılım değil. Altyapıdır. Aksi halde tanımlama seçeneği nötr değildir – şaşkınlıktır.
Saymadığımız şeyin maliyeti
Yönetişim sistemleri görünürlüğe dayanır. Görülemeyen şey yönetilemez. Bu anlamda, AI sistemleri ikili bir risk oluşturur: davranışları sadece anlaşılmaz değildir, aynı zamanda operasyonlarının tam maliyetleri dışsallaşır – ekonomik, çevresel ve ahlaki olarak. Bir maliyeti dışsallaştırmak, onu sorumluluk, görünürlük veya hesap verebilirlik sınırlarının dışına itmektir. Sistem fayda sağlar, ancak başka biri bedeli öder.
Bankacılık, sağlık ve sosyal medya gibi sektörlerde sık yapılan veri ihlalleri, dışsal maliyetlerin net, çağdaş örnekleri sunar:
Bankalar Borç verme, pazarlama veya sahtekarlık tespitini optimize etmek için verileri kullanın. Ancak bir ihlal meydana geldiğinde, bireyler – kurumlardan ziyade – sonuçlara maruz kalır: kimlik hırsızlığı, finansal bozulma ve azaltılmış güveni. Sistem, veriye dayalı verimliliklerden yararlanırken, zarar onu yönetmek için en az donanımlı olanlara boşaltılır.
Hastaneler ve sağlık sistemleri Bakımı iyileştirmek için hasta kayıtlarını dijitalleştirin. Yine de, hassas veriler ortaya çıktığında, hastalar – kurumlar değil – duygusal sıkıntı, itibar hasarı ve potansiyel yasal ve finansal güvenlik açıklarını emerler. Sağlık sistemi operasyonel olmaya devam etmektedir. Maliyet sessizce yeniden dağıtılır.
Sosyal Medya Şirketleri Katılım ve reklam gelirlerini artırmak için kullanıcı verilerini toplayın ve para kazanın. Ancak bu veriler kötüye kullanıldığında veya sızdırıldığında, serpinti emen demokrasi, kamusal ruh sağlığı ve sivil söylemdir. İş modeli dokunulmaz. Kolektif yük büyür.
Bunların hepsi dışsal zarar biçimleridir: insan, sosyal ve kurumsal esneklik pahasına korunan sistemik verimlilikler. Bu zararlar dağıtılır, dağınık ve nadiren izlenebilirdir – görmezden gelmeyi kolaylaştırır.
Yerinden edilmiş maliyetler yok olmaz. Hesap verebilirliği sulandırırlar, yansımayı ertelerler ve değerlerden koparırlar. Değerler nasıl sürüklenir: kötülükle değil, bağımlılık farkındalığını bastırırken çıktıya öncelik vermek için tasarlanmış sistemlerle. Bu pratikte ortaya çıkma yollarını düşünün: Enerji tüketimi ekolojik bir zorluk olarak değil, teknik bir zorluk olarak çerçevelendiğinde. Veri bağımlılığı, altyapı kırılganlık olarak incelenmek yerine inovasyon olarak kutlandığında. Sigorta araçları, onları sağlayan çevre veya işgücü sistemlerini incelemeden performans metriklerini ödüllendirdiğinde. Bunlar izole gözetimler değildir – daha geniş bir yanlış hizalama belirtileridir.
Bartunek ve Moch'un (1987) örgütsel değişim çalışmalarında önerdiği gibi, birinci dereceden değişimler-performansı veya verimliliği artıranlar-genellikle ikinci dereceden sonuçları maskeliyor. Bu daha derin değişimler, başarısızlık dikkati zorlayana kadar incelenmemiş kalan temel varsayımlardaki değişiklikleri yansıtır. Aynı dinamik burada da geçerlidir: Modelin ne yaptığını yönetiyoruz, ancak ne talep ettiğini değil.
Yönetişim, sadece modelin sunduğu şeylere – bağlı olduğu şeyden ziyade – gözetim yanılsamasını sunar. Saymadığımız maliyet, varlığımız riskimiz haline gelir.
Yönetişim için neden önemlidir?: Sistemler maliyeti dışsallaştırdığında, hesap verebilirliği gizler. Sadece performans sonuçlarına odaklanan yönetişim, risk yaratan ve zarar veren daha derin bağımlılıkları kaçırır. Gözetim, metriklerin ötesine geçmeli ve modeli sürdüren koşullara ve sessizce aşındıran koşullara uzanmalıdır. Aynı dinamik burada da geçerlidir: Modelin ne yaptığını yönetiyoruz, ancak ne talep ettiğini değil.
Sürdürülebilirlik aslında ne talep ediyor
“İyi için AI” ya da “yeşil AI” girişimlerinden bahsedme eğilimi vardır, bu da daha sürdürülebilir yaşam döngüsüne doğru bir kayma önermekle birlikte, sistemin kendisini neyin sürdürdüğünü nadiren ele alıyor. İyi niyetli olsa da, bu çabalar genellikle kısa durur, markayı hesap verebilirlik için değiştirir ve görünmez sistemlere olan bağımlılığımızı derinleştirirken güçlendirme yanılsaması sunar. Verilerin hem karar vermeyi hem de anlam yapmayı şekillendirdiği hesap verebilirlik döneminde, yönetişim, dilin belirsiz marka mesajlaşmasına çökmesine izin verme cazibesine direnmelidir-örneğin, tüm inovasyonun AI olarak markalandığı ve halüsinasyon düzeltmeleri anlamlı hizalama için stand-in olarak ele alınır.
“AI için AI”, sürdürülemez tasarım için ahlaki bir kapak olarak işlev gördüğünde şüpheli olur. Verilerin özgüllüğünü – anlamı tanımlamak, sınıflandırmak ve demirlemek için benzersiz kapasiteyi kullanmalıyız. Aksi takdirde, kulağa güç veren şey sadece bir sonraki zarar katmanını gizleyebilir. Sürdürülebilirlik bir rozet değildir. Bu, değiş tokuşlarla yüzleşmek, kısıtlamayı modellemek ve duraklatmayı kurumsallaştırmayı gerektiren bir uygulamadır. Aksi takdirde, kulağa güç veren şey sadece bir sonraki zarar katmanını gizleyebilir. Sürdürülebilirlik bir rozet değildir. Bu bir uygulamadır-değiş tokuşlarla yüzleşmek, kısıtlamayı modellemek ve kurumsallaştırıcı duraklama gerektiren bir uygulamadır.
Yapay zekadaki gerçek sürdürülebilirlik, sistemlerin altındaki sistemleri hesaba katmak anlamına gelir: elektrik ızgaraları, su kaynakları, işgücü boru hatları ve operasyonunu besleyen çıkarım ekonomileri. Aynı zamanda ölçeği yeniden düşünmek anlamına gelir. Crawford'un (2021) tartıştığı gibi AI atlasıYapay Zeka'da Ölçek Araştırması endüstriyel mantığı yansıttı: çıktıyı en üst düzeye çıkarın, maliyeti dışsallaştırın, sürtünmeyi bastırın. Ancak sürdürülebilirlik sınırlara dönüşür. Yönetişim, eğer herhangi bir ahlaki omurgaya sahip olacaksa, bu sınırların ne olduğunu ve onları onurlandırdığımızda kimin korunduğunu ifade etmelidir.
Sistemi yaptık – şimdi bizsiz hareket ediyor
Bu deseni daha önce görmüştük. Başka bir çağda, toz kasesindeki aileleri yerinden eden traktörlerdi. Bugün, bizi sürdüren sistemlerden dikkat çeken algoritmalar.
Steinbeck'te Gazap Üzümleritarımın mekanizasyonu ve finansal riskin soyutlanması binlerce ailenin yerini alır. Zarar gerçektir, ancak hiç kimse sorumluluk iddia etmez. “Banka erkeklerden daha fazlası” diyor bir karakter. “Bu canavar. Erkekler yaptı, ama kontrol edemezler.”
Mevcut canavarımız bir traktör değil – bu bir sunucu. Riski dışsallaştırırken sonuçları optimize eden bir modeldir. Yapay zeka, tarafsız olduğunu iddia ettiğimiz altyapıdır. Otomatikleştirir, para kazanır ve ölçekler. Ama hissetmiyor. Asla lastik olmaz. Hakları, özgürlüğü veya endişesi yoktur. Bu yüzden taleplerini maliyetsiz olarak görüyoruz.
Tıpkı bankaların bir zamanlar karadan ve insanlardan uzaklaştığı gibi, sigorta şirketleri evlerden uzaklaşıyorken, makinelerin sigortası yaparken. Bu deseni biliyoruz. Hesap verebilirlik döneminde sessizlik tarafsız değildir. Tasarlandı.
Bir sonraki modeli sigortalamadan önce ne yeniden düşünmelisiniz
Bu fişi çekmekle ilgili değil. İsim alma kapasitesini geri almakla ilgilidir. Hesap verebilirlik döneminde netlik bir jest değildir – yönetişimdir. Güven için temel ve hesap verebilirliğin ilk koşulu. Yönetişim inovasyonla başlamaz; Sorgulama ile başlar.
Başka bir modelin performansının üstesinden gelmeden önce şunları sormalıyız:
- Bu sistem neye güveniyor?
- Bağımlılıkları nerede? Onları kim koruyor? Ekstraksiyonlarından kim zarar görüyor?
- Hangi çevresel ve altyapı riskleri yerinden ediliyor?
Ve en önemlisi: gerçek maliyet bu zekanın olduğu iddiasını sürdürmek temiz?
Bir yanıt yazın