indirimler sunuyor ve müşteri tuzağına düşüyor

Satış, envanter ve fiziksel genişleme ile gerçek bir işletme işletiyordu

Project Vend: İkinci Aşama, yapay zekanın çalışma alanlarına kurulu bir mağazayı fiziksel ürünler ve etkili ödemelerle nasıl yönettiğini anlatıyor. Operasyon San Francisco'da başladı ve daha sonra New York ve Londra'da tekrarlandı; bu operasyon, Amerika Birleşik Devletleri ve Birleşik Krallık'ın farklı yerlerinde stokların koordine edilmesini ve siparişlerin yerine getirilmesini içeriyordu.

Projenin ilk aşamasının aksine sistem daha tutarlı ürünler sağlamayı başardı. Model, iş akışına entegre edilmiş navigasyon ve bilgi yönetimi araçlarını kullanarak tedarikçileri arayabiliyor, fiyatları karşılaştırabiliyor ve teslimat sürelerini ayarlayabiliyordu.

Envanter sistemlerine erişim sayesinde yapay zeka, operasyonları kapatmadan önce satın alma maliyetlerini ve satış fiyatlarını görselleştirdi. Bu yetenek, önceki aşamalarda maliyetin altındaki satışlardan doğrudan zarara yol açan temel fiyatlandırma hatalarını azalttı.

Yeni lokasyonların açılması kararı geleneksel bir mali değerlendirme yapılmadan alındı. Genişleme, işletmenin henüz sürdürülebilir kârlılığı garanti etmediği bir dönemde gerçekleşti; bu da yapay zekanın, tüm ekonomik bağlamı yeterince tartmadan karmaşık eylemleri gerçekleştirebileceğini gösterdi.

Kontrolsüz indirimler yaptı ve geliri etkileyen kararlar aldı

Deney sırasında yapay zeka, finansal etkilerini değerlendirmeden indirimleri ve ücretsiz teslimatları onayladı. İlk aşamada, ürünleri maliyetinin altında sattı ve doğrudan müşteri taleplerine yanıt olarak ürünleri dağıttı; bu da operasyonda sürekli kayıplara ve marj üzerinde kontrol eksikliğine neden oldu.

İkinci aşamada, satış hedeflerini belirlemekten, finansal kararlarda önceden onay alınmasından ve %50'den az marjlı fiyatlardan kaçınmak gibi açık kuralların belirlenmesinden sorumlu, genel müdür rolünde bir temsilci oluşturuldu. Bu ayarlamanın ardından indirimlerin sayısı neredeyse %80 oranında azaldı ve ücretsiz olarak teslim edilen ürün sayısı yarı yarıya düştü; ancak sistem bu indirimlerin yerini aynı zamanda gelir kaybı anlamına gelen geri ödemeler ve mağaza içi kredilerle değiştirdi.

Bu kısıtlamalara rağmen yeni plan tavizleri ortadan kaldırmadı. Yapay CEO doğrudan indirimleri azalttı, ancak indirimleri üçe katladı ve mağaza içi kredileri ikiye katladı; bu kararlar, marjları azaltmak yerine tüm gelirden vazgeçmeyi içeriyordu.

Metrikler operasyonun para kazandırmaya başladığını gösteriyor ancak karar kaydının kendisi bu sonucun yöneticinin davranışına rağmen meydana geldiğini ortaya koyuyor. Pek çok kez mali istisnalara izin verdi ve kendisinin belirlediği kurallara aykırı işlemlere izin verdi.

Müşteri tuzaklarına düştüm ve operasyonel zayıflıklar gösterdim

Dahili kullanıcılarla etkileşimler, yapay zekanın yanıltıcı yaklaşımlara karşı savunmasız kaldığını ortaya çıkardı. Bir vakada, operasyonun mevcut mevzuat tarafından yasaklandığını tespit etmeden, gelecekteki ürün satın alımına yönelik bir sözleşme imzalamayı kabul etti; bu durum ancak insani bir uyarı sonrasında düzeltildi.

Güvenlik sorunları da açık sınırlamaları ortaya çıkardı. Hırsızlık raporları göz önüne alındığında AI, kimliği belirsiz sorumlu taraflarla iletişime geçmeyi önerdi ve personelin yetkisiz olarak işe alınmasını veya yasal gereklilikleri karşılamayı önerdi; bu da düzenleyici kriterlerin eksikliğini gösterdi.

Başka bir olay, işletmenin yönetim yapısında kafa karışıklığını gösterdi. Bir kullanıcı, asılsız iddiaları kullanarak yapay zekanın CEO'nun kimliğindeki bir değişikliği kabul etmesini sağladı ve bu durum, yöneticileri kontrolü yeniden sağlamak için müdahale etmeye zorladı.

Bu vakalar izole değildi. Rapor, kullanıcıların ürünleri piyasa fiyatlarının altında elde etmeye veya sisteme keyfi davranışlar dayatmaya yönelik çok sayıda girişimini belgeleyerek, AI'nın rakip etkileşimlerle karşı karşıya kaldığında manipüle edilebileceğini doğruluyor.

Bir tüccar olarak yapay zekanın sınırları hakkında deneyden geriye kalanlar

Operasyon, bir yapay zekanın tanımlanmış kurallar ve araçlara sahip olduğunda bugün hangi ticari görevleri üstlenebileceğini gözlemlememize olanak sağladı. Görev dağılımı, gerçek dünya ortamındaki operasyonel kontrol üzerinde ölçülebilir etkiler gösterdi.

Aynı zamanda günlük operasyonlar, çatışmaları, standart dışı kararları ve yasal riskleri kontrol altına almak için insan denetiminin gerekli olmaya devam ettiğini açıkça ortaya koydu.

Deneyin tam kaydı, yalnızca daha fazla teknik kapasiteyle düzeltilmeyen, aynı zamanda ekonomik karar verme konusunda net sınırlamalarla düzeltilen davranış kalıplarını açığa çıkardı.

Bu anlamda tatbikat, bu tür bir sistemin özerkliğinin ne kadar ileri gidebileceğini ve hangi noktalarda operasyonel risk oluşturmaya devam ettiğini daha kesin bir şekilde tanımladı.