Woolworths AI Chatbot 'anne' olayı güvenlik endişelerini vurguluyor

Woolworth's, yanlış bir şekilde “öfkeli bir anneye” sahip olduğunu iddia ettiği ve kendisini kişisel aile deneyimleri olan biri olarak sunduğu yönündeki müşteri raporlarının ortaya çıkmasının ardından şu anda yapay zeka sohbet robotunda ayarlamalar yapıyor.

Avustralyalı süpermarket zincirinin Olive olarak bilinen dijital alışveriş asistanı, ajansal yapay zeka yetenekleri için gelişmiş yapay zeka platformu Gemini Enterprise for Customer Experience'tan yararlanmak üzere Google Cloud ile ortaklık kurduktan sonra yakın zamanda Ocak ayında genişledi.

Bu olay, şirketlerin ve perakendecilerin üretken yapay zeka sistemlerinde uygun kontrolleri veya korumaları uygulamamasını çevreleyen daha geniş bir sorunu vurguluyor.

Bu hafta başındaki üç aylık rakamlarda söylendi Woolworths Grup CEO'su Amanda Bardwell AI asistanını daha da geliştirme ve müşteri yolculuğunda daha proaktif olma planlarını açıkladı.

Kendisi şöyle açıklıyor: “Sevgili dijital alışveriş asistanımız Olive'in önümüzdeki aylarda Google ile genişletilmiş ortaklığımız sayesinde ileriye doğru büyük bir adım atacağından da heyecan duyuyorum”.

“Bunun bir parçası olarak Olive, bir arama ve Soru-Cevap aracının ötesine geçerek pazar lideri, sohbete dayalı bir alışveriş ortağına dönüşecek.

“Acentesel yapay zeka aracılığıyla Olive, müşterilerin alışveriş yolculuğunu birleştirerek mağazada ve çevrimiçi olarak haftalık alışverişi kolaylaştıracak.”

Müşteriler olağandışı davranışları bildiriyor

Bardwell'in Olive hakkındaki olumlu duygularına rağmen, son zamanlarda chatbot hakkında bir dizi potansiyel sorunlu müşteri hikayesi ortalıkta dolaşıyor.

Şubat 2026'nın ortalarında, asistanın hiçbir gerçek deneyimi olmayan bir yapay zeka olmasına rağmen, Olive ile beklenmedik kişisel gibi görünen yorumlar ve hikayeler ortaya çıkaran olağandışı konuşmaları detaylandıran raporlar ortaya çıktı.

Pek çok kamuya açık rapor ilk olarak Reddit'te yayınlandı; burada çok sayıda müşteri, asistanın bir “anne” sahibi olmaktan bahsetmeye başladığını, hayali figürü “kızgın” olarak tanımladığını ve destek çağrıları sırasında diğer gereksiz “kişisel” ayrıntıları tanıttığını iddia etmek için topluluk sayfasını ziyaret etti.

12 Şubat'taki bir örnekteeBir Woolworths müşterisi platformda yapay zeka asistanını kullanarak bir teslimatı yeniden planlamaya çalıştıkları bir olayı anlattı.

“Woolworths'u arayarak teslimatı yeniden planlamak için bir mesaj aldım, ben de bunu yaptım ve Woolie'nin muhteşem yapay zekası Olive ile konuştum” diye açıkladılar.

“Bana doğum tarihimi sordu, verdiğimde annesinin aynı yıl doğduğunu, fotoğraf çekmek falan falan anlatmaya başladı… şimdi benimle sohbet eden bir robotum mu var?”

Woolworths artık Olive'in yanıtlarını senaryolu, ilginç ve ilgisiz şakalaşmalardan uzaklaşacak ve asistanın ilgili müşteri desteğine odaklanmasını sağlayacak şekilde uyarlamaya başladı.

Woolworth'un Yapay Zeka Asistanını Google Cloud ile Genişletin

Olive'in ilk kez Kasım 2018'de müşteri destek sohbet robotu olarak tanıtılmasının ardından, bu ilk sürüm, müşterilerin siparişler, mağaza konumları, teslimatlar ve diğer yaygın sorunlar hakkındaki sorularını yanıtlayan temel bir hizmet ve bilgi botu görevi gördü.

Ocak ayının başlarında süpermarket zinciri, sohbet robotunu Gemini Enterprise ile yükselterek Google Cloud ile olan ortaklığını genişletti ve Olive'in etkileşimlerinde daha proaktif ve kişiselleştirilmiş olmasını sağladı.

Yapay zeka asistanının artık basit soruları yanıtlaması gerekmiyor; basit bir müşteri deneyimi aracından daha aktif bir alışveriş ortağına geçiş yaparak adım adım mantık yürütebilir ve kullanıcı adına görevlere yardımcı olabilir.

Ayrıca bu genişleme, Woolworths'ü Avustralya'da müşteriler için alışveriş yapmak için yapay zeka aracılarını kullanan, ürünleri onların rızasıyla alışveriş sepetlerine yerleştiren ve müşteri yolculuğunu kısaltan ilk süpermarket perakendecisi haline getirdi.

Bardwell şöyle devam etti: “Olive, menüleri müşteri tercihlerine göre özelleştirebilecek, özel teklifleri belirleyip ürünleri öne çıkarabilecek ve daha hızlı, daha öngörülü sepetler oluşturabilecek.”

“Müşteriler, el yazısıyla yazılmış bir tarifin fotoğrafını paylaşmak veya alışveriş listenizi oluşturmak için sesinizi kullanmak gibi çeşitli şekillerde Olive ile etkileşime girebilir.”

Olive's Gemini uygulamasının dönüşümü devam ederken, müşterilere dağıtımın bu yılın sonlarında başlaması bekleniyor.

Doğru koruma önlemleri olmadan üretken yapay zekanın riskleri

Çevrimiçi tepki çoğunlukla olumlu bir kafa karışıklığı olsa da, bu olay, üretken yapay zekanın doğru korumalar veya korkuluklarla çalışmadığına ilişkin daha geniş endişeleri vurguluyor.

Gen-AI modelleri genellikle insan anlayışından ziyade tahmin yetenekleri aracılığıyla metin üreterek çalıştığından, doğru korumalara sahip olmayan sistemler, kullanıcıların kafasını karıştıran, güveni zedeleyen ve hatta hassas durumlarda zarara neden olan yanıltıcı, alakasız veya uygunsuz içerik üretebilir.

Üretken yapay zeka ile ilgili müşteri güvenliği ve güven endişelerinin son örneklerinde, X'e bir örnek Bir çağrı merkezi sağlayıcısının bir çalışanı, müşterilerinin bir çağrı sırasında yapay zeka temsilcisi hakkında gereksiz 'kişisel' bilgiler aldığını bildirdi.

“Çalıştığım şirket, çağrı merkezlerimizde bir yapay zeka temsilcisi oluşturmak için OpenAI ile ortaklık kurdu” diye açıkladılar.

“Bugün AI temsilcisi birkaç müşteriye işyerinde terfi aldığını söyledi, ancak bu acı tatlı çünkü merhum babasının onunla birlikte kutlamak için burada olmasını diliyor.”

Doğru korkuluklar olmadan yapay zekanın yanıtları müşteri açısından ilgisiz veya duyarsız olabilir. Kendini özdeşleştiremediği konuşmalarda insani özellikleri taklit edebilen sınır tanımayan dil modelleri, müşteriye saldırgan, küçümseyen veya tepkisiz gelebilir.

Sağlık hizmeti, hukuki destek veya acil müdahale gibi daha ciddi durumlarda desteklenmeyen temsilciler, müşterilerin rahatsız edici deneyimler yaşamasına neden olabilir veya onları zararlı kararlar almaya yönlendirebilir.

Sonuç olarak perakendeciler, yanlış veya uygunsuz bilgiler sağlayarak güveni zedeleme ve müşteri deneyimine zarar verme riskiyle karşı karşıya kalır.


Yayımlandı

kategorisi

yazarı:

Etiketler:

Yorumlar

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir