Bir müşterinin chatbotunuza parasının Cuma gününe kadar ulaşıp ulaşmayacağını sorduğunu hayal edin. Bot olasılıkları hesaplar ve bunun 'olası' olduğuna dair yanıtları verir.
Bot için “olası” %80 istatistiksel şans anlamına gelebilir. Ancak ilgili müşteriye “muhtemelen” ifadesi genellikle yumuşak bir “evet” gibi gelir. Geri ödeme yapılmazsa müşteri, botun istatistiksel bir hata yaptığını düşünmez. Yanıltılmış hissediyorlar.
Bu senaryo, sohbet robotlarının dilindeki incelikli bir riskin altını çiziyor. Halüsinasyonlar ya da yanlış cevaplarla ilgili değil. Tahmin belirsizliği ile ilgilidir.
Yeni araştırmalar, Büyük Dil Modelleri (LLM'ler) ve insanların olasılık sözcüklerini çok farklı yorumladığını gösteriyor. Müşteri Deneyimi liderleri için bu “çeviri açığı” güveni zedeleyebilecek potansiyel bir sürtüşme noktasını temsil ediyor.
Yanlış anlamaların matematiği
Sorunun özü kelimelere sayıları atama şeklimizde yatıyor. “Büyük Dil Modellerinde Tahmin Belirsizliğinin Değerlendirilmesi” başlıklı yeni bir çalışma bu dinamikleri inceledi. Araştırmacılar, yüksek lisans öğrencilerinin olasılık sözcüklerini nasıl yorumladıklarını insan kıyaslamalarıyla karşılaştırdılar.
Sonuçlar açık bir uyumsuzluğu ortaya çıkardı.
Bir insan 'olası' kelimesini duyduğunda, bunu dahili olarak %65'lik bir şansa göre ayarlayabilir. Ancak çalışma, Yüksek Lisans'ların aynı terime genellikle %80'in üzerinde önemli ölçüde daha yüksek bir olasılık atayabildiğini öne sürüyor.
Bu fark matematiksel olarak küçük görünebilir. Ancak müşteri hizmetleri bağlamında bu potansiyel olarak çok büyüktür. Bu, beklentileri yönetmek ile müşteriyi hayal kırıklığına hazırlamak arasındaki fark anlamına gelebilir.
Otomatik aracınız belirsiz sonuçları tanımlamak için kendinden emin bir dil kullanıyorsa, aşırı vaatlerde bulunma riski vardır. Bot yalan söylemez. Bu sadece müşterinizden farklı bir istatistiksel lehçeyi konuşmaktır.
Mayank Kejriwal, Güney Carolina Üniversitesi'nde araştırma doçenti Araştırmayı Fortune'daki bir makalede özetlemektedir:
“Bir yapay zeka modeli 'olası' kelimesini %80'lik bir olasılığı temsil etmek için kullanabilirken, insan bir okuyucu genellikle bunu %65'e yakın olarak yorumlayacaktır.”
Bağlam her şeyi değiştirir
Bağlamı hesaba kattığınızda risk daha karmaşık hale gelir. Araştırma, Yüksek Lisans'ların bir istemin ifade ediliş biçimine çok duyarlı olduğunu gösteriyor.
Bilgi isteminin dilini veya sorunun ifadesini değiştirmek, botun olasılık tahminini değiştirebilir. Bir bot, finansal bağlamda “muhtemelen” kelimesini sıradan bir sohbete göre farklı yorumlayabilir.
Bu değişkenlik, konuşma tasarımcılarının tutarlı bir deneyim sağlamasını zorlaştırıyor. Bir insan temsilci, bir banka müşterisine paranın “muhtemelen” serbest bırakılacağını söylemenin, müşteriye bu gömleğin “muhtemelen” uyacağını söylemekten daha fazla ağırlık taşıdığını bilir.
Bir Yüksek Lisans öğrencisi, katı korkuluklar olmadan bu duygusal ağırlığı sezgisel olarak anlayamayabilir.
CX için 'güvenli sözcükler' listesi
Bu araştırma, üretken yapay zekanın fişini çekmemiz gerektiği anlamına gelmiyor. Bu, temsilcilerimizin kullanmasına izin verdiğimiz kelime dağarcığı konusunda daha bilinçli olmamız gerektiği anlamına geliyor.
Müşteri Deneyimi liderleri, sistem istemlerinde “belirsiz” dil olup olmadığını kontrol etmeyi düşünmelidir.
Bağlantısız sıfatlardan kaçının. 'Belki', 'belki' ve 'muhtemelen' gibi kelimeler yoruma açıktır. Gündelik konuşmalar için güvenlidirler ancak ticari vaatler için tehlikelidirler.
Titreşimleri değil verileri kullanın. Bot'a “teslimatın yakında beklendiğini” söylemek yerine, belirli bir pencereyi belirtmesi talimatını verin. “Teslimatın öğleden sonra 14:00 ile 16:00 arasında olduğu tahmin ediliyor” ifadesi çok daha güvenlidir.
Metnin üstündeki resim. Mümkün olduğunda görsel güvenilirlik ölçümlerini veya durum çubuklarını kullanın. Yeşil bir “Yüksek Olasılık” rozeti, kullanıcı için genellikle bahislerini korumaya çalışan bir paragraflık metinden daha anlaşılırdır.
Güven için kalibre edin
Yapay zekanın CX'teki hedefi çabayı azaltmak ve memnuniyeti artırmaktır. Hassasiyet bu denklemin önemli bir parçasıdır.
Yapay zekanın gerçekleri yanlış yorumlayacağından endişe ederek çok zaman harcıyoruz. Doğru şekilde kullanıldığından emin olmak için aynı miktarda zaman harcamalıyız nüans Sağ.
Bu kalibrasyon boşluğunu göz ardı edersek bir paradoks riskiyle karşı karşıya kalırız. Teknik olarak doğru olan ancak yine de müşterilerin yanıltılmış hissetmesine neden olan botlar oluşturabiliriz.
Kaynaklar: Büyük dil modellerinde tahmin belirsizliğinin değerlendirilmesi
Sohbete katılın: LinkedIn topluluğumuza katılın (40.000'den fazla üye): https://www.linkedin.com/groups/1951190/ Haftalık özeti alın: Bültenimize abone olun: http://cxtoday.com/sign-up
Bir yanıt yazın