Doğruluk, verimlilik ve dönüştürücü sonuçlar vaat eden yapay zeka sağlayıcılarının sıkıntısı yok.
Herhangi bir iletişim merkezi konferans salonuna gittiğinizde aynı ifadelerin yalnızca küçük değişikliklerle tekrarlandığını duyacaksınız.
Sık sık tekrarlanan bu vaatlerin başında yapay zekanın Üç Silahşörlerinin faydaları geliyor:
Ancak yine de önemli sayıda kurumsal müşteri deneyimi ekibi hâlâ bu vaatleri pratikte anlamlı bir şeye dönüştürmekte zorlanıyor.
Giderek artan bir şekilde sorun, hangi yapay zekayı satın aldığınızla ilgili değil; Yapay zekanın nasıl inşa edildiğiyle ilgili.
Günümüzde dolaşımdaki çoğu CX AI aracı, genel büyük dil modelleri (LLM'ler) ve kullanıma hazır otomatik konuşma tanıma (ASR) bileşenlerinden oluşur.
İletişim merkezleri düşünülerek inşa edilmediler; gürültülü konuşma sesleri, örtüşen konuşmalar veya sigorta, finans veya perakende ortamlarında vardiya başına onlarca kez ortaya çıkan sektöre özgü kelime dağarcığı konusunda eğitilmemişlerdi; ve üretime girdiklerinde çatlaklar ortaya çıkmaya başlıyor.
“Bir demo genellikle kontrollü bir ortamda çalışır; prodüksiyon sırasında ise çağrı merkezi katından gelen arka plan gürültüsü, zayıf mobil bağlantılar ve her iki tarafın aynı anda konuştuğu çapraz konuşma ile uğraşmanız gerekir. Bu gerçek koşullara karşı stres testleri yapıyoruz''Evet Théo Deschamps-Berger, Diabolocom'da makine öğrenimi araştırma mühendisi.
“Genel modeller temiz, kontrollü veri kümeleri üzerinde eğitilir. Gerçek iletişim merkezleri bunların hiçbiri değildir.”
Eğitim ortamı ile iletişim merkezi arasındaki bu eşitsizlik açıkça bir sorundur.
Tedarikçi sunumunda harika görünen ancak gerçeklikle temasa geçemeyen doğruluk rakamları yerine yapay zeka kalitesini, operasyonel performansı gerçekten yansıtacak şekilde nasıl değerlendirirsiniz?
Kullandığınız istatistikler size yalan söylüyor olabilir
Kelime Hata Oranı veya WER, uzun süredir transkripsiyon kalitesini ölçmek için standart olmuştur.
Ve, her araf dansçısının size söyleyeceği gibi, daha alçak olan daha iyidir.
Bu yeterince basit gibi görünse de, CX ortamlarında yapay zeka kalitesinin tek ölçüsü olarak eksik bir hikaye anlatıyor.
Bir model WER'de iyi puan alabilir ancak yine de müşteri adını, politika numarasını veya ürün kimliğini (aşağı yöndeki herhangi bir sürecin düzgün çalışması için CRM'ye düzgün bir şekilde akması gereken kesin veri noktaları) doğru bir şekilde yakalayamayabilir.
Deschamps-Berger'e göre WER gibi metrikler hakkında düşünmenin en iyi yolu “bitiş çizgisi değil, başlangıç noktası olarak düşünmektir.”
“Önemsediğimiz şey, modelin işletme için gerçekten önemli olan varlıkları (isimler, telefon numaraları ve hesap kimlikleri) güvenilir bir şekilde tanıyıp tanıyamayacağıdır. Bu, bir görüşmeden çıkan verilerin üzerinde işlem yapılabilir olup olmadığını belirler.”
Doğruluk ve kullanılabilirlik arasındaki fark budur. Bir yapay zeka sistemi teknik olarak doğru olabilir ve yine de kurtardığından daha fazla manuel çalışma gerektiren çıktılar üretebilir; bu da muhtemelen hiç yapay zeka olmamasından daha kötüdür.
Bir iletişim merkezinde yapay zeka kalitesini gerçekten belirleyen beş şey
Diabolocom'un araştırma ekibi, yapay zeka kalitesini değerlendirmek için standart kriterlerin ötesine geçen ve iletişim merkezi operasyonlarının gerçekte neyi gerektirdiğini yansıtan beş sütun etrafında inşa edilen bir çerçeve geliştirdi:
- Varlık tanıma doğruluğu
İsimler, telefon numaraları, şirket isimleri ve müşteri tanımlayıcıları; bunlar eksiksiz bir CRM kaydının yapı taşlarıdır.
ASR modelleri bunları kaçırırsa veya bozarsa, veri kalitesi üzerindeki aşağı yöndeki etki önemli olur.
- Sağlamlık
Gerçek dünyadaki arama ortamları nadiren temizdir. Arka plan gürültüsü, çapraz konuşma ve zayıf ses bağlantıları günlük hayatın gerçekleridir ve modellerin tüm bu alanlarda tutarlı performans göstermesi gerekir.
- Gecikme ve işlem hızı
Diabolocom her ikisini de RTFX olarak ölçüyor ve yapay zekanın canlı konuşmalara ayak uydurup ayak uyduramayacağını belirliyor.
Gerçek zamanlı olarak çalışamayan bir model, çağrı üzerine yardım veya canlı transkripsiyon kullanım durumları açısından büyük ölçüde önemsizdir.
- Etki alanı özelleştirmesi
Bu, kullanıma hazır yapay zekadaki en kalıcı hata noktalarından birini ele alır. Bir sigorta şirketinin telefonları, genel bir modelin karşılaşmayacağı terminolojiyle doludur.
Deschamps-Berger, “Öncelikle modeli belirli bir sektörün spesifik dilini tanıyacak şekilde ayarlıyoruz” diye açıklıyor. “Bu olmadan, uzman kelime dağarcığı konuşmaya girdiğinde transkripsiyonun kalitesi keskin bir şekilde düşüyor.”
- Gerçek dünya senaryolarının değerlendirilmesi
Diabolocom, ideal laboratuvar koşulları yerine gerçek iletişim merkezi sesini kullanarak kıyaslamalarını oluşturur ve test eder.
Gerçek CX iş akışlarıyla ölçülen performans, bir modelin yayına girdikten sonra nasıl davranacağına dair çok daha güvenilir bir resim sağlar.
Şirket içi araştırmalar yatırım getirisi denklemini neden değiştiriyor?
sorusu Yapay zekanın yatırım getirisi sağlayıp sağlamadığı çoğu zaman daha temel bir soruya gelir: Onu kim kontrol ediyor?
Modeller, CX'e özel bir odaklanma olmadan harici bir satıcı tarafından oluşturulduğunda ve bakımı yapıldığında, iyileştirme yavaş olur, geri bildirim döngüleri zayıf olur ve özelleştirme sınırlıdır.
Belirli iş akışlarına ve kalite standartlarına sahip kurumsal ekipler için bu bağımlılık bir tavan oluşturur.
Diabolocom'un dahili yapay zeka araştırma ekibi farklı bir yaklaşım benimsiyor. Modeller, üretimden gelen geri bildirimlere dayalı olarak sürekli olarak geliştirilir, kalıpların okunması yerine gerçek anlayışın doğrulanması için görünmeyen varlıklara karşı test edilir ve gerçek uygulamayı yansıtan koşullar altında kıyaslanır.
Deschamps-Berger'e göre görünmez varlıklar üzerindeki testler özellikle önemlidir:
“Modellerimizi, yeni adresler veya bilinmeyen ürün adları gibi daha önce hiç görmedikleri varlıklar üzerinde test ediyoruz. Doğruluk azalırsa, bu, modelin öğrenmek yerine ezberlediği anlamına gelir ve müşteri yeni bir şey tanıttığında muhtemelen başarısız olur.”
Operasyonel fayda, daha temiz CRM verileri, manuel düzeltmeye daha az zaman harcanması ve temsilci etkileşimlerinde daha tutarlı performanstır.
Yapay zeka yatırım getirisini yönetim kurullarına kanıtlamak isteyen kurumsal müşteri deneyimi liderleri için bunlar, konuşmayı ileriye taşıyacak rakamlardır.
Bir noktada endüstrinin manşetteki iddiaların ötesine geçmesi ve yapay zekayı gerçek iletişim merkezi koşullarında, gerçek iş akışlarına, gerçek verilere ve gerçek kısıtlamalara göre nasıl performans gösterdiğine göre değerlendirmeye başlaması gerekiyor.
Model yalnızca onu oluşturan araştırma kadar iyidir.
Yapay zeka çözümlerinizi etkili bir şekilde nasıl ölçeceğiniz hakkında daha fazla bilgi edinebilirsiniz: bu röportaja göz atın ile ilgili Diabolocom'un yapay zeka ürünü başkanı, Remi Guinier.
Ayrıca Diabolocom'un yapay zeka yetenekleri ve iletişim merkezi çözümleri hakkında daha fazla bilgiyi şu adreste bulabilirsiniz: diabolocom.com.
Bir yanıt yazın