Memnuniyet Puanı 4.67 oldukça iyi, değil mi? Sağ?

Yıldız Derecelendirme veya Memnuniyet Puanı: Sayı ne anlama geliyor?

Hayali hikaye. Engelli bireyler için bir ulaşım hizmeti işlettiğinizi düşünün, böylece anlamlı yaşamlar yaşamak için ihtiyaç duydukları yerlere ulaşabilirler. Bu, sınırlı koltuk ve sınırlı bir sürücü havuzuna sahip ortak bir hizmettir. Hatta kullanıcıların sürüşleri planlaması ve izlemesi için bir uygulamanız bile var. Veri odaklısınız, bu nedenle her sürüşten sonra, uygulama kullanıcıları doyurma puanlarına göre bir ila beş yıldız derecelendirme ölçeğinde derecelendirmelerini ister. Bir gösterge paneli oluşturuyorsunuz ve bunu zamanla izliyorsunuz. Ortalama 4.67'ye çıkıyor. Başlangıçta toplam 4.3 hedefi minimum ve 4.6 bir hedef belirlersiniz. Stretch hedefini yendin! Yay. Basit: Her şey sorunsuz çalışıyor çünkü 4.67 memnuniyet puanı oldukça iyi, değil mi? Sağ?

Duruma göre değişir

Bazılarının dediği gibi “şeytan detaylarda”, insanlar karmaşık. İki kişi aynı soruya, aynı bağlama, her şeye bakabilir ve yine de farklı bir yoruma gelebilir. Yapay Zeka'dan (AI) bahsetmiyorum bile. Malzemelerin hepsi orada. Yine de bir şeyler kapalı …

Yani, 4.67 memnuniyet puanı iyi mi? Benimle veriler üzerinde çalışanlar (özellikle anketler ve değerlendirmeler) muhtemelen cevabı zaten duyuyorlar:

Sonucu nasıl yorumladığınıza ve bu konuda ne yapmayı planladığınıza bağlıdır.

Herhangi bir işlem yapmayı planlamıyorsanız, bu oldukça iyi bir sonuçtur. Ama o zaman neden verileri ilk etapta topluyoruz?

4.67 yıldız derecelendirmesi ne anlama geliyor?

Umarım tek bir metriğe dayalı eylemler planlamıyorsunuz (sihirli bir şekilde yıldızlardan sihirli bir şekilde oluşturduğunuz bir şekilde), ancak bu sayının kuruluşunuz için çok şey ifade ettiğini varsayalım. Önce tek soru yaklaşımının artılarına bakalım:

Umursuyorsun.
Müşterileri önemsediğinizi ve tüm sürücülerin belirlediğiniz katı standartlara göre davrandığından emin olun.
Veri topluyorsunuz.
Veri toplamanız, uygulama çalıştığı sürece ölçeklenebilir, tutarlı ve “güvenilir” dir.
Müşterileri uzun anketlerle boğmuyorsunuz.
Tek soru. Her zaman aynı, her zaman sonunda, aynı zamanda, bir yolculuk bittikten hemen sonra. Tutarlılık anahtardır.
Verilerinizi izliyorsunuz.
Sadece tek bir metrik olarak değil, zamanla trend olarak. İyi bir başlangıç!
Verilerinizi bölümlere ayırıyorsunuz.
Araç, rota, sürücü vb. Tarafından ve bir şey olursa hemen harekete geçme planınız var. İyi ki bir veri stratejiniz var.
Karar vermeyi ve sonuçlara göre hareket etmeyi planlıyorsunuz.
Onlara dayanarak anlamlı bir karar vermeden uzun vadede kaç pano öldüğü hakkında hiçbir fikriniz yok.

Bu yaklaşımda ne yanlış gidebilir?

Oh, detaylar … ayrıntılara girmeden önce bir deneyle başlayalım. Nerede olursanız olun, bu makaleyi okuyun, şu anda: “iyi” kelimesini yüksek sesle söyleyin. Sadece kelimeyi söyle. Umarım biraz endişe yaratmamışsınızdır. Şimdi, cevabın aynı kelimenin “iyi” olduğu aşağıdaki senaryoları hayal edin. Etrafınızdaki insanları gerçekten eğlendirmek istemediğiniz sürece yüksek sesle söylemenize gerek yok.

a) Sıkılmış anne senaryosu
Annenden gelen üç cevaptan sonra, sonunda telefonu alırsınız, “Nasılsın?” – İyi.

b) Yönetici Korkak Senaryosu
Yöneticiniz sizden beklenmedik bir şekilde ofisine (veya hızlı bire bir sanal çağrı) gelmenizi ister ve soruyu öne çıkarır: “Nasılsın?” – İyi (?)

c) Aramanız ABD senaryosu için önemlidir
Müşteri hizmetleri ile 3 transfer ve 45 dakika beklemeden sonra, dördüncü departman acentesi nihayet çağrıyı cevaplar. Sıkışan bir coşku ile ajan konvoyu açar: “Nasılsın?” – İyi!

Bağlam ve algılama meselesi

Bu deneyin memnuniyet anketleriyle ne ilgisi var? Bağlam ve algılama meselesi! Size soruyu soran, size soruyu sorduklarında, size soruyu nasıl sordukları, size soruyu ne sıklıkla sordukları … tüm detaylar önemlidir.

Cevabınız aynı olabilir, ancak bununla kastettiğiniz şey olmayabilir. Birisiyle doğrudan sohbet ettiğinizde, tonunuzu, vücut dilinizi vb. Okuyabilirler. Ancak, bir anket sorusu göndermek farklıdır. Bağlamı kaybediyorsun. Ne ölçtüğünüzü ölçtüğünüzden emin misiniz? Verilerinizin güvenilir olduğundan emin misiniz? “İçgörülerinizin” doğru olduğundan emin misiniz? Bamm, dikkate alınması gereken çok şey var!

Veri okuryazarlığı atölyelerimde, bu potansiyel sorunları toplu olarak BAMM (önyargılar, varsayımlar, mitler ve yanlış anlamalar) olarak adlandırıyorum.
Bamm'ed'e geldiğinizde uçtan uca nelerin yanlış gidebileceğine dair bazı ayrıntılar:

Bağlam eksikliği
Bir gündeminiz ve bir hedefiniz var. Ancak, bağlamı açıklamak çok zaman alacaktır, bu yüzden sadece bir soruda özetlersiniz. Tüm bağlam kafanızda kalır. Kağıt üzerinde, yorum için tek bir cümle.
Seçim yanlılığı
Kitlenize karar vermeniz gerekir. Herkes? Her zaman? Örnek? Anonim, sözde anonim, kullanıcı kimliklerini izleme? Bu, karışımda veri gizliliği ve veri güvenliği getirir.
Yanılgılar ve yanlış yorumlar
Daha sonra kullandığınız tam kelimelere karar vermeniz gerekir. Her. Bekar. Kelime. Önemlidir. (Hiç pazarlama, yasal, ürün, İK vb.
Veri Sınıflandırma Yanılgıları
Ne tür verileri topladığınıza karar vermeniz gerekir. Soracağınız soru türü veri türünü belirleyecektir (burada veri sınıflandırmasına girmeyecek, ancak yapmalısınız). Doğru mu yanlış mı? Likert Ölçeği? Kaydırıcı? Tek seçici mi? Çoklu seçici mi? Matrix? Açık metin? Kombinasyon?
Anketin zamanlaması
Son olarak, bir soruya ve türe iniyorsunuz. Bu soruyu kim alacak? Ne zaman? Nasıl?
Geçerlilik sorunları
Hikayemizde, soruyu uygulamaya, sürücüye odaklanarak bir sürüş bittikten hemen sonra eklemeye karar verirler. Veriler bir amaç için geçerli olabilir, ancak başka bir amaç için geçerli olabilir. Örneğin, tercihler hakkında bir konuşma yapmak için disk harflerini kullanmak iyidir, ancak insanları işlere güvercin deliği için kullanılmamalıdır.
Yorumlama ve bağlam
Müşteri soruyu alır. “İyi” deneyi hatırlıyor musunuz? Müşterinin soruyu cevapladığı bağlam önemlidir, ancak bu konuda hiçbir şey bilmeyeceksiniz çünkü elde ettiğiniz tek şey yıldız sayısıdır. Yıldızlar, aslında sorduğunuz şeyle ilgisi olmayan duyguları yakalayabilir.
Önyargılar
Bilinçli ve bilinçsiz faktörler, müşterilerin nasıl tepki vermesine müdahale edebilir. Örneğin, yol öfkeleri genellikle geçmiş deneyimlere yönelik dürtüsel tepkilerdir.
Yüklü Sorular
Her. Kelime. Önemlidir. Yüklü sorular için yüklü cevaplar alırsınız. Örneğin, soruyu “Bize Müşteri Hizmetleri Temsilcimizin Ne Kadar Harika Hakkında Anlatın …” gibi olumlu kelimelerle ifade etmek cevabı etkileyebilir.
Belirsizlik
Bir yıldız ve iki başlangıç nedir? Müşteri yıldız sayısını seçer. Zihninizde, her yıldızla ilişkili bir bağlam var. Biri bir showstopper ve hemen müdahale gerektirir. Beş harika bir deneyim. Yine, aklınızda. Asla bir veya beş vermeyen insanları tanıyorum. Bunu aşırı olaylar için ayırıyorlar.
Veri manipülasyonu
Verileri alırsınız. Ancak artık yıldızlardan bahsetmiyoruz. Beş yıldızlı derecelendirmeleri, bir ila beş kişilik pürüzsüz bir ölçek varsayarak sayılara dönüştürürsünüz. Dörtten beşe çıkacak üç ila dört arasında almak gerçekten aynı mı? Teknik olarak, bir yuvarlama hatası getirdiniz. Verilerinizi sürekli bir ila beş aralık olarak ele alırsanız, ancak müşterilerin herhangi bir numara seçmesine izin vermezseniz, sonuçlarını tam sayılara yuvarlarsınız.
Yuvarlak değerleri kullanmak
Ortalamayı hesaplarsınız. Yuvarlama iyidir, ancak daha fazla hesaplamalar için yuvarlak değerler kullanmaya dikkat etmelisiniz. Temel olarak, müşterileri bir tam sayı seçmeye zorluyorsunuz, ancak ikinci basamakların ortalama olarak önemli olduğunu iddia ediyor musunuz? Ayrıca, ortalama mı olacak? Medyan? Dağıtıma bakacak mısınız? Aykırı? Verilerinizin şekli? Ya da sadece düz, tek sayı.

Ve liste devam edebilir …

Başka hangi önyargılar müdahale edebilir?

Uygulamanız, sürüşün sonunda memnuniyet puanı sorusunu ortaya koyuyor. Bu potansiyel olarak hayatta kalma yanlılığına yol açabilir, çünkü sadece bir yolculuk olduğunda geri bildirim alacaksınız. Ya iptaller? Bir sürüşü iptal etmek zorunda kaldıklarında müşterilerinizin ne kadar memnun olduklarını bilmek istemez misiniz?

Genel olarak, insanlar memnuniyet puanlarında gerçekte hissettiklerinden daha olumlu yanıtlar verme eğilimindedir. Bu faktörlerin bir kombinasyonu olabilir. Sosyal beklentiler, hizmeti korumak isteyen, çünkü alternatif olmadığı için, beklendiğini düşündükleri cevabı seçmek vs. nasıl hissettiklerini vb. Birden fazla sorunuz varsa, soruların sırası müdahale edebilir. İlk cevap gerisini “demirleyebilir”. Seçeneklerin sırası da sorunlu olabilir. Önyargıları azaltmanın yolları vardır, ancak sadece potansiyel varlıklarının farkındaysanız ve önceden bir planınız varsa.

Önyargıları azaltmak için sorunuzu nasıl geliştirebilirsiniz?

Bir yaklaşım, cevap tercih edilmediğinde koşullu bir açık metin sağlamaktır. Bunu tek bir soru ile yaparsanız, müşterilerin seçimlerini genişletmelerine yardımcı olabilir, sadece isteğe bağlı olduğundan emin olun. Şimdi çalışmanız gereken hem nicel hem de nitel verilere sahipsiniz. Daha nüanslı.

Ancak, bir ankette aynı yöntemi kullanarak birden fazla sorunuz varsa, anketin süresini uzattığı için potansiyel olarak can sıkıcı olarak algılanabilir. İnsanlar anketleri zaten sevmiyorlar, bu yüzden sizi uzunlukta “aldattığınızı” algıladıklarında çirkin olabilir.

4.67 hakkında son kelime

Hikayemize geri dön. 4.67'yi sürüş ile genel memnuniyet puanı olarak yorumlamak yanıltıcı olabilir. Her zaman ölçmeyi amaçladığınızı ölçtüğünüzden emin olun ve yaratıldığı amaç için eyleme geçirilebilir bilgiler sağlar. Sürücüyü sorarsanız, veriler sürücünün kendisi ile ilgili değil sürücü hakkındadır. Şahsen, öğrenme anketleri için, Will Thalheimer'ın yaklaşımını kullanmanın, yukarıda belirtilen bu faktörlerin çoğunu hafifleten daha eyleme geçirilebilir ve anlamlı veriler sağlayabileceğini gördüm. [1].

Referanslar:

[1] Will Thalheimer ile Öğrenci Anketleri ve Öğrenme Etkinliği

Başlangıçta www.linkedin.com adresinde yayınlanmıştır.