Herkes Kursu Yaptı. Kimse Aracı Açmıyor.
Bir keresinde, bir müşterinin yapay zekanın kullanıma sunulması için kursun %96 tamamlanma oranını gösteren bir kontrol panelinden geçtiği bir incelemeye katılmıştım. Herkes başını salladı. Rakamlar yeşildi. Daha sonra operasyonlardan biri, neredeyse bir kenara, oradaki herhangi birinin bu aleti gerçekten kullanıp kullanmadığını sordu. Oda sessizleşti çünkü kimse bunu ölçmemişti ve dürüst cevabın hayır olduğu ortaya çıktı. Tamamlanan bir kurs ile kullanımdaki aracın benimsenmesi arasındaki bu boşluk, hiç kimsenin kontrol paneline koymadığı şeydir. Ve projenin ilgili olduğu tek şey buydu.
Tamamlama, Değişimi Değil, Devamlılığı Ölçer
Spor salonu üyeliği bunu düşünmenin yararlı bir yoludur. Spor salonu size kartınızı geçen ay 11 kez taradığınızı söyleyebilir. Size daha güçlü olup olmadığınızı söyleyemez. Check-in yapmak gerçektir, sayılması kolaydır ve gerçekte kaydolduğunuz şeyle neredeyse tamamen bağlantısı yoktur. Kursun tamamlanması kart taramasıdır. Başarılı bir sınav biraz daha iyidir. İşin yapıldığı yerde herhangi bir şeyin değişip değişmediğini de size söylemez.
Bunun için Donald Kirkpatrick adlı eğitim araştırmacısının dört değerlendirme düzeyi ortaya koyan yararlı bir çerçevesi var. Seviye 1, insanların eğitimi beğenip beğenmediğidir. Seviye 2, bir sınavın kontrol edebileceği materyali öğrenip öğrenmedikleridir. Seviye 3 (davranışın işteyken gerçekten değişip değişmediği) burada önemli olandır ve neredeyse hiç kimsenin ölçemediği seviyedir. Bunun üzerinde de bir 4. seviye var, işin peşinde olduğu gerçek sonuç ve benim izlediğim 3. seviye davranışın nedeni, bunun bu sonuçların öncü göstergesi olması: daha az geri arama, daha az yeniden çalışma, aracın durdurmak için satın alındığı hataların daha az olması. İşteki davranış değiştiğinde, bu kat numaraları da takip eder. Bunu iyi bir şekilde yürütmek için akademik kelime dağarcığına ihtiyacınız yok. Sadece tamamlama ve sınav puanlarının kolay seviyelerde olduğunu ve önemsediğiniz şeyin görülmesinin daha zor olduğu bir seviyede olduğunu bilmeniz yeterlidir.
Evlat Edinme Aslında Nasıl Görünüyor?
Nereye bakacağınızı biliyorsanız davranış değişikliği iz bırakır. Araç, eğitimin bitiminden haftalar sonra, kimseye hatırlatma yapılmadan, amaçlanan iş akışı adımında mı açılıyor? İşçiler konuyu kendi başlarına mı gündeme getiriyor, uç durumları soruyor, nerede yetersiz kaldığını size mi söylüyor? Bu sorular yalnızca bir şeyi gerçekten kullanan kişilerden geliyor. Eğittiğiniz insanlar size aletin nereye düştüğünü söylemeye başladığında, bu bir şikayet gibi gelebilir, ancak gerçekte duyduğunuz şey, aleti kenarlarını bulacak kadar günlerinin içine katlayan insanlardır. Bu evlat edinmenin sesi.
İlk iki haftayı geçen kullanım en çok güvendiğim sinyaldir. Neredeyse her şey antrenmandan hemen sonra bir darbe alır. Sorun, yenilik ve yöneticinin dikkati harekete geçtiğinde eğrinin gerçek bir sayıya mı düzleştiği yoksa sıfıra mı geri döndüğüdür.
Gözetlemeye Dönüştürmeden Enstrümante Edin
Benimsenmeyi ölçmenin yanlış yolu, her tuş vuruşunu kaydetmeye başlamak ve bireysel çalışanları birbirlerine göre takip etmektir. İnsanların izlendiğini hissettiği anda, ölçmeye çalıştığınız şeyi zehirlemiş olursunuz ve kendinize, bu aracı yalnızca birisinin baktığını düşündüklerinde kullanacak bir kat dolusu insan kazandırmış olursunuz.
Toplam sinyaller yeterlidir ve çoğu kimseyi ayırmadan sayılabilir. Aracın doğru iş akışı adımında açılma sıklığı, isme göre değil ekip tarafından sayılır. Aracın kesmesi gereken destek bildirimleri veya geri aramalar aslında çeyrekte bir düşüş eğiliminde. Her ay neyin işe yarayıp neyin yaramadığını soran kısa ve dürüst bir check-in. Birkaç ön saftaki sessiz bir kelime, davranışı vahşi ortamda görüp görmediklerine yol açar. Bunların her biri takım düzeyinde okuyor, asla bireysel düzeyde değil. Herhangi bir kişi hakkında dava dosyası oluşturmaya değil, işin değişip değişmediğini öğrenmeye çalışıyorsunuz. Eliniz ne kadar hafif olursa okuma o kadar doğru olur.
Bu Beklentiyi İş Başlamadan Önce Belirleyin
İşte nişandan sonra değil, öncesinde gerçekleşmesi gereken kısım. Bir alıcı benden yapay zeka eğitimi oluşturmamı istediğinde, tamamlama genellikle bitiş çizgisi olarak kafalarında bulunan sayıdır. Bu yüzden onlara erkenden, teslimatın tamamlanma olmadığını, davranış değişikliğinin önemli olduğunu ve sadece herkesin son teslim tarihine kadar tıklayıp tıklamadığına değil, 60 ve 90 gün sonra sahadaki kullanıma bakacağımızı söylüyorum. Bazı alışkanlıklar o zamana kadar yerleşir ve bazıları daha uzun sürer; bu yüzden bu kontrol noktalarına, son nottan ziyade, benimsenmeye (veya başka türlü) yönelik eğilime ilişkin bir okuma olarak bakıyorum.
Bu konuşma projenin tüm şeklini değiştiriyor çünkü tamamlanmak üzere inşa edilen bir kurs ile kullanılmak üzere inşa edilen bir kurs aynı kurs değil. Birkaç alıcı ilk başta geri adım attı çünkü tamamlama, yukarıya doğru rapor vermeyi bekledikleri sayıdır. Ancak çoğu, bir kez onunla oturduktan sonra, kimsenin dokunmadığı bir aracı saklayan %96'lık bir tamamlanma oranına sahip olmaktansa gerçeği bilmeyi tercih eder. Kullanılan aleti istediler. Onlara başlangıçta tamamlama ve kullanma arasında seçim yapmaları gereken farklı şeyler olduğu söylenmemişti. Ben de onlara söylüyorum ve ilk günden itibaren doğru olanı ölçüyoruz.
Bir yanıt yazın