Kullanım sayısı tek başına yanıltıcı. Benimseme, kalite ve etkiyi birlikte ölçmeyi anlatıyoruz.
"Kaç kişi kullanıyor?" sorusu, kurumsal yapay zekâ programlarında en sık sorulan ama en yetersiz ölçüdür.
Yüksek kullanım, değer üretildiği anlamına gelmez. Doğru ölçüm üç katmanda yapılır.
Üç katmanlı ölçüm
| Katman | Soru | Örnek gösterge |
|---|---|---|
| Benimseme | Kullanılıyor mu? | Aktif kullanıcı oranı |
| Kalite | İyi kullanılıyor mu? | Düzeltme oranı |
| Etki | İş değişti mi? | Süre, maliyet, kalite |
Yalnız birinci katmanı ölçen programlar, bütçe döneminde değer tartışmasına girer ve genelde kaybeder.
Benimseme göstergeleri
- Aktif kullanıcı oranı: erişimi olanların kaçı kullanıyor?
- Kullanım sıklığı: günlük/haftalık/aylık
- Departman dağılımı: nerede yaygın, nerede değil?
- Kullanım derinliği: basit mi karmaşık işler mi?
- Süreklilik: ilk aydan sonra devam ediyor mu?
- Yeni kullanıcı eğilimi
Beşinci madde en öğreticidir: ilk ay yüksek, sonra düşen kullanım "merak edildi ama işe yaramadı" demektir.
Kalite göstergeleri
- Düzeltme oranı: çıktıların kaçı düzeltiliyor?
- Yeniden deneme sayısı: kaç denemede sonuç alınıyor?
- Kaçan hata: sonradan fark edilen yanlışlar
- Politika ihlali sayısı
- Şikâyet ve geri bildirim
Birinci gösterge çok bilgilendiricidir ve iki farklı sorunu işaret edebilir: ya araç yanlış işte kullanılıyor ya kullanıcı yeterli bağlam vermiyor. İkisinin ayrımı, düzeltme türlerine bakılarak yapılır.
Etki göstergeleri
| Alan | Gösterge |
|---|---|
| Zaman | İşlem süresi, kişi başına hacim |
| Kalite | Hata oranı, yeniden çalışma |
| Hız | Yanıt ve çevrim süresi |
| Kapsam | Yapılabilen iş miktarı |
| Maliyet | Birim maliyet |
| Memnuniyet | Çalışan ve müşteri |
Etki ölçümü için başlangıç değeri şarttır; proje öncesinde ölçülmediyse bu katman kapalı kalır.
Maliyet takibi
- Toplam aylık maliyet
- Kullanıcı başına maliyet
- İşlem başına maliyet
- Departman dağılımı
- Bütçe-gerçekleşme
- Kullanılmayan lisanslar
Son satır düzenli temizlenmelidir: açılıp kullanılmayan hesaplar sessizce birikir.
Ölçümü otomatikleştirin
- Araç yönetim panelinden kullanım verisi
- Süreç sistemlerinden çıktı verisi
- Otomatik rapor gönderimi
- Elle toplanacak veriyi en aza indirin
Elle sürdürülen ölçüm, birkaç ay içinde bırakılır. Otomatikleşmeyen gösterge, uzun vadede yoktur.
Nitel geri bildirim
Rakamlar her şeyi anlatmaz. Düzenli olarak sorun:
- Hangi işlerde işe yarıyor?
- Hangi işlerde yaramıyor?
- Ne kadar zaman kazandığınızı düşünüyorsunuz?
- Hangi sorunlarla karşılaştınız?
- Neye ihtiyacınız var?
Kısa bir çeyreklik anket, rakamların açıklamasını verir.
Yanıltıcı ölçümler
| Gösterge | Neden yanıltıcı |
|---|---|
| Toplam sorgu sayısı | Çok deneme, az sonuç olabilir |
| Kullanıcı sayısı | Açık hesap ≠ aktif kullanım |
| Memnuniyet tek başına | Sevilebilir ama etkisiz olabilir |
| Tasarruf tahminleri | Abartılmaya açık |
| Kullanım süresi | Uzun süre verimlilik değil zorlanma olabilir |
Raporlama düzeni
- Aylık: kullanım, maliyet, olaylar
- Çeyreklik: etki göstergeleri, nitel geri bildirim, yol haritası
- Yıllık: toplam değerlendirme, yatırım kararı
Yönetime giden rapor kısa olmalı: kullanım, etki, maliyet, riskler ve sonraki adım.
Ölçümün kendisi de yük olmasın
- Az sayıda gösterge seçin.
- Otomatikleştirin.
- Karar değiştirmeyen göstergeleri kaldırın.
- Kullanıcıdan sürekli veri istemeyin.
Özet
Kullanımı benimseme, kalite ve etki olmak üzere üç katmanda ölçün; yalnız kullanıcı sayısı yanıltıcıdır. Düzeltme oranını temel kalite göstergesi yapın, etki ölçümü için başlangıç değerlerini önceden kaydedin ve ölçümü otomatikleştirin. Çeyreklik nitel geri bildirim, rakamların açıklamasını verir.
Yorumlar (0)
Henüz yorum yok — ilk yorumu siz yazın.
Yorum yaz