Denemede Girdi ve Çıktı Metrikleri: Neyin Ölçüleceği Nasıl Seçilir

Yayınlanan: 2022-07-29
Denemede Girdi ve Çıktı Metrikleri - Neyin Ölçüleceği Nasıl Seçilir

Deneme programınız için tanımladığınız ve takip ettiğiniz metrikler inanılmaz derecede önemlidir.

Ne ölçtüğünüz, odak noktanızı belirler. “Ölçemediğin şeyi yönetemezsin” derler.

Ve bu tamamen doğru olsa da (bir tartıya bakmasanız bile kesinlikle kilo verebilirsiniz), yönlü ve pratik olarak doğrudur (bir tartıya bakarsanız kilo vermek çok daha kolaydır).

Denemelerde hangi metriklerin önemli olduğunu düşünmek için çok zaman harcadım.

Daha da önemlisi, hem girdi ölçütlerini hem de çıktı ölçütlerini düşünmek için çok zaman harcadım.

saklamak
  • Girdi ve Çıktı Metrikleri Arasındaki Fark Nedir?
  • Deneme Çıktı Metrikleri
  • Mikro dönüşümler ve Makro dönüşümler (& İzleme Metrikleri)
    • Makro-dönüşümler
      • Dönüşüm oranı metrikleri (her türden)
      • Müşteri değeri metrikleri
    • Mikro dönüşümler
  • Deneme Girdi Metrikleri
    • 1. Deney hızı
    • 2. Kesin oran
    • 3. Kazanma oranı
    • 4. Galibiyet başına ortalama artış
    • 5. Geliştirme zamanı
    • 6. Üretim zamanı
  • Kompozisyon Metrikleri ve Genel Değerlendirme Ölçütü
  • Deneme Hedefleri ve KPI'lar Nasıl Seçilir?
  • Çözüm

Girdi ve Çıktı Metrikleri Arasındaki Fark Nedir?

Girdi metrikleri öncü göstergelerdir, doğrudan kontrol edebileceğiniz şeylerdir. Tipik olarak, çabayı, kaynak tahsisini ve operasyonel verimliliği izlerler.

Girdi metrikleri fikri, çıktı metrikleriyle ilişkili olmalarıdır.

Girdi metrikleri fikri, çıktı metrikleriyle ilişkili olmalarıdır.
Görüntü Kaynağı

Özellikle toplam dönüşüm oranınızın ne olacağını çok doğru bir şekilde tahmin edemeseniz de, kaç deneme yaptığınızı, kazançları üretime itmede ne kadar verimli olduğunuzu ve bir dereceye kadar kazanma oranınızı kolayca kontrol edebilirsiniz. ve ortalama kazanma boyutu vardır.

Bu şeyler, tipik olarak paydaşların önemsediği sayısal iş metrikleri olan çıktı metriklerinizle eşlenebilir ve eşleşmelidir. Deneme için harcadığınız tüm çabanın aslında bir yatırım getirisi perspektifinden karşılığını alıp almadığını gösteren sayılardır.

Çıktı metrikleri iş sonuçlarına odaklandığından, ilk önce bunlardan bahsedeceğim - bunun nedeni, çıktı metriklerinizin girdi metriklerinizi belirlemesi gerektiğidir.

Basitçe ifade etmek gerekirse, işletme için önemli olan çıktı ölçütleriniz ve bu sonuçlara ulaşmak için kontrol edebileceğiniz kaldıraçlar girdi ölçütlerinizdir.

Deneme Çıktı Metrikleri

Çıktı metrikleri, patronunuza gösterdiğiniz şeydir. Deneme programınızın değerine geri dönüyorlar ve genel olarak, pozitif yatırım getirisi ürettiğinizi gösteriyorlar.

Gerçekçi olarak, bir deneme çıktı metriği, ölçebileceğiniz nicel herhangi bir şey olabilir. Çoğu durumda, bu, dönüşüm oranı gibi ayrı veya ikili bir ölçümdür, ancak bazen ziyaretçi başına gelir gibi sürekli bir ölçümdür.

Her durumda, işiniz için değeri en çok temsil eden çıktı metriğinizi eşleştirmek istersiniz.

Deneme metriklerini iki kategoriye ayırmanın en iyi yolu, mikro dönüşümler ve makro dönüşümler (birincil ve ikincil metrikler olarak da bilinir) .

Mikro dönüşümler ve Makro dönüşümler (& İzleme Metrikleri)

A/B test alanındaki ortak tavsiye, makro dönüşümler için optimize etmektir.

Makro dönüşümler, siz ve işiniz tarafından tanımlanmış olsa da, paraya en yakın olanlardır. E-ticarette bu, satın alma veya ziyaretçi başına gelirdir. B2B'de bu, yüksek kaliteli potansiyel müşteri dönüşümleri veya belki de bir freemium yazılımı için ürün kayıtları olabilir.

Durum ne olursa olsun, mikro dönüşümleri doğrudan gelirle eşleyebilirsiniz ve bu nedenle bu deneylerdeki yatırım getirisini ölçmek ve çabayı doğrulamak kolaydır.

Mikro dönüşümler, makro dönüşüme yol açan eylemlerdir ve makro dönüşüm tamamlamalarıyla güçlü bir ilişki kurma eğilimindedir.

Mikro dönüşümler, makro dönüşüme yol açan eylemlerdir.
Görüntü Kaynağı

E-ticarette mikro dönüşümler, sepete ekleme, afiş tıklamaları ve hatta e-posta listesi kayıtları olabilir. B2B'de, fiyatlandırma sayfasına yapılan tıklamalar, CTA tıklamaları veya e-posta listesi kayıtları olabilir.

Ayrıca izleme metrikleri veya korkuluk metrikleri de vardır. Bunlar, iyileştirmeyi amaçlayamayacağınız, ancak zarar vermemeyi amaçladığınız kalite göstergeleridir. Dolayısıyla, bir deneme dönüşüm oranını artırıyor, ancak aynı zamanda ürün iadesini veya geri ödeme oranını da artırıyorsa, bu denemeyi üretime sevk edemezsiniz.

Bazı bariz fay hatları olmasına rağmen, iki kategori arasında evrensel ve nesnel bir ayrım yoktur. Yani, dönüşüm işletmeniz için doğrudan gelir sağlıyor mu?

Burada 18 çıktı metriğini inceleyeceğim ve bunları makro ve mikro dönüşümlere ayıracağım. Sonunda, işletmeniz için doğru çıktı hedeflerini nasıl seçeceğinizi tartışacağız.

Makro-dönüşümler

Dönüşüm oranı metrikleri (her türden)

Dönüşüm oranı en yaygın çıktı ölçümüdür, ancak birçok farklı iş türü için birçok anlama gelebilir.

Temel düzeyde, bu sadece bir deneyimi izleyenlerin oranını artırmaya çalıştığınız ve ardından o deneyimi gördükten sonra istenen bir eylemi tamamlamaya çalıştığınız anlamına gelir.

1. Müşteri adayı dönüşüm oranı

En yaygın dönüşüm oranı türlerinden biri, olası satış dönüşüm oranıdır.

Bu, web sitenize potansiyel müşteri olmak için kaydolan ziyaretçilerin oranıdır. Bir "kurşun" tanımı elbette işinize bağlıdır. Bazı durumlarda, demo talep etmek için kaydolan kişidir.

Bazen işletmeler daha da detaya iner ve yalnızca birinin ürün için uygun olup olmadığını belirlemek için veri zenginleştirmeye veya çeşitli boyutların filtrelenmesine dayanan "nitelikli" müşteri adaylarını sayar.

Diğer işletmeler, bir web seminerine kaydolan veya bir teknik inceleme indiren ziyaretçiler gibi pazarlama nitelikli potansiyel müşterileri sayacaktır.

2. Ürün kayıtları veya satın alma işlemleri

Ürün kayıtları, açık makro dönüşümlerdir. Fiziksel mal satıyorsanız, bu onları satın alan kişidir. Bir freemium SaaS şirketiyseniz, bu, ürününüze ilk kez giren kişidir.

Bunu temel deney KPI'sı olarak izlemeyen bir pazarlama deneme programı hayal etmek zor.

3. Aktivasyon oranı

Ürün denemesine girerken, ürün liderliğinde büyüyen bir şirket için akılda tutulması gereken ilk şeylerden biri aktivasyon oranıdır.

Birisi kaydolduktan sonra, üründe anlamlı olan ve kullanıcının etkileşime geçtiğini gösteren ilk eylem nedir?

Bazı şirketler bunu belirli bir eylem veya eylem sayısıyla eşleştirdi (Facebook'un 7 günde ünlü 7 arkadaşı vardı).

Bu ana tipik olarak, kullanıcının ürünün değerini anlamasına neden olan an veya eylem "aha anı" olarak adlandırılır. Bu an, tipik olarak hem nitel geri bildirim hem de bu eylemi daha uzun elde tutma veya daha iyi para kazanma oranları ile ilişkilendirmeye yönelik nicel yetenek aracılığıyla keşfedilir.

Aha an örneği
Görüntü Kaynağı

4. Para kazanma oranı

Etkinleştirme oranı gibi, para kazanma oranı da çok sayıda freemium kullanıcısı olan veya en azından birkaç artan ürün katmanına sahip ürün liderliğindeki büyüme şirketlerinde yaygın olarak kullanılır.

Freemium modellerinde bu ölçüm ayrıktır – ücretsiz kullanıcı ücretli kullanıcı olma engelini geçer mi, geçmez mi? Diğer modellerde bu ölçüm sürekli olabilir - örneğin, bir şirket AWS gibi kullanıma dayalı olarak ücret alıyorsa, "ücretli" ve "ücretsiz" hesaplar arasında ayrım yapmak kadar basit değildir.

5. E-posta listesi kayıtları

Bu noktada çoğu işletme, e-posta pazarlamasının ve sağlam bir e-posta listesi oluşturmanın değerini anlıyor. Özellikle içerik pazarlamacıları ve blog yazarları için en ilginç makro dönüşüm, okuyucuları e-posta abonelerine dönüştürmek olabilir.

Bunu bir dolar değeriyle boyamak, bazı analiz çalışmaları gerektirecektir, ancak yeterli geçmiş verileriniz varsa, topladığınız belirli bir e-postaya genellikle ortalama bir gelir değeri atayabilirsiniz.

6. E-posta aktivasyon oranı

E-posta etkinleştirme oranı, yetersiz bir pazarlama metriğidir. Birinin e-posta listenize kaydolması, meşgul veya değerli oldukları anlamına gelmez.

Bu, e-posta pazarlamasının "yüksek uygun müşteri adayı" versiyonu gibidir.

Burada "aktivasyonu" istediğiniz gibi tanımlayabilirsiniz, ancak birçoğunda "ilk üç e-postadan biri açıldı" gibi bir şey veya kişinin e-postalarınızı gerçekten okuduğunu ve açtığını göstermenin başka bir yolu bulunur.

Müşteri değeri metrikleri

Müşteri değeri metrikleri tipik olarak sürekli değişkenlerdir ve bu da onları deneme metrikleri olarak kullanmalarını biraz daha zorlaştırır. Ancak neredeyse her zaman gerçek iş değerine en yakın yaklaşımlardır ve işinizin gecikmeli göstergeleri olarak işlev görebilirler.

7. Ziyaretçi başına gelir

Ziyaretçi başına gelir, e-ticaret için en iyi bileşik metriklerden biridir. Herkes bir şey satın almayacak, ama bazıları alacak. Ve satın alanların bir kısmı büyük miktarda ürün satın alacak.

Ziyaretçi başına gelir, her web sitesi ziyaretçisine ortalama bir değer verir, bu nedenle hem satın alma boyutunu hem de satın alan müşterilerin sayısını bu denkleme dahil ediyorsunuz.

8. Ortalama sipariş değeri

Ortalama sipariş değeri, satın alanlar arasında ortalama satın alma boyutunun ne olduğunu hesaplar. Bu, yine doğrudan siteden satın alabileceğiniz e-ticaret web siteleriyle ilgilidir. B2B anlaşmalarında ASP (ortalama satış fiyatı) da olabilir.

Ortalama Sipariş Değeri nasıl hesaplanır
Görüntü Kaynağı

9. Satın alma sayısı

E-ticaret için bir çeşit elde tutma metriği, belirli bir zaman diliminde (ay, çeyrek, yıl) satın alma sayısını takip edebilirsiniz.

Bu, tekrarlanan satın alımları izler ve hem web sitesi özelliklerinin hem de daha fazla tekrar alıcı çekmek için pazarlama kanallarının göstergesidir (genellikle e-posta pazarlaması ve ücretli reklamcılık). Bu, yalnızca satış için değil, aynı zamanda ikinci ve üçüncü satış için de optimize etmeyi amaçlayan bütünsel bir ölçümdür.

10. Tutma

SaaS ürünlerinde, müşteriyi elde tutmak büyümenin anahtarıdır. Binlerce kullanıcıyı kaydolmaya yönlendirebilirsiniz, ancak ödemezlerse ve ödemeye devam ederse, işletmeniz zaman içinde gelir sızdıracaktır.

Pek çok şey ürünün kendisinin ötesinde tutmayı etkilerken, deneyler iğneyi tutma konusunda hareket ettirmeye de yardımcı olabilir. Bir deneme KPI'sı olarak elde tutmayı izlemek, ancak uzun bir geri bildirim döngüsü olduğu için birçok işletme için biraz zor hale gelir.

Facebook videoları tutma grafiği
Görüntü Kaynağı

11. Müşteri yaşam boyu değeri

Son olarak, bileşik metrikler söz konusu olduğunda piramidin mistik tepesi: müşteri yaşam boyu değeri.

Bu, para kazanma veya ortalama satış fiyatı, elde tutma (birinin ödeme yapan bir müşteride ne kadar süre kaldığı) ve ayrıca ortalama dönüşüm oranları gibi önceki tüm metrikleri hesaba katar ve ardından ortalama olarak ne kadar olduğunu tahmin etmek için müşteri yaşam boyu değer formüllerini kullanarak birleşik bir metrik oluşturur, bir müşteri işiniz için değerlidir.

Bu, açıkçası deney bazında ölçülmesi çok zor bir şeydir, ancak bir işletme KPI'sı olarak bunu bilmek önemlidir.

Bu, ürün değerini artırmanın yollarını bulmanızı sağlar ve belirli pazarlama kanallarının ve reklam kampanyalarının ne kadar uygulanabilir olabileceğini gösterir.

Mikro dönüşümler

1. Tıklama oranları (birçok türden)

Tıklama oranı, mikro dönüşümün ana türüdür. Bu, reklamdan açılış sayfasına mı, yoksa açılış sayfasından bir demo sayfası istemeye mi?

E-ticarette, bu genellikle ürün sayfasına tıklama oranı, hatta belki bir 'sepete ekle' eylemi veya alışveriş sepetini görüntüleme olarak izlenir. Bu aynı zamanda e-posta pazarlamacıları için e-posta açma oranları veya e-posta tıklama oranları gibi bir şey olabilir. E-posta pazarlama aracınız, farklı sürümleri A/B test etme yeteneğinin yanı sıra size bu bilgileri kolayca vermelidir.

Tabii ki, bir sonrakine geçmek için bir yerden tıklamanız gerekir, bu nedenle tıklama oranı, daha yüksek satın alma veya dönüşüm hacmi ile ilişkili olmalıdır.

Ancak, deneme KPI'nız olarak yalnızca tıklama oranını izlerseniz, bunu genellikle kopyalama veya UX hilesi yoluyla oynayabilirsiniz.

Lukas Vermeer'in dediği gibi,

TO, otel rezervasyonlarını optimize etmek için korkunçtur (örneğin, "ÜCRETSİZ BİRA" konulu EMK, TO'yu artıracaktır, ancak müşteriler sitenizde bira olmadığını, kesinlikle ücretsiz bira olmadığını anladıklarında muhtemelen satışları azaltacaktır).

Andrew Chen buna niyetin korunması diyor ve A/B test sonuçlarının en üst satıra çevrilmemesinin bir nedeni olduğunu öne sürüyor.

2. Bağlantı tıklamaları

Bağlantı tıklamaları kulağa nasıl geliyorsa öyledir – belirli bir bağlantıyı tıklayan kişi sayısı. Bu, başka bir tıklama oranı metriğidir, ancak belirli işletmeler (yani bağlı kuruluş) için bir giden bağlantıya tıklamak önemli bir niyet göstergesidir.

Çoğunlukla web sitesi kullanıcı davranışını ve optimizasyon fırsatlarını gösterebileceğinden, birlikte çalıştığım web sitelerinde bağlantı tıklama izlemeyi her zaman kurarım.

Ayrıca bazı deneyler, kullanıcı davranışının yönünü değiştirme niyetiyle kurulur (bazen bir makro dönüşümle eşlenir, ancak bazen sadece yeni bir modüle daha fazla tıklama getirip getiremeyeceklerini görürler).

3. Video oynatma

Bir açılış sayfasında bir videonuz varsa, videoyu gerçekten kaç kişinin izlediğini veya oynattığını izlemek önemlidir.

Ancak, yalnızca video eklemenin, videonun kendisini pek çok ziyaretçinin görüntülemesine gerek kalmadan dönüşümleri artırdığı deneyler gördüm. Bu nedenle, bunu izliyorsanız, yine de denemelerinizi sayfadaki makro dönüşümle eşleştirmenizi öneririm.

4. Video tamamlamaları

Videoyu kaç kişinin oynattığı ve insanların videoyu ne kadar izlediği var. Video tamamlama veya video tamamlama oranı, ortalama bir kişinin videoda ne kadar ilerlediğini gösterir.

Yine, bu özellikle eğitim sayfalarında önemli olabilir, ancak yine de potansiyel müşteri dönüşüm oranı gibi daha uygun bir işletme KPI'sı seçmenizi tavsiye ederim. Yine de video tamamlamalarını takip edebilirsiniz ve muhtemelen yapmalısınız, ancak birinin bir videoyu tam olarak izlemesi, dönüşüm sağlama olasılıklarının daha yüksek olduğu anlamına gelmez.

5. Ürün turu görünümleri

Ücretsiz veya ücretsiz deneme planı olmayan birçok B2B şirketi için, sınırlı bir etkileşimli ürün turu, ziyaretçilere ürünün gerçekte nasıl göründüğünü ve nasıl hissettirdiğini göstermenin harika bir yoludur.

İşte Pendo'nun ürün turuna bir örnek:

Pendo'nun ürün turu örneği

Bir KPI olarak, bunu video görüntülemeleri veya herhangi bir tür promosyon modülü görüntülemesi olarak değerlendirmelisiniz. Dönüşüm oranı gibi daha iş merkezli bir KPI ile ilişki kurabilir ve sıklıkla ilişki kurarlar, ancak her zaman yapmazlar. Bu nedenle, bunları izleyin, ancak birincil deneme KPI'sı olarak makro dönüşümünüzü de ölçün.

6. Ürün turu tamamlama oranı

Yine, bir ürün turunu izleyip hemen geri dönenler vardır ve bu ziyaretçiler, bir ürün turunu izleyip tamamlayanlardan farklıdır. Belki ürün turu tamamlama oranları ile dönüşüm oranı arasında bir ilişki vardır, ancak bir korelasyon da olmayabilir.

Ürün turunu kendi içinde bir ürün gibi görüyorsanız, elbette kaç kişinin tamamladığını görmek önemlidir. Bu, ürün turu için iyi bir UX ölçümüdür.

7. Fiyatlandırma sayfası görünümleri

Çoğu B2B alıcısı, müşteri yolculuğunda bu sayfayı ne zaman ziyaret ettikleri önemli olsa da, satın almadan önce fiyatlandırma sayfasını ziyaret edecektir. Pek çok pazarlamacı, mikro dönüşüm olarak fiyatlandırma sayfasına tıklama oranını izleyecektir.

E-ticaret optimizasyonunda bulunan sepete ekle sürümü gibi.

Deneme Girdi Metrikleri

Deneme programınızdaki girdi metrikleri program düzeyinde tanımlanır. Doğrudan geliri takip etmezler, ancak çıktı metriklerinizdeki iyileştirmelerle ilişkili eylemlerdir.

Çoğu durumda, deneme girdi metrikleriniz ya denemelerinizin getirisini artırmaya ya da deneme çalıştırma maliyetini düşürmeye çalışır (artan verimlilik yoluyla).

Burada 6 deneme girdi metriğini inceleyeceğim.

1. Deney hızı

Deney hızı, belirli bir zaman diliminde kaç deney başlattığınızı ölçer.

Genel olarak, YG'nizin temelini oluşturan üç girdi metriği, kaç deneme yaptığınız, bunların yüzde kaçının kazanan olduğu ve ortalama kazancın ne olduğudur.

Basitçe söylemek gerekirse, daha fazla deneme (veya deneme başına daha fazla değişken) çalıştırmak, bir kazanan elde etme şansınızı artırır (kaliteli denemeler olmaları koşuluyla).

Artan deney hızı da bir zorlama işlevi olarak harikadır; geliştirme ve üretim darboğazlarının nerede olduğunu ve ek kaynaklara nerede ihtiyaç duyduğunuzu görmenize yardımcı olur.

2. Kesin oran

Bana göre, bir dizi sonuçsuz deneyden daha cesaret kırıcı bir şey yoktur. Bazen sonuçsuz bir testten ziyade kesin bir kayıp görmeyi tercih ederim, çünkü en azından o zaman test ettiğim şeyin kullanıcı deneyimi için önemli olduğunu ima edebilirim.

Bu nedenle, bazı insanlar kesin oranları, yani çalıştırdığınız tüm deneylerden kesin deneylerin sayısını izlemeye başlıyor.

Programınız daha erken bir aşamadaysa veya çok az öğrenmeyle çok sayıda sonuçsuz deney yapıyor gibi görünüyorsanız, bu, sizi bu rutinden çıkmaya zorlamak için iyi bir ölçüm olabilir.

3. Kazanma oranı

Hepimiz kazanan deneyler yapmak istiyoruz. Deneyin bir kısmı, hepsinin kazanan olmayacağını kabul etmektir (eğer öyle olsaydı, yeni yenilikçi şeyler denemek yerine ne kadar düşük asılı meyve ile uğraştığınızı sorgulamanız gerekir).

Kazanma oranı size, yaptığınız deneylerden kaçının kazanan olduğunu gösterir?

Deneme sayısını artırır ve kazanma oranınızı korursanız, YG'niz artar (daha fazla deneme çalıştırmanın marjinal maliyetleri olduğu varsayılarak). Deneme hızınızı korur, ancak kazanma oranınızı artırırsanız, YG'niz de artar.

Bu, deneme yatırım getirisini iyileştirmede önemli bir kaldıraçtır.

4. Galibiyet başına ortalama artış

Son olarak, yürüttüğünüz kazanan deneylerin kazandıkları ortalama artış nedir?

Bunu kontrol etmek çok zor, çünkü bir deneyin büyüklüğünü tahmin edebilseydik, onu çalıştırmamız gerekmezdi.

Bununla birlikte, izlemesi iyidir, çünkü deneme hızı ve kazanma oranı gibi, deneme programınızın değerinin açık bir öncü göstergesidir.

Ek olarak, daha büyük kazançları teşvik etmek, genellikle pazarlamacıların ve ürün pazarlamacılarının kalıpların dışında düşünmesine ve daha büyük, daha yenilikçi deneyler denemesine yol açabilir.

5. Geliştirme zamanı

Deney sürecimi farklı adımlara bölerim.

Tipik olarak, iş akışı şöyle görünür:

Deney fikri > deney belgesi > tel kafes > tasarım > geliştirme > KG > testi çalıştır > analiz > belge > üretime aktar

Planlama aşamasında her adım için tahmini bitiş tarihleri ​​belirliyorum ve ardından beklenen bitiş tarihi ile gerçekleşen arasındaki deltayı hesaplıyorum. Çok büyük bir fark varsa, bu bana bir süreç darboğazımız olabileceğini gösteriyor.

Çoğu zaman, bu tasarım veya geliştirme aşamasında gelecektir.

Bu aşamaları iyileştirebilirseniz, incelediğimiz temel girdi KPI'larından biri olan deneme veriminizi artırabilirsiniz.

6. Üretim zamanı

Geliştirme süresine benzer şekilde, üretime kadar geçen süre, deneme sürecinin bir aşamasını ölçer: Kazanan bir denemenin analiz edilmesinden üründe veya web sitenizde canlı olarak uygulanmasına kadar geçen süre.

Bu aşama genellikle küçümsenir. Deneyciler bir galibiyeti kutlayacak ve ardından bir sonrakine geçecek, ancak bir şeyi ne kadar hızlı uyguladığınız önemlidir. Birincisi, optimal olmayan bir değişkenle çalıştığınız süre olan pişmanlığı azaltır.

İkinci olarak, bu aşamada iyileştirme, sonraki denemeleri ayarlamak için geliştiriciye daha fazla zaman ayırmanıza olanak tanır.

Kompozisyon Metrikleri ve Genel Değerlendirme Ölçütü

Deneyde genel değerlendirme kriteri olarak bilinen bir kavram vardır. Buna bir Kuzey Yıldızı metriği de denebilir.

genel değerlendirme kriteri
Görüntü Kaynağı

Bu, korkuluk metriklerini hesaba katan bir metriktir (yani, zarar veya kullanıcı deneyimi kayıpları anlamına gelebilecek izlenmesi ve hesaba katılması gereken metrikler). Korkuluk ölçümleri, hemen çıkma oranı, çıkış oranı ve hatta NPS veya CSAT gibi tutum puanları gibi şeyleri içerebilir.

Genel değerlendirme ayrıca bazen birkaç farklı çıktı metriğini tek bir başarı metriğinde birleştirir.

Bu metrikler, tıklamalar gibi neredeyse hiçbir zaman kısa vadeli göstergeler değildir, bunun yerine bazı makro-iş hedeflerini takip eder.

Ronny Kohavi bu örnekleri "satın alınan birimler, gelir, kar, beklenen yaşam boyu değer veya bunların bazı ağırlıklı kombinasyonları" olarak verdi.

Genel bir değerlendirme kriteri oluşturmak arzu edilir olsa da, özellikle iş modeliniz bir pazar yeriyse veya e-ticaretten daha az basit bir şeyse (bu durumda bile, müşteri yaşam boyu değerini takip etmek zor olsa da) genellikle çok fazla veri mühendisliği çalışması gerektirir. deney bazında).

Ancak daha geniş nokta şudur: Tek bir kapsamlı başarı göstergesi oluşturmaya ne kadar yaklaşırsanız – uzun vadeli iş değerini ve aynı zamanda korkuluk ölçütlerini hesaba katan bir gösterge – deneme programınız ve hedefleri o kadar net olacaktır.

Deneme Hedefleri ve KPI'lar Nasıl Seçilir?

Tamam, bir düzine kadar çıktı ölçütü ve birkaç girdi ölçütünü inceledik.

O halde soru, sizin ve işletmenizin neye odaklanacağınızı nasıl seçeceğinizdir - çünkü bu bir * seçimdir ve bu seçimden her türlü teşvik, davranış ve eylem akacaktır.

Metriklerinizi, hedeflerinizi ve KPI'larınızı seçmek için bulduğum en iyi yol bir hedef ağacı oluşturmaktır.

Speero'nun burada harika bir hedef ağacı görselleştirme örneği var:

Speero'nun harika bir hedef ağacı görselleştirme örneği var
Görüntü Kaynağı

İçinde, müşteri memnuniyeti ölçümlerini içeren şirket düzeyinde hedeflerle başlarlar. Bu, başarılı özellik geliştirmeye odaklanan ekip düzeyinde hedeflere akar. Ardından, yeni özellik önerilerini test etmeye ve düşünmeye odaklanan kişisel düzey hedeflerine doğru yavaşlar.

Tüm ekip ve kişisel hedeflerin şirket hedeflerini doğrudan yansıtması ve katkıda bulunması gerektiğine inanıyorum. Bu uyumdur ve şirket hedeflerine katkıda bulunan sonuçlara ulaştığınızda, şirket misyonuna gerçek bir yatırım getirisi gösterdiğiniz için programınız için çok daha fazla heyecan duyacaksınız.

Bunun şirketinizde nasıl görüneceği birçok faktöre bağlıdır. Önemli olan bu alıştırmadan geçmek ve hangi hedefleri seçeceğiniz konusunda eleştirel düşünmektir.

Çözüm

Denemede hedeflerinizi nasıl tanımladığınız, bu hedeflerin hemen hemen tüm işlemlerini etkiler.

Teoride, hem çıktı hem de girdi düzeyinde uygulanabilir bir şekilde izleyebileceğiniz binlerce ölçüm vardır. Yalnızca deneylerinizin veya programınızın etkinliğini izlemek için değil, aynı zamanda ölçmek için de doğru metrikleri seçmek, programınızın başarısı için kritik öneme sahiptir.

Yani gerçekte, olabildiğince az metriğe odaklanmayı seçmeniz gerektiğine inanıyorum. Bu odaklanmaya izin verir, ancak aylar veya yıllar boyunca bunları iyileştirmeniz için size zaman tanır.

Hedeflerimi iki kategoriye ayırmayı seviyorum: girdi ve çıktı ölçütleri. Çıktı metrikleri, bireysel deneylerimi veya deney programımın sonuçlarını değerlendirdiğim şeydir. Takıma ve yöneticilere rapor ettiğim şeyler bunlar.

Girdi metrikleri daha etkili bir program oluşturmama yardımcı oluyor. Kendi çabalarımı ve ekibimin çabalarını değerlendirdiğim şeyler bunlar.

Programınız için deneme metriklerini nasıl tanımlarsınız? Girdi metriklerine mi yoksa sadece çıktılara ve sonuçlara mı odaklanıyorsunuz?