A/B Testi Metriklerini (Tamamen) Anlamak için Adım Adım Jargon Yok Kılavuzu

Harika içerik bir kişi tarafından oluşturulmaz. Bu kılavuzu mümkün kılan uzmanlara “merhaba” deyin. 80 yılı aşkın deney ve A/B testi deneyimi -dakika oku.

Alex Birkett

Ben Labay

Curtis Stanier

Deborah O' Malley

Erik Bernhardsson

Justin Christianson

Azami Bradley

Sumantha Shankaranarayana

Tim Mehta

A/B testi ölçümlerini anlamaya çalışmak, aşırı karmaşık tanımlar, teknik jargon ve hiç bitmeyen uzman "görüşleri" ile bir tavşan deliğine girmeye benzer.

İnternette değerli bir şey bulmaya çalışırken birden fazla bıkkın içini çektiysen seni suçlamıyoruz.

Deneyler yapmak istediğinize ikna olmuş olsanız bile, bilenler kapı bekçiliği bilgisiymiş gibi gelebilir.

Ama bunu değiştirmeye kararlıyız. Deney herkes içindir ve bunun sonunda buna da inanacaksınız.

Denemeye Başlamakla İlgili Acı Bir Gerçek

Metriklerin farklı merceklerden nasıl görüntülendiğine dalacağız, ancak önce temize çıkmamız gerekiyor.

Muhtemelen şu ifadeyi daha önce duymuşsunuzdur: "A/B testinde kayıp yoktur - sadece öğrenme."

Bu kısmen doğrudur.

Sonuçsuz (düz) testler ve hatta kayıplar, hedef kitleniz için neyin işe yaramadığına dair net bir fikir edinmenize yardımcı olabilir. Ancak deneme programını oluşturuyorsanız ve henüz C-suite katılımınız yoksa, bazı zorlu sularda gezinmeye hazır olun. Çanta iplerini elinde tutanların, önemli bir eğitim olmadan “öğrenmeler” hakkında ezoterik tartışmalar yapmaktan özellikle mutlu olmayacaklarını anlayın.

Onaylarını almak için önce hızlı ve somut kazançlar göstermeniz gerekecek . Yöneticilerinizin liderliğe rapor edebileceği A/B testi sonuçları, büyük ölçüde akademik bilimsel deney yönteminin gerçekten de bir iş kadar pratik bir şeyi ileriye taşıyabileceğine biraz inanç gösterirler.

Ve bunu yapmanın en kolay yolu?

En düşük asılı meyvenin peşinden gidin: Anlaşmaları veya satın almaları etkilemeye makul ölçüde yakın olan bir kullanıcı deneyiminde dönüşüm oranını artırın. Diyelim ki, verilen siparişlerde (test sonucunuzda belirtildiği gibi) doğrudan 1000 birimlik bir artış, dolara ve kâra dönüştürmek kolaydır.

Bu raporu bir yönetim kurulu toplantısına getirdiğinizde, oda heyecanla dolup taşar - başka bir "edinme kanalı", yani CRO'yu keşfetmekten gelen türden.

Ancak çeyrek, vaat edilen yükselişi görmeden gelip gidecek. Sizi işin geleceği olarak selamlayan yöneticiler büyük bir hayal kırıklığına uğrayacak. Bütçe kesintileri takip edecek. Ve yukarıdan biri (*öksürük*, düzeltilemez HiPPO *öksürük*), deneylerin zamana direnmiş reklamlar ve olaylar gibi geleneksel kanalların asla önüne geçemeyeceğine dair biraz saçma sapan şeyler saçacak.

[HiPPO = Fikri Olan En Yüksek Ücretli Kişi]

Az önce ne olduğunu gördün mü? Tünel vizyonunuzu etkinleştirerek, deneyi sadece CRO olmaya havale ettiniz - masada kalan parayı geri almak için (neredeyse) yeni bir satın alma kanalı olarak görülen bir şey. Ve bununla birlikte? Ona eşlik etme eğiliminde olan tüm büyük iddialar, dolandırıcılıklar ve tuzaklar.

A/B Test Metriklerini Görüntülemenin Farklı Yolları

Deney bir makinedir. Ancak çoğu insan, nasıl çalıştığına dair kusurlu bir anlayışa sahiptir.

Girdinin iş sorunları olduğunu ve çıktının istatistiksel olarak anlamlı geçerli iş çözümleri olduğunu düşünüyorlar. Ve bu ideal büyük resim olabilir.

Yakınlaştırıldığında, deney makinesi, öğrenmeyi ve bilimsel süreç üzerinde harcanan çabayı girdi olarak kabul eder ve çıktı olarak program ölçümlerini verir.

Ancak burada büyük bir IF var: Çıktının nihayetinde beklenen ve istenen sonuçları vermesi için deney programının kalitesi çok önemlidir.

Yalnızca deneme kalitesini saplantı haline getirdiğinizde, tüm işletmelerin çözmek istediği büyük büyüme ve verimlilik sorunlarının iğnesini hareket ettirebilecek bir sonuç görme şansınız daha yüksek olacaktır.

Oraya ulaşmanın yolu, sonuçları bir kaide üzerine koymayan bir metrik stratejisine sahip olmaktır.

Bunun yerine, ekibin girdi ve çıktıyı ölçmesine ve izlemesine (girdi, optimize edicinin kontrolünde olan tek faktördür) ve bunları bir ilerleme göstergesi olarak kullanmasına yardımcı olur. Sonuca giden yolculuk bir sürat koşusu değil, iyi bir deneyin yan ürünü olarak arka planda koşan bir maratondur.

Bizi yanlış anlamayın. Bunu söylemek yapmaktan daha kolay.

Çoğu zaman deneyler, belirli değişikliklerin yapılmaması gerektiğini gösterecektir. Belirli özellikler sevk edilmemelidir! Ve kendi içinde deney yapmak kasıtlıdır… Odaklanmayı önce sevkiyat stratejisinden bir içgörüye çevirmek ve ilk stratejiyi öğrenmek (doğru metriklerle desteklenir).

Deneyimler konusunda tereddüt, yöneticiler arasında inanılmaz derecede yaygındır. Çoğu kurucunun şirketi deneyler olmadan inşa etmek için yılları vardır ve deneylerin şirket hızının, ürün pazarlamasının ve çığır açan inovasyonun önüne geçen muhafazakar bir güç gibi hissedilebilir.

Erik Bernhardsson, Modal Labs'ın Kurucusu

Insights First Stratejisine Geçiş Örneği (Doğru Metriklerle)

Gerçek ilerleme kaydetmek için, bir nakliye stratejisini takip etmekten bir metrik stratejiye geçiş yapmalıyız. Bu, ürün stratejisini merkezden uzaklaştırır, yani ideal olan fikri en alta doğru iter. Ve bir metrik strateji benimsemek, özünde deneme anlamına gelir. Yeni ürün değişikliklerinin işletmenizi nasıl etkilediğini test etmekten çekinemezsiniz.

Deneme programınızın "nedeni", metrik stratejinizde kodlanmıştır.

• Tüm çabanız hızlı kazançlara ve gelire odaklı mı?
• Deneme, müşterilerinizi anlamanın ve yaşam döngüleri boyunca onlara değer sunmanın yolu mu?
• Yoksa, ne kadar iyi test ederseniz, o kadar güvenilir içgörüler üretirseniz ve sizin sorumluluğunuz, mevcut deneyimleri olumsuz etkilemeden bu çarkı hareket ettirmekse, deney başlı başına bir amaç mıdır?

Bu konuda daha sonra Speero'dan Ben Labay ile.

Deneyden deneye bazında, metrikler (gerçek) odağınızı güçlendirir. Yeniliği hızlandırmak için işletmenizin DNA'sına deneyler yerleştirmekten bahseden 10 sayfalık bir manifestoya sahip olabilirsiniz, ancak birincil hedefiniz her zaman dönüşüm odaklıysa, test programınız aslında bir CRO programıdır. Bu, elde etmek istediğiniz şey olabilir, ancak A/B testlerini satın alma/gelir köleleri olarak düşünmek de dahil olmak üzere, çizgide ortaya çıkacak kısıtlamaların farkında olun - açıkçası değiller.

Farklı metrik sınıfları, C-suite için önemli olan göstergeleri izlemeyi mümkün kılarken, programı daha yüksek kaliteli testler, nedensel içgörüler için optimize eder ve çıktıların sonuçları yönlendirmeye başlayabilmesi için makinenin iç işleyişini iyileştirmek için farklı yinelemelerden geçer. uzun vadede.

Tim Mehta'nın yer aldığı bu video, yalnızca öğrenme etrafında dönen bir deney anlatımının neden pratik bir duruş olmadığına dair samimi bir bakış.

Bence tüm bu öğrenmeleri katılım tarafında almak gerçekten harika ama işletme sahibinizin program için kaynak oluşturmaya devam etmeyi ve bunun için bütçe almayı bilmenizi sağlayabilmesi için esasen bildiğinizden emin olmanız gerektiğini biliyorsunuz. en azından, programın size getirdiği deneyin dolar değerini iş perspektifinden gösterebileceksiniz.

Bu yüzden bence bir çok deney için, daha çok genel bilimsel yöntem etrafında, yapmaya çalıştığınız tek şey olduğunu öğrenmek, bunun bir kazanç/kayıp olmadığını, hipotezin kanıtlandığı kadar çok kazan/kayıp olmadığını biliyorsunuz uh, kanıtlanmış veya reddedilmiş um çoğumuz iyi yaptığımız şeylerde pazarlama tarafındayız ve bu nedenle doğal olarak devam edebilmek için bir tür kazanç veya gelir değeri iletebilmemiz gerekiyor.

Lucid Software Büyüme Pazarlama Direktörü Tim Mehta

Daha pratik bir düzeyde, metrikler öğrenmeyi tutar. Düz testler arka arkaya mı yapılıyor? Bu, veri toplama yönteminizle (cihaz odaklı sorun) veya deney tasarlama yönteminizle ilgili bir sorun olabilir. Metrikler samanlıkta iğneyi bulmanıza ve daha iyisini yapmanıza yardımcı olur.

TL&DR; Metrikler, test uzmanlarının denemenin çeşitli yönlerini yakalamasına ve etkisini paydaşlara anladıkları, değer verdikleri ve takdir ettikleri bir dilde dağıtmasına yardımcı olur. Metrik stratejisi, “hedeflerin” ve kazanan varyasyonların ve kayıpların değerlendirildiği zemindeki hissenin çok ötesine geçer.

Metrikler aracılığıyla, deney programları yaşar, olgunlaşır, gelişir ve başarılı olur (veya başarısız olur).

Girdi, Çıktı ve Sonuç Metrikleri: Ben Labay ve Alex Birkett ile Deney Programlarının Yapısını Bozma

Birincil, ikincil ve korkuluk metrikleri etrafında birçok tanım vardır. Ancak bir deney programı yürüten herkes, farklı hedef düzeylerini tanımlamak için bir çerçeve olması gerektiğini bilir.

Speero'nun Genel Müdürü Ben Labay ve Omniscient'in Kurucu Ortağı Alex Birkett'e şu soruyu sorduk:

Çok katmanlı deneme etkisine göre ölçülen değişkenleri eşleştirmek için go-to-metrik çerçeveniz nedir?

Ben'in Çerçevesi

1. Program metrik kategorileri

Bu 'aşamalı' hafife alınmalıdır. Bunların hepsini her zaman izlemek istiyorsunuz, ancak programın aşamasına bağlı olarak ODAK biraz farklı.

2. Üst düzey bir metrik sınıflandırma ile başlayın, işte benimki:

Daha sonra her biri için,

3. Hedef metrik örnekleri:

O zamanlar

4. Sürücü metrik örnekleri

O zamanlar

5. Program korkuluk ölçüleri

Yani…. SONRA bir metrik strateji için gerekli malzemelere sahipsiniz:

Not: Erken aşamadaki denemeler girdi ölçütlerine odaklanmalıdır, ancak doğru eğitime, insanlara ve süreçlere sahip değilseniz gerçekleşmeyecek sonuçlar üretme baskısı ile başa çıkmanız gerekir.

Bu kendi kendini yenen bir döngü. Ayrıca, özellikle “gelir” öngörüyorsanız, sonuç ölçümleri hemen kutlanmamalıdır.

Bunu anlamanın en iyi yolu Airbnb'nin nasıl bir metrik stratejiye geçtiğine bakmaktır:

"Misafirlerin önce ev sahiplerinden Airbnb'lerinde kalmaları için izin istemeleri gerekiyordu ve ev sahipleri rezervasyon talebini beğenip beğenmediklerine karar verecekti. Bu bir ton sürtüşme yarattı, misafirler için korkunç bir deneyim oldu ve sürece girmek için uygunsuz önyargıların kapısını açtı.

Bir ürün nakliye stratejisi, sevk edilecek bir dizi özelliği dikte ederdi. Ancak Airbnb, metrik stratejisi olan güçlü bir ekip kurdu: Airbnb'nin %100 anında rezervasyona ulaşmasını sağlayın.

Sonuç, pazarı kümülatif olarak değiştiren, deney ağırlıklı bir stratejiydi. Ürün değişiklikleri, konukların evlerini anında rezerve ettiği bir dünyada ev sahiplerinin başarılı olmasını sağlayan arama sıralamasını, ev sahibi katılımını ve temel ev sahibi işlevselliğini (örneğin misafir kontrolleri, ev kuralları, teslim süresi ayarları vb.) kapsıyordu.

Erik Bernhardsson

Alex'in Go-to Framework

Deneme metriklerinin haritasını çıkarmak için kullanacağım çerçeve basit: girdi ve çıktı metrikleri .

Paydaşlar çıktı ölçütlerini önemser. Bunlar, yatırım getirisi hesaplamalarında kullanılır ve web sitesi dönüşüm oranı, huni dönüşüm oranı, yüksek kaliteli potansiyel müşteriler vb. gibi programın değerini kanıtlar.

Şahsen, bunların program düzeyinde abartıldığını ve deneme düzeyinde ise küçümsendiğini düşünüyorum. Bununla demek istediğim, web sayfalarınızın çeyrekten çeyreğe dönüşüm oranını izliyorsanız, o zaman diliminde gerçekleşen tek şey deneme olmayacak. Fon yaratma, makroekonomik eğilimler, satın alma kanallarının değiştirilmesi - bunların hepsi büyük kafa karıştırıcı faktörler olabilir. Engelleme setleri oluşturarak veya dijital deneyiminizin temel sürümünü yeniden test ederek bunlardan bazılarının üstesinden gelebilirsiniz.

İnsanlar, temel deney KPI'larını düşünmek yerine çeşitli hedefler eklemeyi ve anlatılarına uygun olanı seçmeyi tercih ettikleri için, deney bazında küçümsenirler. Denemenizi tanımlamak için birleşik bir hedef, genel bir değerlendirme kriteri bulmak gerçekten zor. Girdi metrikleri, programımızda bir ölçü almam için daha iyi bir yol. baktığım başlıca üç
a) deney hızı
b) deney kazanma oranı ve
c) deney başına ortalama kazanç.

İğneyi bunlardan herhangi birinde hareket ettirirsem, iğneyi çıktı ölçümlerimde hareket ettirme olasılığım yüksektir.

Hedefler, Sürücüler ve Korkuluklar: Kapsama Göre Metrikler

Ben Labay, bu ölçümleri açıklamak için bir araba analojisini kullanır:

İşin püf noktası, hedef metrikleri gibi uzun vadeli metriklere sahip olmanız ve bu sizin GPS veya navigasyon sisteminiz, yani kuzey yıldızı metrikleri (NSM).

Bu, daha kısa vadeli metrikler olan, yani hız ölçeriniz olan sürücü metriklerinin aksine. Örneğin, ortalama sipariş değeri (AOV) için dönüşüm oranı optimizasyonu.

Bunu, takometreniz veya ısı ölçeriniz gibi uyarı ve hizalama ölçümlerinizle daha da zıtlaştırın; bunlar sizin korkuluk ölçülerinizdir.

PS Bu kategorileri daha iyi anlamak için Ben'in bu videosunu izleyin:

Hedef veya Kuzey Yıldızı Metrikleri

Ben tarafından tanımlanan bir Kuzey Yıldızı metriği veya gecikmeli ya da geniş kapsamlı bir metrik, doğası gereği taktiksel olmaktan çok stratejiktir.

Örneğin, Netflix'in A/B testleri etkileşimi artırmak için oluşturulmamıştır; elde tutmayı artırmak için tasarlanmıştır. Müşterileri elde tutuyorlarsa, abonelerin ürünle etkileşime geçtiği ve üründe değer bulduğu anlamına gelir. Bu nedenle, elde tutma, 3'ten fazla içerik ödeyen veya izleyen kullanıcıların yüzdesi gibi çeşitli taktik ölçümleri kapsar.

Sürücü Metrikleri

Bu öncü göstergeler, kısa vadede odaklandığınız şeydir, yani hemen çıkma oranınız ve dönüşüm oranınız. Bazen tek bir metriğe sahip olmak, bir sonucu değerlendirmek için yeterli değildir. İşte burada Genel Değerlendirme Kriteri veya OEC devreye girer.

Yanıt veya bağımlı değişken, sonuç değişkeni veya performans metriği olarak da bilinen OEC, esasen tek bir birincil KPI olarak farklı ağırlıklı KPI'ların bir kombinasyonudur.

Tek bir metrik, birden fazla deney için bir kez değiş tokuş yapmaya zorlar ve organizasyonu net bir hedefin arkasında hizalar. İyi bir OEC, kısa vadeli (örneğin, tıklamalar) odaklı olmamalıdır; aksine, tahmin edilen yaşam boyu değer ve tekrar ziyaretler gibi uzun vadeli hedefleri öngören faktörleri içermelidir.

Ronny Kohavi

Korkuluk Metrikleri

Ronny Kohavi'ye göre,

Korkuluk metrikleri, deneycileri ihlal edilen bir varsayım hakkında uyarmak için tasarlanmış kritik metriklerdir. Korkuluk ölçümleri, Spitzer'in (2007) "bilgilendirilmiş eylemi başlatma kapasitesi" dediği şeyi sağlar. Bir Tedavi etkisi beklenmedik bir şekilde bir korkuluk metriğini hareket ettirdiğinde, sonuçlara olan güveni azaltmak veya kullanıcılara veya kuruluşa zarar verebilecek durumlarda bir deneyi durdurmak isteyebilirsiniz.

İki tür korkuluk metriği vardır: güvenle ilgili korkuluk metrikleri ve kurumsal korkuluk metrikleri. Her deneyin sahip olması gereken en önemli korkuluk metriği olduğuna inandığımız şeyle başlıyoruz: Örnek Oranı, ardından diğer korkuluk metrikleri ve kurumsal korkuluk metrikleri ile takip.

Numune Oranı = Kontrollü bir deneyde numune oranı, numune boyutunun farklı test grupları: kontrol ve varyantlar arasındaki tahsis oranına eşittir

Metriklere Felsefi Bir Bakış: The 5 Ws

EndlessROI'nin Kurucusu Sumantha Shankaranarayana, metrikleri farklı şekilde değerlendiriyor.

Google'da Dijital Pazarlama Evangelisti olan Avinash Kaushik, metriklerle ilgili başka bir yorumda bulunuyor.

Bülteni The Marketing <> Analytics Intersect'in son sayısında, beğeniler ve takipçiler gibi boş metrikleri ve sayfa görüntülemeleri ve "etkileşim" gibi sahte tanrıları görmezden gelmenizi önerir.

Bunun yerine, bülten kayıtları ve görev tamamlama oranları gibi mikro sonuçlara, dönüşüm geliri ve geliri gibi dijital makro sonuçlara ve kâr ve yaşam boyu değer gibi alt çizgiyi etkileyen metriklere odaklanın.

Dönüşüm Savunucuları'ndan Simon Girardin'den metriklerle ilgili başka bir yorum geliyor:

Bir Sürücü Ağacı ile Fark Yaratan Metrikleri Seçmek

Sağlam bir ölçüm stratejisi oluşturmak, Sürücü Ağacının ne olduğunu anlamaktan geçer.

Bir Sürücü Ağacı, bir organizasyondaki farklı ölçümlerin ve kaldıraçların nasıl bir araya geldiğinin bir haritasıdır. En solda, sürmek istediğiniz kapsamlı bir metrik var. Bu, tüm ekiplerin üzerinde çalışmasını istediğiniz nihai hedeftir.

Sağa doğru hareket ettikçe, bu hedefe nasıl ulaşmak istediğiniz konusunda daha ayrıntılı hale gelirsiniz. Her dal size, üstlerindeki "ne"yi oluşturan bileşen parçalarının bir göstergesini verir.

Curtis Stanier, Delivery Hero Ürün Direktörü

Sürücü Ağacı, metriklerle birleştirildiğinde potansiyel fırsat alanlarını belirlemeye yardımcı olabilir ve sizi çözüme yönlendirebilir.

Curtis bunu bir örnekle açıklıyor. Örneğin, amacınız e-posta kayıt sayısını artırmaksa. Diyelim ki müşterilerin yalnızca yarısı, onlara gönderdiğiniz e-posta onay bağlantısını başarıyla tıkladı. Burada iki olası senaryo vardır: Müşteriler e-postayı almıyor veya tıklamıyor. Bu sürücülerin farklı etki faktörleri olabilir.

Süreç akışını Sürücü Ağacına eşlediğinizde, temel nedene ulaşabilirsiniz. Kullandığınız e-posta sağlayıcısının %10'luk bir hata oranı olabilir, bu da e-postanın hiç gönderilmediği anlamına gelir. Bu özel sorun, ekibinizin düzeltmesi için bir fırsat haline gelir.

Hopin'de Ürün Analitiği Başkanı Bhavik Patel'in, test hızı, yani sürücü ve korkuluk metriklerine yapılan test sayısı gibi bir hedefi nasıl eşleyebileceğinizi gösteren özel bir örneği burada verilmiştir.

Deneme Programınızı Başlatmak için Bu 3 Adımı İzleyin

1. Deneme programınızın hedefini seçin

HiPPO'yu, yani C-suite'inizi dahil edin, böylece liderliğin ilgisiz olduğu bir kuzey yıldızı metriğinin peşinden koşmazsınız. Aksi takdirde, deney programınız asla gün ışığına çıkamaz. Büyük sorunların güvenli davranmak yerine yenilikçi çözümlere ihtiyaç duyduğunu anlayan insanlara bir döngü yapın.

Genel bir kural olarak, Ben Labay, deneme programınızın gecikmeli, uzun vadeli hedefinin üç şeyden biri olabileceğini söylüyor – Gelir, Müşteri veya Deneme Süreci .

Örneğin, Booking.com kuzey yıldızı metriği olarak deneme kalitesine sahiptir. İşte nedeni:

Bizim için gerçekten önemli olan, ne kadar ürün kararı verildiği veya kararların ne kadar hızlı alındığı değil, bu kararların ne kadar iyi olduğudur.

Ürün geliştirme ve karar vermenin bir parçası olarak deneyi kullanmak günümüzde yaygın bir uygulama olsa da, tek başına iyi kararların alınacağını garanti etmez. Deneyleri doğru bir şekilde yürütmek zor olabilir ve bir deneyden elde edilen veriler yalnızca deneyin kendisi kadar güvenilirdir. Kötü deneyler yapmak, güvenilmez kararlar almanın çok pahalı ve karmaşık bir yoludur.

Christophe Perrin, Booking.com Grup Ürün Müdürü

2. Kabul edilebilir bir Korkuluk Metrikleri günlüğü oluşturun

Tim Mehta, bir uyarı içeren bir korkuluk metriği olarak test hızına sahip olmanızı önerir, yani yalnızca testinizin bütünlüğü iyiyse veya standardı karşılıyorsa. Kalite testleri yapmıyorsanız, seçtiğiniz herhangi bir metrik, bir boş metriğe dönüşür.

Tim gibi, Ben Labay da çalışan bir korkuluk metrikleri seti olarak bu diğer metriklerle birlikte test hızına sahip olmayı önerir:

3. Sürücü Metriklerinizi duruma göre seçin

Tüm metrikler iyi metrikler değildir. Binlerce A/B testi çalıştırdıktan sonra Microsoft, iyi bir A/B metriğinin altı temel özelliğini belirledi:

1. Duyarlılık
2. güvenilirlik
3. Yeterlik
4. hata ayıklanabilirlik
5. Yorumlanabilirlik ve Eyleme Geçebilirlik
6. Kapsayıcılık ve Adalet

STEDII'yi, hangi metriklerin değişiklikleri izleyeceğini ve ölçüleceğini hassaslaştırmak için kullanabilirsiniz.

Zendesk Kıdemli Web Optimizasyon Müdürü Max Bradley, kutunun içinde veya dışında düşünebilmeniz için sürücü ölçümleri konusunda esnek olmanız gerektiğine inanıyor:

Alt alan oluşturma alanının (aşağıda gösterilmiştir), ziyaretçiler için deneme kaydı akışımızda açık ara en zorlu form alanı olduğunu fark ettik. Bu alandaki düşüş oranı diğer tüm alanlardan oldukça yüksekti.

En önemlisi, formun performansını ilk etapta ayrıntılı olarak incelememize izin veren yerinde izlememiz vardı. Eğer yeni başlıyorsanız, bu düzeyde bir izlemenin kısa vadede elde edilmesi pek olası değildir, ancak zaman geçtikçe izlemenizle “yabani otların arasına girmenizi” teşvik ederim.

Sorun belirlendiğinde, test etmek istediğimiz yaklaşımı belirlemek için çeşitli adımlar attık. Bir alt etki alanı söz konusu olduğunda diğer şirketlerin ne yaptığına baktık, burada sadece rakiplerinizin ötesine bakmanızı öneririm. Kullanıcının bir alt etki alanı oluşturmakla ilgilenmesine gerek olmadığına inandık, kullanıcının duraklaması ve düşünmesi için başka bir alan sunuyor, bilişsel yüklerini artırıyor. Alt alan adlarını daha önce sağladıkları şirket adından oluşturabilir ve alt alan alanını kullanıcılardan gizleyebiliriz.

Doğal olarak bu değişikliğin bir denemeye başarılı bir şekilde kaydolan kullanıcı sayısını artıracağını bekliyorduk, bahsedilen izleme sayesinde beklenen artışı tahmin edebildik.

Ancak, bu noktada bilmediğimiz şey, bunun iş üzerindeki genel etkisiydi. Deneme dönüşümlerinde bir artış görmeyi bekliyorduk, ancak bu, dönüşüm hunisinin sonuna kadar Win'e dönüşecek mi?

Ayrıca, alt etki alanı alanını gizleyerek ve kullanıcı için alt etki alanını otomatik olarak oluşturarak, bu sorunu işin başka bir alanına geçirmediğimizden emin olmak istedik. Bu, müşteri savunuculuğunun ve müşteri desteğinin en başından itibaren dahil edilmesini içeriyordu.

Bu deneyin etkisini belirlemede önemli olacağına inandığımız başlıca alanlar şunlardı:

• Forma gelen ziyaretçiler için deneme kayıt oranı
• Adaylar, MQL'ler, Fırsatlar ve Kazançlar
• Kullanıcılar tarafından ürün kaydı sırasında alt alan adında yapılan değişiklikler
• Alt alan adı değişiklikleri için müşteri savunuculuğu tarafından alınan bilet sayısı.

Seçtiğiniz hedefe ve sürücülerinize tutarlı bir şekilde nasıl yaklaştığınıza bağlı olarak, deneme kişiliğiniz ve program yörüngeniz birkaç farklı yoldan gidebilir. Ben Labay'dan bu tabloya bir göz atın:

Zihinsel Modeller: Profesyoneller Gerçek Dünya Deneylerinde Metriklerini Nasıl Seçiyor?

Uzmanlardan sorunu gördükleri, hipotezi tasarladıkları ve ardından başarıyı ölçmek ve öğrenmeyi pekiştirmek için ölçütleri seçtikleri bir örnek üzerinden bize rehberlik etmelerini istedik.

İşte söyledikleri:

Ben Labay ve Hedef Haritalama

İşin nereye ve neden gittiği konusunda net olun.

Biz büyüme stratejisi nedir? Gelecek yıl daha fazla kullanıcı kazanarak %20 mi büyüyorlar? Yeni ürünlere mi yoksa mevcut kullanıcı tabanından para kazanmaya mı odaklanacaklar? Bu bilgilerle optimizasyon programını nereye yönlendireceğinizi bilirsiniz, huninin neresinde veya hangi birincil kanallara odaklanacağınızı bilmelisiniz.

2021'de birçok e-ticaret şirketi için yeni kullanıcılar edinmek ve dönüştürmekti. 2022'nin sonlarında, karlılık ve satın alma verimliliğine odaklanan AOV merkezli olacak.

• Son birkaç yıldır SaaS ile ürün liderliğindeki büyümeye odaklanma modeli var, bu nedenle denemelere ve özellikle aşağı pazar segmentleri için işe alımlara odaklanılıyor.

Müşteri davranışını (bırakma, gezinme kalıpları vb.) ve algıları (motivasyonlara karşı FUD'lar, korkular, belirsizlikler ve şüpheler) net bir şekilde anlayın.

Bununla ilgili harika bir veri modelimiz var, ResearchXL, bu sadece davranışlar ve algılar hakkında veri toplamakla kalmıyor, aynı zamanda verileri bilgi yoluyla öncelikli bir yol haritası oluşturan içgörülere doğru yürütüyor.

2. ve 3. adımları birleştirin ve müşteri araştırmasından oluşturduğunuz sorun/fırsat temalarını hedef ağacı haritasındaki iş hedeflerine bağlayın.

Bu e-Ticaret istemcisinin odak noktası olan bir ödeme sayfası ilerleme metriğiyle ilişkili deneyleri görebileceğiniz hedef ağacı haritasının yakından görünümü:

Workato'dayken, etkileşimli bir ürün turu oluşturma hakkında mümkün olduğunca çok şey öğrenmek istedik. Freemium versiyonumuz olmadığı göz önüne alındığında, pek çok potansiyel müşteri, ürünün gerçekte nasıl çalıştığına dair bir görünüm ve his elde etmek istedi.

Öğrenmeyi umduğumuz şey, buradaki her deney için KPI'yı belirledi.

Bir deneyde, "demo talebi" gibi diğer temel web sitesi CTA düğmelerinin aksine, insanların bir ürün turu konseptiyle ilgilenip ilgilenmediğini görmek istedik. Bu, bir tür "boyalı kapı" testiydi, ancak aslında zaten minimum uygulanabilir bir ürün turu oluşturmuştuk. Bu deneyde, ürün turuna yapılan tıklamaların oranını izledik ve potansiyel müşteriler üzerinde aşağı olmayan bir deneme kullandık (sadece düşmelerini istemedik).

Ardından, turun kendisini optimize ederken, web sitesi dönüşüm oranının (potansiyel müşteri adayları) ana makro KPI'sını kullandık ve temel KPI'mızda makro gelişimin yanı sıra yüksek bir korelasyon olup olmadığını görmek için ürün turunu tıklayanları segmentlere ayırdık. ”

Deborah O' Malley TO'yu Artırmaya Nasıl Yardımcı Oldu?

Metrikler genellikle müşteri odaklıdır. Genellikle, gelire bağlıdırlar. Ancak bazen müşteriler yalnızca etkileşimi artırmak ister.

Bu örnekte, eğitim sektöründeki bir müşteri, bir eğitim programının açıklandığı bir sayfadan, aday öğrencilerin program hakkında daha fazla bilgi edinebileceği ve programa başvurabileceği bir sayfaya Tıklama Oranlarını (TO) artırmak istedi.

Veriye dayalı bir analize dayanan hipotez, sayfada o kadar çok rekabet eden bilgi olduğu ve kullanıcıların nasıl devam edecekleri veya daha fazla bilgi edinmek için nereye tıklayacakları konusunda net olmadıklarıydı.

Yukarıda açıklanan 5 adımlı çerçeveyi uygularken, en iyi şekilde biçimlendirilmiş ve zamanlanmış bir açılır pencerenin veya içeri kaydırmalı bildirimin, ziyaretçileri daha fazla bilgi edinmek için nereye tıklayacaklarını bilgilendirmek için işe yarayacağına karar verildi.

Bu nedenle, bir bildirim açılır penceresinin en uygun biçimini ve zamanlamasını belirlemek için bir dizi deney yapıldı. Tıklama oranları ölçüldü.

Bu vaka çalışması sonuçlarının gösterdiği gibi (test 1, test 2) pop-up'ın yerleşimini ve zamanlamasını optimize etmenin TO dönüşümleri üzerinde son derece olumlu bir etkisi oldu.

Bununla birlikte, sonuçlar olumlu olsa da, sonuçta, gönderilen başvurular okul için gerçekten iğneyi hareket ettiren ölçüm oldu. Bu nedenle, başvuru gönderimlerini artırmanın en uygun yolunu belirlemek için ek testler yapılmalıdır.

Bu örnekten öğrenilen en önemli şey, müşterilerin genellikle neyi geliştirmek istediklerine dair bir fikre sahip olmalarıdır. Bir deneyci olarak göreviniz onların beklentilerini karşılamak, ancak daha da ileri gitmektir. Artan TO'lar güzel. Ancak dönüşümleri dönüşüm hunisinin daha derinlerinde artırmayı hedefleyin. Tamamlanmış başvurular veya ödeme tamamlama işlemleri gibi, dönüşüm hunisinin son para kazanma metriklerine mümkün olduğunca ilerleyin. Tamamlamaları ölçün ve başarınızı ölçün.

Justin Christianson Neden İkincil Veri Noktaları Ekliyor?

Hedeflerimizi hedefler etrafında kurarız. Sadece satışları ve geliri düşünemezsiniz. Genel olarak birincil metriğimiz hem satış dönüşümleri hem de RPV olacaktır, ancak bu her zaman ziyaretçilerin nasıl etkileşimde bulunduğuna dair en büyük resmi çizmez.

Bunun için sepete ekle, öğe tıklamaları, alışveriş sepeti veya ödeme gibi belirli sayfalardaki ziyaretler gibi ikincil veri noktalarını ayarlamayı seviyoruz. İkincil hedefler, sayfaya veya testin türüne bağlı olarak biraz değişir. Bazen satışlar ve gelir, sonuç açısından çekmeye çalıştığınız şey değildir.

Deneyimlerimizi, ziyaretçilerin neye önem verdiğini, genel kullanıcı deneyiminde hangi öğelerin ağırlık taşıdığını gerçekten anlamaya yardımcı olmak için kullanıyoruz ve ardından bu sonuçlara dayalı olarak stratejiyi oluşturuyoruz. Hipotezimiz genellikle her zaman, neden veya ne durumda sorusunu soruyor. Bir ana sayfadaki bir bölümü taşımak kadar basit bir şey olabilir, o zaman hedeflerimiz o bölüme yapılan tıklamalar, satışlar, gelir, ürün sayfalarındaki ziyaretler olacaktır. O zaman verilerin nasıl yorumlanacağı, ziyaretçilerin bölümü hareket ettirerek daha yüksek katılım göstermesi durumunda, o bölümün ağırlığını koruduğu, dolayısıyla ziyaretçilerin bu genel yolu tercih ettiği olacaktır. Bunun bir örneği, bir e-ticaret mağazası için bir sayfada gerçek ürün bloklarının gösterilmesine karşı bir koleksiyon dökümü sunmak olabilir.

CXO: İlk Deneyi Öğrenmenin Zirvesi mi?

Dönüşüm oranı bir gösteriş metriği değildir. Yine de dar bir terim haline geldi.

Annika Thompson, Speero Müşteri Hizmetleri Direktörü

Annika, sorunun CRO'nun önemsiz olması değil, bir ton bagajla gelmesi olduğunu açıklıyor. Zaman içinde ve bağlamsız bir anlık görüntüden başka bir şey değildir, alakasız ve düpedüz tehlikeli olabilir.

Öte yandan, CXO veya müşteri deneyimi optimizasyonu, müşteri tercihleri ​​ve davranışlarıyla ilgili kalite içgörülerinin madenciliğine odaklanır - dönüşüm bloklarını parçalama deneylerinden sağlam iş stratejisine kadar her şeyi besler. Test paranız için sadece daha fazla patlama.