A/B Test Sonuçlarınızdan Öğrenmek ve Geliştirmek için 7 Temel Adım

A/B testiniz yeni bitti ancak beklediğiniz sonuçları görmüyorsunuz.

Diğer herkes, yalnızca bir düğme rengi değişikliği veya küçük bir ince ayar ile büyük bir artış gördükleri vaka çalışmalarını paylaşıyor, ancak testiniz dönüşümde herhangi bir gelişme göstermedi veya daha kötüsü, bunun yerine para kaybetti gibi görünüyor ve şimdi yapmanız gerekiyor. bunu patronunuza sunun.

Peki ya testin aslında bir kaybeden değilse?

Ya kılık değiştirmiş bir kazanansa?

Ve eğer bir kaybeden ise, ya bir kaybetme testi aslında iyi bir şeyse?

Bu kılavuzda, altını bulmak için analiz edip ayrıştırabilmeniz için A/B testi sonuçlarınız hakkında daha derin bir bakış açısı edinmenize yardımcı olacağız.

A/B testlerinizden öğrenmenin neden bu kadar önemli olduğunu ve kaybedenlerin size neden satış getirebileceğini ele alacağız. Testlerinizi adım adım tam olarak analiz edebilmeniz ve gördükleriniz, kazandığınız veya başarısız olduğunuz konusunda kendinize güvenebilmeniz için takip edebileceğiniz bir süreci paylaşıyoruz.

Daha da iyisi, veriler konusunda endişeli ve analizlerinizi kontrol etmek istemeyen kişilerden, sonuçlarınızı meslektaşlarınızla paylaşma konusunda kendinize güvenen bir duruma geçmenize yardımcı olacağız.

Öyleyse dalalım…

Neden A/B Testlerinden Öğrenmeniz Gerekiyor?

Başlangıç ​​için, işin içinde bariz bir maliyet var. Her testin kurulumu paraya mal olur. Kaybedilen varyantlarınız varsa, o varyantın satışlarında da bir düşüş göreceksiniz.

Yine de olay şu:

A/B testi (ve genel olarak CRO) yalnızca daha fazla para kazanmakla ilgili değildir. Veri satın almakla ilgili . Hedef kitlenizle ilgili veriler, onları daha iyi anlamanıza ve daha iyi bir ürün ve hizmet sunmanıza yardımcı olabilir. Bu daha sonra daha fazla satışa ve daha iyi bir müşteri deneyimine ve hatta yeni ürün tekliflerine ilişkin içgörülere yol açar.

Hizmet ettiğiniz insanlar hakkında ne kadar çok şey öğrenirseniz, o kadar iyi yaparsınız. Bu nedenle, testlerin çoğu başarısız olsa bile, sık sık test etmek ve test etmek çok önemlidir.

Bu düşüncemizde de yalnız değiliz.

Aslında, aracımızla 28.304 testin dahili verilerimize ve uzman test ajanslarıyla yaptığımız görüşmelere baktığımızda, çoğu şirketin her 10 testten sadece 1 kazanan bulduğunu, ajansların ise genellikle her testte 1 kazanan gördüğünü gördük. 4.

Ve ne düşündüğünü biliyorum,

Elbette bu, her testte zamanın %90'ında para kaybettiğim anlamına mı geliyor?

Evet, ancak test kitlenizin yalnızca yarısına. Diğer yarısı ise sitenizi görmeye ve her zamanki gibi dönüşüm sağlamaya devam ediyor.

Ayrıca, elde ettiğiniz veriler neyin işe yaramadığını bulmanıza yardımcı olur, böylece neyin işe yaradığını öğrenebilirsiniz. Test edersin, öğrenirsin, tekrar test edersin ve neyin işe yaradığını bulana kadar devam edersin.

Ve kazanan %10'luk testler?

Daha büyük bir etki için benzer her sayfada sitenizin ölçeğine yayılmadan önce tekrar tekrar iyileştirilebilen sürekli bir artımlı artış sağlayabilirler.

Dijital bir platformda dönüşümlerde artış görmenin güzelliği budur. Yalnızca %1'lik bir artışın katı ölçeği, hem şimdi hem de gelecekteki tüm trafikte işiniz üzerinde büyük bir etki olabilir. Aslında Jeff Bezos, aynı doğrultuda düşünüyor ve yıllık hissedar raporunda Amazon'u ve test etme ve iyileştirme hedeflerini “dünyada başarısız olunabilecek en iyi yer” olarak nitelendiriyor:

Yüzde 10'luk bir 100 kez ödeme şansı verildiğinde, bu bahsi her seferinde almalısınız. Ama yine de onda dokuz kez yanılacaksın .

Jeff Bezos, Amazon

A/B testinin tek faydası daha fazla satış ve daha iyi bilgiler değildir.

Testleri çalıştırmak, barikat konularından ve grup teorisinden uzaklaşmanıza olanak tanır. Olası web tasarımı değişikliklerini tartışmak ve hiçbir şey yapmamak için aylarca harcamak yerine, harekete geçin ve test edin, ekibinizi başka şeylere odaklanmak için serbest bırakın. (Canlı yayınlamadan önce etkisini test ettiğinizden emin olun!)

Sadece bu da değil, hedef kitleniz hakkında YALNIZCA A/B testinin size söyleyebileceği yeni bir şey öğrenebilirsiniz.

Teori oluşturma ve müşteri anketleri harikadır ancak en önemli olan şey kitlenizin sitenizde gerçekte ne yaptığıdır, sadece ne söylediği değil. Testlerinizi anlamak, bu fikirleri ve geri bildirimleri kanıtlamanıza veya çürütmenize yardımcı olur.

Sonuçlarınızı ne kadar çok anlarsanız, testlerinizde o kadar kendinize güvenirsiniz, bu da CRO çabalarınızı 'olgunlaştırmanıza' ve testleri daha sık çalıştırmanıza ve hatta belki de kurum içinde bir test ekibi oluşturmaya başlamanıza olanak tanır.

Artık her A/B testinden öğrenmenin faydasını gördüğünüze göre, uyguladığınız her yeni testi analiz etmek için basit bir süreçte size yol gösterelim…

A/B Testlerinizden Öğrenmek için 7 Adımlı Süreç (Gelecek Testlerde Geliştirmek için Kullanabileceğiniz Sistemlerle Birlikte)

Bunu takip edilmesi gereken 7 temel adıma ayırdık.

Burada önerdiğimiz her yöntem veya araca sahip olmayabilirsiniz, ancak nasıl uyduklarını görerek değerlerini ölçebilir ve bunları gelecekteki testlerinize entegre etmek isteyip istemediğinize karar verebilirsiniz.

Adım 1: Verilerinizin Doğru, Geçerli + Önemli Olduğunu Kontrol Edin

Bu, tüm bu sürecin en önemli kısmıdır. Sonuçlardan emin olabilmeniz için testinizde sahip olduğunuz bilgilerin hem doğru hem de geçerli olduğundan emin olun.

Peki test sonuçlarınızın size güvenebileceğiniz veriler verdiğinden nasıl emin olabilirsiniz?

Pekala, yapabileceğiniz birkaç şey var…

Aracınızın Doğruluğunu Doğrulayın

Şimdi, çoğu insan bunu özlüyor. Siteniz ayda 10.000'den fazla ziyaretçi almıyorsa, bunu atlamaktan çekinmeyin. Teknik olarak, CRO ile başlamak gerekli değildir ve en iyi trafik hacmi olan sitelerde işe yarar, ancak büyük siteler farkı gerçekten görebileceğinden bunu buraya eklememeyi ihmal etmiş olurum.

İdeal olarak, ne kadar doğru olduğunu ve herhangi bir sorunu olup olmadığını görmek için mevcut test aracınızda zaten bir A/A testi yapmışsınızdır.

Nasıl?

Bir web sayfasının birbirinin aynı 2 kopyasıyla basit bir bölme testi yaparsınız ve ardından bu 2 özdeş sayfadaki sonuçları izlersiniz.

Aralarında hiçbir fark olmadığı için sonuçlarınız her sayfa için aynı olmalıdır. Ancak, araçtan ve verilerinizi nasıl ölçtüğü veya izlediğinden kaynaklanan bazı tutarsızlıklar olabilir.

Bunu önceden bilmek, test sonuçlarınızın doğruluğu konusunda bir tolerans elde etmenize ve bunu gelecekteki tüm testler için bir kılavuz olarak kullanmanıza yardımcı olabilir.

Örnek

A/A testinizin iki özdeş sayfa arasında dönüşüm oranında %0,5'lik bir fark gösterdiğini fark ettiyseniz, kontrol ile varyant arasında yalnızca %0,5'lik bir fark olduğunda kazananı gösteren test sonuçlarına karşı dikkatli olabilirsiniz.

Bir testin sonuca inanmadan önce %1 veya daha yüksek bir artış göstermesi gerektiğini söyleyen dahili yönergeler oluşturabilirsiniz. Yine, yeni bir araç denerken veya mevcut aracınızın raporlamayla ilgili bazı sorunları olabileceğini veya yanlış ayarlandığını düşünüyorsanız, gerçekten bir A/A testi yapmanız yeterlidir.

Doğru bir şekilde kontrol etmek için gereken örnek veriler oldukça büyük olabileceğinden, A/A testleri büyük trafik sitelerinde en iyi sonucu verir, ancak %1'lik bir hatadaki fark çok büyük olabilir.

Müşterilerinizin Sitenizle Nasıl Etkileşime Girdiğine İlişkin Geçerli Bir Görüş Almak İçin Testinizi Yeterince Uzun Süre Çalıştırın

Artık aracınıza güvendiğinize göre, daha önce istatistiksel olarak kapatabilmek için yeterli dönüşüm elde etmiş olsanız bile testinizi 2-4 hafta boyunca çalıştırmak istiyorsunuz.

Neden? Niye?

Çünkü kitleniz genellikle haftanın gününe veya ayın belirli aşamalarına bağlı olarak sitenizle farklı etkileşimde bulunacaktır.

Örnek

Hedef kitlenizdeki insanlara Perşembe günleri ödeme yapılırsa, testiniz yalnızca Pazartesi'den Çarşamba'ya kadar sürseydi kaçırabileceğiniz bir artış görürdünüz, değil mi?

Benzer şekilde, diğer kullanıcılara iki haftada bir veya ayda bir ödeme yapılabilir, bu da testleriniz onları dahil edecek kadar uzun süre çalışmadıysa sonuçlarınızı yine çarpıtabilir. Kaçırdığınız zamanlar için daha düşük satış veya trafik olduğunu varsayabilirsiniz.

Sonuçlarınızı Etkileyebilecek İç veya Dış Faktörlerin Farkında Olun

Bunlar, verilerinizi çarpıtabilecek benzersiz veya planlanmış olaylardır.

Örneğin, CEO'nuz veya şirketiniz haberlerde yer aldıysa veya mevcut pazarlama kampanyaları veya promosyonlarının yanı sıra ulusal tatiller ve hatta rastgele trafik artışları gibi harici faktörler yürütüyorsanız.

Tüm bunlar site trafiğinizi etkileyebilir ve ardından bu süre zarfında sonuçlarınızın ne kadar doğru olduğunu değiştirebilir.

Gerçek hikaye:

Yaklaşık 6 yıl önce bir sörf giyim şirketim vardı.

Bir gün, trafiğimiz bir anda %800 arttı ve hemen çıkma oranımız arttı. Herhangi bir yeni pazarlama kampanyası yürütmemiştik ve bu yüzden trafiğin nereden geldiğini bulmak için biraz araştırma yaptım.

Tişörtlerimizden birinin Koreli bir pop grubunun yeni şarkısıyla aynı adı taşıyan bir ürün adına sahip olduğu ortaya çıktı ve 2 gün boyunca bunun için sıralandık ve ziyaretçilerini aldık.

Tabii ki, bu yeni kitle ürünümüzle hiç ilgilenmedi ve kısa sürede ayrıldılar.

Çılgın, değil mi?

Başka bir zaman, pazarlama blogum bir TV şirketinin marka adını sıralamaya başladı ve aynı şey oldu. Yanlış kitleden gelen trafikte ani artışlar var.

Bu ne kadar rastgele olursa olsun, bu tür şeyler olabilir, bunun gibi harici veya dahili olayların farkında olun. Trafiğin nereden geldiğini görmek için her zaman analizlerinizi kontrol edebilir ve ardından her şey normale döndüğünde testinizi yeniden başlatabilirsiniz.

Yeterli Veri Aldığınızdan Emin Olun

Nasıl performans gösterdiğine dair geçerli bir fikir edinmek için testinizin yeterli dönüşüme sahip olduğundan emin olmak istiyorsunuz.

Yalnızca 50 toplam dönüşüm içeren bir kontrole ve değişkene sahip olmak ve aralarında yalnızca küçük bir fark olması, test sonuçları bir şekilde istatistiksel olarak anlamlı olsa bile, hedef kitleniz hakkında herhangi bir fikir edinmek için yeterli değildir. Çoğu uzman, değişken başına yaklaşık 300'den fazla dönüşümün genellikle iyi bir kural olduğu konusunda hemfikirdir (daha sonra segmentlere ayırmak isterseniz daha da fazlası).

Veri kümesi ne kadar büyük olursa, test sonrası analizinizde içgörüleri bulmak o kadar kolay olur.

4 haftalık bir satış döngüsüne ve mevcut 'kontrol' sayfanızın bilgilerine dayalı olarak testinizin ne kadar doğru olacağına dair bir fikir edinmek için A/B testi önem hesaplayıcımızı kullanın.

Basitçe test parametrelerinizi ayarlayın:

Ardından, mevcut sayfanızın dönüşüm sayısıyla birlikte testinizin haftada ne kadar trafik alması gerektiğini besleyin ve ardından testinizin hesaplayabileceği doğruluğu ve artış yüzdesini öğrenin.

Yukarıdaki örnekte, 4 hafta sonra %1,2 kadar küçük bir artış ölçebiliriz. (Daha yüksek doğruluk elde etmek istiyorsak, testi daha uzun süre çalıştırmanız veya testteki trafik hacmini artırmanız yeterlidir.)

İstatistiksel Olarak Önemli Sonuçlar Alın

İşte bu nedenle istatistiksel anlamlılık önemlidir, ancak test ederken en önemli faktör değildir.

Evet, testinizin sonuçlarda %95-99 güven derecesini görmeye yetecek kadar uzun süre çalıştığından emin olmak istiyorsunuz, ancak aynı zamanda yukarıda ele aldığımız diğer tüm faktörlerin isabetli olduğundan emin olmak istiyorsunuz.

Neden? Niye?

Bir A/A testi bile, yeterince uzun süre çalıştırılmazsa, bir sürümün aynı kopyasından daha iyi olduğuna dair %95 güven gösterebilir.

(Bir gün tüm dönüşümleri bir sürümde rastgele görebilir ve diğerinde hiçbirini görmeyebilir.)

Çok fazla sayıda yeni test kullanıcısı, kampanya "stat sig" değerine ulaştığında kampanyayı durdurarak yanlış veri almalarına neden olur. Bu nedenle, %95 veya daha yüksek bir istatistiksel anlamlılık elde etmenizi öneririz, ancak testi AYRICA 300'den fazla dönüşümle ve yeterince büyük bir örneklem boyutuyla 2-4 satış döngüsü üzerinde çalıştırın.

Tüm bunları yaparsanız, testinizin size geçerli ve doğru sonuçlar vereceğine güvenebileceğinizden oldukça emin olabilirsiniz.

Bu kriterleri karşılamanız için testin çalışmasına izin vermenin ne kadar önemli olduğunu yeterince vurgulayamam.

Bir testi çok erken çağırmak, size aşağıdakilerden birine yol açabilecek yanlış bilgiler verebilir:

• Yeterli bilgiye sahip olmadığınızdan potansiyel bir kazanan bulamamak,
• Kazanan olduğunu düşündüğünüz, ancak aslında daha düşük bir dönüşüm oranı olduğu için daha düşük performans gösteren kampanyalar yayınlamak,
• Ya da daha kötüsü, bu sonuçlara yanlış bir güven duyabilir ve öğrendiklerinizi sitenizin diğer bölümlerine yaymak için kullanabilir, böylece bu olumsuz etkileri artırabilirsiniz.

Kenar notu:

Bunları, Deneyimleri Dönüştür uygulamasında denemenizin İstatistikler ve Ayarlar bölümünde testiniz çalıştırılmadan önce parametre olarak ayarlayabilirsiniz.

Ardından, test çağrılmadan önce elde etmek için istediğiniz güven düzeyini, minimum çalışma süresini ve dönüşüm sayısını ayarlayabilirsiniz.

Verilerinizin doğruluğundan emin olduktan sonra, analiz etme zamanı…

Adım #2: Mikro, Makro ve Korkuluk Metriklerinizi Kontrol Edin

Çoğu kişi bir teste bakacak ve araç onlara ne söylerse söylesin kazananı veya kaybedeni yüz değerinden alacaktır.

Tabii ki sorun şu ki, araç size yalnızca testinizin nasıl performans gösterdiğini onun için belirlediğiniz kriterlere göre söyleyebilir. CRO test uzmanları olarak, her zaman bu sonuçların ortaya çıkmasına neden olan “nasıl” ve “neden”i anlamak ve onlardan bir şeyler öğrenebilmek isteriz.

Şimdi yapacağımız birkaç kontrol var, ama önce en önemlilerinden üçünü ele alacağım. İşte burada mikro ve makro sonuç takibi devreye giriyor.

Açıklamama izin ver:

• Mikro izleme, testinizi optimize ettiğiniz, daha fazla tıklama, kayıt vb. olabilecek hedefi izleme anlamına gelir.
• Makro izleme, genellikle satış olan işletmeniz için Northstar metriği üzerindeki etkiye bakıyor.

Bu neden önemli?

Bazen, test sayfanızdaki mikro olaydaki bir artış, makroyu düşündüğünüz gibi etkilemez.

Örnek

Bir müşteri adayı yakalama sayfasında CTA'yı test ettiğinizi ve kaybedenin kontrolden daha az müşteri adayı aldığını varsayalım.

Hangi testin kazandığı açık görünüyor, değil mi?

Ancak, analizlerinizde daha fazla inceleme yaptığınızda, o 'kaybedilen' testten geçen müşteri adaylarının aslında arka uçta çok daha yüksek bir oranda dönüştüğünü ve çok daha büyük bir yatırım getirisi yarattığını fark ediyorsunuz.

Bu neden olur?

Mevcut sayfanız daha geniş bir kitleye hitap ediyor ve daha fazla potansiyel müşteriyi dönüştürüyor olabilir, ancak yeni 'kaybedilen' varyantınız aslında şu anda satın almaya hazır olan kişilere çekici geliyor.

Örnekte, kaybeden kampanya, Northstar metriğiniz ile çok daha iyi dönüşüm sağladığı için, aslında birlikte yayınlamak isteyeceğiniz sayfa olacaktır.

Nihai hedefinizi hatırlayın ve çabalarınızı onu en çok etkileyen şeye odaklayın.

Yine de aramanız gereken tek şey mikro ve makro sonuçlar değildir.

Henüz yapmadıysanız, kampanyalarınıza 'Korkuluk metrikleri' eklemeyi düşünün.

Bunlar, başka değişiklikler yaparken göz önünde bulundurmanız gereken temel metriklerdir; böylece, düşmeye başlarlarsa, performansları çok önemli olduğu için belirli test yöntemlerini geri alabilir veya durdurabilirsiniz.

Uber'de herhangi bir zamanda 100'lerce deney yapıyoruz. Bu deneylerin amacı, ürünlerimizi ve kullanıcı deneyimini sürekli iyileştirmektir. Bununla birlikte, bazen deneycinin aklında bazı önemli metrikler olabilir ve ekip ve genel olarak şirket için önemli olan diğer birkaç metrik üzerindeki etkisinin farkında olmayabilir ve deneme çalıştırılırken bu izlenmeyen metrikler gerileyebilir.

Bu tür senaryoları tespit etmek ve hafifletmek için deneme izleme platformumuzu oluşturduk. Amaç, deneme çalıştırmaları sırasında düşürmek istemediğimiz birkaç korkuluk metriğini belirlemek ve izlemek. Bu korkuluk ölçümlerini sürekli olarak izlemek ve bir deneyin tedavi ve kontrol grubu arasındaki herhangi bir gerilemeyi tespit etmek için sıralı A/B metodolojisinin bir varyasyonunu uygularız. Regresyon tespit edilirse, denemenin sahibine uyarılar göndeririz .

Suman Bhattacharya, Kıdemli Veri Bilimcisi, Uber

Örnek

Tam ekran açılır pencereleri kullanarak daha fazla potansiyel müşteri toplamak istediğinizi varsayalım.

Bazı siteler için bunlar harika çalışır, ancak her zaman değil. (Bu yüzden test ediyoruz!)

Belki tam ekran bir açılır pencere yüklediniz ve bu sayfada daha fazla potansiyel müşteri almaya başladınız, ancak bu yeni abonelere hoş geldiniz e-postalarınız geri dönüyor ve teslim edilmiyor.

İnsanların, pop-up'ların gösterilmesini durdurmak için sahte e-postaları tercih ettikleri ortaya çıktı.

E-posta teslim sonuçlarınızı gerçek abonelere indirebileceklerinden, e-posta listenizde sahte müşteri adayları istemezsiniz. Ayrıca, kullanıcı deneyimini, hedef kitlenizin e-postalarını taklit etmeleri gerektiğini düşünecek kadar düşürmek istememelisiniz.

E-posta pazarlaması, satış sürecinizin temel bir parçası olduğundan, olası satış yakalama sayfanızda A/B testleri çalıştırırken e-posta hemen çıkma oranının belirli bir noktayı geçip geçmediğini size bildirmek için bir uyarı oluşturmaya karar verirsiniz.

Bu, korkuluk ölçütünüz olacaktır. Bu örnekte, bozulduğunu görebilir ve daha az müdahaleci müşteri adayı yakalama yöntemleri kullanmaya karar verebilirsiniz.

bu mantıklı mı?

Otokorkuluk metrikleri sadece potansiyel müşteri yakalama ve hemen çıkma oranı değildir. Bunlar, kullanıcı deneyimini etkileyen bir düşüş görmek istemediğiniz temel metriklerdir.

Kullanıcı deneyiminin bozulmasını önlemek ve aynı zamanda önemli olan metrikleri iyileştirdiğinizden emin olmak için, belirli bir eşiğin altına düşerlerse, sözde " kazanan” varyantı. Bu aynı zamanda dönüşüm optimizasyonu ile UX veya marka yönergeleri arasındaki tartışmanın sona ermesine de yardımcı olur .

Alex Birkett, Her Şeyi Bilen Dijital

Bu metriklerin işletmeniz için ne olduğuna karar vermek size kalmış. Gerçek bir kazananınız olup olmadığını veya daha önemli bir alandaki bir kayıp için bir sonucun yükselişiyle işlem yapıp yapmadığınızı görmek için bunları kullanın.

Biraz ilhama ihtiyacınız varsa, Ben Labay'ın deneme ve test etmedeki yaygın korkuluk metrikleri listesine göz atın:

Ardından, bu değişiklikleri buna göre yapın.

Analitikleriniz ve gelişmiş segmentlerinizle birlikte Deneyimleri Dönüştür uygulamasına sahip olduğunuz sürece, etrafa hızlı bir göz atarak bu bilgiyi bulabilmeniz gerekir. Her varyasyonun Northstar metriğiniz üzerindeki etkisini ve ayrıca 'korkuluklarınızı' kontrol edin, böylece sadece test aracının kazananını seçmezsiniz.

Artık temel metriklerinizi ele aldığınıza göre, sonuçlarınıza biraz daha derinlemesine bakalım…

Adım #3: Daha Derine inin ve Sonuçlarınızı Bölümlere Ayırın

Teste gelince, ortalamanın bir yalan olduğunu unutmayın .

Ortalama sonuç, size yalnızca birden çok veri noktasının birleşimine dayalı olarak geniş bilgi verebilir. Bu sonucun neden oluştuğunu anlamak ve daha derine bakmak size kalmış çünkü her zaman göründüğü gibi değil.

Bunu makro sonuçların mikro test değişikliklerinden etkilendiğini zaten gördük, ancak analitik segmentleriniz daha da derin bilgiler verebilir.

Örnek

Daha fazla potansiyel müşteri için bir test yaptığınızı varsayalım. İlk bakışta, kontrol ve varyant, abonelere gelen ziyaretçilerin dönüşüm oranıyla aynı.

Ancak, daha derin bir incelemede, masaüstünde yeni varyasyonun kontrolün dönüşüm oranının neredeyse iki katı olduğunu, ancak mobilde sıfır olduğunu ve sayfanın ortalamasının kontrolle aynı görünmesine neden olduğunu fark ediyorsunuz.

Açıkça, bir şeyler yanlış, ama bu neden olsun ki?

Yeni varyant mobilde doğru şekilde yüklenmemiş olabilir veya form belirli cihazlarda çalışmıyor olabilir, bu nedenle abone olmak isteyen hiçbir mobil kullanıcı gerçekten yapamaz. Ve bu sorunu düzelttiyseniz, 'eşit sonuç' varyantınız kontrolden çok daha iyi performans gösterebilir.

Bunları ancak sonuçlarınızın arkasında daha fazla bilgi edinmek için çalıştığınızda bulabilirsiniz.

Her testte, daha akıllı segmentasyonu bilgilendirecek, yeni öngörülere yol açacak ve sonunda sizi daha anlamlı bir stratejiye götürecek olan öngörülere giden yolu deneyeceksiniz .

Shanelle Mullins, Shopify

Segmentasyon, yalnızca hataları bulmakla ilgili değil, aynı zamanda diğer kullanıcı içgörülerini bulmakla da ilgilidir.

Belki sayfa ve kontrol düzgün çalışıyordur, ancak daha derine baktığınızda, belirli trafik kanallarının bu yeni testte diğerlerinden çok daha yüksek dönüşüm sağladığını fark ettiniz mi?

Çoğu zaman, bazı segmentlerin düşük, diğerlerinin ise yüksek performans gösterdiğini görürsünüz. Bu daha sonra yeni kişiselleştirme kampanyaları veya ücretli veya organik trafik stratejileri hakkında bilgi verebilir.

Belki de kontrol, masaüstünde en iyi dönüşümü sağlar, ancak yeni varyant mobilde daha yüksek dönüşüm sağlar. Örneğin, izleyicinin sitenizi nasıl gördüğüne bağlı olarak hangi sürümün gösterileceğini seçmek istediğinizi varsayalım.

Convert'in kişiselleştirme özelliğini kullanarak, bu mobil kazanan varyasyonu sadece o kitle için bir kişiselleştirme olarak ayarlayabilirsiniz.

Ardından, ziyaretçi herhangi bir mobil cihazdan geldiğinde yeni sürümü gösterebilirsiniz.

Ancak bir masaüstünden karşılaşırlarsa, bunun yerine masaüstü sürümünü görürler.

Kullanabileceğiniz çok sayıda farklı kişiselleştirme yöntemi vardır, ancak yalnızca kampanyalarınızdan bazı bilgiler edindikten sonra.

Segmentleri analiz etmenin anahtarı, bir şeyin NEDEN olduğunu öğrenmek için her zaman sonuçlarınıza bakmaktır.

Bakmak:

• Yeni ve Geri Dönen izleyici kitlesi . Bir varyasyon insanları daha sık geri mi getiriyor? Biri daha fazla soğuk/yeni kitle üyesi mi dönüştürüyor?
• Trafik kaynağı. Bir kanal diğerlerinden daha mı iyi? Buraya daha fazla odaklanabilir misin?
• Sayfa Görünümleri. Özellikle test sayfanız satış sayfanıza trafik çekmeye çalışıyorsa. Bir sürümde tıklama eksikliği, bozuk bir düğmeniz veya CTA sorununuz olduğu anlamına gelebilir.
• Çıkma Oranı. Bu, bozuk bir bağlantı/yavaş yükleme/kötü UX deneyimini veya hatta yanlış kitleyi hedeflediğini gösterebilir.
• İşletim sistemi,
• Mobil ve Masaüstü.
• Kullanılan cihaz.

Küçük bir sorumluluk reddi:

Bu şekilde segmentlere ayrılırken her kanalın doğru bir yansımasını elde etmek için çok fazla veriye ihtiyacınız var. İyi bir kural, normalde çalıştırabileceğiniz dönüşüm hacminin yaklaşık 10 katı (veya yalnızca varyant sayfası başına değil, kanal başına 300 dönüşüm) ile bir test yapmaktır.

“Böyle bir test yapmak için yeterli trafik elde etmemizin hiçbir yolu yok” diye düşünüyor olabilirsiniz. Veya yaparsanız, bunun gerçekleşmesi aylar alabilir.

Durum böyle olsa bile, segment analizinize bakmayı atlamayın.

Neden? Niye?

Her segmentte veriye dayalı sonuçlar çıkarmak için yeterli dönüşüme sahip olmasanız bile, sıfır tıklamayla sayfa görüntüleme veya hemen çıkma oranı gibi sorunlar görmeye başlarsanız, bu size bazı çarpıcı bilgiler verebilir .

Bunların hepsi, başarısız bir testi gösterebilecek ve potansiyel olarak kaçırılmış bir kazanan bulmanıza yardımcı olabilecek şeylerdir. Devam edin ve büyük düşüşleri ve sorunları arayın. Her platform ve cihazda her şey çalışıyor muydu?

İdeal olarak, hepsini testten önce kontrol etmişsinizdir, ancak işler testin ortasında bozulabilir, bu yüzden tekrar kontrol edin.

Ben şahsen WordPress'in kampanyanın ortasında kendini otomatik olarak güncellemesini sağladım ve bu da potansiyel müşteri yakalama formlarının bir testin ortasında aniden çalışmayı durdurmasına neden oldu. Her zaman kontrol edin ve sonuçlarınızın doğruluğunu bozan bir şey görürseniz testi durdurun, sorunu onarın ve yeniden çalıştırın.

Ve her şey yolundaysa?

Bir göz atalım ve insanların neden harekete geçmediğini öğrenelim…

4. Adım: Daha Fazla Bilgi İçin Kullanıcı Davranışını Kontrol Edin

İdeal olarak, test aracınızın üstünde niteliksel izleme olmalıdır.

Neden? Niye?

Çünkü bu genellikle, yalnızca düzenli testlerle kaçıracağınız varyantınız hakkında size fikir verebilir.

Unutma:

Convert gibi nicel test araçları size ne olduğunu söyler. Size kaç kişinin tıkladığı veya tıklamadığı arasındaki ham sayısal verileri verebilir ve her A/B testini ayarlamanıza yardımcı olabiliriz.

Ancak nitel araçlar eklemek, bir eylemin NEDEN gerçekleştiğini anlamanıza yardımcı olur. Kullanıcının ne yaptığını görmenize ve eylemleri hakkında daha fazla bilgi edinmenize olanak tanır.

(Testler genellikle ya zayıf uygulama ya da izleyicilerin anlaması nedeniyle başarısız olur ve bunu ancak neyin yanlış gittiğini görerek çözebiliriz.)

Daha derin bilgiler edinmek için Hotjar – Convert entegrasyonunu kurun ve aşağıdaki taktikleri deneyin.

Kullanıcının Ne Kadar Aşağıda Okuduğunu Takip Edin

Hedef kitlenizin CTA'nız kadar ileri gidip gitmediğini görmek için sayfanıza bir ısı haritası aracı ekleyin. Değilse, testinizi tekrar çalıştırabilir ve CTA'yı sayfanın yukarısına taşıyabilirsiniz.

Kullanıcıların Tıkladıkları Ama Tıklamamaları Gereken Şeyleri İzleyin

Stratejik CTA'lara mı tıklıyorlar yoksa bunun yerine bir bağlantı olabileceğini düşündükleri rastgele bir metin mi?

Tıklamadıkları Ama Yapması Gerekenleri Görmek İçin Ekran Kayıtlarını İzleyin

Görmek için yeterince uzağa kaydırmalarına rağmen CTA düğmenizi tıklamıyorlar mı? Tıklıyorlar ama açılmıyor mu? Onu görüyorlar ama tıklanacak bir düğme olduğunun farkında değiller mi?

Tüm bunları izleyebilir ve hatta bu şeyler ortaya çıktığında notlar ekleyebilirsiniz.

Yardımcı olabilecek yalnızca ısı eşleme ve tıklama izleme araçları değildir.

Kitlenize Anketler Çalıştırın

Anketler, yalnızca hedef kitlenizin harekete geçmesine (veya onları durdurmasına) neyin sebep olduğu konusunda geri bildirim almanıza yardımcı olmakla kalmaz, aynı zamanda bunu açıklamak için kullandığı dili de size verir.

Metin yazarlığında buna 'ayna dili' diyoruz ve kullanıcıyla bağlantı kurmada inanılmaz derecede etkili. Sadece onların problemini tanımakla kalmıyor, aynı zamanda kullandıkları kelimelerle tarif ettiğiniz gibi, onu herkesten daha iyi anlıyormuşsunuz gibi geliyor.

A/B test aracınızın yanında anketleri kullanmanın iki harika yolu şunlardır:

• Niyet anketlerinden çıkın . Yeni sürümü almayanları belirleyin, böylece onları neyin durdurduğunu öğrenebilirsiniz.
  
  Bugün tercih/satın almamanızın bir nedeni var mı?

• Satın alma/dönüşüm sonrası anketler. Değişkeni alan kişileri bulun ve herhangi bir yapışma noktası ve motive edici faktör olup olmadığına bakın.
  
  Bugün harekete geçmeye karar vermenize ne sebep oldu?” Sizi karar vermekten neredeyse alıkoyan bir şey oldu mu?

Daha fazla bilgi istiyorsanız, kontrol üzerinde benzer anketler bile çalıştırabilirsiniz. Tüm bunlar, tekrar edip geliştirebilmeniz için testin nasıl yapıldığını anlamanıza yardımcı olacaktır.

Hangisinden bahsetmişken…

Adım #5: Testleri Kaybetmekten Öğrenin

Kaybedilen bir sınava girmek söz konusu olduğunda en önemli şey, sonuçtan bir şeyler öğrenmektir. Kitlenizi geliştirmek veya daha iyi anlamak için ondan içgörüler alabildiğiniz sürece kötü bir test diye bir şey yoktur.

A/B testi etkileşimli bir süreçtir. Anlayış kazanırken ileriye doğru başarısız oluyoruz. Çoğu zaman, kaybeden bir sınava girerek kazanan olmaktan çok daha fazlasını öğrenebilirsiniz.

Şimdiye kadar 3 şey yaptık:

• Test verilerinin doğru olduğundan emin olmak,
• Herhangi bir sorun için ham sonuçlara bakmak ve
• Kullanıcılarımızı ve eylemlerini anlamaya çalışmak.

Bu adım, bir başarısızlığa neden olabilecek yaygın sorunları anlamanıza (test verilerinin doğru olduğunu ve CTA düğmelerinin hepsinin çalıştığını varsayarak) anlamanıza ve yaklaşımınızı ve hipotezinizi analiz etmenize yardımcı olmak için daha çok buluşsal bir yaklaşımdır.

Hipoteziniz mi Yanlış Yoksa Testiniz Yanlış mı?

Bu, özellikle yeni test kullanıcıları arasında yaygın bir sorundur.

Testinizi, gerçek bir KPI ile uyumlu olmayan bazı 'woo woo' metrikleri veya fikirleri üzerinden mi yaptınız?

Örnek

Diyelim ki bir sayfadan daha fazla satış yapmak istiyorsunuz, ancak bir nedenden dolayı bunun yerine sosyal paylaşım düğmelerinizde ince ayarları test etmeye karar verdiniz. (Daha fazla sosyal paylaşımın satışlarınızı etkilediğini gösteren sıfır verileriniz olsa da.)

Kulağa çılgınca geliyor ama böyle bir şeyin ne sıklıkta gerçekleştiğine şaşıracaksınız.

Kendine sor:

Test hedefim, temel bir KPI ile ve onu etkileyebilecek şekilde uyumlu mu?

Olmadıysa, sorun değil, ancak bir sonraki testin daha iyi hizalandığından emin olun.

Başarısız oluyoruz, öğreniyoruz, tekrar deniyoruz.

Bir sonraki testinizde, temel KPI metriklerinize ve bunları nasıl etkileyebileceğinize odaklandığınızdan emin olun ve ayrıca teste net bir kazanma/başarısızlık senaryosu verin.

Bu sayfanın daha fazla potansiyel müşteri elde etmesini istiyoruz, bu yüzden onları etkinleştiren şeyi test ediyoruz, bu da daha iyi bir CTA oluşturmak istediğimiz anlamına geliyor.

veya

Bu sayfanın daha fazla potansiyel müşteri elde etmesini istiyoruz ve kullanıcıların CTA'mıza kadar kaydırma yapmadığını tespit ettik, bu nedenle sayfayı yukarı kaldırmayı test ediyoruz.

Testinizin hedefinize uygun olması sizi doğru yola sokacaktır, ancak o zaman bile yine de daha fazla dönüşüm görmeyebilir…

Hipotez Doğruydu ve Test Uyumluydu, Ama Sonuçlarda Hala Değişiklik Yoktu

Bu, zamanın %90'ında olabilir ve çoğu testin başarısız olmasının nedeni budur.

Örnek 1

Kullanıcı verileriniz, kullanıcıların sitenize yeterince güvenmediğini gösteriyor. Sosyal kanıt, kullanıcı referansları, SSL sertifikaları gibi güven faktörleri eklediniz, ancak dönüşümler hala artmadı.

Bu, durup yeni bir test veya açı denemeniz gerektiği anlamına mı geliyor?

Hiç de bile…

İlk hipoteziniz doğru olabilir, ancak herhangi bir etki görmeden önce testinizin iyileştirilmesi veya daha iyi yürütülmesi gerekiyor.

Daha fazla güven faktörü eklemeyi deneyebilir veya daha fazla öne çıkmaları için sahip olduklarınızın etrafında hareket edebilirsiniz. Belki de kitlenizle daha iyi bağlantı kurmalarına yardımcı olmak için kullanılan dili yeniden ifade edin.

Bunların hepsi hala ilk hipotezle uyumludur, kazananı bulmak için daha fazla sürümü test etmeniz yeterlidir.

Örnek #2

CXL, kamyon sürücüsü sertifikaları için daha fazla potansiyel müşteri elde etmek için bu açılış sayfasında 6 farklı test kampanyası yürüttü.

Sayfayı iyileştirmeye devam ederek katılım oranını %12.1'den %79.3'e yükselttiler.

(Neredeyse tüm bu test kampanyaları, bir artış görmeden önce aynı hipotezi kullanarak birden fazla deneme yaptı. Ancak o zaman, sayfadaki diğer öğeleri iyileştirmek için ilerlediler ve test ettiler.)

A/B testi yinelemeli bir süreçtir. İyileştirmeler bulmak için test etmeye ve ince ayar yapmaya devam etmelisiniz ve işin en iyisi bile zamanın sadece %10'unda bir kazanan bulabilir.

Varsayımsal olarak bir organizasyon olsaydınız ve yaptığınız her test başarılı olsaydı, bence bu aslında bir kırmızı bayrak olurdu.

Kulağa mantıksız geliyor ama bana sadece bariz şeyleri test ettiğinizi ve iğneyi gerçekten hareket ettirmek için yeterince risk alınmadığını gösteriyor .

Deborah O'Malley, Testi Tahmin Et

En iyiden öğrenmek her zaman harikadır ve Deborah ile yaptığımız röportajı paylaşmaktan heyecan duyuyoruz. Testlerin neden asla başarısız olmadığını ve testte doğru zihniyete sahip olmanın öneminden bahsettik. Doğru bir başlangıç ​​yapmanıza yardımcı olmak için röportajımızı buradan dinleyin.

Bu, pozitif bir artış görmeden önce 9 teste ihtiyacınız olabileceği anlamına gelir, bu yüzden buna bağlı kalın.

Testleriniz, en çok etkiyi en aza indirgeyen bir öncelik sistemini takip etmelidir. Mevcut kampanyanızı iyileştirmek için daha fazla test ve değişiklik çalıştırarak, daha düşük öneme sahip bir teste geçmekten çok daha fazla etki göreceksiniz, çünkü mevcut kampanyanızla hemen sonuç almıyorsunuz.

Daha küçük değişikliklerle hala bir artış görmüyorsa, farklı bir tasarım uyguladığınız yenilikçi bir test yapmayı düşünün.

Çit için bir salıncak olabilir ama bazen yapmanız gereken değişiklik olabilir.

Ya Tüm Bu Testler ve İnce Ayarlardan Sonra Varyant Hala Kaybeden Olursa?

Yani veriler doğru ve her ince ayarı denediniz ve hatta tüm sayfada büyük yenilikçi değişiklikler yaptınız ve yine de kontrolden daha iyi performans göstermeyecek.

Öyle görünmeyebilir, ama bu aslında İYİ BİR ŞEY.

Neden? Niye?

Çünkü hedef kitlenizde neyin işe yaramadığını öğrendiniz!

Pek çok web sitesi, hiçbir şeyi test etmeden büyük kapsamlı değişiklikler yapar ve ne olursa olsun bunu kullanıma sunar.

Kendinize şunu sorun:

Bu sayfa varyantı mevcut kontrolünüzden yalnızca %1 daha kötü dönüştürüyorsa, bunu ilk önce test edip kullanıma sunmadan ne kadar tasarruf ettiniz?

Back in 2014, Marks and Spencer decided to update their entire website without testing it with a sample audience first.

Sonuç?

Their online sales dropped by 8.1% in 3 months, causing a loss of $55 million.

This is why testing and finding losers is a really good thing because even losing tests can save you money.

What if the Test and the Variant Have Identical Results?

You checked everything, it all works, you've segmented down and gone into the nitty-gritty, but there's just no discernible difference between your current page and your new variant.

You've even tried complete page overhauls but through some fluke of math, your new page still converts at the same rate as the old one.

In this case, it's simply the dealer's choice.

Does the new variation more actively represent your brand and style?

If so, choose whichever you wish to use. The results are still the same but you are happier with the design.

Note: This should be the only time that you do this. Branding should not sacrifice results; it should aid them, as seen in the previous example.

Step #6: Double Down on Winners and Continue to Improve Them

So far we've been covering losing campaigns, but what if you got a winner right out of the gate?

First off, congratulations!

Second, let's make sure you actually have a winner. Oftentimes, things can happen to affect your results and give you a false positive (ie we think it's a winner but we implement it and nothing happens.)

Go ahead and run the test again with just your control and the winning variant and prove the lift in results first before you make any changes to your site.

Then if it really is a winner? Don't stop there, continue to improve it!

Iterative improvements of a new winning campaign are the easiest new test to run. With each new improvement, you'll see more ongoing ROI. You can even take what you learned with your winning test and then roll it out across similar pages on your site for further tests and see if it also adds lift there too.

Step #7: Create a Learning Repository for Future Tests

This step is relevant to both winning and losing tests.

Not only will it help you with future tests, but it will also help your QA team diagnose any broken campaigns faster, as they can see where issues have appeared in the past.

Better still?

It will help you document your results for clients or your boss, while also standardizing your reporting processes and ramping up your test velocity.

İşte nasıl çalıştığı:

You're going to create a master archive or learning repository of all past tests. A place to document your previous wins and losses that you can use to both reference for new campaigns and share with stakeholders or customers.

You can use a folder on your computer for this, but, if you really want to get organized, there's a great tool called GrowthHackers experiments.

Its main goal is to help marketing growth teams communicate and organize campaigns, but you can easily use it to manage your CRO testing and learnings. It will even pull in results from your test tool and allows you to archive each test. (You can simply tag and then add them to the repository.)

Whatever you decide to use, here are some best practices:

Organizing Your Tests

You probably have your own naming conventions but if you're just starting, I recommend naming each test like so:

“Goal – Campaign – Test Date”

Örneğin:

“CTR lift test – XYZ client – March 1st-14th 2021”

This way, you can organize tests by goals to get inspiration for future tests, search through and find them for client campaigns, or look back on your experiments month by month.

Then, if you wanted to run a CTR test later on, you can swipe through them and see what ideas worked or failed in the past.

How Do We Create Documents for the Learning Repository?

Feel free to add screenshots of your testing tools graphs, confidence, and power level or any data that you think is relevant.

However, I highly recommend creating a slide with the following information:

• The hypothesis and how you came up with the idea (any survey data or information).
• A headline with the test goal.
• A screenshot of the control, the winning variant, and any other failed versions/tests that got some lift but not as much. (Highlight the key elements so you can spot what changed without having to look too hard.)
• Add the micro goal and its percentage lift. (Perhaps 3.2% CTR)
• Then add the macro goal and its percentage lift. (AVG order value up 2.2%, etc.)

İşte bir örnek:

You can use these slides to present the test information to anyone else who needs them, while also having a simple file to understand the test at a moment's notice.

Pretty handy, right?

Now that you've analyzed your test and recorded the results, let's walk you through how to present this to your boss in a way that even if the test failed, they're still happy to see your findings…

How To Present This Information To Your Boss (Even When Your Campaigns Failed)

Don't worry if you feel anxious about this, you're not alone. In fact, according to CXL's state of the industry report, presenting test information or getting buy-in from your stakeholders is consistently one of the biggest struggles CROs face.

We've covered the best ways to communicate this information before, but I want to give you a few extra tips on how to get your test results across (even if your test failed).

Tip #1: Get Everyone On Board With CRO and Its Realities as Soon as Possible

Ideally, you covered this when you first broached the topic of running A/B tests but it never hurts to recap.

Make sure they understand that A/B testing is a continual learning process that's more about understanding your audience and improving their experience. The lift in ROI is simply a byproduct of taking action on each test and implementing what you learn, regardless of if it wins or fails.

Winners give lift and losers give insight into where to improve.

No test is ever wasted but the majority of them do fail. You're looking at roughly 1/10 winners for most people's tests and agencies are around 1/4.

Be clear on how many tests fail and the need to run more tests to find winners.

Tip #2: Present the Information as Simply as You Can

Not everyone can read graphs easily. Even if they can, it still means that it takes effort to understand the context of what they are seeing.

The more effort it takes to understand something, the more frustrating it can be and can cause you to lose the other person's attention.

(Top tip for landing pages btw ^^)

Break it down nice and simple by using the slides from your learning repository.

It should already include:

• Önceden ne öğrendiğin ve test fikrine nasıl geldiğin.
• Neyi test ettiniz. Kontrolü, varyasyonları ve kazananı gösterin.
• Mikro ve makro düzeyde nasıl çalıştığı. Sonuçları dahil edin.

Finally, add any insights you drew from tests to decide on your next important action to take. (Improve execution, test new variations, new hypothesis, etc.)

Providing insight into what happened is HUGE.

Patronunuz sonuçlardan çok öğrendiklerinizle ilgilenir, çünkü buna göre hareket edilebilir. Bunu paylaşmak ve daha sonra ne yapacakları konusunda fikir vermek, durumun kontrolünün sizde olduğunu görmelerine ve daha sonraki testler konusunda kendilerine güvenmelerine yardımcı olacaktır.

3. İpucu: İyi Görünmelerini Sağlayın

Bir adım daha ileri gidin ve önem verdikleri verileri ekleyin:

• Test başarısız olursa, neden başarısız olduğunu düşündüğünüze dair fikir verin . Başarısız testi başlatmayarak kaydedilen ROI'yi ve bunun MRR ve ARR'yi nasıl etkileyeceğini ekleyin.
• Kazanırsa, elde edilen YG'ye ve bunun yıldan yıla geliri / MRR ve ARR'yi nasıl etkilediğine ve daha fazla ölçeklendirme ve YG'de daha fazla artış elde etme fırsatına ilişkin bilgiler verin . (yani, bir müşteri adayı yakalama sayfasını test etmiş ve düzeni değiştirirken bir artış görmüş olabilirsiniz. Bu testi uygulayabileceğiniz ve potansiyel bir artış görebilecek benzer 30 sayfanız daha olabilir.)
• Test düz çıktıysa, ne olduğunu ve daha sonra ne yapılması gerektiğini düşündüğünüzü paylaşın. (Daha iyi yürütme, yeni bir değişken, toplam değişiklik veya daha iyi hizalanmış bir test vb.)

Elbette, ARR + MRR veya YOY etkisi kaba bir tahmindir, ancak testinizin potansiyel etkisini ve değerini gösterir. Patronunuzun umursadığı ve sonuçlarınızı gördüklerinde muhtemelen düşündükleri şey budur.

İnanın bana, bilgilerinizi bu şekilde sunduğunuzda, çok daha kolay geçtiğini fark edeceksiniz. Testi 'kaybedilen para' veya zaman kaybı olarak çerçevelemek yerine, potansiyel tasarruflara, fiili kazançlara ve potansiyel daha fazla büyümeye odaklanmaya geçersiniz.

Sadece bu değil, aynı zamanda daha fazla test yürütmenin, CRO çabalarınızı olgunlaştırmanın ve test hızınızı artırmanın değerini de kanıtlayabileceksiniz.

Çözüm

İşte aldın.

Şimdiye kadar, A/B test sonuçlarınızı nasıl analiz edip onlardan öğreneceğiniz konusunda kendinize çok daha fazla güvenmeli ve testlerinizin nasıl yapıldığına bakılmaksızın bu bilgileri patronunuza veya başka birine sunabilmelisiniz.

Çalıştırdığınız her yeni A/B testinin test sonrası analizini kolaylaştırmak için bu kılavuzu takip edin!