57 Yaygın A/B Testi Hataları ve Bunlardan Nasıl Kaçınılır?

A/B testleri yapıyor ancak düzgün çalışıp çalışmadıklarından emin değil misiniz?

Bozuk bir kampanyada değerli zaman kaybetmemek için A/B testi yaparken yaygın olarak yapılan hataları öğrenmek ister misiniz?

İyi haber! Bu makalede, gördüğümüz 57 yaygın (ve bazen nadir) A/B testi hatasını size anlatacağız, böylece ya onlardan kaçınabilir ya da ne zaman meydana geldiklerini anlayabilir ve hızlı bir şekilde düzeltebilirsiniz.

Bunları 3 ana bölüme ayırdık:

• Teste başlamadan önce yapılan hatalar,
• Test sırasında oluşabilecek sorunlar,
• Ve test bittiğinde yapabileceğiniz hatalar.

Sadece baştan sona okuyabilir ve bunlardan herhangi birini kendiniz yapıp yapmadığınızı görebilirsiniz.

Ve Hatırla:

Her başarısızlık, hem test etmede hem de kurulum hatalarında değerli bir derstir. Önemli olan onlardan öğrenmek!

Öyleyse dalalım…

Daha Testinizi Çalıştırmadan Önce Yapılabilecek Yaygın A/B Testi Hataları

#1. Test etmeden önce bir şeyi canlı yayınlamak!

Harika bir yeni sayfanız veya web sitesi tasarımınız olabilir ve onu test etmeden canlı yayınlamaya gerçekten heveslisiniz.

Uzak dur!

Önce nasıl çalıştığını görmek için hızlı bir test yapın. Bazı verileri almadan radikal bir değişikliği hayata geçirmek istemezsiniz, aksi takdirde satışları ve dönüşümleri kaybedebilirsiniz.

Bazen bu yeni değişiklik performansta önemli bir düşüş olabilir. Bu yüzden önce hızlı bir test yapın.

#2. Gerçek bir A/B testi çalıştırmamak

Bir A/B testi, bir kontrol sayfasına ve o sayfanın bir varyasyonuna tek bir trafik kaynağı çalıştırarak çalışır. Amaç, uyguladığınız değişikliğin hedef kitlenin daha iyi dönüşüm sağlayıp sağlamadığını ve harekete geçip geçmediğini bulmaktır.

Mesele şu ki, bu testin kontrollü ve adil olduğundan emin olmak için bu testi belirli parametrelerle çalıştırmamız gerekiyor. Bir testi etkileyen ve diğerini etkilemeyen herhangi bir dış faktörün olmaması için, aynı zaman diliminde kampanyayı görüntüleyen aynı trafik kaynaklarına ihtiyacımız var.

Bazı insanlar sırayla bir test yapma hatası yapar. Mevcut sayfalarını X süre boyunca çalıştırıyorlar, ardından X zamanı için yeni sürümü çalıştırıyorlar ve ardından farkı ölçüyorlar.

Bu sonuçlar, bu test pencereleri sırasında pek çok şey olabileceğinden tamamen doğru değildir. Yeni bir trafik patlaması elde edebilir, bir etkinlik düzenleyerek 2 sayfanın çok farklı kitlelere ve sonuçlara sahip olmasına neden olabilirsiniz.

Bu nedenle, trafiği 2 sürümünüz arasında böldüğünüz ve bunları aynı anda test ettiğiniz gerçek bir A/B testi yaptığınızdan emin olun.

#3. Aracın çalışıp çalışmadığını test etmiyor

Hiçbir test aracı %100 doğru değildir. Başlarken yapabileceğiniz en iyi şey, aletinizin ne kadar hassas olduğunu görmek için bir A/A testi yapmaktır.

Nasıl? Tek bir sayfa arasında trafiği 50:50 böldüğünüz bir test yapın. (Belirli bir sonucu ölçebilmeniz için hedef kitlenizin dönüştürebileceği bir sayfa olduğundan emin olun.)

Neden? Niye?

Hedef kitlenizin her iki grubu da aynı sayfayı gördüğünden, testin her iki tarafında da dönüşüm sonuçları aynı olmalıdır, değil mi?

Bazen değiller, bu da aletinizin yanlış ayarlanmış olabileceği anlamına gelir. Bu nedenle, herhangi bir kampanya yayınlamadan önce test aracınızı kontrol edin.

#4. Düşük kaliteli bir araç kullanma ve yanıp sönen içerik

Bazı araçlar diğerleri kadar iyi değildir. İşi yapıyorlar ama trafik yükü altında zorlanıyorlar veya 'yanıp sönüyorlar' ve titriyorlar.

Bu, potansiyel bir kazanan varyantınız olsa bile testinizin başarısız olmasına neden olabilir.

Diyelim ki sayfanızdaki bir resmi bölme testi yapıyorsunuz. Kontrol sayfası düzgün yükleniyor, ancak yeni test görüntüsü ile orijinal görüntü arasındaki fark, saniyenin çok küçük bir kısmı için titriyor. (Ya da belki kullanıcı sayfayı her yukarı ve aşağı kaydırdığında.)

Bu dikkat dağıtıcı olabilir ve güven sorunlarına neden olarak dönüşüm oranınızı düşürür.

Aslında, yeni görüntünüz teoride daha da iyi dönüştürülebilir, ancak aracın titremesi sonuçları düşürerek size o görüntünün yanlış bir testini verir.

Test etmek için yeterince iyi bir araca sahip olduğunuzdan emin olun.

(Bu, o kadar önemli bir kullanıcı deneyimi faktörüdür ki, Google şu anda titreyen veya hareketli öğeleri olmayan siteler için sıralamalarını ayarlamaktadır).

#5. QA testi yok

Çok basit bir hata, ama her şeyin çalıştığını kontrol ettiniz mi?

• Satış sürecinden geçtiniz mi?
• Başkaları var mı? (Ve önbelleğe alınmamış cihazlarda, bazen tarayıcınızda kaydedilenler sayfanın göründüğü gibi olmayabilir.)
• Sayfalar yükleniyor mu? Yavaşlar mı? Tasarımlar karıştı mı?
• Tüm düğmeler çalışıyor mu?
• Gelir takibi çalışıyor mu?
• Sayfanın birden fazla cihazda çalıştığını kontrol ettiniz mi?
• Bir şey bozulursa yerinde hata raporlama var mı?

Tüm bunlar, herhangi bir kampanyaya trafik göndermeye başlamadan ÖNCE kontrol etmeye değer.

#6. Yeni tedavi/varyasyon işe yarıyor mu?

Aynı şekilde, bir testi çalıştırmadan önce yeni varyasyonunuzun çalışıp çalışmadığını test ettiniz mi?

QA testinin gözden kaçan bir parçası olabilir, ancak kampanyalar genellikle bozuk düğmeler, eski bağlantılar ve daha fazlasıyla yayınlanabilir. Önce kontrol edin, sonra test edin.

#7. Bir hipotezi takip etmemek ve sadece eski bir şeyi test etmek

Bazı insanlar gerçekten düşünmeden her şeyi test eder.

Bir değişiklik için bir fikir edinirler ve bunu test etmek isterler, ancak sayfanın şu anda nasıl dönüştürüldüğüne ve hatta test ettikleri değişikliğin neden bir fark yaratabileceğine dair gerçek bir analiz yapmadan. (Dönüşümleri düşürmüş olabilirler, ancak henüz izlenen bir temel sonuca sahip olmadıkları için bunu bilmiyor olabilirler).

Bir sorunun nerede olduğu, nedeni ve nasıl çözebileceğiniz konusunda bir hipotez oluşturmak, test programınızda büyük bir fark yaratacaktır.

#8. Test edilemez bir hipoteze sahip olmak

Her hipotez doğru değildir. Bu iyi. Aslında kelimenin tam anlamıyla anlamı 'X bilgisine dayalı bir fikrim var ve Z durumunda Y'nin gerçekleşebileceğini düşünüyorum'.

Ancak test edilebilir, yani test yoluyla kanıtlanabileceği veya çürütülebileceği anlamına gelen bir hipoteze ihtiyacınız olacak. Test edilebilir hipotezler, yeniliği harekete geçirir ve aktif deneyleri teşvik eder. Ya başarıya (bu durumda önseziniz doğruydu) ya da başarısızlıkla sonuçlanabilir - baştan beri yanıldığınızı gösterirler. Ama size fikir verecekler. Bu, testinizin daha iyi yürütülmesi gerektiği, verilerinizin yanlış olduğu/yanlış okunduğu veya genellikle çok daha iyi çalışabilecek yeni bir test hakkında fikir veren, çalışmayan bir şey bulduğunuz anlamına gelebilir.

#9. Testiniz için önceden net bir hedef belirlememek

Bir hipoteziniz olduğunda, bunu elde etmek istediğiniz belirli bir sonuçla uyum sağlamak için kullanabilirsiniz.

Bazen insanlar sadece bir kampanya yürütür ve nelerin değiştiğini görür, ancak hangi belirli öğede artış görmek istediğiniz konusunda net iseniz, kesinlikle daha fazla potansiyel müşteri/dönüşüm veya satış elde edersiniz.

(Bu aynı zamanda önemli bir unsurda bir düşüş görmenizi engeller, ancak 'daha fazla pay aldığı' için testi bir kazanç olarak kabul eder.)

Hangisinden bahsetmişken…

#10. Yüzeysel metriklere odaklanmak

Testiniz her zaman Guardrail metriklerine veya satışlarınızı doğrudan etkileyen bazı unsurlara bağlı olmalıdır. Daha fazla olası satış varsa, bir olası satışın ne kadar değerli olduğunu ve bu dönüşüm oranını artırmanın değerini bilmelisiniz.

Aynı zamanda, ölçülebilir bir sonuca bağlanmayan veya ölçülebilir bir sonuç sağlamayan metriklerden genellikle kaçınılmalıdır. Daha fazla Facebook beğenisi mutlaka daha fazla satış anlamına gelmez. Bu sosyal paylaşım düğmelerini kaldırın ve kaç tane daha fazla potansiyel müşteri elde ettiğinizi izleyin. Gösteriş ölçütlerine karşı dikkatli olun ve bir sızıntının giderilmiş olması, başka bir yerde ele alınacak başka bir sızıntı olmadığı anlamına gelmediğini unutmayın!

İşte Ben Labay'ın deneme programları için ortak korkuluk metriklerinin listesi:

#11. Test fikirleri oluşturmak için yalnızca nicel verileri kullanmak

Fikir edinmek için nicel verileri kullanmak harikadır, ancak aynı zamanda biraz kusurludur. Özellikle kullandığımız tek veri analizlerimizdense.

Neden? Niye?

Verilerimizden X kadar kişinin tıklamadığını bilebiliriz, ancak nedenini bilemeyebiliriz.

• Düğme sayfanın çok altında mı?
• belirsiz mi?
• İzleyicinin istediği ile uyumlu mu?
• Çalışıyor mu?

En iyi testçiler aynı zamanda izleyicilerini de dinler. Neye ihtiyaç duyduklarını, onları neyin ilerlettiğini, onları neyin geride tuttuğunu keşfederler ve sonra bunu yeni fikirler, testler ve yazılı metinler formüle etmek için kullanırlar.

Bazen kullanıcılarınız, güven sorunları ve kendilerinden şüphe duymaları nedeniyle geride kalırlar. Diğer zamanlarda, netlik ve kırık formlar veya kötü tasarımlar. Anahtar, nicel verilerin size her zaman söyleyemeyeceği şeylerdir, bu nedenle her zaman hedef kitlenize sorun ve bunu planlamanıza yardımcı olması için kullanın.

#12. Rakiplerinizi kopyalamak

Bir sır için hazır mısınız?

Çoğu zaman rakipleriniz onu kanatlandırır. Uzun vadeli artış kampanyaları yürüten birileri yoksa, bazen fikirleri için herhangi bir veri kullanmadan sadece neyin işe yaradığını görmek için bir şeyler deniyor olabilirler.

Ve o zaman bile, onlar için işe yarayan, sizin için işe yaramayabilir. Bu yüzden evet, onları ilham almak için kullanın ancak test fikirlerinizi yalnızca yaptıklarını gördüğünüz şeylerle sınırlamayın. İlham almak için sektörünüzün dışına bile çıkabilir ve bunun bazı hipotezlere yol açıp açmadığını görebilirsiniz.

#13. Yalnızca 'endüstrideki en iyi uygulamaları' test ediyor

Yine, biri için işe yarayan, her zaman diğeri için işe yarayan şey değildir.

Örneğin, kaydırıcı resimlerin genellikle korkunç bir performansı vardır, ancak bazı sitelerde aslında daha fazla dönüşüm sağlayabilirler. Her şeyi test edin. Kaybedecek bir şeyiniz yok ve kazanacak her şeyiniz var.

#14. Yüksek etkili büyük ödül/düşük asılı meyve mevcut olduğunda önce küçük etkili görevlere odaklanmak

Detaylara odaklanmaktan hepimiz suçlu olabiliriz. Daha iyi performans göstermek ve mizanpaj tasarımlarını ve resimlerini ve hatta buton renklerini test etmek istediğimiz bir sayfamız olabilir. (Kişisel olarak 5. yinelemesinde olan bir satış sayfam var.)

Mesele şu ki, muhtemelen şu anda test etmeniz gereken çok daha önemli sayfalar var.

Etkiye öncelik verin:

• Bu sayfa satışları doğrudan etkiler mi?
• Satış sürecinde çok düşük performans gösteren başka sayfalar var mı?

Eğer öyleyse, önce bunlara odaklanın.

Bir satış sayfasındaki %1'lik bir artış harikadır, ancak sayfada onları oraya götüren %20'lik bir artış çok daha önemli olabilir. (Özellikle o sayfa, hedef kitlenizin çoğunu kaybettiğiniz yerse.)

Bazen sadece daha fazla destek aramıyoruz, bunun yerine darboğaz olan bir şeyi düzeltmeye çalışıyoruz.

En büyük etkiyi, önce en düşük asılı meyveyi test edin ve iyileştirin. Ajansların yaptığı budur ve bu nedenle kurum içi ekiplerle aynı sayıda test gerçekleştirirler, ancak daha yüksek bir yatırım getirisi ile. Ajanslar, aynı test hacmi için %21 daha fazla kazanç elde ediyor!

#15. Aynı anda birden fazla şeyi test etmek ve sonuca hangi değişikliğin neden olduğunu bilmemek

Aynı anda birden fazla şeyi değiştirdiğiniz ve tüm sayfanın yeniden tasarımını yaptığınız radikal testler yapmanın yanlış bir tarafı yok.

Aslında, bu radikal yeniden tasarımlar, trafiğin düşük olduğu bir site olsanız ve özellikle de platodaysanız ve daha fazla destek alamıyorsanız, yatırım getirinizin üzerinde bazen en büyük etkiye sahip olabilir.

Ancak her A/B testinin böyle köklü bir değişiklik için yapılmaması gerektiğini unutmayın. Zamanın %99'unda sadece tek bir şeydeki değişikliği test ediyoruz, örneğin

• Yeni başlıklar
• Yeni resimler
• Aynı içeriğin yeni düzeni
• Yeni fiyat vb.

Tek bir eleman testi yaparken anahtar sadece budur. Neyin fark yarattığını görebilmeniz ve bundan bir şeyler öğrenebilmeniz için testinizi yalnızca BİR öğe değişikliğiyle tutun. Çok fazla değişiklik ve neyin işe yaradığını bilmiyorsunuz.

#16. Uygun bir ön test analizi çalıştırmamak

Test grubunuzda yeterli ziyaretçiniz var mı? Test bile zaman ayırmaya değer mi?

Matematik yap! Bir testi çalıştırmadan önce yeterli trafiğe sahip olduğunuzdan emin olun - aksi takdirde sadece zaman ve para kaybı olur. Çoğu test, yetersiz trafik veya zayıf hassasiyet (veya her ikisi) nedeniyle başarısız olur.

Deneyiniz için Numune Boyutunu ve Minimum Tespit Edilebilir Etkiyi belirlemek için bir ön test analizi yapın. Convert's gibi bir A/B Testi Önem Hesaplayıcısı size testiniz için Örnek Boyutunu ve MDE'yi söyleyecek ve bu da denemeye değer olup olmadığına karar vermenize yardımcı olacaktır. Bu bilgiyi, bir testin başarılı olup olmadığına karar vermeden önce, testin ne kadar sürmesi gerektiğini ve ne kadar küçük bir artışı kaçırmak istemeyeceğinizi belirlemek için de kullanabilirsiniz.

#17. Testleri yanlış etiketleme

Süper basit bir hata ama oluyor. Testleri yanlış etiketlersiniz ve ardından yanlış sonuçlar alırsınız. Varyasyon kazanır ama buna kontrol denir ve sonra asla kazanmayı uygulamaz ve kaybedenle kalırsınız!

Her zaman iki kez kontrol edin!

#18. Testleri yanlış URL'ye çalıştırma

Başka bir basit hata. Ya sayfa URL'si yanlış girilmiştir ya da test, yayındaki sürüme değil, değişikliklerinizi yaptığınız bir 'test sitesine' yürütülmektedir.

Sizin için uygun görünebilir, ancak aslında izleyicileriniz için yüklenmeyecektir.

#19. Testinize keyfi görüntüleme kuralları ekleme

Yine, tedavinizle bir şeyi test etmeniz gerekiyor, başka bir şey değil.

Bu bir görüntüyse, görüntüyü test edin. İnsanların her iki sayfayı da görebildiği günün saati de dahil olmak üzere her şey aynı olmalıdır!

Bazı araçlar, trafiğin farklı zaman dilimlerinde nasıl performans gösterdiğini görmek için günün farklı zamanlarını test etmenize olanak tanır. Bu, sitenizde en iyi trafiğin ne zaman olduğunu görmek istiyorsanız yararlıdır, ancak sayfalar onları kimlerin gördüğüne göre bölünüyorsa VE farklı varyasyonlara sahipse yardımcı olmaz.

Örneğin, kendi blog trafiğimiz hafta sonları azalır (çoğu iş blogu gibi).

Kontrol sayfasında Pzt-Çar'da bir test yaptığımızı ve ardından tedavide Cum-Paz'dan gelen trafiği gösterdiğimizi hayal edin? Test etmek için çok daha düşük trafiğe ve muhtemelen çok farklı sonuçlara sahip olacaktır.

#20. Hedefiniz için yanlış trafiği test etme

İdeal olarak, bir test çalıştırırken, hedef kitlenizin yalnızca tek bir segmentini test ettiğinizden emin olmak istersiniz. Genellikle, sitenizde ilk kez nasıl yanıt verdiklerini görmek yeni organik ziyaretçilerdir.

Bazen tekrar eden ziyaretçileri, e-posta abonelerini ve hatta ücretli trafiği test etmek isteyebilirsiniz. İşin püf noktası, bir seferde yalnızca birini test etmektir, böylece o grubun o sayfada nasıl performans gösterdiğinin doğru bir temsilini elde edebilirsiniz.

Testinizi kurduğunuzda, birlikte çalışmak istediğiniz hedef kitleyi seçin ve geri gelen ziyaretçiler gibi sonucu kirletebilecek diğerlerini kaldırın.

#21. Geri dönen ziyaretçileri bir teste dahil etmemek ve sonuçları çarpıtmak

Biz buna örnek kirlilik diyoruz.

Temel olarak, bir ziyaretçi sitenizin sayfasını görürse, geri döner ve varyasyonunuzu görürse, yalnızca birini gördüğünden çok farklı tepki verir.

Bu ekstra etkileşimler nedeniyle kafaları karışabilir, sıçrayabilir ve hatta daha yükseğe dönüşebilirler.

Mesele şu ki, verilerinizin kirlenmesine ve daha az doğru olmasına neden oluyor. İdeal olarak, gördükleri sayfayı rastgele seçen ancak daha sonra test bitene kadar onlara her zaman aynı sürümü gösteren bir araç kullanmak istersiniz.

# 22. IP'lerinizi testten çıkarmamak

Örnek kirliliğinden bahsetmişken, işte verilerinizi kirletmenin başka bir yolu (ve yine de analitik için iyi bir uygulama).

Analiz ve test aracınızdan sizi ve personelinizin IP adreslerini engellediğinizden emin olun. İstediğiniz son şey, sizin veya bir ekip üyesinin bir sayfada 'check-in' yapması ve testinizde etiketlenmesidir.

#23. Kontrol grubu varyasyonlarını segmentlere ayırmamak (Ağ Etkisi)

Nadir görülen ancak özellikle hedef kitleniz için bir ağınız varsa gerçekleşebilecek başka bir kirlilik seçeneği.

İşte bir örnek.

Diyelim ki kitlenizin iletişim kurabileceği bir platformunuz var. Belki bir Facebook sayfası veya yorumlar bölümü, ancak HERKES buna erişebilir.

Bu durumda, insanların bir sayfayı ve diğerlerinin bir varyasyon görmesini sağlayabilirsiniz, ancak hepsi aynı sosyal ağdadır. Bu, birbirlerinin seçimlerini ve sayfayla olan etkileşimlerini etkileyebileceğinden verilerinizi gerçekten çarpıtabilir. Linkedin, ağ etkisi sorunlarını önlemek için yeni özellikleri test ederken hedef kitlesini bölümlere ayırıyor.

İdeal olarak, test tamamlanana kadar 2 test grubu arasındaki iletişimi ayırmak istersiniz.

#24. Mevsimsel etkinlikler veya büyük site/platform etkinlikleri sırasında testler yapmak

Sezonluk bir etkinlik için test yapmıyorsanız, tatiller veya özel bir indirim veya dünya etkinliği gibi diğer önemli etkinlikler sırasında asla bir test kampanyası yürütmek istemezsiniz.

Bazen yardım edemezsin. Bir test çalıştırmanız olacak ve Google yeni bir temel güncelleme uyguluyor ve kampanyanın ortasında *öksürük* trafik kaynaklarınızı karıştırıyor.

Yapılacak en iyi şey, her şey öldükten sonra tekrar çalıştırmaktır.

#25. Kültürel farklılıkları görmezden gelmek

Bir sayfa için bir hedefiniz olabilir, ancak aynı zamanda farklı dillerde ve farklı ülkelerde gösterilen birden çok varyasyonu olan küresel bir kampanya yürütüyorsunuz.

Testinizi çalıştırırken bunu dikkate almanız gerekir. Basit bir düzen kaydırma veya güven sinyalleri ekleme vb. gibi bazı değişiklikler genel olarak yapılabilir.

Diğer zamanlarda, kültürel farklılık noktalarını hesaba katmanız gerekir. İnsanların düzeni nasıl gördükleri, resimleri ve sayfanızdaki avatarları nasıl gördükleri.

Netflix bunu tüm programlarının küçük resimleriyle yapar ve farklı izleyicilere hitap edebilecek farklı öğeleri test eder (bunun yerine o ülke için ünlü belirli aktörlerin yer aldığı).

Bir ülkede tıklama alan diğer ülkelerde inanılmaz derecede farklı olabilir. Yine de test etmeden bilemezsiniz!

#26. Aynı anda birden fazla bağlantılı kampanya yürütmek

Heyecanlanmak ve aynı anda birden fazla test yapmak istemek kolaydır.

Unutmayın: Satış sürecindeki benzer noktalar için aynı anda birden çok test çalıştırabilirsiniz, ancak dönüşüm hunisindeki birden çok bağlantılı nokta için birden çok test çalıştırmayın.

İşte demek istediğim.

Sahip olduğunuz her olası satış yaratma sayfasında testleri aynı anda oldukça kolay bir şekilde çalıştırabilirsiniz.

Ancak, potansiyel müşteri sayfalarını, satış sayfalarını ve ödeme sayfalarını aynı anda test etmek istemezsiniz çünkü bu, test sürecinize çok sayıda farklı öğe katabilir ve yararlı bilgiler elde etmek için çok büyük miktarda trafik ve dönüşüm gerektirebilir.

Sadece bu da değil, her öğe bir sonraki sayfada hem iyi hem de kötü farklı etkilere neden olabilir. Haftada yüz binlerce ziyaretçiniz olmadıkça, muhtemelen doğru sonuçlar almakta zorlanacaksınız.

Bu yüzden sabırlı olun ve her seferinde yalnızca bir aşamayı veya sürece bağlı olmayan sayfaları test edin.

Kenar notu:

Dönüştürme, bir deneydeki kişileri diğerlerini görmekten hariç tutmanıza olanak tanır. Böylece teorik olarak tüm satış döngüsünü test edebilir ve ardından yalnızca diğer sayfaların kontrolünü görebilirsiniz.

# 27. Eşit olmayan trafik ağırlığı

A/B, A/B/n veya Çok Değişkenli testi çalıştırıyor olmanız fark etmez. Doğru bir ölçüm alabilmeniz için her sürüme eşit trafik hacmi ayırmanız gerekir.

Onları baştan eşit olacak şekilde ayarlayın. Çoğu araç bunu yapmanıza izin verecektir.

Testiniz Sırasında Yapabileceğiniz Yaygın A/B Testi Hataları

#28. Doğru sonuçlar elde etmek için yeterince uzun süre çalışmıyor

Test etmek ve doğru sonuçlar almak istediğinizde göz önünde bulundurmanız gereken 3 önemli faktör vardır:

• İstatistiksel anlamlılık,
• Satış Döngüsü ve
• Örnek boyut.

Öyleyse onu parçalayalım.

Çoğu kişi, test araçları onlara bir sonucun diğerinden daha iyi olduğunu VE sonucun istatistiksel olarak anlamlı olduğunu söylediğinde testleri bitirir, yani test bu şekilde çalışmaya devam ederse, bu kesin bir kazanandır.

Mesele şu ki, bazen sadece az miktarda trafikle 'stat sig'i oldukça hızlı bir şekilde vurabilirsiniz. Rastgele tüm dönüşümler bir sayfada gerçekleşir ve diğerinde gerçekleşmez.

Yine de bu hep böyle kalmayacak. Test başlatılmış olabilir, ödeme günüdür ve o gün bir sürü satış yapmış olabilirsiniz.

Bu yüzden satış döngüsünü hesaba katmamız gerekiyor. Satışlar ve trafik haftanın gününe veya aya bağlı olarak dalgalanabilir. Testinizin nasıl çalıştığına dair daha doğru bir sunum elde etmek için ideal olarak 2 ila 4 hafta arasında bir süre çalıştırmanız gerekir.

Son olarak, örnek boyutunuz var.

Testinizi bir ay boyunca çalıştırıyorsanız, muhtemelen doğru sonuçlar almak için yeterli trafik alacaksınız. Çok az ve test, olması gerektiği gibi çalışacağı konusunda size bir güven düzeyi sağlayamaz.

Yani genel bir kural olarak,

• %95 güven derecesi için gidin.
• Bir ay boyunca çalıştırın.
• Hangi numune boyutuna ihtiyacınız olduğunu önceden belirleyin ve bu isabet edene kadar testi durdurmayın VEYA YA DA bir kazananınız olduğunu en ufak bir şüphe olmadan kanıtlayan harika bir sonuç elde edersiniz.

#29. Helikopter izleme/gözetleme

Peeking, bir testçinin nasıl performans gösterdiğini görmek için testine baktığı zamanı tanımlamak için kullanılan bir terimdir.

İdeal olarak, testimize bir kez çalıştıktan sonra bakmak istemiyoruz ve doğru örneklem boyutuyla tam bir döngü bitirene ve istatistiksel anlamlılığa ulaşana kadar üzerinde asla bir karar vermiyoruz.

Ancak... Ya test çalışmıyorsa?

Ya bir şey kırılırsa?

Bu durumda, kırıldığını görmek için bir ay beklemek istemezsiniz, değil mi? Bu nedenle, bir testin çalışmasını ayarladıktan 24 saat sonra kontrol ve varyasyonda sonuç alıp almadığını her zaman kontrol ederim.

Hem trafik aldıklarını hem de tıklama/dönüşüm aldıklarını görebilirsem, oradan uzaklaşırım ve işini yapmasına izin veririm. Test seyrini tamamlayana kadar HİÇBİR karar vermem.

#30. Kullanıcı geri bildirimlerini takip etmemek (test, doğrudan ve acil bir eylemi etkiliyorsa özellikle önemlidir)

Diyelim ki test tıklama alıyor ve trafik dağıtılıyor, bu nedenle *işliyor* gibi görünüyor, ancak aniden insanların satış formunu dolduramadığına dair raporlar almaya başlıyorsunuz. (Ya da daha iyisi, bir korkuluk metriğinin kabul edilebilir seviyelerin çok altına düştüğüne dair otomatik bir uyarı aldınız.)

O zaman ilk düşüncen bir şeyin bozuk olduğu olmalı.

Her zaman değil. Teklifinizle uyumlu olmayan bir hedef kitleden tıklamalar alıyor olabilirsiniz, ancak her ihtimale karşı bu formu kontrol etmeye değer.

Bozuksa düzeltin ve yeniden başlatın.

#31. Testin ortasında değişiklik yapma

Bu son birkaç noktadan net olarak anlaşılmış olabilir, ancak bir kez yayına girdikten sonra testte herhangi bir değişiklik yapmak istemiyoruz.

Elbette, bir şeyler bozulabilir, ama yapmamız gereken tek değişiklik bu. Tasarımı değiştirmeyiz, kopyalamayız veya başka bir şey yapmayız.

Test çalışıyorsa, çalışmasına izin verin ve neyin işe yarayacağına verilerin karar vermesine izin verin.

#32. Test ortasında trafik tahsisi yüzdesini değiştirme veya düşük performans gösterenleri kaldırma

Test edilen sayfaları değiştirmediğimiz gibi, test ortasında da herhangi bir varyasyonu kaldırmıyoruz veya trafik dağılımını değiştirmiyoruz.

Neden? Niye?

Bir kontrol ve 3 varyasyon içeren bir A/B/n testi yaptığınızı varsayalım. Teste başlıyorsunuz ve bir hafta sonra yaramazca bir göz atıyorsunuz ve 2 versiyonun harika, birinin kötü performans gösterdiğini fark ediyorsunuz.

Şimdi 'kaybedilen' varyasyonu kapatmak ve trafiği diğer varyasyonlar arasında yeniden dağıtmak cazip gelebilir, değil mi? Heck… Hatta trafiğin ekstra %25'ini alıp en iyi performans gösterene göndermek isteyebilirsiniz, ancak bunu yapmayın.

Neden? Niye?

Bu yeniden dağıtım yalnızca test performansını etkilemekle kalmayacak, aynı zamanda sonuçları ve raporlama aracında nasıl göründüklerini de doğrudan etkileyebilir.

Daha önce kaldırılan varyant için paketlenen tüm kullanıcıların bir varyanta yeniden tahsis edilmesi gerekecek ve kısa bir süre içinde davranışlarını ve sonraki seçimlerini etkileyebilecek değişen bir web sayfası görecekler.

Bu nedenle, trafiği asla değiştirmezsiniz veya yolun ortasındaki varyasyonları kapatmazsınız. (Ayrıca neden bakmamalısınız!)

#33. Doğru sonuçlara sahip olduğunuzda bir testi durdurmamak

Bazen bir testi durdurmayı unuttun!

Hedef kitlenizin %50'sini daha zayıf bir sayfaya ve %50'sini kazanana yönlendirmeye ve beslemeye devam eder. Hata!

Neyse ki, Deneyimleri Dönüştür gibi araçlar, bir kampanyayı durdurmak ve belirli kriterlere (örnek boyutu, istatistik işareti, dönüşümler ve zaman çerçevesi gibi) ulaştığında kazananı otomatik olarak göstermek için ayarlanabilir.

#34. Varyasyonları kaybetmeye duygusal olarak yatırım yapmak

Test uzmanları olarak tarafsız olmamız gerekiyor. Ancak bazen, sadece sevdiğiniz ve kazanması gerektiğine ikna olduğunuz belirli bir tasarımınız veya fikriniz olabilir; bu nedenle, ileride olup olmadığını görmek için testi daha uzun ve daha uzun süre uzatmaya devam edersiniz.

Bandajı çekip çıkarın.

İyileştirilmesi gereken iyi bir fikriniz olabilir, ancak mevcut testi bitirmeden bunu yapamazsınız.

#35. Testleri çok uzun süre çalıştırıyor ve izleme düşüyor

İşte başka bir potansiyel örnek kirliliği sorunu.

4 haftadan daha uzun bir süre için bir test çalıştırırsanız, kullanıcıların çerezlerinin düştüğünü görme ihtimaliniz vardır. Bu, olayların izlenmemesine neden olabilir, ancak geri dönebilir ve örnek verileri yeniden kirletebilir.

#36. Testi durdurmanıza/uygulamanıza izin veren bir araç kullanmamak!

Başka bir nadir sorun.

Bazı test programları, sabit kodlanmış testler oluşturmakta ısrar ediyor. yani bir geliştirici ve mühendis, kampanyayı sıfırdan oluşturur.

Ancak, test bittiğinde ve aynı geliştiricinin onu kapatmasını ve kazanan varyasyonu yüklemesini beklemeniz gerektiğinde bu harika değil. Bu sadece sinir bozucu olmakla kalmaz, aynı zamanda çalıştırabileceğiniz testlerin sayısını ve hatta yayınlanmasını beklerken sayfanın YG'sini ciddi şekilde yavaşlatabilir.

Testiniz Bitirdikten Sonra Yapabileceğiniz Yaygın A/B Testi Hataları

#37. Bir testten sonra pes etmek!

10 testten 9'u genellikle başarısızdır.

Bu, kazananı elde etmek için 10 test yapmanız gerektiği anlamına gelir. Emek ister ama her zaman buna değer, bu yüzden bir kampanyadan sonra durmayın!

#38. Tüm versiyonlarını test etmeden önce iyi bir hipotezden vazgeçmek

Bir başarısızlık, basitçe hipotezinizin doğru olduğu, ancak daha iyi yürütülmesi gerektiği anlamına gelebilir.

Yeni yollar, yeni tasarımlar, yeni düzen, yeni resimler, yeni avatarlar, yeni dil deneyin. Fikriniz var ve daha iyi uygulayıp uygulayamayacağınıza bakın.

Müşterilerinin sayfasını iyileştirmek için CXL 21 yineleme gerekti, ancak dönüşüm oranını %12.1'den %79.3'e çıkardı.

#39. Her zaman büyük kazançlar beklemek

İşin aslı, her 10 veya daha fazla kazanan kampanyadan yalnızca 1'inde büyük bir kazanç elde edebilirsiniz.

Tamamdır. Test etmeye ve gelişmeye devam ediyoruz, çünkü %1'lik bir artış bile zaman içinde bileşikleri artırıyor. Bunu geliştirin ve %2'ye getirin ve şimdi etkinliği ikiye katladınız.

Hangi tür testler en iyi sonuçları verir?

Gerçek şu ki, farklı deneylerin farklı etkileri vardır. Jakub Linowski'nin 300'den fazla testten oluşan araştırmasına göre, yerleşim deneyleri daha iyi sonuçlara yol açma eğilimindedir.

Optimize edilmesi en zor ekran türü nedir? Aynı araştırma, ödeme ekranlarını ortaya koyuyor (25 testten +%0,4 medyan etkisi ile).

#40. Testten sonra geçerliliği kontrol etmemek

Böylece test tamamlandı. Yeterince uzun süre koştunuz, sonuçları gördünüz ve istatistik aldınız ama verilerin doğruluğuna güvenebilir misiniz?

Testin ortasında bir şey kırılmış olabilir. Kontrol etmekten asla zarar gelmez.

#41. Sonuçları doğru okumamak

Sonuçlarınız size gerçekten ne söylüyor? Bunları doğru okumamak, potansiyel bir kazananı kolayca alabilir ve tam bir başarısızlık gibi görünebilir.

• Analitiğinizin derinliklerine dalın.
• Sahip olduğunuz niteliksel verilere bakın.

Ne işe yaradı ve ne yaramadı? Neden oldu?

Sonuçlarınızı ne kadar çok anlarsanız o kadar iyi.

#42. Sonuçlara segment bazında bakmamak

Biraz daha derine dalmak her zaman işe yarar.

Örneğin, yeni bir değişken düşük dönüşüm sağlıyor gibi görünebilir, ancak mobilde dönüşümlerde %40 artış var!

Bunu ancak sonuçlarınıza ayırarak öğrenebilirsiniz. Kullanılan cihazlara ve oradaki sonuçlara bakın. Bazı değerli bilgiler bulabilirsiniz!

Sadece segment boyutunuzun öneminin farkında olun. Her segmente tam olarak güvenmek için yeterli trafiğiniz olmayabilir, ancak her zaman yalnızca mobil cihazlara yönelik bir test (veya hangi kanalsa) çalıştırabilir ve nasıl performans gösterdiğini görebilirsiniz.

#43. Sonuçlardan ders almamak

Testleri kaybetmek, nerede daha fazla geliştirmeniz veya daha fazla araştırma yapmanız gerektiği konusunda size fikir verebilir. Bir CRO olarak en sinir bozucu şey, az önce gördüklerinden bir şeyler öğrenmeyi reddeden müşterilerle görüşmektir. Verileri var ama kullanmıyorlar…

#44. kaybedenleri almak

Ya da daha kötüsü, kaybeden varyasyonu alırlar.

Belki tasarımı tercih ederler ve dönüşüm oranı sadece %1 farklıdır, ancak zamanla bu etkiler birleşir. Bu küçük kazançları alın!

#45. Sonuçlarla ilgili işlem yapmamak

Yine daha mı kötü?

Kazanmak ama uygulamamak! Verilere sahipler ve onunla hiçbir şey yapmıyorlar. Değişiklik yok, içgörü yok ve yeni test yok.

#46. Kazançları yinelememek ve iyileştirmemek

Bazen bir asansör alabilirsiniz ama olması gereken daha çok şey var. Like we said earlier, it's very rare that every win will give you a double-digit lift.

But that doesn't mean that you can't get there by running new iterations and improvements and clawing your way up 1% at a time.

It all adds up so keep on improving!

#47. Not sharing winning findings in other areas or departments

One of the biggest things we see with hyper-successful/mature CRO teams is that they share their winnings and findings with other departments in the company.

This gives other departments insights into how they can also improve.

• Find some winning sales page copy? Preframe it in your adverts that get them to the page!
• Find a style of lead magnet that works great? Test it across the entire site.

#48. Not testing those changes in other departments

And that's the key here. Even if you share insights with other departments, you should still test to see how it works.

A style design that gives lift in one area might give a drop in others, so always test!

#49. Too much iteration on a single page

We call this hitting the 'local maximum'.

The page you're running tests on has plateaued and you just can't seem to get any more lift from it.

You can try radical redesigns, but what next?

Simply move onto another page in the sales process and improve on that. (Ironically this can actually prove to give a higher ROI anyway.)

Taking a sales page from a 10% to 11% conversion can be less important than taking the page that drives traffic to it from 2% to 5%, as you will essentially more than double the traffic on that previous page.

If in doubt, find the next most important test on your list and start improving there. You may even find it helps conversion on that stuck page anyway, simply by feeding better prospects to it.

#50. Not testing enough!

Tests take time and there's just only so many that we can run at once.

So what can we do?

Simply reduce the downtime between tests!

Complete a test, analyze the result, and either iterate or run a different test. (Ideally, have them queued up and ready to go).

This way you'll see a much higher return for your time investment.

#51. Not documenting tests

Another habit mature CRO teams have is creating an internal database of tests, which includes data about the page, the hypothesis, what worked, what didn't, the lift, etc.

Not only can you then learn from older tests, but it can also stop you from re-running a test by accident.

#52. Forgetting about false positives and not double-checking huge lift campaigns

Sometimes a result is just too good to be true. Either something was set up or recording wrong, or this just happens to be that 1 in 20 tests that gives a false positive.

So what can you do?

Simply re-run the test, set a high confidence level, and make sure you run them for long enough.

#53. Not tracking downline results

When tracking your test results, it's also important to remember your end goal and track downline metrics before deciding on a winner.

A new variant might technically get fewer clicks through but drives more sales from the people who do click.

In this instance, this page would actually be more profitable to run, assuming the traffic that clicks continues to convert as well…

#54. Fail to account for primacy and novelty effects, which may bias the treatment results

Let's say you're not just targeting new visitors with a change, but all traffic.

We're still segmenting them so 50% see the original and 50% see the new version, but we're allowing past visitors into the campaign. This means people who've seen your site before, read your content, seen your calls to action, etc.

Also, for the duration of the campaign, they only see their specific test version.

When you make a new change, it can actually have a novelty effect on your past audience.

Maybe they see the same CTA all the time and now just ignore it, right? In this case, a new CTA button or design can actually see a lift from past visitors, not because they want it more now, but because it's new and interesting.

Sometimes, you might even get more clicks because the layout has changed and they're exploring the design.

Because of this, you will usually get an initial lift in response, but which dies back down over time.

The key when running your test is to segment the audience after and see if the new visitors are responding as well as the old ones.

If it's much lower, then it could be a novelty effect with the old users clicking around. If it's on a similar level, you might have a new winner on your hands.

Either way, let it run for the full cycle and balance out.

#55. Çalışan değerlendirme dönemi değişiklikleri

Test ederken göz önünde bulundurulması gereken başka bir şey de, hedef kitlenin üzerinde düşünme süresini değiştirebilecek herhangi bir değişkendir.

Ne demek istiyorum?

Diyelim ki normalde hemen satış yapmıyorsunuz. Olası satışlar 30 günlük veya daha uzun bir satış döngüsünde olabilir.

Düşünme ve satın alma sürelerini doğrudan etkileyen bir harekete geçirici mesajı test ediyorsanız, bu sonuçlarınızı çarpıtacaktır. Birincisi, kontrolünüz satışlar elde edebilir ancak test süresinin dışında olabilir, bu yüzden onları kaçırırsınız.

Başka bir senaryo ise, bir anlaşma sunan bir CTA'nız varsa, onları hemen harekete geçmeye sevk eden herhangi bir şeyin fiyat noktası varsa, bu hemen hemen her zaman sonuçlarınızı çarpıtarak bu sürümün çok daha iyi dönüşüm sağlıyormuş gibi görünmesini sağlar.

Bunu aklınızda bulundurun ve emin olmak için test sırasında ve sonrasında analizlerinize bakın.

#56. X zamanından sonra yeniden test edilmemesi

Bu, belirli bir sayfa veya test hatası hakkında daha az, ancak daha çok test felsefesi hakkındadır.

Evet, harika bir sayfanız olabilir ve evet, bugünkü konumuna getirmek için üzerinde 20 tekrar yapmış olabilirsiniz.

Mesele şu ki, birkaç yıl içinde tüm sayfayı yeniden elden geçirmeniz gerekebilir. Ortamlar değişir, kullanılan dil ve terimler, ürün üzerinde ince ayar yapılabilir.

Her zaman eski bir kampanyaya geri dönmeye ve yeniden test etmeye hazır olun. (Test deposuna sahip olmanın harika çalışmasının başka bir nedeni.)

#57. Ürünü değil, yalnızca yolu test edin

Hemen hemen hepimiz satış yoluna odaklanır ve bunun için test yaparız. Ancak gerçek şu ki, ürün aynı zamanda A/B testinden geçirilip geliştirilebilir ve hatta daha yüksek bir artış sağlayabilir.

iPhone'u düşünün.

Apple web sitesini test etti ve geliştirdi, ancak ürün yinelemeleri ve iyileştirmeleri daha da fazla artış sağlamaya devam ediyor.

Şimdi, fiziksel bir ürününüz olmayabilir. Bir programınız veya dijital teklifiniz olabilir, ancak hedef kitlenizin ihtiyaçları hakkında daha fazla bilgi edinmek ve bunu test etmek, ardından onu satış sayfanıza geri götürmek, artış açısından BÜYÜK olabilir.

Çözüm

İşte orada. Gördüğümüz 57 yaygın ve yaygın olmayan A/B testi hatası ve bunlardan nasıl kaçınabileceğiniz.

Bu kılavuzu, gelecekteki tüm kampanyalar için bu sorunlardan kaçınmanıza yardımcı olması için kullanabilirsiniz.