A/A Testi Hakkında Her Şey: A/A Testlerini Neden ve Ne Zaman Yapmalısınız?

A/A testi, iki özdeş sayfayı birbirine karşı test etmenize olanak tanır ve yeni bir A/B test aracı kurarken son derece yararlı olabilir.

A/A testi için kullanılabilir

• bir A/B test platformunun doğruluğunu değerlendirmek,
• A/B test platformunuzun dahili analitiklerinizle tam olarak entegre olup olmadığını belirleyin,
• A/B test aracınızla ilgili olası teknik sorunları belirleyin,
• bir sayfa veya huni için temel bir dönüşüm oranı sağlamak,
• A/B testiniz için kullanılacak uygun örnek boyutunu belirleyin ve
• sayfalarınızın ve hunilerinizin performansını karşılaştırın.

Convert, yüksek dönüşüm sağlayan bir web sitesini başarılı bir şekilde tasarlamak ve geliştirmek için ihtiyacınız olan her şeye sahip olduğunuzdan emin olmak için hem A/A hem de A/B test yetenekleri sağlar.

A/A testinin önemi ve ilk deneyiminizi nasıl kuracağınız hakkında daha fazla bilgi edinmek için okumaya devam edin!

Belki daha önce başına böyle bir şey gelmiştir...

• Yeni CTA düğmenizin ve başlığınızın dönüşümleri artırıp artırmayacağını görmek için bir A/B testi yaparsınız.
• Önümüzdeki ay boyunca, hem kontrol hem de varyasyon açılış sayfalarınıza aynı miktarda trafik gönderirsiniz.
• Yazılımınız, varyasyonunuzun kazanan olduğunu beyan eder (%99 güvenle), bu nedenle durursunuz.
• Ardından “kazanan” tasarımınızı başlatıyorsunuz, ancak birkaç iş döngüsünden sonra, dönüşüm oranınızdaki %50'lik artışın net geliriniz üzerinde çok az etkisi olduğunu görüyorsunuz.

En olası açıklama, yanlış bir pozitif test sonucudur. Neyse ki, yanlış testlerle başa çıkmak için çeşitli yöntemler var.

Duymuş olabileceğiniz bir tanesi A/A testidir.

A/A Testi Nedir?

A/A testine dalmadan önce, A/B testi hakkında konuşalım, böylece farklılıkları belirtebiliriz.

Tipik bir A/B deneyiminde trafik, iki veya daha fazla alternatif varyasyon arasında bölünür.

Bir varyasyon genellikle "kontrol" veya "orijinal" olarak adlandırılır. Belirli bir metrikte hangisinin en büyük artışı ürettiğini belirlemek için, deneyimin diğer tüm varyasyonları kontrolle karşılaştırılır.

Öte yandan A/A testi, trafiğin genellikle 50/50 bölünme kullanılarak iki özdeş varyasyona tahsis edilmesini gerektirir.

Normal bir A/B testinde amaç daha yüksek bir dönüşüm oranı bulmak iken, bir A/A testinde amaç genellikle varyasyonların aynı artışa sahip olup olmadığını incelemektir.

Bir A/A testinde trafik rastgele bölünür ve her iki grup da aynı sayfa gösterilir.

Ardından, bir şeyler öğrenme umuduyla, rapor edilen dönüşüm oranları, tıklama oranları ve her grup için ilgili istatistikler günlüğe kaydedilir.

A/A testi = birbirine karşı test edilen 2 aynı sayfa

Şimdi, A/A deneyimlerinin sizin için yararlı olup olmayacağını belirlemek için kullanılabileceği bazı örneklere bakalım.

Neden A/A Testleri Çalıştırmalısınız?

Bir A/A testi çalıştırmak, web tasarımı ve geliştirme sürecinin çeşitli aşamalarında özellikle etkili olabilir, örneğin:

• Yeni bir A/B test aracı yüklemeyi tamamladığınızda,
• Mevcut A/B test aracınızın kurulumu yükseltildiğinde veya değiştirildiğinde,
• Yeni bir web sitesi veya uygulama oluşturduğunuzda,
• A/B testinizin veri raporları ile kullandığınız diğer analiz araçları arasında tutarsızlıklar fark ettiğinizde.

Bu kullanım durumlarının her birine daha derin bir dalış yapalım.

A/B Test Platformunun Doğruluğunu Kontrol Edin

Bir A/A deneyimi, bir A/B test platformu edinmek isteyen bir şirket tarafından veya yeni bir test yazılımı denemek isteyen bir şirket tarafından başlatılabilir (doğru şekilde kurulduğunu doğrulamak için).

Bir A/A deneyiminde, benzer dönüşüm değerlerine sahip olmak amacıyla aynı sayfanın tamamen aynı iki sürümünü karşılaştırırız.

Kontrol ve varyasyon arasında bir fark yoksa beklenen sonuç kesin değildir.

Buna rağmen, bazen iki özdeş nüshada bir "kazanan" ilan edilir.

Bu meydana geldiğinde, araç yanlış yapılandırılmış olabileceğinden veya etkisiz olabileceğinden, A/B test platformunu değerlendirmek çok önemlidir.

Bir sonraki adım olarak şunları yapmalısınız:

1. A/B izleme kodunu doğru yüklediğinizi kontrol edin
2. Site Alanınızı kontrol edin
3. Kitlelerinizi kontrol edin
4. Hedeflerinizi kontrol edin
5. Platformunuzu terk etmeden önce çözülebilecek bir şey olup olmadığını anlamak için A/B testi destek ekibiyle iletişime geçin.

Umarım, sorun yukarıdakilerden biridir. Sorunu çözemiyorsanız, bu muhtemelen A/A testinin kesin olduğu ve A/B test platformunuzun hatalı olduğu anlamına gelir.

Dahili Analitiğinizle Entegrasyon Kapsamını Belirleyin

Bir A/B test platformunun doğruluğunu kontrol ederken, platformun analitik aracınızla tam olarak entegre olup olmadığını değerlendirmek için bir A/A testi kullanabilirsiniz.

Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo veya başka herhangi birini kullanıyor olsanız da, entegrasyonun beklendiği gibi çalışıp çalışmadığını belirlemek için A/A test sonuçlarını dahili analiz aracınızla karşılaştırabilirsiniz.

Örneğin, aşağıda GA, Orijinalde 620 ve Varyasyonda 592 ziyaretçi tanımlamıştır (Orijinal ile aynı sayfa).

Aynı tarih aralığı için Convert, Orijinal'de 972 ve Varyasyon'da 980 (Orijinal ile aynı sayfa) ziyaretçi gösterdi.

Bu, iki platform arasındaki entegrasyonun beklendiği gibi çalışmadığının bir işareti olabilir.

Olası Teknik Sorunları Belirleyin

Olası teknik sorunları belirlemek için bir A/A testi de kullanabilirsiniz.

Çoğu A/B test yazılımı, programın ne kadar ileri itildiğine bağlı olarak, biraz farklı olan ve önemli farklılıklara neden olabilecek yöntemler kullanır.

Bu bir anormallik gibi görünebilir, ancak aşağıdakilerden biriyle daha ciddi bir temel sorun olduğunu da gösterebilir:

• Matematik ve istatistiksel formüller
• Rastgele algoritmalar
• tarayıcı çerezleri

Yukarıdaki sorunları ortaya çıkarmak için A/A deneyimlerini kullanabilirsiniz.

Aşağıdaki durumda, Wish veri bilimcileri bir A/A testinde SRM endişelerini fark ettiler. Kapsamlı bir incelemeden sonra, SRM'nin randomizasyonlarının tamamen rastgele olmamasından kaynaklandığı belirlendi.

Randomizasyon tekniği, güvenilir deney sonuçları için kritik öneme sahiptir.

Rastgele örneklerin kullanılması, A/B testinde kullanılan istatistiksel testlerin temel bir varsayımıdır.

Rastgeleleştirme, deney grupları arasında hem gözlemlenen hem de gözlemlenmeyen kullanıcı faktörlerini dengeler. Test edilen ürün özelliği ile deneme sonuçlarındaki herhangi bir değişiklik arasında nedensel bir ilişki kurar.

Herhangi Bir Sayfa veya Dönüşüm Hunisi için Temel Dönüşüm Oranını Sağlayın

Herhangi bir sayıyı geliştirmek istiyorsanız, önce taban çizgisinin nasıl göründüğünü anlamalısınız. Bu sizin hızınız, kilonuz veya koşu süreniz olabilir.

Benzer şekilde, herhangi bir A/B testi yapmadan önce, sonuçları karşılaştıracağınız dönüşüm oranını belirlemelisiniz. Bu, temel dönüşüm oranınızdır .

Muhtemelen tek bir deneyimden elde edilen artan geliri duymuşsunuzdur, ancak bu yanıltıcı olabilir. Tek bir deneyim, web sitenizin dönüşümünün iyileşip iyileşmediğini size söylemez.

Temel dönüşüm oranınızı bilmek önemlidir, çünkü her deneyimin artışını ölçemezseniz, genel olarak beklenen ve gerçekleşen dönüşümleri sık sık karşılaştırmanız gerekir.

Biraz şansla, "kazan" olarak kabul edilen her deneyim, dönüşümlerinizin beklentileri aşmasına yardımcı olacaktır.

Ve bunu yeterince sık yaparsanız, dönüşümleriniz yalnızca artmaya devam edecektir!

A/A testi, bunu başarmanıza yardımcı olacak şeydir.

Orijinal A ve Varyasyon B'nin neredeyse aynı sonuçları verdiği açılış sayfalarınızdan birinde bir A/A testi yaptığınızı varsayalım: %2,14 ve %2,13.

Sonuç olarak, temel dönüşüm oranı %2,13-2,14 olarak ayarlanabilir.

Bunu akılda tutarak, bu ölçütü aşmak amacıyla gelecekteki A/B testleri yapabilirsiniz.

Açılış sayfasının yeni bir sürümünde bir A/B testi çalıştırırsanız ve %2,15'lik bir dönüşüm oranı alırsanız, sonuç istatistiksel olarak anlamlı değildir.

Gerekli Örnek Boyutunu Bulun

Bir A/B deneyimi çalıştırmadan önce, tıpkı bir yolculuğa çıkmadan önce yaptığınız gibi, örnek boyutlarınızı iki kez kontrol edin.

Yeterli örnek (kullanıcı) yoksa deneyim etkisini gözlemleyemezsiniz. Öte yandan, çok fazla örneğiniz varsa, insanları sürekli olarak kötü bir deneyime maruz bırakarak ekibinizin ilerlemesini yavaşlatma riskiniz vardır.

İdeal olarak, ilk önce kaç tane örnek toplayacağınızı belirlemeden bir deneyime asla başlamamalısınız.

Nedenini anlamak için aşağıdakileri göz önünde bulundurun:

Diyelim ki bir jetonunuz var ve hipoteziniz, 50/50 tura veya tura gelme şansına sahip olduğu. Bunu kanıtlamak için yüzlerce kez fırlatırsın.

Ama diyelim ki ilk on atışta on yazı aldınız ve deneyi orada durdurmaya karar verdiniz.

Sıfır hipotezini (madeni paranın adil olduğu) reddetmek istatistiksel olarak anlamlı görünebilir, ancak deneyi zamanından önce sonlandırdınız. Deneyin başlamasının ne kadar sürmesi gerektiği hakkında hiçbir fikriniz yok.

Örnek boyutunu tahmin etmezseniz, deneyimi ne kadar sürdüreceğinizi de belirleyemeyebilirsiniz.

Peki buna nasıl yaklaşacağız?

A/A testi, web sitenizin ziyaretçilerinden ne kadar büyük bir örneklem boyutuna ihtiyacınız olacağını belirlemenize yardımcı olabilir.

Belki Pazartesi sabahı ziyaretçileriniz Cumartesi gecesi ziyaretçilerinizden istatistiksel olarak tamamen farklıdır. Ve belki de tatil alışverişçileriniz, tatil dışı sezonda alışveriş yapanlardan istatistiksel olarak farklıdır.

Masaüstü müşterileriniz, mobil müşterilerinizden istatistiksel olarak farklı olabilir. Ve sponsorlu reklamlar yoluyla gelen müşterileriniz, ağızdan ağza tavsiyelerden gelenlerle aynı değildir.

Cihazlar ve tarayıcılar gibi kategorilerdeki sonuçlarınızı görüntülerken, doğru örneklem boyutuyla ortaya çıkaracağınız trendlere şaşıracaksınız.

Elbette, örnek boyutunuz çok küçükse, sonuçlar güvenilir olmayabilir. Deneyim sonuçlarınızı etkileyebilecek birkaç bölümü kaçırabilirsiniz.

Daha yüksek bir örnek boyutu, testi etkileyen tüm bölümleri dahil etme olasılığını artırır.

Bir A/A testi çalıştırarak, hangi örnek boyutunun aynı varyasyonlarınız arasında ideal eşitliğe izin verdiğini belirleyebilirsiniz.

Kısacası, A/A testi, ileride A/B testleri için kullanılabilecek uygun örnek boyutunu belirlemenize yardımcı olur.

Sayfalarınızın ve Dönüşüm Hunilerinizin Performansını Kıyaslayın

Ana sayfanıza, alışveriş sepeti sayfanıza, ürün sayfalarınıza ve diğer sayfalarınıza kaç ziyaretçi geliyor?

Bunu yaptığınızda bir kazanan bulup bulamayacağınızla ilgilenmiyorsunuz. Bunun yerine, belirli bir sayfa için daha büyük desenler arıyorsunuz.

Bu deneyimler, aşağıdaki gibi soruları yanıtlamanıza yardımcı olabilir:

• Ana sayfanın makro dönüşüm oranı nedir?
• Bu dönüşüm oranının ziyaretçi segmentine göre dağılımı nedir?
• Bu dönüşüm oranının cihaz segmentine göre dağılımı nedir?

A/A deneyimleri, web sitenizin herhangi bir bölümü için yeni A/B deneyimlerini karşılaştırabileceğiniz bir temel sağlar.

Aynı bilgiyi web sitesinin analitiği yoluyla alabileceğinizi iddia edebilirsiniz.

Ancak bu hem doğru hem de yanlıştır.

A/B test aracı öncelikle bir kazananı ilan etmek için kullanılır (test verilerini Google Analytics'e gönderirken veya başka hesaplamalar yaparken), bu nedenle, çalışırken web sitesi metriklerini yine de gözlemlemek isteyeceksiniz.

A/A Deneyimi Oluşturma

A/A deneyimleri, dönüşüm oranı optimizasyonu için çok önemli bir araçtır.

Ancak, A/A deneyimindeki zorluk, deneyimi yürütürken hangi sayfanın kullanılacağına karar vermektir.

A/A deneyimi sayfanız için seçtiğiniz sayfanın şu iki özelliğe sahip olduğundan emin olun:

• Yüksek trafik hacmi. Bir sayfayı ne kadar çok kişi ziyaret ederse, varyasyonlar arasındaki uyumu o kadar çabuk fark edeceksiniz.
• Ziyaretçiler satın alma veya kaydolma olanağına sahiptir . A/B testi çözümünüzde bitiş çizgisine kadar ince ayar yapmak isteyeceksiniz.

Bu gereksinimler, bir web sitesinin ana sayfasında sıklıkla A/A testleri yapmamızın nedenidir.

Bir sonraki bölümde, bir A/A testi kampanyasının nasıl oluşturulacağını daha ayrıntılı olarak açıklayacağım, ancak kısaca, bir web sitesinin ana sayfasında bir A/A testinin nasıl kurulacağı aşağıda açıklanmıştır:

1. Aynı sayfanın iki özdeş versiyonunu yapın: bir kontrol ve bir varyasyon. Varyasyonlarınızı oluşturmayı bitirdikten sonra, aynı örnek boyutlarına sahip hedef kitlelerinizi seçin.
2. KPI'nızı belirleyin. KPI, zaman içindeki performansı ölçen bir ölçümdür. Örneğin, KPI'nız bir harekete geçirici mesajı tıklayan ziyaretçi sayısı olabilir.
3. Test aracınızı kullanarak hedef kitlenizi eşit ve rastgele bölün, bir grubu kontrole ve diğerini varyasyona gönderin. Hem kontrol hem de varyasyon belirli bir ziyaret sayısına ulaşana kadar deneyimi çalıştırın.
4. Her iki grubun da KPI'larını takip edin. Her iki grup da aynı içeriğe maruz kaldığı için benzer şekilde hareket etmelidirler.
5. A/B test aracınızı analitik yazılımınıza bağlayın. Bu, analitik programınızda verilerinizin doğru bir şekilde toplanıp toplanmadığını iki kez kontrol etmenizi sağlayacaktır.

A/A Test Sonuçları Nasıl Yorumlanır?

Bir A/A Deneyiminde Kesin Olmayan Sonuçlar Bekliyoruz

Mevsimselliğin bir A/A testinin sonuçlarını değiştirmesi pek olası olmasa da, amaçlardan biri beklenmedik sonuçları tespit etmektir. Bu nedenle, sonucu gözden geçirmeden önce testi en az bir hafta çalıştırmanızı öneririz.

Bir haftanın sonunda A/A testinizin sonuçlarını incelerken aşağıdaki davranışı fark etmelisiniz:

• Zamanla, istatistiksel anlamlılığınız belirli bir değere yerleşecektir. Zamanın %10'unda istatistiksel anlamlılık %90'ın üzerine çıkacaktır.
• Daha fazla veri toplandıkça, denemeniz için güven aralıkları daralacak ve sıfır olmayan değerler ekarte edilecektir.
• Orijinal ve varyasyon, test sonuçları sırasında çeşitli noktalarda farklı performans gösterebilir, ancak hiçbiri resmi olarak istatistiksel olarak anlamlı bir kazanan olarak etiketlenmemelidir.

Varyasyonlar arasında fark olmaması gerektiğinden, yalnızca küçük farklılıklar görmeyi ve istatistiksel olarak anlamlı sonuçlar beklememelisiniz. Belki şu satırlar boyunca bir şeyler göreceksiniz:

Özdeş Olmayan Varyasyonlar Alırsanız Bu Ne Anlama Gelir?

Bir A/A deneyimindeki iki özdeş varyasyon arasında önemli bir fark varsa, bu A/B test yazılımınızın doğru şekilde uygulanmadığı veya test aracının verimsiz olduğu anlamına gelebilir.

Bununla birlikte, deneyimin düzgün bir şekilde yürütülmemiş olması veya sonuçların rastgele varyanstan kaynaklanmış olması da mümkündür. Bu tür bir örnekleme hatası, tüm ziyaretçilerin ölçülmesinin aksine, bir örnek ölçüldüğünde doğal olarak meydana gelir.

Örneğin, %95'lik bir güven düzeyi, iki varyasyon arasındaki performansta anlamlı bir farklılıktan ziyade örnekleme hatası nedeniyle her 20 olaydan birinde kazanan bir sonucun ortaya çıkacağını gösterir.

Düzgün yürütülen bir A/A deneyiminin varyasyonların kimliğini doğrulamamasının bir başka nedeni de hedef kitlenin heterojenliğidir .

Örneğin, farklı yaşlardaki kadınlar için çeşitli dönüşüm oranlarıyla bir grup kadın üzerinde bir A/A deneyimi çalıştırdığımızı varsayalım.

Doğru bir A/B test aracı kullanarak bir testi düzgün bir şekilde çalıştırsak bile, yine de iki özdeş varyasyon arasında önemli bir fark ortaya çıkarabilir. Neden? Niye? Bu örnekte, ziyaretçilerin %50'si 20 ila 90 yaşları arasında olabilirken, diğer %50'si 20 ila 50 arasında olabilir. Platformun bir hatasından ziyade, uyumsuz sonuç, iki izleyicinin sadece bir işarettir. çok farklı.

Son olarak, A/A testi de dahil olmak üzere herhangi bir testi çalıştırırken yapılan diğer bir yaygın hata, sonuçları kontrol etmeye devam etmek ve istatistiksel anlamlılık tespit edildiğinde testi erken bitirmektir .

Kazanan bir varyasyonu çok erken ilan etme uygulamasına "veri gözetleme" denir ve geçersiz sonuçlara yol açabilir.

Bir A/A testinde veri gözetlemek, analistlerin, ikisi aslında aynı olduğunda, bir varyasyonda bir artış görmelerine yol açabilir.

Bunu önlemek için kullanmak istediğiniz örneklem büyüklüğüne önceden karar vermelisiniz. Bu kararı aşağıdakilere dayanarak verin:

• Minimum etki boyutu: Altında bir etkinin kuruluşunuz için anlamlı olmadığı minimum artış
• Güç
• Kabul edilebilir olduğunu düşündüğünüz önem seviyeleri

A/A testinin amacı, örneklem büyüklüğüne ulaşıldığında istatistiksel olarak anlamlı bir sonuç görmekten kaçınmak olacaktır.

A/A Testinin Zorlukları Nelerdir?

Bir A/A testinin deneme stratejinize getirebileceği birçok avantajın yanı sıra, bunlar A/A testinin iki önemli dezavantajıdır:

1. Bir A/A deney düzeneği, bir öngörülemezlik unsuru içerir.
2. Yüksek bir örneklem büyüklüğü gereklidir.

Bu zorlukların her birine ayrı ayrı bakalım.

Rastgelelik

Daha önce belirtildiği gibi, bir A/A testi gerçekleştirmenin başlıca nedenlerinden biri, bir test aracının doğruluğunu değerlendirmektir.

Ancak, kontrol ve varyasyon dönüşümleriniz arasında bir fark keşfettiğinizi varsayalım.

A/A testi ile ilgili sorun, her zaman bir miktar rastgelelik unsurunun bulunmasıdır.

Diğer durumlarda, istatistiksel anlamlılık yalnızca şans eseri elde edilir. Bu, iki varyasyon arasındaki dönüşüm oranlarındaki farkın mutlak olmaktan çok olasılıklı olduğu anlamına gelir.

Büyük Örnek Boyutu

Benzer varyasyonları karşılaştırırken, birinin aynı muadili üzerinde tercih edilip edilmediğini belirlemek için büyük bir örneklem büyüklüğü gereklidir.

Bu, geniş bir zaman gerektirir.

A/A testleri yapmak 'gerçek' test zamanını tüketebilir.

Büyük ölçekli bir optimizasyon programının püf noktası, süreçten israfı, aptallığı ve verimsizliği tamamen ortadan kaldırarak, kaynak maliyetini fırsata oranını azaltmak, test çıktısının hızını ve öğrendiklerinizi sağlamaktır.

Sitenizde deneyler yapmak, büyük bir Uluslararası Havaalanında yoğun bir Havayolu işletmek gibidir; sınırlı kalkış yerleriniz vardır ve bunları etkili bir şekilde kullandığınızdan emin olmanız gerekir.

CXL için Craig Sullivan

Deneyimleri ve A/A Testini Dönüştür

A/A testi sıklıkla daha "gelişmiş" destek taleplerinde ortaya çıkar.

Convert destek aracılarının aşağıdaki önerileri, çözülmüş düzinelerce vakaya dayanmaktadır:

1. A/B test platformunuzu test etmek için önce bir A/A deneyimi gerçekleştirin. İkisi arasındaki fark, seçilen düzeyde istatistiksel olarak anlamlıysa, platformunuz bozulabilir.
2. Bir A/A/B veya A/A/B/B testi yapın (aşağıda daha fazlası var) ve iki A varyasyonu veya iki B varyasyonu seçilen düzeyde istatistiksel olarak anlamlı farklılıklar üretiyorsa bulguları atın.
3. Birçok A/A testi ayarlayın. Beklenenden daha fazla test istatistiksel olarak anlamlı farklılıklar gösteriyorsa, platformunuz bozulur.

Dönüştürme Deneyimleri İçinde A/A Testleri Nasıl Kurulur?

Şimdi, Deneyimleri Dönüştür'ü kullanarak birkaç farklı A/A testinin (evet, çoğul) nasıl kurulacağına bakalım.

Saf A/A Deneyimi

En tipik A/A kurulumu, aynı olan iki sayfa arasında 50/50'lik bir bölünmedir.

Amaç, her varyasyonun kabaca aynı performansa sahip olmasını sağlayarak deneyim yapılandırmasını doğrulamaktır.

Verilerin yararlı bilgilerden ziyade gürültü içerip içermediğini keşfetmek için aynı şeyi kendisine karşı kontrol ediyorsunuz.

Bu basit A/A deneyimini ayarlamak için Deneyimler menüsüne tıklayın. Ardından, sağ üst taraftaki “Yeni Deneyim” düğmesine tıklayın.

"Deneyim Oluşturma Sihirbazı"nın ayrıntılarını doldurun ve "A/A Deneyimi" deneyim türünü seçin.

Şimdi, A/A Deneyiminiz oluşturulmalıdır. "Varyasyonları Düzenle" seçeneğinin olmaması dışında, platformdaki diğer deney türleriyle aynı olacaktır.

Durumunu değiştirerek deneyimi etkinleştirin:

Kalibre Edilmiş A/A/B veya A/A/B/B Deneyimi

Bu kalibre edilmiş A/A/B veya A/A/B/B testinin arkasındaki fikir, çoğaltılan A veya B varyasyonlarının A/B testinin doğruluğunun bir ölçüsünü sağlamasıdır.

A ve A veya B ve B arasındaki fark istatistiksel olarak anlamlıysa, test geçersiz kabul edilir ve sonuçlar atılır.

Böyle bir testi ayarlamak için A/A yerine bir A/B deneyimi başlatmanız gerekir.

Yeni bir deneyim oluşturmaya başlamak için ekranın sağındaki “Yeni Deneyim” düğmesine tıklayın.

Bu düğmeye tıkladığınızda, bu açılır menüyü göreceksiniz. A/B seçeneğini seçin:

Ardından, ikinci kutuya URL'nizi girin.

Seçtiğiniz URL'yi ve en üstte bir araç çubuğunu görüntüleyen Görsel Düzenleyici'ye yönlendirileceksiniz:

Sol üstteki Sayfa Varyasyonları bölümünde, varsayılan olarak “Varyasyon 1”in seçildiğini fark edeceksiniz.

Bu, URL'nin bu sürümünde yaptığımız herhangi bir değişikliğin orijinal URL'yi etkilemeyeceği anlamına gelir.

Bu, "A" sürümünün orijinal sayfa ve "B" sürümünün Varyasyon 1 olduğu klasik bir A/B testiyle sonuçlanacaktır.

A/A/B veya A/A/B/B için, sırasıyla A varyasyonu ve B varyasyonuyla aynı olan başka bir A varyasyonu ve başka bir B varyasyonu eklemeniz gerekir.

Şöyle görünmelidir:

“Kaydet ve Devam Et” düğmesini tıklayın ve işiniz bitti!

Birçok A/A Deneyimi Çalıştırın

Bunu zaten ele aldık, ancak geniş kitlelerle arka arkaya 1000 A/A testi gerçekleştirirseniz, tüm gereksinimleri takip ederseniz ve tahmin edilenden çok daha sık istatistiksel olarak anlamlı sonuçlar elde ederseniz, A/B testi çerçevenizin bozulması olasıdır.

Örnekler uygun şekilde rastgele seçilmemiş olabilir. Ya da belki, iki varyasyon birbirini dışlamaz.

İşte böyle görünebilir:

Bir A/A Deneyimini A/B Deneyimi ile Aynı Anda Çalıştırabilir miyim?

Aynı web sitesinde A/B testi ile aynı anda bir A/A testi yapmanız gerekebilir.

Bu durumda, işte birkaç olasılık:

1. Testleri aynı anda çalıştırırsanız, birbiriyle çelişen testler hakkında endişelenmenize gerek kalmaz.
2. Deneyleri aynı anda, ancak farklı kitlelerle gerçekleştirebilirsiniz.
3. Testleri doğru sırayla gerçekleştirebilirsiniz (test 2'ye (A/B testi) geçmeden önce test 1'i (A/A testi) tamamlayın).

Seçenek 3 en güvenlisidir, ancak deneyiminizin yeteneklerini büyük ölçüde sınırlar.

Aynı sayfada veya bir dizi sayfada aynı anda birden fazla deneyim çalıştırmak tamamen mümkündür.

Ancak, bir deneyde gruplandırmanın, aynı anda gerçekleşen başka bir deneyden elde edilen veriler üzerinde etkisi olabileceğini unutmayın.

Paralel testler çalıştırırken kullanılacak en önemli iki Dönüştürme tekniği şunlardır:

1. Trafiğin %50'sini A/A testine ayırın ve trafiğin diğer %50'sinin çalışan diğer A/B deneyimlerine girmesine izin verin.
2. A/A ziyaretçilerini diğer A/B testlerinden hariç tutun.

Ön Test KG Süreci: A/A Testine İlginç Bir Alternatif

Bir A/A testi yapıp yapmamaya karar verirken, cevaplar kime sorduğunuza bağlı olarak değişecektir. A/A testinin tartışmalı bir konu olduğuna şüphe yok.

A/A testine karşı en yaygın argümanlardan biri, çok uzun sürmesidir.

A/A testi önemli miktarda zaman harcar ve genellikle A/B testinden çok daha yüksek bir örnek boyutu gerektirir.

Bir web sitesinin iki özdeş versiyonunu karşılaştırırken, önemli bir yanlılık göstermek için yüksek bir örneklem büyüklüğü gerekir.

Sonuç olarak, testin tamamlanması daha uzun sürecek ve potansiyel olarak diğer önemli testlere harcanan süreyi azaltacaktır.

Fazla zamanınızın veya trafiğin yoğun olmadığı bu gibi durumlarda, bir ön test KG süreci yürütmeyi düşünmek en iyisidir.

Bu blog makalesinde, tam bir KG sürecini gerçekleştirmek için izlemeniz gereken tüm adımlarda size yol gösteriyoruz. Kullanacağınız yöntemler size bağlıdır ve elinizde ne kadar zamanınız olduğuna bağlıdır.

A/A Testlerinde SRM Var Olabilir mi?

Kendinize şunu sorun: A/A testiniz sırasında gözlemlenen gerçek kullanıcı sayısı, onları ikiye bölerseniz 50/50 oranına (veya 90/10 oranına veya başka herhangi bir orana) yakın mı?

Değilse, iki sorundan biriyle karşı karşıya kalırsınız: Ya test altyapısını kodunuzdan nasıl çağırdığınızla ilgili bir sorun var (bir tarafta "sızdırıyor" yapıyor) ya da test altyapısında bir sorun var. atama mekanizması

Örnek oran uyumsuzluğu hatası (SRM hatası), A/A testinin algılayabileceği bir kusurdur.

Oranınız 65/35 gibi bir değere ulaşırsa, aynı hedefleme stratejisini kullanarak başka bir A/B testi çalıştırmadan önce sorunu araştırmalısınız.

A/A Testinin Avantajları Dezavantajlarından Daha Ağır mı?

A/A testi aylık olarak yapılmamakla birlikte, yeni bir A/B aracı kurarken verilerinizi test etmeye değer.

Hatalı verileri şimdi yakalarsanız, ileride A/B testi sonuçlarınıza daha fazla güvenirsiniz.

Karar nihai olarak size ait olsa da, yeni bir araç kullanmaya başlıyorsanız A/A testleri yapmanız şiddetle tavsiye edilir. Aksi takdirde, A/B testi size zaman, para ve trafik tasarrufu sağlayacağından, katı bir ön test QA prosedürü oluşturmanızı öneririz.

Yukarıdaki ekran görüntülerinin sorularınızı yanıtladığını umuyoruz, ancak değilse, Deneyimleri Dönüştür ile bir A/A testi oluşturmanın ne kadar kolay olduğunu kendiniz görmek için bir demoya kaydolun.