Jak przeprowadzić test A/B w witrynach o małym natężeniu ruchu

Ostrzeżenie o wyzwalaczu:

Wiemy, że wokół znaczenia statystycznego, 95% mitycznego (lub nie?) znaku, testowania i ruchu i nie tylko toczy się mnóstwo debaty.

Jeśli jesteś optymalizatorem, który mocno myśli o tych rzeczach, możesz zostać aktywowany. Cóż, komentarze są otwarte i możemy przeprowadzić naprawdę pouczającą rozmowę.

Zaczynajmy!

Testowanie nie działa w przypadku witryn o małym ruchu.

Na pewno.

Ponieważ aby uzyskać statystycznie istotne informacje, musisz pokazać warianty eksperymentu (co najmniej) tysiącom użytkowników.

W rzeczywistości w Convert Experiences często zalecamy naszym użytkownikom przeprowadzanie testów A/B — które są najprostszymi eksperymentami CRO — tylko wtedy, gdy mogą wysłać około 10 000 odwiedzających do każdego wariantu.

Sugerujemy również zarejestrowanie około 1000 konwersji, aby uzyskać rozstrzygający dowód wyższości kontroli lub wariantu.

To wyjaśnia, dlaczego CRO nie jest rynkiem dla miliona klientów, ponieważ jest tylko kilka 100 000 stron internetowych (lub firm) z odwiedzalnością do przetestowania z dowolnym sukcesem i budżetami na drogie (szybko rozwijające się „przedsiębiorstwa”) rozwiązania optymalizacyjne !

Czy strony o małym natężeniu ruchu powinny wykluczać testowanie?

Biorąc pod uwagę, że przeciętna mała firma odwiedza swoją witrynę tylko kilkaset osób dziennie, eksperymenty z testami A/B nie mają dla nich sensu.

Ale:

Nie oznacza to, że mała firma w ogóle nie może przeprowadzać eksperymentów.

W rzeczywistości istnieje wiele eksperymentów, które może przeprowadzić nawet mała firma.

A ich prowadzenie ma wiele zalet.

Na przykład, jeśli jesteś właścicielem małej firmy, przeprowadzanie eksperymentów pomoże Ci odejść od podejmowania decyzji opartych na intuicji i na danych. Zmusi cię to do spojrzenia na dane… a przy wyrażonych w twarz liczbach przestaniesz domyślać się strategii. Samo to podejście oparte na danych zmieni sposób budowania i rozwoju firmy.

Prowadzenie eksperymentów nauczy Cię również uczenia się, próbując, a nie akceptując status quo. Zainspiruje Cię do sprawdzenia, czy zasady, w które wierzysz, faktycznie działają na Ciebie.

Wreszcie przeprowadzanie eksperymentów przygotuje Cię na „prawdziwe” CRO, gdy masz „wystarczający” ruch , ponieważ pomaga wypracować właściwy sposób myślenia do testowania — warunek wstępny skutecznego CRO.

Zacznij więc przeprowadzać dowolne eksperymenty w dowolnych kanałach marketingowych, z których korzystasz. Oto niektóre z twoich opcji.

Testowanie za pomocą poczty e-mail

Co zaskakujące, e-mail marketing to jeden kanał, który pozwala eksperymentować z różnymi pomysłami, bez konieczności posiadania ton subskrybentów (lub „kontaktów”).

„Kto mówi?”

Mówi, że każdy dostawca oprogramowania do marketingu e-mailowego, od MailChimp, ConstantContact i Campaign Monitor po HubSpot (który obsługuje marketing e-mailowy w swoim oprogramowaniu do automatyzacji marketingu).

Zacznijmy od HubSpot.

Jeśli więc chcesz przeprowadzić test A/B za pomocą platformy e-mail HubSpot, potrzebujesz tylko 1000 kontaktów: 1000 kontaktów to także nasz punkt odniesienia do przeprowadzania testów A/B na próbkach wysłanych wiadomości e-mail. — HubSpot

Campaign Monitor mówi również, że możesz przeprowadzać testy A/B nawet z małymi listami e-mailowymi. Oto matematyka, która się za tym kryje:

Teraz możesz pomyśleć: „Moja lista ma tylko 500 subskrybentów, jak możesz oczekiwać, że pomyślnie przeprowadzę test?” Moja odpowiedź brzmi, że musisz ustawić swój celownik na większy MDE [Minimum Detectable Effect (MDE)]. Po zwiększeniu MDE zmniejsza się wymagana wielkość próbki. Zatem zamiast 592 subskrybentów na odmianę, aby wykryć 20% względny efekt, wystarczy 94 subskrybentów na odmianę, aby wykryć 50% względny efekt. Pamiętaj, że podstawowy współczynnik konwersji również odgrywa rolę w wielkości próbki – im niższy współczynnik konwersji (w tym przypadku open %), tym więcej subskrybentów będziesz potrzebować do przeprowadzenia dokładnego testu. — Monitor kampanii

Więc jeśli masz około 500 lub 1000 subskrybentów, dobrze jest przetestować, pod warunkiem, że masz responsywną bazę danych, która jest zainteresowana tym, co masz do powiedzenia.

Jednak kilku dostawców e-mail marketingu zaleca nieco wyższą bazę kontaktów.

Na przykład dostawca rozwiązań do marketingu e-mailowego ConstantContact zaleca większy rozmiar próbki przy dwukrotnym minimalnym rozmiarze, na jaki pozwala HubSpot. Sugeruje to, że w celu przeprowadzenia sensownych testów A/B wielkość próbki musi wynosić co najmniej 1000 kontaktów. Tak więc, jeśli masz 2000 subskrybentów, powinieneś być dobry do testowania (z twoją wersją A i B każda otrzymuje 50% wszystkich kontaktów jako ruch testowy).

W przypadku testowania linii tematycznych zalecamy przetestowanie każdej linii na próbce obejmującej co najmniej 1000 kontaktów, jeśli to możliwe. 1000 użytkowników dla każdej wersji jest zazwyczaj dobrym punktem odniesienia dla każdego testu A/B, ale jeśli nie masz wystarczającej liczby kontaktów lub odwiedzających, aby osiągnąć te liczby, nadal warto przeprowadzić test. — Stały kontakt

MailChimp zaleca również nieco większe listy do uruchamiania testów A/B. Sugeruje, że aby przeprowadzić testy, musisz mieć co najmniej 5000 kontaktów. Ale ponieważ tak wiele małych baz kontaktów biznesowych jest znacznie mniejszych, firma zaleca testowanie pomysłów na pełnej liście:

Zalecamy wysyłanie kombinacji do co najmniej 5000 subskrybowanych kontaktów, aby uzyskać najbardziej przydatne dane z testu. Jeśli rozmiar listy lub segmentu nie pozwala na 5000 subskrybentów w każdej kombinacji, rozważ przetestowanie całej listy i wykorzystanie wyników kampanii do podejmowania przyszłych decyzji dotyczących treści kampanii. — PocztaChimp

Chociaż to prawda, że ​​duża wielkość próbki pomoże Ci osiągnąć istotność statystyczną znacznie wcześniej (i z większą pewnością), ale możesz również rozpocząć testowanie na swojej małej liście!

Oto ponad 150 pomysłów na testowanie podziału wiadomości e-mail dla Twoich kampanii e-mail.

Oto krótki przewodnik po testach A/B poczty e-mail.

Testowanie za pomocą mediów społecznościowych

Media społecznościowe to kolejny kanał, który pozwala przetestować Twoje pomysły, bez względu na to, jak małe mogą być Twoje obserwacje w mediach społecznościowych. Poza tym w mediach społecznościowych nic tak naprawdę nie ogranicza Twojego zasięgu.

Na przykład w Convert Experiences nawet my nie mamy dziesiątek tysięcy obserwujących, ale nasz niesamowity sprzedawca społecznościowy wciąż eksperymentuje z elementami naszej kopii w mediach społecznościowych, takimi jak hashtagi, obrazy i nie tylko.

A jej testy przynoszą nam wspaniałe zwycięstwa. Na przykład jej eksperyment z użyciem określonego zestawu hashtagów dał nam kiedyś retweet z Google Analytics!

To jest jakaś ekspozycja w mediach społecznościowych, prawda?

Możesz powiedzieć, że łatwo jest odrzucić szybkie wygrane jako (być może) przypadki fuks, ALE kiedy widzisz zestaw hashtagów, które rutynowo zdobywają większą ekspozycję niż inne, z którymi go testujesz, masz więcej niż wynik testu… masz trend .

Możesz przeprowadzić szereg testów A/B mediów społecznościowych, aby odkryć takie trendy i zwiększyć wydajność w mediach społecznościowych. Opublikowaliśmy tutaj świetny podkład na temat testów A/B w mediach społecznościowych. Przeczytaj go, aby dowiedzieć się, jak zacząć od testów A/B w mediach społecznościowych, różnych testów A/B w mediach społecznościowych, które możesz przeprowadzić, oraz najlepszych praktyk testowania A/B w mediach społecznościowych, o których musisz pamiętać.

Testy A/B z płatnymi reklamami (PPC)

Podobnie jak kanały e-mailowe i marketingowe w mediach społecznościowych, kanał marketingowy PPC pozwala również eksperymentować z kopiami reklam i wszystkimi innymi elementami kampanii reklamowych.

Niezależnie od tego, czy są to reklamy Google Adwords czy Facebook, większość płatnych sieci obsługuje eksperymenty, dzięki czemu możesz uzyskać najwyższy zwrot z inwestycji.

Ale aby uzyskać statystycznie istotne wyniki z eksperymentów PPC, potrzebujesz kilku tysięcy wyświetleń każdej kopii reklamy. Google zaleca testowanie grup reklam, które uzyskują co najmniej 5000 wyświetleń tygodniowo.

Ile więc kosztuje kilka tysięcy wyświetleń reklamy?

Zależy to w dużej mierze od platformy i branży (między innymi), ale są dane, które pomogą Ci w budżetowaniu.

Na przykład AdStage przeanalizował ponad 110 milionów wyświetleń reklam (w Google Adwords) w I kwartale 2018 r. i stwierdził, że średnio potrzebujesz 116,91 USD, aby uzyskać tysiąc wyświetleń (CPM) w Google Ads. W zeszłym roku było o 13% taniej .

Sieci społecznościowe, takie jak Facebook, również oferują dostępne opcje CPM.

Dane z badania Statista wskazują, że średni CPM (koszt za milę lub koszt za 1000 wyświetleń) dla Facebooka wynosi 1,26 USD. Inne szacunki średniego kosztu CPM na Facebooku z AdExpresso i WordStream mieszczą się w przedziale 7-10 USD.

Chodzi o to, że możesz zacząć testować kopie reklam nawet przy ograniczonym budżecie.

(Prawie) „odporny na ruch” sposób eksperymentowania: personalizacja

Inną powszechną formą eksperymentowania jest personalizacja lub personalizacja doświadczeń odwiedzających witrynę na podstawie tego, co o nich wiesz.

Najlepsze w personalizacji jest to, że nawet strony o małym natężeniu ruchu mogą z nimi współpracować, ponieważ ograniczenia ruchu, które dotyczą testów CRO, nie dotyczą personalizacji.

Powodem tego jest to, że w przypadku personalizacji celem końcowym nie jest optymalizacja współczynników konwersji. Zamiast tego jego celem jest oferowanie bardziej odpowiedniego doświadczenia użytkownika, które prowadzi do większej liczby konwersji lub wyższego zadowolenia i utrzymania klienta.

Na przykład możesz utworzyć różne wersje strony produktu, aby wyświetlać je klientom i osobom niebędącym klientami (lub potencjalnym klientom).

Na stronie produktu dla swoich klientów możesz wyświetlać treści, takie jak przewodniki po produktach i filmy, szybkie linki do pomocy technicznej i nie tylko, aby uzyskać bardziej satysfakcjonujące wrażenia z korzystania z produktu. Podczas gdy wersja, którą pokazujesz swoim potencjalnym klientom — na przykład tym, którzy zarejestrowali się na okres próbny — może koncentrować się na funkcjach Twojego produktu lub studiach przypadków, aby pomóc im w konwersji.

Około 93% firm widzi lepsze konwersje dzięki personalizacji.

I od razu możesz zacząć od personalizacji.

Ponadto dzięki narzędziu takiemu jak Convert Experiences możesz w ciągu kilku minut skonfigurować spersonalizowaną obsługę witryny. Wystarczy ustawić reguły kierowania, a będziesz w stanie wyświetlać spersonalizowane komunikaty różnym segmentom odbiorców — zachęcając każdy segment do przejścia do kolejnego etapu podróży zakupowej.

Podsumowując…

Chociaż niski ruch w witrynie może uniemożliwić przeprowadzanie znaczących eksperymentów CRO, nie może powstrzymać Cię przed „uczeniem się”.

I to jest ważne — ponieważ kiedy skupisz się na nauce, próbując zamiast akceptować normę, zaczniesz rozwijać kulturę eksperymentowania, warunek wstępny skutecznego CRO.

Nie ma znaczenia, na jakim etapie rozwoju jesteś, możesz zainwestować w rozwój kultury testowania. Przyda się, gdy rzeczywiście masz wystarczająco dużo ruchu w swojej witrynie, aby przejść do hardkorowych, ostatecznych eksperymentów CRO.