Kompletny przewodnik po testach wielowymiarowych w 2022 r.

Czy testowanie wielowymiarowe (MVT) nie jest tylko kilkoma testami A/B działającymi w tym samym czasie?

Nie. To jeden z najpopularniejszych mitów na temat MVT. Jest o wiele bardziej zniuansowany.

Testy wielowymiarowe są jak testy A/B, ale testujesz kontrolę w odniesieniu do wielu wariantów, a nie jednego. Widzisz, nie tylko A przeciwko B, ale także przeciwko C, D, E i tak dalej. Jest to również skuteczny sposób, aby witryny o dużym natężeniu ruchu mogły znaleźć kombinację najskuteczniejszych zmian.

Więc…

• Kiedy należy używać testów MVT zamiast testów A/B?
• Czy testowanie wielowymiarowe to to samo co testowanie A/B/n?
• Jakie są przykłady testów wielowymiarowych?
• Jak możesz go uruchomić, aby uzyskać wiarygodne wyniki?

Odpowiemy na Twoje pytania dotyczące testowania na wielu odmianach, zwiększając Twoje umiejętności w zakresie eksperymentowania i CRO, dzięki czemu na końcu tego przewodnika możesz wdrożyć swoje w 30 minut.

Jeśli chcesz przenieść swoje umiejętności eksperymentowania na wyższy poziom, ten przewodnik jest dla Ciebie.

Brzmi dobrze? Zaczynajmy…

Co to jest testowanie wielowymiarowe?

Wyobraź sobie, że chcesz jednocześnie testować różne wersje różnych elementów na stronie internetowej, aby dowiedzieć się, jak działają razem. Test na wielu odmianach to test, który przeprowadzasz.

Testowanie wielowymiarowe (testowanie MVT) to technika testowania wielu zmiennych na stronie internetowej w różnych kombinacjach. Te możliwe kombinacje tworzą więcej niż jeden wariant strony, stąd „multi”.

Tak więc testowanie wielowymiarowe jest podobne do testowania A/B/n, ponieważ testujemy dwie lub więcej odmian w porównaniu z kontrolą. Różnica polega na tym, że testy A/B/n są jednozmienne, podczas gdy testy wielowymiarowe testują kombinację zmian w tandemie.

Na przykład, jeśli chcesz przetestować dwa różne nagłówki, dwa obrazy i kolory dwóch przycisków na stronie, twój test MVT będzie wyglądał tak:

W powyższym teście MVT testujesz jednocześnie różne elementy (nagłówki, kolor i obraz) w różnych kombinacjach, aby znaleźć najlepszy.

Ale to nie znaczy, że nie można zrobić więcej niż dwóch odmian jednego elementu. Możesz mieć 3, 4 lub więcej i jednocześnie je testować. Ludzie wolą tylko jedną zmianę, aby móc prześledzić wzrost współczynnika konwersji z powrotem do niej.

Inną ważną rzeczą do odnotowania jest to, że testowanie MVT to nie to samo co testowanie równoległe . Testy równoległe przeprowadzają wiele eksperymentów na tym samym zestawie próbek w tym samym czasie. A to może powodować zakłócenia.

Równoczesny test może wyglądać tak: Przeprowadzenie testu A/B w celu znalezienia najlepszego nagłówka między dwiema wersjami i uruchomienie testu MVT w celu znalezienia najlepszego połączenia nagłówka, obrazu bohatera i wezwania do działania lub przycisku akcji na tej samej stronie docelowej w w tym samym czasie.

W testach A/B/n (lub wielowymiarowych) pracujemy z wieloma wariantami obsługującymi tę samą hipotezę dotyczącą zachowania użytkownika. Wyobraź sobie wiele testów A/B na tej stronie docelowej uruchomionych jednocześnie, aby odpowiedzieć na jedno pytanie. Na przykład „Która wersja z tej partii daje nam najlepszy efekt?”

Testowanie wielowymiarowe a testowanie A/B: jaka jest różnica?

Dla niewprawnego oka może się wydawać, że testy MVT są bardziej zaawansowaną formą testów A/B. Ale oba rodzaje testów są bardzo różne.

Różnica między testowaniem A/B a testowaniem wielowymiarowym polega na liczbie wariantów testowanych jednocześnie. Testy A/B będą miały jeden wariant testowany w porównaniu z kontrolą, podczas gdy testy wielowymiarowe będą miały dwa lub więcej.

Testy A/B sprawdzają jeden element. Na przykład testujesz dodanie obrazu do swojej strony internetowej. Twój eksperyment może wyglądać tak:

• Kontrola = Brak obrazu
• Wariant 1 = Obraz

W tym przypadku testujesz tylko obraz w swojej witrynie, więc jest to test A/B.

W testowaniu A/B/n, podobnie jak w testowaniu wielowymiarowym, możesz mieć wiele odmian. Różnica polega jednak na tym, że w teście A/B/n testujesz tylko jeden element (lub zmienną), podczas gdy w testowaniu wielowymiarowym testujesz wiele elementów w każdym wariancie.

Oto znakomity przykład firmy iProspect, agencji partnerskiej Convert. Agencja przeprowadziła test, który zawierał informacje na stronie z cenami. Ich eksperyment obejmował:

• Kontrola bez informacji o cenach,
• Wariant 1 z niską ceną wywoławczą,
• Wariant 2 z wysoką ceną wywoławczą.

Czy potrafisz zgadnąć, jaki to rodzaj testu?

W tym przypadku testujemy tylko jeden element, dodając informacje o cenach, więc mamy test typu A/B/C (lub A/B/n).

Jeśli chodzi o to, co jest lepsze między testami A/B a testami wielowymiarowymi, zależy to od tego, co chcesz osiągnąć. Są chwile, kiedy testy MVT są bardziej wydajne niż testy A/B.

Jeśli chcesz przetestować różne elementy na stronie (i ich efekty interakcji), łatwiej jest użyć MVT zamiast testów A/B. W przypadku testów A/B musisz utworzyć kilka kolejnych testów dla wariacji elementów. Tymczasem multivariate obsługuje je od razu.

Kiedy przeprowadzać testy wielowymiarowe?

Jeśli chcesz zmierzyć skuteczność jednego wariantu w porównaniu z oryginałem, skorzystaj z testów A/B. Działa to, jeśli zmieniasz jeden element, na przykład inny nagłówek lub inny kolor przycisku. Tak długo, jak te zmiany mieszczą się w jednym wariancie i otrzymujesz A vs B.

Jeśli masz więcej niż jeden wariant testowany z kontrolką, ale zmieniasz tylko jeden element na raz, użyj testów A/B/n.

Zilustrujmy to: chcesz sprawdzić, czy dodanie nagłówka do strony docelowej poprawi konwersje. Możesz wykonać test A/B/n, taki jak Split Base, agencja partnerska Convert. Przeprowadzili test, aby określić, czy dodanie nagłówka opartego na korzyściach zwiększy liczbę konwersji.

PS: Tak! Zwiększyło to wynik finansowy o 27%.

Testowania wielowymiarowego używa się, gdy masz więcej niż jeden wariant i więcej niż jedną zmienną. Powiedzmy, że masz 2 więcej pomysłów na nagłówki i opcje CTA, co skutkuje utworzeniem wariantów C i D. MVT jest najskuteczniejszym sposobem, aby zobaczyć, jak te zmiany oddziałują na siebie.

„A gdybym użył nagłówka 2 z kolorem przycisku 3? Jak wpłynie to na liczbę zapisów?” Są to pytania, na które odpowiadają MVT — wpływ na wydajność powodowany przez zmiany elementów strony, gdy współpracują ze sobą w tym samym czasie.

Testowanie na wielu odmianach wykracza poza testowanie jednego nagłówka i testowanie większej liczby odmian tej strony. Jest bardziej skomplikowany w projektowaniu i uruchamianiu, więc wybór go zamiast testów A/B musi być tego wart.

Często testy A/B wystarczają, aby uzyskać odpowiedzi, których szukamy. MVT jest znacznie bardziej odpowiedni w przypadkach, gdy uważasz, że jeden lub więcej wariantów ma szansę na pokonanie twoich A i B.

Niektóre z tych przypadków to:

1. Masz duży ruch i chcesz zebrać więcej informacji w krótszym czasie. Testy wielowymiarowe oferują witrynom o dużym natężeniu ruchu możliwość przetestowania kombinacji pomysłów w krótszym czasie, ale muszą to być pomysły wysokiej jakości, aby nie marnować zasobów.
2. Musisz wiedzieć, która kombinacja elementów spowodowała wzrost konwersji. Ponieważ sekwencja różnych testów A/B będzie po prostu zbędna.

Trudno jest wdrożyć wariant, który zawiera wszystkie pożądane zmiany. Może twoja platforma testowa nie pozwala na taki poziom swobody. To jeden ze sposobów na obejście tego. Ale jeśli później nie da się zakodować tych zmian na stałe, nie będziesz mógł użyć wyników testu.

Korzyści z testowania wielowymiarowego

Testy na wielu odmianach mają niezaprzeczalny wpływ na współczynniki konwersji i przychody. Pomyśl o tym. Gdyby tak się nie stało, nikt nie mówiłby o używaniu go!

Jedną z zalet testowania MVT jest to, że pozwala dowiedzieć się, jak zmiany w Twojej witrynie wpływają na współczynniki konwersji. Testy wielowymiarowe umożliwiają zmierzenie efektu interakcji między tymi zmianami. Możesz zmierzyć złożony efekt różnych małych zmian i zobaczyć, jak wpływa to na szybkość rozmowy.

Wady testowania wielowymiarowego

Istnieją powody, dla których tylko witryny o dużym ruchu i dużych budżetach przeprowadzają testy na wielu odmianach. Porozmawiajmy o wadach przeprowadzania testu MVT.

1. Wymaga dużej wielkości próbki

Im więcej zmian elementu testujesz, tym więcej będziesz mieć odmian. Każdy z tych wariantów musi otrzymać wystarczający ruch, aby osiągnąć wartość statystyczną, więc będziesz musiał poczekać dłużej, aby uzyskać dokładne wyniki. Dlatego wiele stron internetowych nie może przeprowadzić testów MVT, ponieważ brakuje im ruchu.

2. Testy MVT wymagają czasu

Jak wspomnieliśmy powyżej, każdy wariant potrzebuje ruchu i to w dużej ilości. Im więcej kombinacji testujesz, tym więcej różnych odmian i tym dłużej będziesz musiał czekać.

Ale jest to uzasadnione w większości przypadków CRO. Ponieważ jeśli podzielisz test MVT na sekwencję testów A/B, spędzisz więcej czasu i ruchu.

3. Eksploatacja kosztuje więcej

Będziesz potrzebował dodatkowego czasu (i pieniędzy) na opracowanie i kontrolę każdego wariantu. Dlatego decyzja o przeprowadzeniu tych testów w porównaniu z prostszymi testami A/B musi być podjęta z solidnych powodów, w przeciwnym razie Twój testowy zwrot z inwestycji zostanie uderzony.

4. Jesteś bardziej podatny na błędy

Uruchamiając testy A/B/N, nie stosujesz tych samych statystyk, których używasz do testów A/B. Dodatkowe warianty wymagają dostosowania testów istotności statystycznej. Zwiększony współczynnik błędu rodzinnego (FWER) oznacza większe prawdopodobieństwo, że popełnisz błąd typu I i oznaczysz niewłaściwy wariant jako zwycięski.

Przykłady testów wielowymiarowych, które wykazały duży wpływ

1. Microsoft przeprowadził test na wielu odmianach w swojej witrynie dla małych i średnich firm i uzyskał wariant, który zwiększył konwersję o 40%!

2. W 2009 roku YouTube uruchomił MVT na swojej stronie głównej, aby zachęcić więcej osób do zarejestrowania konta. Nazywają to „eksperymentem z przepisem 1024”. Jeden wariant wygrał z 15,7% wzrostem.

3. Booking.com jest znany z testów. Używają testów na wielu odmianach, aby dowiedzieć się, jak nowe funkcje są używane z mniejszą grupą odbiorców przed ich wdrożeniem.

4. HawkHost chciał zobaczyć windę na swojej stronie głównej i udało im się to. Przetestowali oni swój nagłówek, podtytuł i wizerunek bohatera w teście na wielu odmianach, który zaowocował 204% wzrostem sprzedaży. To ogromne.

5. Układ strony docelowej Amazona jest wynikiem testów na wielu odmianach. Wykorzystali go wraz z uczeniem maszynowym, aby znaleźć optymalny układ, który napędzałby konwersję i znalazł się w idealnym punkcie, który podniósł wskaźnik zakupów o 21% w ciągu 7 dni.

Źródło

Statystyki testowania wielowymiarowego: wprowadzenie do analizy wielowymiarowej

Jeśli ciekawi Cię, jak działa testowanie na wielu odmianach pod wymyślnym interfejsem narzędzi testowych i zasadami, które się za nim kryją, zachwyć Cię:

Analiza wielowymiarowa (MVA) to rodzaj analizy statystycznej, w której więcej niż jedna zmienna zależna jest analizowana wraz z innymi zmiennymi w tym samym czasie. Opiera się na tym, jak działa rzeczywisty świat: za określony wynik odpowiada więcej niż jeden czynnik.

Jest wykorzystywany nie tylko w marketingu cyfrowym (tj. optymalizacji współczynnika konwersji), jako element eksploracyjnej analizy danych, znajduje zastosowanie w różnych dziedzinach, takich jak opieka zdrowotna, produkcja, transport itp. Napędza wiele decyzji w świecie korporacji jak również w rządzie.

Chociaż jest złożony, jest to dokładny sposób analizy relacji między zmiennymi zależnymi i niezależnymi.

MVT i ruch: jak obliczyć wielkość próbki dla testu wielowymiarowego?

Najlepszym sposobem jest skorzystanie z naszego kalkulatora wielkości próbki. Zapewni to wszystko, czego potrzebujesz, aby rozpocząć projektowanie zdrowego testu wielowymiarowego.

Kiedy zatrzymać test wielowymiarowy?

Zbyt wczesne zatrzymanie testu może prowadzić do błędów, ponieważ zebrane dane nie wystarczyłyby do przeprowadzenia dokładnej analizy.

Być może słyszałeś, jak niektórzy mówią, że powinieneś przestać, gdy istnieje wyraźny zwycięzca, lub zatrzymać odmianę, jeśli jej współczynnik konwersji spadnie poniżej 10% i przekierować ruch do najskuteczniejszych — możesz być pewien, że znacznie zaszkodzi to wynikom.

Nigdy nie należy przerywać testu wielowymiarowego przed:

1. Zebranie wystarczająco dużej próbki dla każdego wariantu. Dlatego pozwól mu działać dłużej, aby zebrać wystarczającą liczbę konwersji, aby były trafne.
2. Przeprowadzenie 1 lub 2 pełnych cykli sprzedaży, aby zrównoważyć ruch i okresy zakupów w ciągu 30-60 dni.
3. Osiągnięcie istotności statystycznej. Oznacza to, że po uruchomieniu powinien być w stanie odtworzyć swoje wyniki z 95% dokładnością.

Jak zaprojektować test wielowymiarowy?

Testy A/B i testy na wielu odmianach są podobne pod względem sposobu ich projektowania i przeprowadzania.

Poniżej przedstawiamy metodologię testowania krok po kroku w celu uruchomienia MVT. Ale oto krótkie ujęcie:

1. Zidentyfikuj problem i sformułuj cel: kiedy przeglądasz swoje dane, spróbuj zrozumieć, czego doświadczają odwiedzający witrynę, i znajdź problem. Sformułuj hipotezę (rozwiązanie z celem) i oprzyj na tym swój test.
2. Zdecyduj, co przetestować: Twoja hipoteza będzie obejmować kombinację elementów strony internetowej. Zastanów się, co byś z nimi zrobił, aby osiągnąć cel. Utwórz warianty tego, aby były sprzeczne z oryginałem.
3. Oszacuj ramy czasowe i wielkość próbki: nie musisz tego robić samodzielnie. Skorzystaj z naszego kalkulatora wielkości próbki przed testem. Pomoże Ci to ustalić podstawowe liczby, których potrzebujesz.
4. Utwórz test: na swojej platformie testowej skonfiguruj odmiany w ich kombinacjach.
5. Upewnij się, że to działa: Przeprowadzaj testy zapewnienia jakości dla każdego nowego leczenia, aby upewnić się, że działa zgodnie z przeznaczeniem.
6. Przeprowadź test: zacznij przyciągać do nich ruch.

Teraz przyjrzyjmy się bliżej każdemu krokowi — od zbierania danych do kontroli jakości:

Zbieranie danych do testów wielowymiarowych

Jak zbierane są dane podczas testów wielowymiarowych? Istnieją dwa główne podejścia, na które należy zwrócić uwagę:

1. Pełna silnia

Oto jak to działa: Każdy wariant w Twoim MVT otrzymuje równe ilości całego ruchu przychodzącego do Twojej witryny. Jeśli masz 5 wariantów, każdy z nich otrzyma 20% ruchu przychodzącego do Twojej witryny.

Oczywiście, aby osiągnąć istotność statystyczną, ta metoda będzie wymagała dużego ruchu i będzie musiała działać przez długi czas. Ale ta cecha sprawia również, że pełna silnia jest najdokładniejszą opcją.

2. Silnia ułamkowa

W przeciwieństwie do swojego „pełnego” odpowiednika, silnia ułamkowa testuje tylko podzbiór twoich wariantów. Dlatego w jego nazwie jest „ułamek”.

Jeśli masz 10 wariantów, przetestuje 5 z nich i na podstawie wyników przewidzi wydajność 5, których nie przetestował.

Z tego powodu działa szybciej niż pełna silnia, ale jest znacznie mniej dokładny. Jego zaletą jest to, że przed zatwierdzeniem możesz zobaczyć, jak będzie wyglądał pełny test.

A co z metodą Taguchi? Niektórzy twierdzą, że to inna nazwa dla silni ułamkowej. Jest skomplikowany w użyciu. Tak więc większość narzędzi tego nie oferuje.

Generowanie hipotez do testów wielowymiarowych

Musisz stworzyć swoją wielowymiarową hipotezę testowania w oparciu o dokładne dane jakościowe i ilościowe.

Nie chcesz zgadywać ani używać typowych pomysłów na testowanie, które znalazłeś na blogu, aby przeprowadzić testy. Wybierz coś istotnego, na przykład rozwiązywanie problemu, który znalazłeś podczas przeglądania danych lub testowanie pomysłu, który Twoim zdaniem może przynieść wzrost.

Będzie to służyć jako cel twojego testu. Możesz skorzystać z naszego generatora hipotez, który pomoże Ci wymyślić solidną.

Zapewnienie jakości w testach wielowymiarowych

Bez zapewnienia jakości każdy test może wprowadzać w błąd. Postęp bez kontroli jakości jest ryzykowny i może powodować kosztowne błędy. Zanim zaufasz spostrzeżeniom testu, przeprowadź go przez kilka punktów kontrolnych:

• Konfiguracja kontroli jakości: jeśli decydujesz o konfiguracji używanej w procesie kontroli jakości, zidentyfikuj specjalne przypadki użycia, aby przetestować wrażenia użytkownika na urządzeniach i przeglądarkach, na których będziesz przeprowadzać kontrolę jakości itp.
• Czynniki zewnętrzne: rozpoznaj czynniki, których nie możesz kontrolować, a które mogą wpływać na test, takie jak wydarzenia lub święta, inne testy uruchomione w tym samym czasie, zdarzenia i ruch w witrynie.
• Konfiguracja eksperymentu: Sprawdź jakość sformułowania hipotezy, przydział ruchu, czy migotanie wpłynie na test, inne opóźnienia i błędy itp.
• Różne przeglądarki i różne urządzenia: musisz zweryfikować typografię, czcionki i schemat kolorów na różnych urządzeniach i rozdzielczościach ekranu, zweryfikować marginesy i dopełnienia, sprawdzić użyteczność, sposób działania elementów strony na różnych urządzeniach i nie tylko.

I inne rozbieżności, które mogłeś wykryć: Konieczne jest poinformowanie zespołu o tym, aby uzyskać poprawki.

Jak przeprowadzić test na wielu odmianach? Wdrażanie testu na wielu odmianach w środowiskach konwersji.

Stworzenie testu wielowymiarowego w Convert Experiences zajmuje tylko 4 proste kroki. Oto co robić:

1. Nazwij swoje doświadczenie
   
   W Konwertuj doświadczenia wybierz „Nowe doświadczenie”, a następnie „Wielowariantowe” i nazwij swoje doświadczenie:

   

2. Zrób odmianę
   
   Po wczytaniu adresu URL strony, której używasz do testu, pierwsza odmiana jest gotowa do edycji. Możesz edytować kopię, dodawać nowe wizualizacje, nadawać jej nazwę. W poniższym przykładzie mamy:
   
   – Kliknął element do zmiany (jest podświetlony na pomarańczowo)
   – Wybrano akcję w menu, tj. zmianę źródła obrazu

   

3. Nazwij odmianę
   
   To dość oczywiste. Będziesz chciał wybrać coś, co będzie Cię wyróżniać w późniejszych raportach.
4. Określ cele i odbiorców
   
   Przejdź do podsumowania eksperymentu i skonfiguruj cele odbiorców i eksperymentu.
   
   Masz to! Twoje doświadczenie jest gotowe.

Teraz, gdy rozumiesz, czym jest testowanie wielowymiarowe i jak pomyślnie skonfigurować test wielowymiarowy, podzielmy się kilkoma różnymi platformami, z których możesz wybierać. Wiele najlepszych narzędzi do testowania A/B dostępnych na rynku oferuje testy na wielu odmianach i testy A/B w jednym oprogramowaniu. Który z nich najlepiej odpowiada Twoim potrzebom?

Jeśli wielowymiarowa metoda testowania jest dla Ciebie decydującym czynnikiem, jesteś we właściwym miejscu. Poniższa lista zawiera 9 najlepszych graczy do testowania na wielu odmianach na rynku.

Jakie są najlepsze dostępne narzędzia do testowania A/B i wielowymiarowego?

Oto spojrzenie na narzędzia do testowania na wielu odmianach preferowane przez ekspertów CRO, wraz z oferowanymi przez nich metodami testowania na wielu odmianach:

• Konwertuj Doświadczenia – Pełna Silnia
• AB Smaczne – Pełna Silnia
• Optymalizacja Google i Optymalizacja 360 – podejście hybrydowe, które nie jest ani pełne, ani ułamkowe
• Adobe Target — pełna czynnik i taguchi
• Kameleoon – silnia pełna i silnia ułamkowa
• Optimizely – pełna silnia, częściowa i taguchi
• Sitespect — pełna silnia i ułamkowa silnia
• VWO – pełna silnia
• Optymalizacja trendów internetowych — pełna silnia i ułamkowa silnia

Nadal nie wiesz, jakie narzędzie do testowania wielowymiarowego wybrać? Sprawdź ten kompletny podział najlepszych narzędzi do testowania wielowymiarowego.

Najczęstsze błędy w testach na wielu odmianach, których należy unikać w 2022 r.

Testy te mogą pomóc w osiągnięciu celów optymalizacji tylko wtedy, gdy korzystasz z nich we właściwy sposób.

Ale przecież jesteśmy ludźmi, a nasze narzędzia nie są doskonałe, więc błędy się zdarzają. Możesz zmniejszyć szanse na zrujnowanie testów, unikając tych:

1. Nie testujesz swojego narzędzia MVT pod kątem dokładności

Twórz odmiany swojej strony, ale niczego nie zmieniaj. Zachowaj to bez zmian i uruchom resztę. Ponieważ ludzie widzą to samo, wyniki powinny być takie same.

2. Nie zaczynam od solidnej hipotezy

Przeprowadzanie testu bez punktu odniesienia i czego można się spodziewać, to bieganie na ślepo. To nie pomoże ani Tobie, ani witrynie, na której testujesz. Najpierw wygeneruj hipotezę.

3. Kopiowanie konkurencji

Twoja organizacja jest wyjątkowa, a Twoje cele są inne. Kopiowanie konkurencji nie jest korzystne. Nie tylko wiele z ich testów nie będzie miało zastosowania w twoim przypadku, ale mogą nie wiedzieć, co robią.

4. Przeprowadzanie testów podczas wydarzeń sezonowych lub ważnych wydarzeń w witrynie/platformie

Jeśli Twój test nie jest przeznaczony do zdarzenia, nie powinieneś przeprowadzać testu na wielu odmianach podczas jednego. Wyniki nie będą odzwierciedlać dokładnej wydajności zwykłego dnia.

5. Zerkanie

Trudno się oprzeć pokusie. Chcesz tylko zobaczyć, jak idzie. Może nawet postawiłeś zakład na wariant i chcesz zobaczyć, który wygrywa. Nie.

Nie tylko otrzymasz niedokładne oczekiwania, ale możesz również na ich podstawie podjąć błędne decyzje. Możesz sprawdzić, czy są uruchomione lub czy są jakieś błędy, i to wszystko.

6. Nie przeprowadzasz testów wystarczająco długo

Testy wielowymiarowe muszą działać przez długi czas. Pomyśl o tym jak o oddzielnych testach A/B, które muszą uzyskać wystarczającą ilość ruchu, aby osiągnąć istotność statystyczną. Pozwól, aby Twoje testy na wielu odmianach trwały wystarczająco długo, aby uzyskać dokładne i znaczące wyniki.

7. Wprowadzanie zmian w trakcie testu

Możesz naprawić błędy, ale nie możesz przeprojektować swojej witryny ani wprowadzić zmian w kopiach. Wszystko, co zmienia wygląd i styl wariantów, powinno pozostać nietknięte po opublikowaniu testu.

8. Zapominanie o zatrzymaniu testu po uzyskaniu dokładnych wyników

Zdarza się to częściej niż myślisz. Oznacza to, że po znalezieniu wyraźnego zwycięzcy nadal będziesz pokazywać reszcie ruchu słabszą wersję swojej witryny. Nie chcesz tego zrobić.

9. Rezygnacja po jednym teście

Może wszystkie twoje warianty okazały się gorsze niż sterowanie, więc co z tego? Właśnie nauczyłeś się różnych sposobów, w jakie to nie działa. Przeprowadź więcej testów i uzyskaj więcej informacji. Cała wiedza jest cenna.

10. Nie sprawdzanie ważności po teście

Kiedy wszystko jest już powiedziane i zrobione, a ty masz swoje wyniki, czy to koniec? Czy zamykasz platformę testową i ruszasz dalej? Najlepiej usiąść wygodnie i sprawdzić, czy wszystko poszło gładko, zanim zaufasz dokładności wyników.

11. Nie przeprowadzono wystarczającej liczby testów

Kiedy przeprowadzasz test, niezależnie od tego, czy był zwycięski, czy przegrany, ucz się z niego. Wykorzystaj swoją nowo odkrytą wiedzę, aby stworzyć bardziej świadomą hipotezę i uruchomić ponownie. I ponownie. W ten sposób sprawiasz, że eksperymenty działają dla Ciebie.

12. Nie dokumentowanie testów

Prowadź bazę danych swoich testów. Poprawi to wydajność Twojego zespołu ds. optymalizacji, nawet jeśli ten zespół to tylko Ty. Wszyscy musimy uczyć się na poprzednich doświadczeniach, aby ulepszyć następne.

A także, aby nie tracić czasu na dwukrotne przeprowadzanie tych samych testów.

Wniosek

Niezależnie od tego, czy masz sklep e-commerce, SaaS, czy prostą stronę docelową, istnieją scenariusze, w których warto przeprowadzić test na wielu odmianach. Możesz mieć witrynę o dużym natężeniu ruchu, ale nadal musisz zdecydować, czy testowanie na wielu odmianach jest odpowiednie dla Twojej witryny. Oceń koszt, ruch i zapotrzebowanie na wielowymiarową, zanim ją uruchomisz.