Czy należy przeprowadzać jednoczesne eksperymenty? Przewodnik po unikaniu sprzecznych wyników

W świecie optymalizacji toczy się debata na temat tego, czy przeprowadzać symultaniczne eksperymenty. Niektórzy uważają, że jednoczesne przeprowadzanie testów A/B zaburzy wyniki i da niedokładne dane. Inni twierdzą, że uruchamianie doświadczeń A/B na różnych stronach witryny w tym samym czasie może pomóc Ci przetestować więcej rzeczy i szybciej zidentyfikować zwycięskie strategie.

Więc co jest słuszne?

W tym poście na blogu omówimy zalety i wady jednoczesnych eksperymentów i pomożemy Ci zdecydować, które podejście jest najlepsze dla Twojego programu optymalizacyjnego.

Po przeczytaniu tego artykułu na blogu będziesz w stanie odpowiedzieć na następujące pytania:

• Czy mogę uruchomić jednoczesne środowiska podzielonego adresu URL?
• Czy mogę prowadzić symultaniczne doświadczenia A/B?
• Czy mogę jednocześnie przeprowadzić A/A i A/B?

Krótka odpowiedź brzmi tak , wiele doświadczeń może działać jednocześnie na jednej stronie lub zestawie stron. Pamiętaj jednak, że przechowywanie w jednym środowisku może mieć wpływ na dane z innego, jednocześnie występującego środowiska.

Jak dochodzi do nakładania się doświadczeń i czy należy się tym martwić?

Podczas jednoczesnego przeprowadzania eksperymentów należy pamiętać o jednej rzeczy. W niektórych przypadkach dwie zmiany mogą wchodzić w interakcje, powodując inny wpływ na zachowanie w połączeniu niż w przypadku izolacji. Może się tak zdarzyć, gdy eksperymenty są przeprowadzane na tej samej stronie, z tym samym przepływem użytkownika itd.

Przyjrzyjmy się kilku przykładom, w których może wystąpić nakładanie się doświadczeń i czy należy to uznać za problem.

Testowanie tego samego elementu

Zmiana wyglądu stron produktów w celu wyróżnienia funkcji nagród, takich jak zasady bezpłatnego zwrotu i bezpłatna dostawa, to jeden z przykładów testu A/B, który możesz przeprowadzić.

Jeden z naszych klientów przetestował dokładnie ten scenariusz. Na podstawie danych z ich działu obsługi klienta wysunęli hipotezę, że klienci nie byli świadomi polityki bezpłatnego zwrotu marki, ponieważ funkcja ta nie była wystarczająco widoczna na stronach produktów. Następnie przeprowadzili test A/B, pokazując, że funkcja jest bardziej widoczna, i mierzyli reakcje klientów.

Oto jak wygląda oryginał i odmiana:

Jednak implementacja testu była nieco bardziej złożona, ponieważ zmiany nie miały obowiązywać na każdej stronie produktu. Niektóre produkty nie kwalifikowały się do bezpłatnych zwrotów, niektórych produktów objętych wyprzedażą nie można było modyfikować itp. Z tych powodów zdecydowali się przeprowadzić kolejne doświadczenie A/B, jednocześnie zmieniając ten sam element i dodając kopię wyłączenia odpowiedzialności w wielu te strony mówią: „Przedmiot nie podlega zwrotowi”.

Jak widać, dwa doświadczenia A/B wpływają na ten sam element witryny, a zatem powodują pewne nakładanie się wyników, co utrudnia wyciągnięcie jednoznacznych wniosków.

Testowanie na tej samej stronie

Innym przykładem doświadczenia A/B było zoptymalizowanie przez klienta strony swoich produktów w celu zwiększenia liczby wizyt na zamówienie.

Gdy przeanalizowali każdy element stron produktów i śledzili konwersje celu, odkryli, że linki głównego paska nawigacyjnego uzyskały najwięcej kliknięć, zwłaszcza „Kup teraz”. Nasz klient dostrzegł znaczenie wysyłania bardziej kwalifikowanego ruchu do stron kategorii, zamiast pozostawiania ich wędrujących po stronie głównej.

W rezultacie klient zdecydował się zastąpić sekcję „Kup teraz” innymi kategoriami, takimi jak „super oszczędzanie”, „bazar” i tak dalej. Dodatkowo sekcja „Kup teraz” została przeniesiona na lewą stronę witryny, aby strona była bardziej atrakcyjna wizualnie i przyciągała wykwalifikowanych odwiedzających.

Tak na początku wyglądała strona produktu:

W międzyczasie na stronach produktów przeprowadzano kolejny eksperyment A/B, aby ustalić, czy inny kolor przycisku „Kup teraz” zapewniłby lepsze konwersje.

Ponieważ te dwa doświadczenia A/B wpływają na te same elementy na tej samej stronie, pewne nakładanie się wyników jest nieuniknione.

Testowanie użytkowników uczestniczących w tej samej ścieżce/przepływie

Nakładanie się doświadczeń może również wystąpić podczas testowania użytkowników uczestniczących w tej samej ścieżce. Większość witryn generuje konwersje za pomocą wielu ścieżek. Chociaż główny nacisk może być kładziony na zakupy, tworzenie lub przejmowanie konta może być również znaczącą siłą napędową w biznesie.

Wyświetlanie doświadczeń na stronie produktu może mieć wpływ na konwersję zakupu; jednak przetestowanie układu formularza na stronie tworzenia konta może pomóc ulepszyć tę ścieżkę. Testy pozyskiwania obejmują wszystko, od kierowania ruchu do witryny po zbieranie adresów e-mail w celach marketingowych.

Posiadanie doświadczeń na tych samych stronach witryny może powodować ich nakładanie się, co skutkuje błędami. Wyniki mogą mieć wpływ, jeśli cele związane z doświadczeniem są zgodne z tymi samymi ścieżkami.

Załóżmy, że próbujesz uzyskać więcej ukończonych rejestracji. Po wejściu na Twoją stronę użytkownicy proszeni są o zarejestrowanie się:

Aby skonfigurować ścieżkę konwersji dla rejestracji, możesz śledzić następujące zdarzenia:

• Liczba użytkowników podczas rejestracji
• Liczba zakończonych rejestracji
• Liczba wczytań ekranu strony głównej

Następnie możesz sformułować kilka hipotez, jak ulepszyć ścieżkę, testując następujące zmiany:

1. Dodaj onboarding do procesu rejestracji
2. Skróć formularz rejestracyjny, aby był bardziej przyjazny dla użytkownika
3. Całkowicie usuń rejestrację

W tym przypadku jednak nie jest możliwe określenie dokładnego wpływu zmiany z testów A/B, ponieważ doświadczenia A/B wpływają na tę samą ścieżkę, więc ich wyniki będą się częściowo pokrywać.

Uruchamianie doświadczeń w całej witrynie

Może się zdarzyć, że będziesz musiał poeksperymentować z elementem, który pojawia się na wszystkich stronach. Załóżmy, że chcesz przetestować zmianę koloru lub rozmiaru czcionki wezwania do działania w stopce, aby sprawdzić, ile konwersji możesz uzyskać.

Proces jest prosty do wdrożenia dzięki Convert: po prostu dodaj wszystkie strony do kierowania.

To wszystko!

Kierowanie na całą witrynę wpłynie jednak na inne testy A/B przeprowadzane na tych stronach, powodując nakładanie się doświadczeń.

Testowanie tej samej grupy odbiorców/odwiedzających

Rozważ następujące studium przypadku: Chcesz ocenić dwa aspekty swojego systemu e-commerce, więc opracowujesz dwa testy A/B dla użytkowników mobilnych i komputerów stacjonarnych.

1. Próbujesz sprawdzić, czy ustawienie przycisku „Dodaj do koszyka” na czerwony zamiast na niebieski zwiększa liczbę kliknięć.
2. Wypróbowujesz nowy proces realizacji transakcji, który zmniejsza liczbę kroków z pięciu do dwóch, aby sprawdzić, czy masz więcej rejestracji.

Jeśli oba działania prowadzą do tego samego zdarzenia sukcesu (zakończonej transakcji), może być trudno określić, czy czerwony przycisk lub lepsza jakość płatności zwiększyły konwersje na komputerach i urządzeniach mobilnych.

Aby uniknąć nakładania się wyników i innych problemów z dostarczaniem wrażeń, należy przeprowadzić powyższe testy na różnych grupach odbiorców (na przykład tylko na urządzeniach mobilnych lub tylko na komputerach).

Jedyną wadą testowania segmentacji jest to, że Twój ruch będzie niższy, co może mieć wpływ na czas trwania testu. Ponieważ jednak opiera się na technikach personalizacji, jest to preferowana metoda unikania nakładania się doświadczeń podczas testów A/B. Gdy segmenty zostaną starannie dobrane, ich wpływ na całe doświadczenie będzie minimalny.

Prowadzenie doświadczenia, które może mieć znaczący wpływ na cel, który jest dzielony z innymi doświadczeniami

Nie trzeba dodawać, że jeśli Twoje cele są podobne we wszystkich testach, Twoje wyniki będą koncentrować się na tym indywidualnym celu. Aby każde doświadczenie spełniło swój cel, cele każdego z nich nie mogą być ze sobą sprzeczne.

Strategie przeprowadzania udanych testów

Nie ma jednego uniwersalnego rozwiązania, jeśli chodzi o uruchamianie testów, które się nie nakładają. Gdy przejdziesz przez każdy etap swojej eksperymentalnej podróży, Twoje potrzeby będą decydować o tym, jak będziesz postępować.

Aby pomóc Ci podjąć świadomą decyzję, przyjrzyjmy się najczęstszym strategiom, których możesz użyć, aby poradzić sobie z nakładaniem się.

1. Jednoczesne doświadczenia bez nakładania się (odizolowane)

Najprostszą strategią jest zazwyczaj ta, z której korzystałeś do tej pory: odosobnione doświadczenia, które działają jednocześnie.

Jak omówiliśmy powyżej, odosobnione doświadczenia nie nakładają się na siebie, a wyniki jednego doświadczenia nie będą miały wpływu na wyniki innego.

Następujące przypadki wymagają tej strategii:

• Gdy nakładanie się jest technicznie niemożliwe : jeśli testujesz w sposób wykluczający wszystkie możliwe kombinacje, o których mowa powyżej.
• Kiedy środowisko użytkownika może zostać zepsute : niektóre kombinacje doświadczeń mogą zrujnować wrażenia użytkownika, więc te środowiska muszą być uruchamiane osobno.
• Gdy głównym celem są precyzyjne dane, a więc tylko pojedyncze eksperymenty mają sens.

W takich przypadkach jedno doświadczenie nie może wpłynąć na drugie, jeśli uruchomisz dwa doświadczenia jednocześnie na dwóch różnych stronach z dwoma różnymi celami. Goście, którzy wezmą udział w doświadczeniu 1, nie wezmą udziału w doświadczeniu 2 i vice versa.

Poza powyższymi przypadkami, z punktu widzenia wydajności, wykonywanie doświadczeń na jednocześnie odizolowanych pasach nie ma sensu. Uruchamianie dwóch doświadczeń na osobnych ścieżkach zajmuje tyle samo czasu, co uruchamianie ich jeden po drugim dla dowolnej liczby użytkowników lub sesji. Jeśli masz 10 000 użytkowników każdego miesiąca i musisz uruchomić dwa doświadczenia, z których każde wymaga 5000 osób, ukończenie doświadczenia zajmie jeszcze miesiąc.

Poza tym strategia ta ma oczywistą wadę: doświadczenia z biegania po odizolowanych pasach z pewnością uniemożliwią badanie potencjalnych interakcji między odmianami.

Byłoby to to samo, co przeprowadzenie eksperymentu na komputerach stacjonarnych przed udostępnieniem zwycięskiej odmiany zarówno użytkownikom komputerów stacjonarnych, jak i urządzeń mobilnych, gdyby istniały oddzielne ścieżki testowe. Wpływ na użytkowników mobilnych może być taki sam jak na użytkowników komputerów stacjonarnych, ale możliwe jest również, że wystąpi znaczna różnica.

2. Doświadczenia niejednoczesne (sekwencyjne)

Jeśli nie ma sposobu na uniknięcie nakładania się doświadczeń, powinieneś rozważyć użycie doświadczeń sekwencyjnych. Oznacza to, że każde doświadczenie, które może się nakładać na inne, powinno odbywać się sekwencyjnie.

Możesz użyć kolumn Konwertuj „Rozpoczęty/Planowany” i „Zatrzymany”, aby mieć wgląd w testy sekwencyjne:

Strategia ta może być jeszcze bardziej skuteczna dzięki planowi priorytetyzacji.

Frameworki PIE i ICE to dwie skuteczne opcje ustalania priorytetów doświadczeń dla Twojego zespołu.

Struktura PIE (opracowana przez Widerfunnel) to popularna metoda priorytetyzacji, która klasyfikuje testy na podstawie trzech kryteriów: potencjału, ważności i łatwości. Korzystając z wyniku PIE, możesz uszeregować i nadać priorytet każdemu testowi na podstawie średniego wyniku każdego z tych kryteriów.

Model Impact, Confidence, and Ease (ICE) (opracowany przez Seana Ellisa z Growthhackers) jest bardzo podobny do modelu PIE, z wyjątkiem tego, że wykorzystuje czynnik ufności zamiast „potencjału”.

Brak mapy drogowej ograniczy Twoją zdolność do maksymalnego wykorzystania ruchu i zasobów.

Możliwe jest na przykład niezamierzone gromadzenie zaległych pomysłów na strony główne, które muszą być wdrażane jeden po drugim. Jeśli to wąskie gardło będzie się utrzymywać, możesz zostać zmuszony do gry w oczekiwanie, zamiast móc jednocześnie testować inne części swojej witryny. Lub zamiast tego możesz uruchomić kilka testów jednocześnie, nie biorąc pod uwagę ewentualnych efektów nakładania się, które dałyby podejrzane wyniki.

3. Jednoczesne doświadczenia z nakładaniem się

Po przeanalizowaniu swoich doświadczeń doszedłeś do wniosku, że się pokrywają; dlatego konieczne jest ich odizolowanie. Jak to robisz? To proste! Uruchom pierwszy test, potem drugi, prawda? W sekcji sekwencyjnej wyjaśniono, jak to działa.

Wyobraź sobie jednak, że chcesz przeprowadzić kilka testów w okresie świątecznym lub w dowolnym okresie świątecznym, ponieważ z jakiegoś powodu jest to czas, w którym przyjmujesz więcej odwiedzających, a doświadczenia mogą mieć bardziej znaczący wpływ. Co wtedy? Czy jesteś w stanie przeprowadzić wszystkie swoje doświadczenia jedno po drugim? Oczywiście nie.

Możesz uruchomić swoje doświadczenia jednocześnie, nie martwiąc się o nakładanie się, korzystając z poniższych strategii.

a. A/B/N Doświadczenia

Pierwszą strategią w tej kategorii jest testowanie A/B/N, które obejmuje testowanie więcej niż dwóch odmian jednocześnie. A/B/N nie odnosi się do trzeciej odmiany, ale do dowolnej liczby dodatkowych odmian: A/B/C, A/B/C/D i dowolnego innego rozszerzonego testu A/B.

Zasady testowania A/B/N pozostają takie same niezależnie od liczby dodatkowych odmian: podziel użytkowników na grupy, przypisz odmiany (zazwyczaj stron docelowych lub innych stron internetowych) do grup, monitoruj zmianę kluczowego wskaźnika (zazwyczaj współczynnika konwersji ), zbadaj wyniki doświadczenia pod kątem istotności statystycznej i zastosuj zwycięską odmianę.

Jednak eksperymentowanie ze zbyt dużą liczbą odmian (gdy można wybrać tylko jedną) może dodatkowo podzielić ruch w witrynie. Może zatem wydłużyć czas i ruch niezbędny do osiągnięcia statystycznie istotnego wyniku i stworzyć „statystyczny szum”.

Ważne jest również, aby nie tracić z oczu całościowego obrazu podczas przeprowadzania wielu eksperymentów A/B/N. Nie ma gwarancji, że różne zmienne będą ze sobą dobrze współpracować, tylko dlatego, że najlepiej wypadły w swoich eksperymentach.

W takich przypadkach rozważ wykonanie testów na wielu odmianach, aby przetestować wszystkie odmiany i zapewnić wprowadzenie ulepszeń do metryk najwyższego poziomu.

b. Doświadczenia wielowymiarowe (MVT): połącz wiele doświadczeń w jednym teście

Wielowymiarowe doświadczenie (MVT) uruchamia jednocześnie wiele kombinacji różnych zmian.

Aby określić, który element spośród wszystkich możliwych kombinacji ma największy wpływ na cele, wiele elementów musi być modyfikowanych jednocześnie na tej samej stronie.

W przeciwieństwie do testów A/B/N testy wielowymiarowe pozwalają określić, która kombinacja zmian najlepiej spełnia wymagania użytkowników. Dzięki testowaniu wielowymiarowemu można określić, która kombinacja zmiennych sprawdza się najlepiej w przypadku zmiany wielu zmiennych.

Na przykład, jeśli chcesz przetestować dwa różne nagłówki, dwa obrazy i kolory dwóch przycisków na stronie, twój test MVT będzie wyglądał tak:

Powyższy test MVT testuje jednocześnie różne elementy (nagłówki, kolor i obraz) w różnych kombinacjach.

Jak skonfigurować MVT w konwertowaniu doświadczeń

Najpierw z zakładki Doświadczenia na koncie Konwertuj wybierz „Nowe doświadczenie”:

Teraz możesz nazwać swoje doświadczenie. Użyjmy „Mój pierwszy MVT”, wybierz opcję wielowymiarową i kliknij kontynuuj:

W MVT są sekcje i odmiany. Sekcje to lokalizacje na Twojej stronie, w których chcesz przetestować jedną lub wiele odmian.

Oto przykłady sekcji:

• Logo
• Nagłówek
• Pierwszy paragraf
• Formularz zgłoszeniowy

Istnieją również odmiany (w tych sekcjach), które mają następującą strukturę:

• Sekcja: Logo
  
  
  • Oryginalne logo
  • Odmiana 1) logo w lewo
  • Wariant 2) logo w prawo

• Sekcja: Nagłówek
  
  
  • Oryginalny nagłówek
  • Odmiana 1), nagłówek „Szukaj teraz mój przyjacielu”
  • Odmiana 2), nagłówek „Wypróbuj wyszukiwanie”
• Sekcja: Pierwszy akapit
  
  
  • Oryginalny akapit pierwszy
  • Odmiana 1) pierwszy akapit „czerwony”
  • Odmiana 2) pierwszy akapit „niebieski”
• Sekcja: Formularz zgłoszeniowy
  
  
  • Oryginalny formularz zgody
  • Wariant 1) formularz zgody z dodatkowym polem nazwisko
  • Wariant 2) formularz zgody z polem wyboru „biała księga”
  • Odmiana 3) formularz zgody pływający w lewo
  • Wariacja 4) formularz zgody „twarz kobiety”

Oto jak powyższa struktura pojawi się w edytorze konwersji Visual.

Adres URL strony, którą chcesz przetestować, zostanie załadowany w Edytorze wizualnym. Następnie możesz edytować pierwszą odmianę. Zmiana treści jest tak prosta, jak kliknięcie dowolnego podświetlonego na pomarańczowo obszaru. Klikając zielony znak plus obok nazw odmian, możesz dodać nowe odmiany.

Możesz na przykład:

• Kliknij element do zmiany (elementy są wyróżnione pomarańczowymi ramkami)
• Wybierz akcję z menu, np. zmianę źródła obrazu

Podsumowanie doświadczenia MVT będzie wyglądać tak:

MVT ma jednak kilka ograniczeń.

Pierwsze ograniczenie dotyczy liczby odwiedzających wymaganych do uzyskania statystycznie istotnego doświadczenia na wielu odmianach.

Zwiększenie liczby zmiennych w teście wielowymiarowym może skutkować wieloma odmianami. W przeciwieństwie do standardowego testu A/B, w którym 50% ruchu jest przydzielane do wersji oryginalnej, a 50% do odmiany, test wielowymiarowy przydziela tylko 5, 10 lub 15% ruchu do każdej kombinacji. W praktyce skutkuje to dłuższymi okresami testowania i niemożnością osiągnięcia istotności statystycznej potrzebnej do podjęcia decyzji.

Kolejnym ograniczeniem jest złożoność MVT. Test A/B jest często łatwiejszy do skonfigurowania i przeanalizowania niż test wielowymiarowy. Nawet stworzenie podstawowego testu wielowymiarowego jest czasochłonne i zbyt łatwo, aby coś poszło nie tak. Może minąć kilka tygodni, a nawet miesięcy, zanim pojawi się niewielka wada w projekcie doświadczenia.

Jeśli nie masz dużego doświadczenia w testowaniu — przeprowadzając różne rodzaje testów na różnych stronach — nie powinieneś nawet rozważać testu na wielu odmianach. Być może będzie ci lepiej z następną strategią, którą omawiam, wzajemnie wykluczającymi się doświadczeniami.

c. Wzajemnie wykluczające się doświadczenia

Możesz także uruchamiać doświadczenia z nakładaniem się jednocześnie, upewniając się, że wzajemnie się wykluczają. Pamiętaj, że w zależności od platformy testów A/B możesz sprawić, że doświadczenia będą się wzajemnie wykluczać. Zasadniczo musisz podzielić ruch na tyle grup, ile jest uruchamianych doświadczeń, i upewnić się, że każda grupa uczestniczy tylko w jednym doświadczeniu.

Konwersja pozwala na wzajemną wyłączność, a poniżej pokażemy, jak ją skonfigurować, aby odwiedzający, którzy oglądają doświadczenie A, nie oglądali doświadczenia B.

Kolejność wykonywania doświadczeń:

Pierwszym krokiem w konfiguracji jest zrozumienie, w jaki sposób są wykonywane doświadczenia Convert. Warunki doświadczenia są oceniane kolejno na stronie, biorąc pod uwagę ich identyfikator doświadczenia.

Doświadczenie o najniższym ID jest oceniane jako pierwsze, a po spełnieniu wszystkich jego warunków inicjowane jest nowe doznanie. Tak więc na poniższym zrzucie ekranu doświadczenie z identyfikatorem 100243925 jest uruchamiane jako pierwsze, a reszta następuje.

Dwa wzajemnie wykluczające się doświadczenia

Te kroki należy wykonać, jeśli masz dwa działające jednocześnie doświadczenia i chcesz, aby wzajemnie się wykluczały:

1. Ustaw rozkład ruchu na mniej niż 100% w pierwszym doświadczeniu

Ustaw środowisko z najniższym identyfikatorem tak, aby wykorzystywało mniej niż 100% ruchu. Możesz to zrobić w sekcji Rozkład ruchu w podsumowaniu doświadczeń.

2. W drugim doświadczeniu ustaw warunek odbiorców na „Doświadczenie w koszyku to nie”

Następnie, w drugim doświadczeniu, ustaw warunek publiczności na „Bucketed in Experience is No”. Możesz to znaleźć, jeśli dodasz nową publiczność (w sekcji Dane odwiedzającego). Ten warunek oznacza, że ​​odwiedzający zostanie przetestowany tylko wtedy, gdy wcześniej nie był testowany. Zapobiegnie to dwukrotnemu testowaniu tego samego gościa.

Wiele wzajemnie wykluczających się doświadczeń

Jeśli masz więcej niż dwa doświadczenia, które muszą się wzajemnie wykluczać, możesz wykonać następujące kroki:

1. Ustaw rozkład ruchu dla wszystkich doświadczeń poniżej 100%

Ustaw wszystkie środowiska równoległe tak, aby używały tylko mniej niż 100% ruchu. Możesz to zrobić w sekcji Rozkład ruchu w podsumowaniu doświadczeń.

2. Ustaw zaawansowanych odbiorców na podstawie plików cookie odwiedzających

Następnie we wszystkich doświadczeniach z wyjątkiem doświadczenia z najniższym identyfikatorem użyj Zaawansowanych odbiorców na podstawie plików cookie odwiedzających, aby wykluczyć użytkowników, którzy zostali uwzględnieni w innych równoległych doświadczeniach.

Załóżmy na przykład, że mamy te 4 doświadczenia:

1. Doświadczenie A z ID 123456, rozkład ruchu 80%
2. Doświadczenie B z ID 123457, rozkład ruchu 50%
3. Doświadczenie C z ID 123458, rozkład ruchu 30%
4. Doświadczenie D z ID 123459, rozkład ruchu 75%

Doświadczenie B powinno mieć tych zaawansowanych odbiorców:

Doświadczenie C powinno mieć tych zaawansowanych odbiorców:

I wreszcie doświadczenie D powinno mieć tę zaawansowaną publiczność:

Jak widać powyżej, wartość pliku cookie jest sformatowana w następujący sposób:

xxxxxx.{w.1-

Dzieje się tak, ponieważ jeśli próbujesz wykluczyć użytkowników, którzy zostali uwzględnieni w środowisku skonfigurowanym z mniej niż 100% ruchem, plik cookie jest nadal zapisywany, jeśli odwiedzający spełnia warunki dotyczące obszaru witryny i odbiorców, ale ze względu na rozkład ruchu nie był zawarte w tym doświadczeniu.

Plik cookie konwersji _conv_v będzie wyglądał podobnie do tego:

exp: {12345678.{v.1-g.{}}}

Zwróć uwagę, że w powyższym formacie nie ma wartości odmiany – tylko v.1 – ponieważ odwiedzający nie został uwzględniony w doświadczeniu. Śledzimy to jednak za pomocą plików cookie, aby przy następnej wizycie na stronie odwiedzający został ponownie wykluczony z tego samego doświadczenia.

Wniosek

Posiadanie wielu doświadczeń działających jednocześnie wprowadza pewne komplikacje – nie zawsze masz pewność, które testy zwiększają konwersje lub czy istnieją między nimi ukryte interakcje. Nie stanowi to jednak większego problemu, ponieważ istnieją strategie łagodzenia tych złożoności.

Omówiliśmy 5 strategii radzenia sobie z problemami powodowanymi przez wiele testów uruchomionych w tym samym czasie:

1. Uruchamianie doświadczeń jednocześnie, gdy nie nakładają się na siebie
2. Uruchamianie doświadczeń sekwencyjnie, gdy nie można uniknąć nakładania się doświadczeń
3. Uruchamianie doświadczeń A/B/N
4. Przeprowadzanie testów MVT
5. Prowadzenie wzajemnie wykluczających się doświadczeń

Pokazaliśmy również, w jaki sposób Convert obsługuje wszystkie powyższe strategie testowania, dzięki czemu jest bardzo wszechstronnym narzędziem.

Ważne jest, aby wziąć pod uwagę wszystkie te zawiłości podczas wykonywania testów A/B, aby w każdym przypadku można było wybrać najbardziej odpowiednią strategię. Chętnie Ci pomożemy, jeśli nadal będziesz mieć jakiekolwiek pytania.