Jak traktować dane jakościowe i dane ilościowe w celu wygrywania testów A/B?

Jeśli podzielimy to na podstawowe koncepcje, CRO to mniej konwersje, a bardziej zrozumienie odbiorców i ich interakcji z Twoją witryną.

Im lepiej je rozumiesz, czego chcą i jak działają w Twojej witrynie, tym lepsze wrażenia klientów i oferty możesz dostarczyć.

Oznacza to, że naszym głównym celem jako testerów jest zdobycie jak największej ilości informacji . Im więcej mamy danych, tym lepiej możemy planować testy i próbować zauważyć wzrost wyników.

Problem?

Nie zawsze jesteśmy świetni w zbieraniu lub rozumieniu tych danych. Być może nie znamy narzędzi, których należy użyć, procesów wyszukiwania informacji, a może nie analizujemy i nie uzyskujemy dokładnych informacji, albo z powodu braku doświadczenia, albo gorzej, dodając własne uprzedzenia, które psują wyniki.

Właśnie to omówimy w dzisiejszym przewodniku: jak zbierać informacje o odbiorcach, jak je rozumieć i jak je wykorzystywać. Zagłębimy się nawet w szczegóły i przyjrzymy się innym testerom i ich procesom , abyś mógł zebrać jeszcze więcej pomysłów i spostrzeżeń do nowych testów.

Czytaj dalej, aby dowiedzieć się więcej, lub kliknij tutaj, aby dowiedzieć się „jak wykorzystać dane do prowadzenia zwycięskich testów A/B”.

Jeśli chodzi o testowanie i wyszukiwanie informacji o Twojej witrynie lub aplikacji, chcemy przyjrzeć się dwóm rodzajom danych.

Przykładami analizy danych ilościowych mogą być:

• Mierzenie ruchu na stronie
• Współczynnik odrzuceń tego ruchu
• CTR
• Stawka subskrybenta
• Wskaźnik sprzedaży
• Średnia wartość sprzedaży.

Większość programów testujących rozpoczyna się zarówno od analizy technicznej, aby uzyskać dane na temat tego, co działa lub nie działa w witrynie, a następnie od analizy ilościowej, aby uzyskać punkt odniesienia dla bieżącego działania witryny, zanim przejdzie do analizy jakościowej.

Przykładami danych jakościowych są

• Badania użytkowników
• Przewiń mapy
• Śledzenie kliknięć
• Mapowanie ciepła
• Ankiety.

Celem jest po prostu lepsze zrozumienie odbiorców i ich interakcji, abyśmy mogli wykryć potencjalne problemy w korzystaniu z witryny lub poznać wszelkie problemy zewnętrzne, które mogą wpływać na ich działania w witrynie.

Na przykład, chociaż wiemy, że wezwanie do działania nie uzyskuje wielu kliknięć, dopiero podczas wywiadów z klientami dowiadujemy się, że język nie jest jasny lub nie przemawia do odbiorców.

Jaki jest właściwy sposób wykorzystania danych w testach A/B?

Chociaż wygląda na to, że śledzimy tylko określone zdarzenia konwersji lub monitorujemy zachowanie użytkowników, celem jest połączenie danych ilościowych i jakościowych . Być może po to, aby znaleźć błędy techniczne lub wspólne problemy, ale najlepiej połączyć je, aby móc się edukować i uzyskać bardziej holistyczny wgląd w naszą publiczność.

Nie chcemy też tylko natychmiastowych informacji. Chcemy dowiedzieć się, dlaczego coś się dzieje, a następnie pójść o krok dalej, aby znaleźć pierwotną przyczynę.

Załóżmy, że przeprowadzamy badania ilościowe i widzimy, że współczynnik konwersji na stronie jest niski. Czy oferta lub produkt po prostu nie są pożądane? A może musimy usprawnić proces?

Następnie uruchamiamy mapę popularności na stronie docelowej i widzimy, że większość odbiorców nie klika określonego CTA, więc możemy postawić hipotezę, dlaczego. Może język nie jest jasny?

Ale po głębszej inspekcji widzimy, że w przypadku niektórych urządzeń jest to po prostu poza ekranem, podczas gdy w innych nie wyróżnia się na tyle, aby nawet było jasne, że jest to przycisk do naciśnięcia.

• Gdybyśmy spojrzeli tylko na dane jakościowe, pomyślelibyśmy, że jest to niski CTR.
• Jeśli patrzyliśmy tylko na dane jakościowe, moglibyśmy założyć, że ludzie po prostu nie klikają.

Ale łącząc je, możemy zobaczyć znacznie głębiej. (Tak naprawdę rozumiemy dane w testach A/B).

Stary idiom jest prawdziwy w tym, że „to, co jest mierzone, jest zarządzane”. Kluczem jest oczywiście upewnienie się, że nie podejmujemy decyzji na podstawie ograniczonych lub wadliwych zestawów danych, więc ZAWSZE patrz na wiele źródeł danych.

Uczenie się, jak zwalniać, pytać dlaczego i pozwalać, by dane dotarły do ​​Ciebie, pomoże Ci stać się znacznie lepszym testerem i rozwiązywać problemy.

Zamiast próbować znaleźć odpowiedź od razu, zadaj sobie pytanie, czy masz wystarczająco dużo informacji:

• Czy Twoi użytkownicy mają problem, który można łatwo naprawić (uszkodzony przycisk lub słabe wezwanie do działania), czy może jest coś więcej, co można by poprawić?
• Czy masz wrodzoną stronniczość lub wcześniejsze doświadczenia, które wpływają na twoje początkowe pomysły?
• Czy możesz najpierw dowiedzieć się więcej o swoich odbiorcach?

Co się stanie, jeśli przyglądając się dokładniej temu problemowi z wezwaniem do działania i układem, odkryjesz, że większość Twoich odbiorców korzysta z przestarzałych urządzeń mobilnych z różnymi rozdzielczościami ekranu i szybkościami ładowania? Możliwe, że brakuje im większości treści i interakcji, a nie tylko stron CTA i sprzedaży. Może to wpłynąć nawet na treści w mediach społecznościowych i blogu!

Idź ponownie głębiej. Dlaczego mają te urządzenia? Czy nie stać ich na droższe urządzenie? Czy to nie jest dla nich ważne? Jeśli nie, to co jest?

Nie próbuj po prostu podejmować wszystkich decyzji na podstawie tego, co masz do tej pory. Nie spiesz się, zastanów się i zanurkuj głębiej z każdym wynikiem, jaki uzyskasz. Znajdź powód.

Duże błędy, których należy unikać podczas zbierania i analizowania danych

Nie martw się, jeśli jesteś typem testera, który próbuje uzyskać natychmiastowy wgląd w swoje wstępne badania, ponieważ nie jesteś w tym sam.

To tylko jeden z kilku powtarzających się problemów, które większość ludzi napotyka, próbując zebrać lub zrozumieć swoje dane…

Zagadnienie #1: Zbieranie danych w celu udowodnienia opinii

Czy korzystasz z danych, aby uzyskać nowe informacje? A może używasz danych do walidacji aktualnych pomysłów?

Użycie danych do walidacji pomysłu jest w porządku. Taki jest cel hipotezy. Mamy pojęcie, co jest nie tak i jak to naprawić, dlatego staramy się to udowodnić testem i jego wynikami.

Ale nie zapomnij o metodzie naukowej! Nie możemy przywiązywać się do naszych pomysłów i opinii. Musimy zaufać danym i znaleźć prawdziwy powód. Na tym nam zależy. W porządku jest „mylić się” z hipotezą. Odkrycie innego spostrzeżenia z nieudanego testu po prostu uczy Cię więcej o swoich odbiorcach!

Po prostu uważaj na dane, które mówią ci jedno, ale przekręcasz je, aby spróbować udowodnić coś innego.

Zagadnienie #2: Analiza sponsoringu bez wyraźnego wyartykułowania problemu

Częstym problemem w testowaniu (a nawet w większości firm) jest to, że osoba analizująca dane nie zawsze jest analitykiem.

Zamiast tego, analityk jest używany jako medium do wyciągania informacji do raportów dla osoby trzeciej, która próbuje rozwiązać problem. (Stają się niemal uwielbioną deską rozdzielczą.)

Oto przykład:

• Twój szef ma cel i problem.
• Mają ogólne pojęcie o rozwiązaniu i przyczynie, więc proszą analityka o dane dotyczące XYZ, ale bez kontekstu. Próbują dowiedzieć się, czy ten problem i rozwiązanie może zadziałać.
• Zwykle istnieje tam iz powrotem, aby zażądać większej ilości danych. Ta prośba albo fałszywie popiera pomysł, albo nie doszło do dalszego zrozumienia.
• W ten sposób pojawiają się nowe testy lub pomysły, a problem pozostaje nierozwiązany.

Nie świetnie, prawda?

Ale wyobraź sobie, że szef przyszedł do analityka z kontekstem konkretnego problemu i pracowali razem, aby wyartykułować problem i znaleźć pierwotną przyczynę?

Może to zarówno przyspieszyć zrozumienie, jak i nowe testy, aby go rozwiązać.

Zagadnienie 3: Poleganie na jednym źródle danych bez zanurzania się w różnych perspektywach

Wspominaliśmy o tym wcześniej, ale tak ważne jest, aby nie trzymać się tylko jednego źródła danych, ponieważ poważnie ograniczasz zrozumienie i potencjalne rozwiązania testowe i pomysły.

Im więcej masz źródeł, tym lepiej możesz nakreślić obraz tego, co się dzieje i dlaczego.

Tak, zajmuje to trochę czasu, ale optymalizacja współczynnika konwersji polega na zrozumieniu tych odbiorców. Wykonuj pracę i ucz się jak najwięcej.

Im więcej wiesz, tym lepiej!

przez GIPHY

Zagadnienie 4: Nie nadawanie priorytetu krytycznemu myśleniu jako umiejętności

Nasze mózgi są dziwne. Funkcjonujemy na systemie podstawowych impulsów, bodźców emocjonalnych i wcześniejszych doświadczeń. Celem jest utrzymanie nas przy życiu, prokreacja i podejmowanie decyzji bez marnowania zbyt dużej ilości energii.

Wiedząc o tym, testerzy (i właściciele firm) zawsze mądrze, aby byli świadomi procesu krytycznego myślenia i uprzedzeń poznawczych oraz tego, jak wpływają one na nasze zrozumienie i decyzje…

Czym jest myślenie krytyczne?

Myślenie krytyczne to umiejętność analizowania faktów i danych w celu sformułowania osądu bez uprzedzeń .

W procesie podejmowania decyzji biorą udział setki różnych rzeczy, z których jedną jest stronniczość decyzji opartych na wcześniejszych doświadczeniach życiowych lub sytuacjach. Nazywamy te błędy poznawcze .

Ci, którzy praktykują krytyczne myślenie, rozumieją to, dlatego stosują określony proces, aby pomóc im w dokonywaniu bezstronnych osądów:

• Identyfikacja . Znajdź problem.
• Zbierz dane . Upewnij się, że korzystasz z wielu źródeł. Upewnij się, że nie dodajesz uprzedzeń do wyboru źródła.
• Analiza . Czy możesz zaufać tym źródłom? Czy są wiarygodne? Czy zestaw danych jest wystarczająco duży, aby był prawdziwy?
• Interpretacja + wnioskowanie. Jakie wzorce można zobaczyć na podstawie tych danych? Co do tej pory ci mówi? Co jest najważniejsze? Czy widzisz przyczynowość lub korelację?
• Wyjaśnienie . Jak myślisz, dlaczego tak się dzieje?
• Samoregulacja . Czy masz jakieś błędy poznawcze wpływające na tę analizę i testowanie hipotez? Czy robisz błędne założenia? Przeanalizuj je, aby mieć pewność.
• Otwartość i rozwiązywanie problemów. Jak możesz rozwiązać ten problem przy obecnym poziomie wiedzy? Czy musisz najpierw dowiedzieć się więcej?

Jak widać, posiadanie procesu analizy tych informacji jest niezwykle ważne. Mimo to powinieneś zwracać uwagę na wszelkie podświadome uprzedzenia, które mogą mieć wpływ na to, jak podejmujesz decyzje i analizujesz te dane.

Czym są błędy poznawcze?

Błędy poznawcze to kody dla naszych mózgów, aby oszczędzać energię przy podejmowaniu decyzji za pomocą rozpoznawania wzorców. Problem polega oczywiście na tym, że nasze uprzedzenia nie zawsze są poprawne i mogą wpływać na nasze decyzje i działania, pozytywnie lub negatywnie. Ik Jest to szczególnie widoczne, jeśli chodzi o testowanie.

Oto kilka przykładów:

• Stronniczość działania : skłonność do podejmowania działań, nawet jeśli dane sugerują, że nie można dokonać poprawy?
• Zakotwiczenie Bias: Tendencja do opierania decyzji na wcześniej zdobytych informacjach.
• Bias autorytetu: Tendencja do przywiązywania większej wagi do opinii z pozycji autorytetu.

Czy widzisz, jak mogą one wpłynąć na analizę danych i pomysły na testy?

Jest ich zbyt wiele, abym mógł je tutaj omówić (niektórzy szacują w sumie około 150). Gorąco polecam sporządzić własną listę. Następnie możesz spróbować wbudować proces krytycznego myślenia w celu analizy danych, jak opisaliśmy wcześniej, i „listę kontrolną” wszelkich potencjalnych błędów, które mogą wpłynąć na Twoją analizę.

Zagadnienie 5: Przyjmowanie korelacji jako przyczyny

To prawie wiąże się z nastawieniem poznawczym, ponieważ widzimy wzorce w danych, które mogą istnieć, ale mogą nie być przyczyną wyniku.

Po prostu występują razem, często jako produkt uboczny lub zwykły zbieg okoliczności.

Na przykład większość surferów nie pracuje w godzinach porannych i zamiast tego surfuje. (To wtedy, gdy masz najlepszy morski wiatr na fale).

Osobie obserwującej plażę można by pomyśleć, że być może ci ludzie nie mieli pracy lub zachorowali. Jednak po wielu rozmowach w oceanie stało się jasne, że prawie wszyscy surfujący pracowali sami i mogą wybierać swoje godziny.

Teraz niektórzy z nich zaczęli surfować, ponieważ mieli taką elastyczność i wolny czas (Korelacja), ale inni wybrali zawody, w których mogli mieć tę elastyczność, aby mogli surfować (Przyczyna).

Całkiem fajnie, prawda?

Faktem jest jednak, że nawet po wstępnych badaniach i „wywiadach” łatwo byłoby uzyskać niedokładny obraz zbioru danych. Pamiętaj, aby spojrzeć na swoje dane z otwartym umysłem i zanurzyć się głębiej, aby znaleźć prawdziwą przyczynę.

Różne metody zbierania danych jakościowych i ilościowych

Czego możemy użyć do zbierania tych danych?

W przypadku gromadzenia danych ilościowych zwykle przyglądamy się dwóm rodzajom narzędzi:

• Narzędzie analityczne, takie jak Google Analytics lub zewnętrzny dostawca, aby uzyskać aktualne wyniki.
• Narzędzie do testowania A/B, takie jak Convert Experiences, dzięki któremu możesz zmierzyć liczbową zmianę wydajności między odmianami a kontrolą.

Oba te dadzą nam surowe dane liczbowe.

(Zapoznaj się z naszym przewodnikiem porównującym narzędzia do testowania A/B, aby dowiedzieć się, które z nich są dla Ciebie najlepsze).

W przypadku badań jakościowych przyglądamy się szerszemu wyborowi, ponieważ testujemy wiele różnych elementów:

• Mapowanie ciepła
• Śledzenie kliknięć
• Śledzenie oczu
• Nagrania użytkownika
• Ankiety na miejscu oraz
• Bezpośrednie ankiety dla klientów.

Śledzenie wzroku wydaje się być najbardziej kosztownym narzędziem ze względu na wymagania sprzętowe. Istnieje kilka opcji oprogramowania, które można zainstalować i używać we własnym zakresie, a inną opcją jest wynajęcie firm zewnętrznych, które konfigurują okulary lub kamery do śledzenia ruchu gałek ocznych, aby sprawdzić ruchy oczu i interesujące miejsca.

Do mapowania ciepła, śledzenia kliknięć, podstawowego rejestrowania użytkowników i ankiet możesz użyć niedrogiego narzędzia, takiego jak Hotjar, które łączy wszystkie te funkcje. Pomaga wykryć typowe problemy i uzyskać niemal natychmiastowy wgląd bez konieczności korzystania z pomocy osób trzecich, a *prawie* wykonuje podobne funkcje, jak śledzenie gałek ocznych.

Na koniec możesz też pójść o krok dalej i zatrudnić agencje, które przyciągną niezależnych użytkowników do korzystania z Twojej strony, zlecą im wykonanie ustalonych zadań, a następnie nagrają ich interakcje i przekażą Ci informacje.

Dygresja:

Chociaż nie wymieniliśmy ich w sekcji Narzędzia ilościowe, czasami zdarza się, że narzędzia jakościowe mogą być używane do gromadzenia danych ilościowych.

Możesz użyć narzędzia ankietowego i zmierzyć odpowiedzi X uczestników, aby uzyskać wartość liczbową ich przemyśleń na temat kopii sprzedażowej i tego, jak myślą, że na nią zareagują.

Jednak… To nadal jest subiektywne , ponieważ to, co ludzie mówią, nie zawsze jest tym, co robią .

Zawsze dobrze jest zmierzyć ich opinie na temat działania (co mówią), a następnie zmierzyć również rzeczywistą reakcję na działanie (działanie, które podejmują). Czasami może to dać głębsze wyobrażenie o tym, co należy zapewnić i jak to ułożyć.

Jak profesjonaliści od eksperymentów podchodzą do danych jakościowych i ilościowych?

Chcesz wiedzieć, jak profesjonaliści zbierają i wykorzystują dane? Niedawno przeprowadziliśmy wywiad z 7 profesjonalistami CRO w ramach naszej serii „Myśl jak profesjonalista CRO”.

Nie będę psuł ich wywiadów, ponieważ gorąco polecam ich przeczytanie, jednak wyciągnąłem kilka ciekawych ciekawostek o tym, jak myślą o danych poniżej, a także moje przemyślenia na temat ich metod…

Gursimran Gurjal – OptiPhoenix

Dane ilościowe generalnie pozwalają odkryć podstawowe dziury w konwersji, aby zrozumieć, gdzie użytkownicy rezygnują, jak radzą sobie różne kanały, CR z różnych urządzeń, gdzie użytkownicy opuszczają witrynę itp., natomiast dane jakościowe pomagają nam odkryć szczegóły, dlaczego użytkownicy rezygnują lub podejmują określone działanie .

Połączenie „Gdzie+Dlaczego” z eksperymentami daje pełny obraz zachowań użytkowników.

Badanie danych jakościowych, takich jak mapy cieplne, nagrania sesji, wyniki ankiet lub przeprowadzanie testów użyteczności, wymaga dużo więcej czasu na stworzenie statystycznie istotnego wzorca, podczas gdy dane ilościowe są łatwiejsze do analizy. Gdy chcesz zebrać bardziej szczegółowe i znaczące informacje, jest to ważne nie polegać tylko na GA lub Hotjar do zbierania danych, ale raczej wprowadzać własne niestandardowe zdarzenia, aby dane były bardziej znaczące, takie jak tagowanie nagrania dla wszystkich użytkowników, którzy otrzymują błąd w procesie kasowania, wysyłanie zdarzenia do GA, dla którego filtra najczęściej używana jest opcja sortowania itd., dzięki czemu można w pełni wykorzystać dostępne dane .

Dodawanie niestandardowych tagów w celu uzyskania pełnego przepływu danych to fantastyczny pomysł. W ten sposób możesz nie tylko zobaczyć problem i dokąd doprowadził, ale także skąd się wziął i źródło ruchu.

Haley Carpenter, starszy ekspert ds. strategii CRO

Stale przypominaj sobie, że wszyscy mamy uprzedzenia. Wiedz, że Twoim zadaniem jest składanie raportów tak prawdziwych i dokładnych, jak to tylko możliwe. Uczciwość jest kluczową wartością, którą należy utrzymać.

Ponadto sprawdź dokładnie swoją pracę lub poproś kogoś innego o jej sprawdzenie, jeśli nie masz pewności. Druga para oczu może być czasami niezwykle korzystna, zwłaszcza jeśli patrzysz na coś godzinami, dniami lub tygodniami.

Poszedłem kiedyś na kurs antropologii, na którym musieliśmy przepisywać nagrania. Profesor podkreślił, że niezwykle ważne jest, aby transkrypcje były wierne osobie, która wypowiadała słowa. Nie mieliśmy nawet zrobić czegoś tak mało, jak wyciąć jedno dwuliterowe słowo lub poprawić mały błąd gramatyczny.

Prowadziłem tę lekcję ze sobą do dziś i stosuję ją do analizy danych… zwłaszcza nagrań testujących użytkowników. Ważne jest, aby analiza była jak najbardziej wierna oryginalnym danym

Wielokrotne spojrzenie na badania i wyniki to świetny sposób, aby nie przegapić żadnych problemów, usunąć potencjalne uprzedzenia i uzyskać różne punkty widzenia. Może to często prowadzić do spostrzeżeń, które mógłby przeoczyć pojedynczy tester.

Rishi Rawat – handel bez tarcia

Moje poglądy na dane ilościowe:

Dane to dane. Nie mruż oczu, żeby to zrozumieć. Nie bądź z tym związany emocjonalnie. Przedstaw swoją hipotezę przed rozpoczęciem zbierania danych. Jeśli dane obalają twoje instynkty, przeprojektuj nowy test i uruchom go. Dane to dane. Szanuj to.

Moje poglądy na dane jakościowe:

Mamy kontrowersyjne podejście do tego tematu. Nie wierzymy w badania użytkowników końcowych, co oznacza, że ​​nie rozmawiam z osobami, które kupiły produkt. Nie chodzi o to, że nie sądzę, aby tego typu badania były ważne, to jest; to jest po prostu drogie. Wolę uzyskać wszystkie dane jakościowe od założyciela lub wynalazcy produktu, nad którym pracuję.

Tam, gdzie wrażenia użytkownika końcowego nabywcy są po prostu migawką jednego zakupu dokonanego w tej jednej chwili, wynalazca ma kontekst całej podróży. Chcę uzyskać moje ilościowe „wyczucie” od założyciela. Założyciel/wynalazca ma tyle wiedzy instytucjonalnej, że przyprawia o zawrót głowy. Tyle, że tak długo byli w „środku”, że nie wiedzą, od czego zacząć. Tutaj w grę wchodzą umiejętności zadawania pytań optymalizatorowi. Optymalizator pomaga twórcy uzyskać widok z zewnątrz. Przywiązuję dużą wagę do tego typu danych jakościowych

To ciekawy pomysł…

W CRO koncentrujemy się na użytkowniku, aby zrozumieć podróż klienta. Problem polega na tym, że klienci czasami nie wiedzą, co jest nie tak i jak to wyrazić.

Podobnie jednak właściciel firmy może znać produkt od podszewki, ale nie potrafi go komunikować. Dla nich to oczywiste, bo mają całe doświadczenie, ale dla klienta może w tym przekazie czegoś brakować. W idealnym świecie, jeśli prowadzisz testy dla innej firmy, chcesz porozmawiać zarówno z publicznością, jak i właścicielem.

Jeśli nie masz czasu lub zasobów, porozmawiaj z właścicielem firmy. Jak mówi Rishi, często mają cały ten wgląd, który można wyciągnąć. Naszym zadaniem jako testerów jest wtedy znalezienie tego, czego tego brakuje i jak może to połączyć się z klientem.

Sina Fak – Rzecznicy konwersji

W rzeczywistości wszystkie dane mają wbudowaną stronniczość.

Wszystko, od sposobu zebrania danych, przez przykładowe dane wykorzystywane do analizy, po osobę przeglądającą dane i przeprowadzającą analizę – jest element stronniczości, którego nie możemy w pełni kontrolować.

Same dane nie dadzą ci całej historii. Da ci to tylko punkt wyjścia do zrozumienia części historii i wyciągnięcia wniosków. Jedynym sposobem traktowania danych w sposób, który opowiada bezstronną historię, jest przetestowanie ich i przeprowadzenie z nimi eksperymentu

Wiąże się to z tym, o czym mówiliśmy wcześniej.

Każdy test i badanie ma stronniczość. Możemy spróbować zanegować niektóre z tego za pomocą krytycznego myślenia i procesów analizy, ale nadal może się to wkraść.

Przetestuj pomysł, dowiedz się i przetestuj więcej. Nie zapomnij o metodzie naukowej. Możemy „przepaść” i znaleźć odpowiedzi, których szukamy.

Jakub Linowski – GoodUI

Ogólnie rzecz biorąc, im więcej mamy spójnych miar, tym bardziej wiarygodne i godne zaufania mogą stać się nasze eksperymenty.

Jeśli chodzi o porównywanie wyników testów A/B, możemy to zrobić na kilka sposobów:

● Porównywanie wielu wskaźników z tego samego eksperymentu (np. spójność efektu w dodatkach do koszyka, sprzedaży, przychodach, zakupach zwrotnych itp.)

● Porównywanie danych historycznych w różnych eksperymentach (np. spójność efektu między dwoma oddzielnymi eksperymentami przeprowadzonymi na dwóch oddzielnych stronach internetowych)

Nie zapominaj, że analiza danych Quant i Qual jest równie ważna jak POST TEST, jak w naszym początkowym planowaniu.

Posiadanie procesu sprawdzania listy kontrolnej potencjalnych problemów i lokalizacji dla „momentu aha” może dać znacznie lepsze wyniki niż pierwszy rzut oka.

(Czasami dane są tam i brakuje nam ich.)

Eden Bidani – Kopia zielonego światła

Staram się pracować jak najwięcej z obydwoma typami danych obok siebie. Dla mnie to pomaga zrównoważyć pełny obraz.

Dane jakości nadają głębi i znaczenia kwantowi, a dane kwantowe określają ogólny kierunek, którym elementom danych jakości należy nadać większą wagę .

Posiadanie obu zestawów danych razem, aby można było je porównywać i kontrastować, to najlepszy sposób na analizę i zrozumienie tego, co się dzieje.

Wiąże się to z tym, co mówiliśmy wcześniej o posiadaniu jednego zestawu danych, aby znaleźć problemy i rozwiązania. Gdybyśmy mieli tylko jedno, doszlibyśmy do różnych wniosków. Użyj obu, aby spróbować znaleźć tę korelację.

Shiva Manjunath – Speero

Sposób, w jaki staram się podejść do analizy Quant + Qual, jest jak przesłuchanie policyjne. Istnieje motyw lub hipoteza, ale nie możesz zakładać, że osoba, którą sprowadziłeś na przesłuchanie, jest niewinna lub winna. Zakłada się, że osoba przywieziona (dane z eksperymentu) jest niewinna i Twoim zadaniem jest udowodnienie jej winy ponad wszelką wątpliwość (istotność statystyczna).

Możesz więc sam przyjrzeć się danym, przeprowadzić wywiady z innymi osobami (dane jakościowe) i być może spojrzeć na wyciągi bankowe lub przejrzeć dzienniki, kiedy ktoś wszedł/wyszedł do pracy, aby sprawdzić, czy jego alibi się sprawdziło (dane ilościowe).

Może nie najlepszy przykład, ale zawsze trzeba do tego podchodzić obiektywnie. I potwierdź źródła danych (np. mapy cieplne z ankietami w witrynie z danymi ilościowymi), aby wymyślić historię i sprawdzić, czy to wspiera, czy nie, hipotezę. Oczywiście ze statystycznym rygorem !

Uwielbiam tę analogię i przypomina mi Sherlocka Holmesa i wiąże się z testowaniem.

Nie mam jeszcze danych. (Lub za mało). Wielkim błędem jest teoretyzowanie przed posiadaniem danych. Bezsensownie zaczyna się przekręcać fakty, by pasowały do ​​teorii, zamiast teorii, by pasowały do ​​faktów.

Jako eksperymentatorzy musimy usunąć wszelkie uprzedzenia. Albo doświadczeni, albo po prostu dlatego, że wpadliśmy na hipotezę. Zamiast tego musimy traktować wyniki uczciwie i znaleźć prawdę.

Naszym celem nie jest mieć rację. Chodzi o to, aby znaleźć to, co działa, abyśmy mogli na tym budować!

Jaki jest najlepszy sposób wykorzystania danych do projektowania zwycięskich testów?

Jeśli testujesz jakiś czas, wiesz, że większość testów nie tworzy zwycięzców. W rzeczywistości tylko około 3/10 wygra, podczas gdy pozostałe są uważane za porażki.

Terminologia wygrana lub porażka nie jest jednak świetna. Tak, test nie zapewnił wzrostu, ale daje nam dane, które możemy wykorzystać do poprawy i dowiedzieć się, dlaczego.

Pamiętać:

Nie skupiamy się na pojedynczym teście. Nawet jeśli wygra, nadal stosujemy iteracyjny proces uczenia się i doskonalenia. Testujemy, uczymy się, stawiamy hipotezy i ponownie testujemy.

Pomaga nam to stworzyć pętlę informacji zwrotnych z nowych danych, aby wspierać lub odrzucać pomysły.

• Testujemy i zawodzimy, ale się uczymy.
• Bierzemy te wnioski i testujemy je, aż wygramy i uzyskamy poprawę.
• A potem kontynuujemy test, aż osiągniemy lokalne maksima i nie będziemy mogli dalej się poprawiać.

Nie skupiaj się na od razu próbie zdobycia zwycięzcy. To najszybsza droga do stwierdzenia, że ​​CRO nie działa dla Ciebie. Zamiast tego przekształć dane w spostrzeżenia i za każdym razem dowiaduj się więcej.

Możesz być blisko zwycięzcy, ale wymaga to lepszej realizacji.

Lub możesz być blisko chwili, która może fundamentalnie zmienić cały przekaz. Trzymaj się tego i ucz się z każdym testem!

Wbuduj tę pętlę sprzężenia zwrotnego w proces przetwarzania i testowania danych.

Ale najważniejsze? Upewnij się, że masz dostęp i rozumiesz gromadzone dane, że używasz tych danych poprawnie i że możesz im ufać!…

Jak poprawić dostępność danych w organizacji?

Bardzo dobrze jest mieć dane do pracy, ale jest to bezużyteczne, jeśli nie możesz uzyskać do nich dostępu, aby się z nich uczyć!

Niektóre firmy często mają wąskie gardło w przepływie danych, ponieważ mają dostęp do swoich danych tylko za pośrednictwem analityka danych. Jeśli potrzebujesz informacji, musisz mieć do nich dostęp lub bezpośrednio z nimi pracować, co powoduje problemy.

Świetnym sposobem na pokonanie tego jest demokratyzacja dostępu do danych:

• Zezwól na dostęp do danych dla tradycyjnych narzędzi o jednej roli (GA itp.) zespołom, które tego potrzebują,
• Spójrz na korzystanie z narzędzi samoobsługowych, które mają wbudowane funkcje raportowania danych, z których może korzystać cały zespół,
• Zbuduj scentralizowane repozytorium wyników nauki. Dzięki temu cała organizacja może uzyskać wgląd w dane, a nie tylko bezpośredni zespół testujący.

Po co dbać o dostęp do danych?

Ponieważ dostęp do danych zwiększa liczbę decyzji, które można podjąć, które mogą wpłynąć na ROI Twojej firmy.

Sztuką jest oczywiście upewnienie się, że gdy masz dostęp, możesz znaleźć to, czego chcesz…

Jak poprawić użyteczność danych, zbierając dane, którym można zaufać?

Użyteczność danych odnosi się do łatwości, z jaką dane mogą być wykorzystywane do odpowiadania na pytania.

Jeśli spojrzymy na to z przeglądu, celem z Twoimi danymi powinno być:

• Aby znaleźć informacje, które wpływają na ROI firmy . Bez tego to tylko dane informacyjne bez celu.
• Aby je szybko znaleźć i nie musieć walczyć o zdobycie informacji.
• I wykorzystać te spostrzeżenia do podejmowania szybkich i wiarygodnych decyzji . Albo dlatego, że dane są zaufane, albo dlatego, że rozumiesz i nie manipulujesz wynikami lub nie otrzymujesz fałszywych alarmów.

Jak łatwo się domyślić, mogą tu wystąpić pewne problemy, w zależności od systemów i procesów, które posiadasz.

Omówiliśmy już, jak ważny jest dostęp do tych informacji oraz korzyści płynące z posiadania narzędzi lub procesów, które mają funkcje samoobsługowe, aby otwierać raporty danych w całej firmie.

Ale teraz, gdy mamy dostęp do tych danych, musimy upewnić się, że możemy zarówno znaleźć potrzebne nam informacje, jak i móc im zaufać.

Najlepiej byłoby, gdybyś proaktywnie uruchamiał procesy, aby uporządkować swoje zbiory danych:

• Spraw, aby najważniejsze dane były łatwo dostępne.
• Użyj modeli referencyjnych i celów, aby znaleźć określone zestawy danych, których tradycyjne narzędzia mogą nie śledzić.
• Zapewnij synchronizację między źródłami danych, aby nie zginęły aktualizacje i zmiany oraz nowe informacje.
• I pozwól swojemu zespołowi zajmującemu się analizą danych analizować Twoje duże zbiory danych, abyś mógł łatwo znaleźć wszystkie te informacje i zaufać im!

Gdy masz już na uwadze ten końcowy cel dla swoich danych, łatwiej jest rozpocząć tworzenie procesów przygotowania z wyprzedzeniem dla nadchodzących nowych zestawów danych. znaleźć je później).

Jak przeprowadzić bezstronną analizę danych w celu wygenerowania spostrzeżeń, które pomogą w sformułowaniu hipotez

Jak więc wykorzystujemy te dane, aby uzyskać wgląd i pomysły?

Cóż, uwaga spoilera, do tej pory omawialiśmy to przez cały ten przewodnik.

• Staraj się korzystać z wielu źródeł danych, aby uzyskać szerszy obraz.
• Staraj się wykorzystywać bezstronne procesy do zbierania tych danych. Jeśli to możliwe, nie ograniczaj się do konkretnych danych demograficznych ani urządzeń.
• Użyj krytycznego myślenia, aby ocenić informacje.
• Spójrz na błędy poznawcze i jak mogą wpływać na twoją analizę.
• Pamiętaj, aby zbadać wszystkie połączone źródła danych. (łącznie techniczne, ilościowe i jakościowe).

Pozwól, aby uczenie się z testów zainspirowało więcej testów

Powinieneś traktować swoje testy jako pętlę sprzężenia zwrotnego dla dalszych ulepszeń. Może to być w bieżącym teście, aby nadal się poprawiać i uzyskiwać większy wzrost, lub możesz nawet zastosować to do starszych testów, w których nowe spostrzeżenia mogą jeszcze bardziej pomóc.

Tak czy inaczej, celem powinno być testowanie, uczenie się, doskonalenie i powtarzanie, aż nie będzie można już więcej podnieść.

Ale… W jaki sposób właściwie uczymy się na podstawie wyników testów?

Cóż, dobrą wiadomością jest to, że napisaliśmy 7-krokowy przewodnik do nauki na podstawie wyników testu A/B, który możesz sprawdzić tutaj.

Jeśli nie masz teraz czasu, oto krótkie podsumowanie:

• Zacznij od upewnienia się, że możesz zaufać swoim wynikom. Czy są dokładne? Czy są znaczące? Czy jesteś ich pewny? Czy test trwał wystarczająco długo? Czy miały na nie wpływ czynniki zewnętrzne?
• Przejdź na mikro i makro. Tylko dlatego, że test wygrał lub zakończył się niepowodzeniem, musisz zobaczyć, jak wpływa on na metryki bariery ochronnej. Jak na ironię, wzrost CTR może oznaczać niższą sprzedaż, jeśli trafi do niewłaściwych odbiorców. Podobnie spadek CTR może przyczynić się do wzrostu sprzedaży, ponieważ obecnie może być atrakcyjny tylko dla najlepszych odbiorców. Sprawdź więc swoje dane, a nie tylko wyniki testów.
• Wejdź głębiej i podziel wyniki. Nie wszyscy odbiorcy, kanał ruchu i urządzenie będą działać tak samo. Niektóre kanały mogą być uszkodzone. Może to następnie zniekształcić wyniki tam, gdzie wydaje się to dobre lub złe, ponieważ nie masz szczegółowego obrazu. (Może to również dać wgląd w warianty, które będą najskuteczniejsze w niektórych kanałach, co pomoże Ci podzielić dostawę na wyższy wzrost).
• Sprawdź wydajność i zachowanie użytkownika. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Wniosek

Więc masz to. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!