Potrzebujesz repozytorium nauki testów A/B, aby przeprowadzać eksperymenty oparte na doświadczeniu (mówią eksperci)

Czy wydaje Ci się, że Twojemu programowi testowania brakuje struktury lub wpływu?

Czy przeprowadzasz testy bez planu ataku i nie masz pewności, jakie priorytety lub gdzie dalej pracować?

Być może gubisz się, próbując przypomnieć sobie, które testy próbowałeś wcześniej, co zadziałało, a które zawiodły?

A może właśnie dołączyłeś do istniejącego programu i nie masz pojęcia, co już uruchomił, jak się sprawdził i od czego zacząć?

Podczas testów A/B łatwo jest zgubić się w chwastach, ale na szczęście istnieje prosty sposób na rozwiązanie tego wszystkiego.

Niedawno przeprowadziliśmy wywiady z 5 profesjonalnymi CRO i jedno było od razu jasne: jeśli chcesz przeprowadzać eksperymenty oparte na doświadczeniu i rozwijać kulturę testowania, musisz mieć scentralizowane repozytorium spostrzeżeń.

Co to jest repozytorium edukacyjne?

Mówiąc najprościej, jest to pojedyncza lokalizacja do przechowywania wszystkich informacji o wcześniejszych testach, które przeprowadziłeś.

• Strona docelowa,
• Hipoteza i to, co zaimplementowałeś,
• Elementy testowe i warianty,
• Wyniki,
• Jego wpływ na ważne wskaźniki itp.

Może być tak prosty, jak folder na laptopie lub projekt Asana, ale repozytorium do nauki to znacznie więcej niż tylko uwielbiony system plików…

„Repozytorium eksperymentalnego uczenia się” pozwala szerszemu biznesowi i interesariuszom zobaczyć, jakie eksperymenty zostały przeprowadzone do tej pory i jakie wnioski zostały zdobyte. Repozytorium daje czytelnikowi możliwość konsumowania treści we własnym czasie i szybkości, co jest ważne w globalnym biznesie.

– Max Bradley, zarządzający eksperymentami internetowymi w Zendesk

Oznacza to łatwy dostęp do całego zespołu wszystkich poprzednich testów, co może pomóc w zbudowaniu kultury testowania.

Jak?

Im więcej osób jest zaangażowanych w testowanie i widząc ich przebieg, tym szybciej przyswajają sobie sposób myślenia.

Widząc, jakie testy zostały już przeprowadzone i jakie są ich wyniki, może to wywołać nowe pomysły i perspektywy dla każdego, kto ma dostęp do tych informacji. To może doprowadzić do aha! w różnych obszarach firmy poza zespołem testowym, które mogą następnie przetestować dla siebie lub przedstawić zespołowi testowemu.

Na przykład, jeśli dział płatnych reklam zidentyfikował najskuteczniejszy język, który uzyskał wzrost w testach stron, może chcieć wypróbować to w swojej kopii reklamy, płatnym wyszukiwaniu lub w mediach społecznościowych, ponieważ wyraźnie odbija się to na odbiorcach.

Dostęp do wcześniejszych testów nie tylko otwiera nowe pomysły członkom zespołu z zewnątrz, ale także skraca czas spędzony na szukaniu ważnych informacji.

Repozytorium edukacyjne to coś więcej niż tylko dostęp do całej firmy i oszczędność czasu:

Nauki są podstawową zasadą tworzenia znaczących i skutecznych produktów, a jedynym sposobem gromadzenia znaczących i zweryfikowanych informacji jest przeprowadzanie eksperymentów i gromadzenie wszystkich tych informacji w centralnym repozytorium. Wnioski z tego repozytorium można wykorzystać w wielu ćwiczeniach, takich jak na przykład: drzewa możliwości/rozwiązań, w których pracujesz nad określonym celem użytkownika za pomocą kilku różnych podejść do rozwiązania.

Kluczem do prowadzenia eksperymentów opartych na doświadczeniu jest posiadanie centralnego repozytorium, które jest dostępne, uporządkowane, możliwe do przeszukiwania i odpowiednio aktualizowane/zarządzane. Robienie tego w skuteczny sposób może mieć wykładniczy wpływ na produktywność i jakość całego programu eksperymentalnego .

– Matthias Mandiau, specjalista ds. eksperymentów i analizy danych w H&M Group

Jak mówi Matthias, im lepiej rozumiemy naszych odbiorców, tym lepiej możemy dostarczać im produkty i usługi.

Możemy nie uzyskać wglądu od razu, ale może to nas skierować na właściwą ścieżkę, a stamtąd możemy dalej ulepszać i oferować najlepsze produkty i doświadczenia użytkownika.

Jeszcze lepiej?

Ciągła nauka i zarządzanie wynikami naszych testów może pomóc nam uniknąć kosztownych błędów…

Przeprowadzałeś eksperymenty, teraz unikaj tych błędów

Posiadanie miejsca do przechowywania i dostępu do danych z przeszłości jest wspaniałe, ale to nie jedyna korzyść.

W rzeczywistości podczas naszych wywiadów znaleźliśmy szereg typowych błędów programu testowego, o których mówiliśmy raz po raz — prawie wszystkie zostały naprawione poprzez posiadanie repozytorium uczenia się.

Nieprzestrzeganie „drogich” danych firmy

Jednym z najbardziej przekonujących argumentów za repozytorium uczenia się jest prosty fakt, że wszystkie dane z testów są własnością firmy.

Na zbieranie tych danych tracisz cenny czas i pieniądze. Ostatnią rzeczą, którą chcesz zrobić, to nie przechowywać jej ani nie używać, lub, co gorsza, nigdy do niej nie wracać, aby pomóc Ci zaplanować nowe testy i uczyć się na poprzednich:

Po co inwestować tak dużo pieniędzy w program eksperymentów, jeśli nie zadbano o jego główny rezultat (nauki)?

Dobry przegląd jest kluczowy, aby zrozumieć, nad czym już pracowano, na czym należy się teraz skoncentrować, a nad czym należy wkrótce popracować. Również w ten sposób wiedza nie zależy od ludzi, bo ludzie przychodzą i odchodzą w firmach.

Ponadto umożliwia lepsze dzielenie się wiedzą, lepsze wdrażanie, przygotowywanie lepszych przypadków biznesowych, lepsze badania…

– Matthias Mandiau

Szeroki wgląd w program testowania może pomóc nie tylko w lepszym testowaniu, ale także w szkoleniu nowych pracowników, a nawet kierowników zespołów. (I omijać problem utraty wszystkich spostrzeżeń, gdy menedżer CRO opuszcza firmę).

Jak?

Cóż, teraz nowi członkowie mogą zobaczyć, co zostało wypróbowane wcześniej, co działało, a może co miało potencjał, aby zadziałać, ale nie zostało poprawnie zaimplementowane lub może być dalej iterowane…

Brak możliwości rozwinięcia ogólnofirmowego „instynktu przeczucia”, czyli doświadczenia (i danych) poinformowanych

Nie ma nic złego w używaniu intuicji do wymyślania pomysłów na testy. Czasami po prostu masz intuicję na podstawie danych lub doświadczeń, które mogą pomóc ci sformułować hipotezę i ukończyć wstępny test.

Musisz jednak uważać, aby zawsze polegać na tym instynkcie, a zamiast tego nie zwracać uwagi na badania i dane.

Jedno, co mówię mojemu zespołowi (w Bouqs), to… kiedy nie masz danych (zarejestrowane uczenie się/artefakty z testów), musisz podejmować decyzje w oparciu o instynkt lub instynkt interesariuszy. Baza wiedzy tworzy
instynktu dla nas wszystkich, którego możemy użyć jako kontroli instynktu, ale takiego, który nie jest tylko nasz lub stronniczy.

– Natalia Contreras-Brown, wiceprezes ds. zarządzania produktem w The Bouqs

Największe firmy z najbardziej dojrzałymi programami CRO są prawie wszystkie oparte na danych. Dokonują wyborów w oparciu o to, co mówią im dane, jest najważniejsze i często dlatego stają się liderami rynku.

Nie stań się winny testowania wyłącznie wyborów i opinii intuicyjnych i nie skupiaj się na samych metrykach. Poświęć trochę czasu na znalezienie kontekstowego wglądu w każdy wynik testu. Śledź informacje i, co najważniejsze, śledź i zapisuj to, co się stało i dlaczego uważasz, że to się stało, aby nie popełnić błędu polegającego na zapomnieniu tego, czego próbowałeś i dlaczego to zadziałało.

Powtarzanie testów, które zostały przeprowadzone wcześniej

Wspominaliśmy już o tym, ale bez śledzenia tego, co robisz, bardzo łatwo jest albo ponownie uruchomić pomysł na test, który już wypróbowałeś, albo przegapić pomysł na test, ponieważ uważasz, że został już uruchomiony.

Repozytorium uczenia pomaga uniknąć ponownego uruchamiania eksperymentów, które zostały wcześniej przeprowadzone. Zmniejsza to również czas poświęcany na odpowiadanie na pytania dotyczące wyników i wiedzę od interesariuszy dla zespołu eksperymentującego.

– Max Bradley

Bądź miły dla siebie i swojego przyszłego zespołu i zapisuj to, co prowadziłeś, i wszystkie szczegóły każdego testu.

Może się zdarzyć, że chcesz uruchomić coś podobnego, ale bez szczegółów tego, czego próbowałeś wcześniej, możesz łatwo przegapić lub spędzić kolejne 30 dni na zdobywaniu danych, które powinieneś zapisać.

Słaba komunikacja lub brak dostępu do informacji

Jedną z największych różnic w dojrzałych zespołach CRO jest ich zdolność do szybkiego i łatwego komunikowania się lub uzyskiwania dostępu do informacji. Nie tylko pod względem łatwości dostępu, ale także tego, jak skutecznie mogą dostarczać właściwe informacje.

Posiadanie dobrze udokumentowanego i zorganizowanego repozytorium nauki może zmniejszyć bariery komunikacyjne, a nawet pomóc nie odkładać na bok przepływów pracy testowania, podczas gdy Ty szukasz informacji i wstrzymujesz działania.

(Repozytorium eksperymentów) to system zarządzania wiedzą, który przechowuje wszystkie dane w szczegółowym stopniu i jest ogólnie dostępny dla zespołu, ale co najważniejsze, ułatwia tworzenie artefaktów komunikacyjnych (warstwa komunikacji) dla odpowiednich osób we właściwym formacie na odpowiedni czas.

Jest to „warstwa danych” w przepływie pracy testowania, jak widać tutaj:

– Ben Labay, dyrektor zarządzający / CRO & Experimentation @ Speero by CXL

Pozostawianie nauki (i pieniędzy) na stole

Nie zapominaj, że większość testów kończy się niepowodzeniem. Tylko dzięki iteracji i uczeniu się na podstawie wcześniejszych testów można poprawić i uzyskać te wygrane wpływające na zwrot z inwestycji.

Bez śledzenia tego, co biegałeś i gdzie byłeś, bardzo trudno jest iść do przodu i widzieć postęp, a nawet czuć się pewnie w procesie testowania.

Stefan Thomke powiedział, że „pomimo zalewu informacji napływających z każdego kierunku, dzisiejsi menedżerowie działają w niepewnym świecie, w którym brakuje im właściwych danych do podejmowania strategicznych i taktycznych decyzji”. Eksperymenty walidują, a walidacja pomaga nam się uczyć . Ważne jest, aby zebrać te informacje w łatwo dostępnym repozytorium, aby przejrzeć je pod kątem przyszłych decyzji.

– David Mannheim, wiceprezes CRO, BrainLabs

Oto wizualna reprezentacja idealnego procesu Rubena de Boera:

Uczenie się i doskonalenie z każdego testu, który przeprowadzasz, jest niezwykle ważne. Jest to nie tylko bezpośrednio związane z sukcesem przyszłych testów, ale może nawet pomóc w rozszerzeniu obecnych wygranych na inne obszary, a nawet inne witryny.

Prawie każdy inny eksperyment, który przeprowadzamy w H&M w naszym zespole produktowym, jest poparty udokumentowaną nauką z poprzedniego eksperymentu lub inną metodologią badawczą.

– Matthias Mandiau

Ten nawyk uczenia się i powtarzania pojawia się raz po raz u prawie wszystkich, z którymi przeprowadzaliśmy wywiady.

W Brainlabs około 40-50% naszych eksperymentów dotyczących Flannels, znanego sklepu z odzieżą męską, było wzajemnymi iteracjami. To pokazało moc uczenia się w ramach jednego eksperymentu i jak to może ewoluować w coś innego; ponieważ zawsze uczymy się, jak bodziec praktyczny może wpływać na zmienną .

– David Mannheim

Podajmy inny przykład.

Załóżmy, że masz stronę przechwytywania potencjalnych klientów, a układ, którego używasz, działa dobrze na jednej stronie. Następnie możesz dostosować go do innych użytkowników w swojej witrynie, aby sprawdzić, czy również tam zwiększa wzrost.

Co zrobić, jeśli jesteś agencją z wieloma klientami w podobnych niszach?

Spostrzeżenia i wygrane jednej firmy mogą prowadzić do pomysłów i projektów, które mogą działać również dla innych klientów…

To, co raz zadziałało, ma duże szanse, że nie zostało jeszcze w pełni wykorzystane:

• Może działać ponownie z większą intensywnością (dla tego samego klienta)
• Może działać ponownie w innym miejscu (dla tego samego klienta)
• Może znowu zadziałać dla kogoś zupełnie innego

Innymi słowy, wcześniejsze wygrane mają potencjał predykcyjny, który może przyspieszyć optymalizację (więcej wygranych, większe prawdopodobieństwo sukcesu, większa skala efektów).

– Jakub Linowski, GOODUI.org

Agencja Drip zrobiła dokładnie to z 2 swoich klientów.

Wzięli zwycięskie projekty układu strony od jednego klienta, a następnie przetestowali je na innym, aby natychmiast zwiększyć liczbę konwersji.

GoodUI zrobiło coś podobnego. Wzięli zwycięskie pomysły testowe i informacje od jednego klienta i wykorzystali je jako podstawę do przetestowania innych stron w witrynie.

Dzięki temu uzyskali 42% wzrost liczby konwersji!

Następnie poszli o krok dalej.

Zamiast wdrażać zwycięskie projekty dla jednego klienta, przeprowadzili studium przypadku, aby sprawdzić, czy można przewidzieć zwycięskie testy na podstawie poprzednich kampanii w wielu witrynach.

Teoria mówi, że niektóre projekty UX mogą działać w innych branżach.

Przeprowadzili więc 51 testów przy użyciu poprzednich zwycięskich układów projektowych i osiągnęli 71% wskaźnik sukcesu, gdy wykorzystali poprzednich zwycięzców do pomocy w projektowaniu nowych testów w innych witrynach.

Całkiem fajnie, prawda?

Oto kolejny powód, dla którego repozytorium uczenia się jest tak pomocne i dlatego dobrzy testerzy patrzą na poprzednich zwycięzców.

Jeśli się nad tym zastanowić, GoodUI jest w zasadzie rodzajem repozytorium uczenia się, ponieważ jest to baza danych poprzednich testów i zwycięzców w wielu witrynach i branżach.

Chodzi o to, że często widzą projekty ponownie wykorzystywane w innych witrynach i zauważają, że określone wzory zapewnią wzrost. Może ktoś inny prowadził test ale zadziałał itp.

Będąc inteligentnymi ciasteczkami, którymi są, GoodUI wykorzystuje te konkretne wzorce jako inspirację do testów przeprowadzanych dla nowych klientów…

I to ma sens, prawda? Po naprawieniu problemów technicznych i wybraniu strony do przetestowania nie zaszkodzi przyjrzeć się przeszłym elementom testowym na podobnych stronach i sprawdzić, co działało.

Na początku możesz skorzystać z innych witryn, aby uzyskać inspirację, ale wszyscy eksperci są zgodni. Musisz jak najszybciej zacząć budować własne repozytorium.

Zainwestuj w repozytorium eksperymentów

Jakub Linowski powiedział na LinkedIn, że jeśli spojrzysz na zawody takie jak lekarze, inżynierowie, sportowcy i wojskowi, zobaczysz, że większość ich sukcesów i rozwoju opiera się na nauce, którą wygenerowali z poprzednich eksperymentów.

Dzięki temu mentalnemu obrazowi możesz sobie wyobrazić, jak szybko pole CRO może rosnąć jako całość, gdy eksperymenty nie zawsze muszą zaczynać się od poziomu 0. Ale bez repozytorium uczenia się tak właśnie jest.

A winnych tego jest wiele wewnętrznych zespołów CRO.

Jeśli przybliżysz ten pomysł bliżej domu, stanie się jasne, że budowanie na tym, co już znasz, jest solidnym sposobem na zwiększenie wysiłków twojego programu eksperymentów.

Repozytorium = większa szansa na powodzenie eksperymentu

Tylko wtedy, gdy masz nastawienie na testy uczenia się (i wcześniejsze testy), naprawdę doceniasz to, co oferuje eksperymentowanie, tj. wyobrażenie o tym, co działa, a co nie, w danym kontekście i okolicznościach.

20 „dobrych decyzji” w UX, UI, produkcie, marketingu (dzięki eksperymentom) może pomóc napiąć mięśnie decyzyjne i wyostrzyć instynkt. Im więcej widzisz, że twoje opinie są odrzucane lub potwierdzane, tym większy kompas musisz dowiedzieć się, co działa i czego potrzebuje twoja publiczność.

Ci, którzy testują ze względu na współczynniki konwersji, tracą ten duży obraz. Chodzi o poznanie potrzeb odbiorców, a nie o to, by mieć rację.

Pokażmy Ci, jak:

Jak zorganizować swoje repozytorium nauki?

Repozytorium edukacyjne ma na celu wyeliminowanie silosów danych, wspieranie współpracy i wzmacnianie komunikacji.

Jeśli nie masz odpowiedniej struktury, spełnienie tych podstawowych wymagań będzie niezwykle trudne. Ale rzecz w strukturyzacji repozytorium uczenia się polega na tym, że istnieją opcje. Działają różnie dla różnych organizacji.

To nie problem, ponieważ opiszemy Ci 3 modele, a następnie możesz sobie wyobrazić, które idealnie pasują do Twojego zespołu, działu lub organizacji. Co więcej, eksperci polecają jeden konkretny model.

Wydaje się, że zwycięzcą pod względem struktury zespołu eksperymentującego jest Centrum Doskonałości.

1. Centrum Doskonałości (CoE) umożliwia i wyposaża zespoły eksperymentalne specyficzne dla działu

W tym modelu zespół eksperymentalny jest CoE dla programu eksperymentalnego całej organizacji.

Są więc swego rodzaju konsjerżem dla każdego z innych wydziałów, który chce przeprowadzać eksperymenty. Przechodzisz przez nie, a oni pomagają go skonfigurować.

Następnie nadzorują integralność tych eksperymentów i dostosowują wszystko do ogólnych celów eksperymentalnych organizacji.

Dzisiejsza struktura w ten sposób usunie problemy związane z downlinem. Ponieważ wszystko jest utrzymywane na tym samym torze, łatwe do monitorowania, a budowanie w ten sposób repozytorium uczenia się jest łatwe do koordynowania.

Głównym wyzwaniem jest to, że nie byłby tak dostępny jak zdecentralizowany model.

2. Zdecentralizowane jednostki znajdują się w różnych działach i wciągają wszystkich na pokład

Jednostki zdecentralizowane znajdują się w różnych działach i przeprowadzają rzeczywiste testy. To świetna strategia, ponieważ mają największą wiedzę na temat własnych pętli wzrostu i wskaźników, dzięki czemu są w najlepszej pozycji do projektowania i przeprowadzania eksperymentów o dużym wpływie.

W tym modelu każdy może przeprowadzać testy — niezależnie od działu i poziomu doświadczenia w eksperymentowaniu. W połączeniu z CoE przyciąga wielbicieli…

Jestem wielkim fanem zdecentralizowanych eksperymentów, współpracuję z centrum doskonałości w zakresie kontroli jakości i ewangelizacji testów AB. Z mojego doświadczenia wynika, że ​​struktury te najlepiej sprawdzają się w tych kulturach, które naprawdę wykorzystują moc eksperymentowania. Jeśli chodzi o repozytorium uczenia się, powinno to pójść w ich ślady; Członkowie zespołu powinni mieć możliwość przeprowadzania eksperymentów i podkreślania wniosków płynących z owoców ich pracy .

– David Mannheim

Odpowiedzialność za utrzymywanie repozytorium uczenia się również idzie w ich ślady.

3. Zarządzane przez jedną osobę w celu gromadzenia i utrzymywania wiedzy z eksperymentów

Jednak w przeciwieństwie do modelu z samym CoE, repozytorium uczenia się modelu zdecentralizowanego jest trudniejsze do skoordynowania.

Pomaga mieć wyznaczoną rolę, która jest odpowiedzialna za dokumentowanie i utrzymywanie wiedzy. I jest w tym coś korzystnego:

Zarządzany przez kierownika programu/projektu (śledzący) i głównego stratega testów (który wprowadza „historie”), ale jeśli jest prawidłowo wykonany, może mieć dane wejściowe na wszystkich etapach, ponieważ dane wejściowe przychodzą jako wpisy formularzy, takie jak formularze problemów, nowe śledzenie kampanii, nowe pomysły na rozwiązania testowe itp .

– Ben Labay , Dyrektor Zarządzający / CRO & Experimentation @ Speero by CXL

Matthias Mandiau zgadza się z Benem.

Wolę hybrydę scentralizowaną/zdecentralizowaną:

Repozytorium zawsze musi być dostępne (chmura).

Musisz być w stanie łączyć różne metodologie badawcze, aby tworzyć mocne hipotezy.

Konfiguracja i zarządzanie repozytorium oraz właścicielem powinny odbywać się z 1 zespołem/menedżerem (scentralizowanym). Dobrze jest śledzić ogólny wskaźnik KPI wydajności makroeksperymentu na poziomie centralnym.

Każdy zespół produktowy, który pracuje z eksperymentami, powinien mieć interesariusza (analityka danych/CRO), który jest odpowiedzialny za właściwą opiekę nad wszystkimi zebranymi informacjami, które są przesyłane w odpowiednim formacie do centralnego repozytorium. Dobrze jest również śledzić KPI wydajności mikroeksperymentu na poziomie zespołu produktowego w ramach zespołu zdecentralizowanego. Może to być np. pulpit nawigacyjny połączony z GA lub repozytorium .

W Zendesk jeden menedżer jest odpowiedzialny za utrzymanie repozytorium, ale dane wejściowe pochodzą od „właścicieli testów”:

Obecnie mamy repozytorium zarządzane przez jeden zespół w firmie, a jedna osoba przejmuje nad nim całkowitą własność. „Właściciele” testów są proszeni o dodanie informacji po zakończeniu testu do odpowiedniego obszaru repozytorium.

– Max Bradley

W ten sposób jedna osoba (lub mały zespół) zarządzająca modelem zdecentralizowanym może zapewnić wydajność i jakość repozytorium uczenia się eksperymentalnego.

Jest to podobne do tego, co robi GoodUI — czerpiąc wiedzę z różnych branż i klientów, aby stworzyć doskonałe źródło spostrzeżeń eksperymentalnych.

Tak więc, nawet jeśli nie masz jeszcze repozytorium nauki, możesz czerpać z niej wiedzę. Plany Convert obejmują zniżkę na subskrypcję GoodUI.

Jak udokumentować swoje wnioski

Podobnie jak każdy zorganizowany system plików, repozytorium edukacyjne nie może być miejscem do zrzucania danych. Musi istnieć określony i właściwy sposób dokumentowania zdobytych informacji, tak aby był on użyteczny dla wszystkich.

Będzie to oznaczać intuicyjną wizualną reprezentację danych, historie danych pozbawione żargonu oraz łatwą metodę lokalizowania określonych testów w razie potrzeby.

Oto jak.

Przechwytuj i rejestruj wszystkie metadane z testów

Oczywistym pierwszym krokiem jest zebranie danych z testów. Ale jakie dane zbierasz? Łatwo powiedzieć, że zbierz wszystko, ale to może łatwo przytłaczać – i zniechęcać.

Jakie dane należy więc uwzględnić w repozytorium eksperymentów?

To pełne metadane koncepcji testowej. Powinno to być przede wszystkim śledzenie danych wejściowych na podstawie pytań, które należy zadać, które są standardowe w kategoriach:

• Rodzaje testów
• Strony
• Punkty dotykowe
• Widzowie
• Obszary powierzchni wzrostu

Ale nie standardowe W tych kategoriach, np. odbiorcy będą się różnić w zależności od firmy, ale wszystkie firmy będą testować na różnych segmentach odbiorców.

– Ben Labay

A jak to wygląda?

Przyjrzyjmy się każdej z tych kategorii, aby uzyskać wyraźniejszy obraz:

• Rodzaje testów

Jaki to był test? Test A/B? MVT? Testy A/B/n?

• Strony

Tutaj określasz stronę lub strony w swojej witrynie, na których przeprowadzono test. Czy to strona główna? Konkretna strona produktu? Strona cenowa Twojej marki SaaS?

• Punkty dotykowe

Punkty kontaktu to obszary na ścieżce klienta, w których wchodzą w interakcję z Twoją marką. Może to być reklama, katalog produktów, post na blogu, e-maile marketingowe, Twoja aplikacja itp.

• Widzowie

Kto jest twoją grupą docelową testu? Czy kierujesz reklamy na określone segmenty na podstawie jakichkolwiek kryteriów? Dane behawioralne? Cele? Źródło odwiedzających? Geolokalizacja? Czy wszystkie są wybierane losowo?

• Obszary powierzchni wzrostu

Odnosi się to do interakcji lub funkcji, które zachęcają użytkowników do pozostawania w Twojej witrynie lub głębszego zagłębiania się w ich relację z Twoją marką. Jest to więc rodzaj haka, który zwiększa wartość każdego odwiedzającego. Może to być bezpłatna oferta próbna lub wersja demonstracyjna.

Aby wzbogacić swoje metadane, warto również uwzględnić:

• Daktyle
• URL/wyrażenie regularne
• Iteracja na poprzednim teście — link do poprzedniego testu, który jest podstawą testu, którego dotyczy raport.

I przypieczętowujesz to bardziej znaczącymi informacjami. Włączać…

• Zrzuty ekranu A i B
• Izolowany lub nie (liczba zmian)
• % wpływu z przedziałami ufności
• Typ metryczny

– Jakub Linowski

Im więcej tym lepiej. Ale niech to będzie istotne i przydatne.

Oto kolejny przykład z Maxa Bradleya z Zendesk:

W przypadku podstawowego raportu śledzenia lub repozytorium, raport Convert pokaże również zwycięzcę i co przetestowałeś.

Szanuj różne style uczenia się, zachowując informacje

Musisz odwołać się do różnych sposobów, w jakie ludzie wolą konsumować informacje podczas przechowywania danych eksperymentalnych.

Jest kilka rzeczy, o których należy pamiętać, robiąc to…

Wypróbowaliśmy wiele różnych metod. Jako agencja mamy do czynienia z wieloma różnymi interesariuszami z różnych firm w dowolnym momencie. Na tym polega wyzwanie – ludzie przyswajają wiedzę i uczą się inaczej. Czy są uczniami wzrokowymi, słuchowymi czy kinestetycznymi? Gdzie oni są na kluczu Myers-Briggs? Sposób komunikowania się z interesariuszami jest prawie tak samo ważny jak treść, w której się komunikujesz. Z mojego doświadczenia nauczyłem się, że repozytorium uczenia się powinno być dwiema rzeczami, aby odnieść sukces:

• Tematyczne i zapamiętywane, dzięki czemu można je łatwo filtrować
• Zwięzły dla możliwych do zeskanowania informacji.

– David Mannheim

Możesz podać jak najwięcej informacji o zgłoszonym eksperymencie. I rób to w różnych formatach. Dlatego potrzebujesz zrzutów ekranu, nagrań wideo i historii, aby nadać kontekst wszystkim liczbom.

Pamiętaj, aby był on odpowiedni, zwięzły i możliwy do zeskanowania .

Oznacz swoje testy, aby zmaksymalizować wiedzę

Oznaczanie testów sprawia, że ​​wszystko jest łatwo dostępne.

Pomaga również na pierwszy rzut oka zrozumieć cel testu.

Jeśli Twoje repozytorium będzie stale się powiększać, pewnego dnia będziesz mieć tysiące zarejestrowanych testów i setki osób używających go do przeglądania pomysłów, wydobywania spostrzeżeń i podejmowania decyzji.

Nauka będzie bardziej przydatna, jeśli ludzie będą mogli zorientować się, jaka jest pozycja każdego testu w spektrum rozwiązań Twojej organizacji.

Jak komunikować się ze swoją wiedzą, aby uzyskać maksymalny efekt

Twoje repozytorium nauki przyniesie korzyści Twojemu programowi eksperymentów tylko wtedy, gdy ludzie faktycznie z niego skorzystają.

Tak więc, oprócz udostępnienia go, zaprezentuj go reszcie zespołu i organizacji w sposób, który ma sens i wzbudza zainteresowanie eksperymentami.

Ale jak ty to robisz? Są to liczby i niektóre terminy branżowe, które mogą zostać źle zrozumiane. Jak sprawić, by ludzie z różnych dyscyplin docenili zdobytą wiedzę?

Komunikacja testów A/B może być trudna, ale jeśli wykonasz te kroki, pokonasz te bariery i w pełni wykorzystasz swoje repozytorium nauki.

Niech to stanie się nawykiem

Po pierwsze, jeśli eksperymentowanie jest obcą koncepcją w miejscu, w którym się znajdujesz, wyrobienie nawyku przechodzenia przez naukę może zająć trochę czasu. Więc spakuj ze sobą trochę cierpliwości w tej podróży.

Twoim zadaniem tutaj jest zrobienie tej części twoich zwykłych cotygodniowych zajęć. Może to być część inspiracji podczas burzy mózgów lub gra, w którą grasz podczas bliskich spotkań. Na przykład twoja własna wersja „co wygrał test?”

To część wspaniałego obrazu budowania kultury, w której eksperymentowanie jest normą…

Przyzwyczajaj się do uczenia się z zespołem w spójny, zabawny i inspirujący sposób. Musi być częścią biznesu jak zwykle. Przynajmniej raz w tygodniu powinno odbywać się spotkanie w celu omówienia hipotez i wyników eksperymentów. Każdy sprint powinien zawierać przynajmniej 1 lub 2 eksperymenty, a uczynienie z eksperymentów nawyku tworzy pozytywną kulturę.

– Matthias Mandiau

Testy repozytoriów są również bardzo łatwe do udostępnienia w biuletynach szkoleniowych, nie tylko na spotkaniach zespołu. Przyzwyczajenie do dodawania ich tutaj ułatwia również przyjęcie eksperymentów w całej witrynie.

Bądź pokorny i przejrzysty, aby budować zaufanie

Przekonanie ludzi, że eksperymenty mają wszystkie odpowiedzi, może wydawać się fajne, ale to będzie mylące. Pomóż swoim współpracownikom zrozumieć, jak to wszystko działa, co oznaczają liczby i jak bardzo możesz zaufać narysowanemu spostrzeżeniu.

Nie prezentuj spostrzeżeń tak, jakby pochodziły ze 100% pewnością. Zamiast tego pokaż im, że jest to jeden z najlepszych sposobów podejmowania decyzji, w przeciwieństwie do „przeczucia” i najlepszych praktyk.

Postępowanie przeciwne sprawi, że stracą zaufanie do zbudowanego przez Ciebie repozytorium uczenia się i może zostać porzucone na rzecz kurzu.

Oto kilka wskazówek od Bena Labaya ze Speero, jak komunikować wyniki:

Nie ukrywaj testów, które przegrały. Zamiast tego wykorzystaj to jako okazję do wykazania dwustronnych korzyści z testowania.

Jeśli wygrałeś, masz wgląd w to, co działa. Jeśli przegrał, dowiedziałeś się, co nie działa, więc unikasz wprowadzania zmian, które szkodzą kluczowym wskaźnikom.

W obu przypadkach dowiedziałeś się o czymś, co można ulepszyć.

Kiedy przedstawiasz prezentację, ustrukturyzuj ją w historię, która pokazuje rzeczywiste zastosowanie spostrzeżeń i zaproś interesariuszy do wzięcia udziału w pisaniu historii, tak jak robi to Max:

Co dwa tygodnie przedstawiamy naszemu szerszemu zespołowi najnowsze informacje, a co miesiąc szerszej firmie. Staramy się być jak najbardziej transparentni, prezentując testy, które przegrały tyle samo, co te, które wygrały. Oprócz tego prosimy wszystkich recenzentów o przesyłanie swoich pomysłów lub zadawanie pytań na naszym dedykowanym kanale Slack. Tam, gdzie to możliwe, staramy się również wykazać rzeczywiste korzyści, oprócz procentowego wzrostu, co sprawia, że ​​jest to bardziej skuteczne dla czytelników.

– Max Bradley

Nie blokuj uczenia się, angażuj wszystkich

Eksperymenty są przeznaczone nie tylko dla zespołów ds. marketingu, optymalizacji, produkcji i/lub rozwoju. Bycie organizacją opartą na danych oznacza nasycenie większości procesów decyzyjnych spostrzeżeniami uzyskanymi z dobrze wykonanych testów.

A twoje repozytorium nauki znajduje się w samym środku całej misji.

Więc weźcie wszystkich na pokład.

Tak, ludzie będą mieli różne poziomy doświadczenia w tej dziedzinie, ale niech to nie zaszkodzi programowi. Tak długo, jak każdy zespół ma kogoś lub osoby z głębszym doświadczeniem w eksperymentowaniu, coś się dzieje.

Zachęcające jest również posiadanie w zespole osób, które są bardziej zaznajomione z eksperymentowaniem i takich, które mają z nim mniejsze doświadczenie. Posiadanie w zespole co najmniej 2 lub 3 osób, które mają doświadczenie w eksperymentowaniu, robi dużą różnicę .

– Matthias Mandiau

W ten sposób wpływ rozprzestrzenia się naturalnie.

Zainwestuj w świeżą parę oczu i krzyżowe zapylenie pomysłów

Czasami inna perspektywa podsuwa Ci pomysły, o których nie myślałeś. Nie pozwól więc, aby twoje doświadczenia z eksperymentów spoczywały w bańce.

Podziel się nim z innymi ekspertami w swojej dziedzinie i zobacz, czego możesz się nauczyć z ich opinii.

Może jest coś, co nie działało w jednym segmencie klientów, ale jest nieco inna wersja, która może działać w innym?

A może natknąłeś się na coś, o czym wszyscy dyskutują i teraz możesz dołączyć do rozmowy, aby dowiedzieć się więcej?

Będziesz zachwycony tym, co możesz odkryć, gdy zaangażujesz innych ekspertów CRO. Nawet rozmowy coachingowe mogą być częścią Twojej strategii, aby uzyskać inny punkt widzenia.

Coaching – www.goodui.org/coaching – jedna lub dwie comiesięczne rozmowy z zespołami eksperymentalnymi w celu: przeglądu planów testów, przekazania opinii na temat projektów testów i ujawnienia tego, co zadziałało dla innych.
– Jakub Linowski

Niech nauka będzie się dzielić

Niektórzy używają Notion, inni Google Slides, a niektórzy eksperci CRO sugerują używanie tablic Miro, ale cel jest ten sam…

Przekazywanie danych testowych i spostrzeżeń z resztą zespołu (lub dowolnym innym interesariuszem), aby upewnić się, że wnioski mają wystarczający zasięg.

Kiedy korzystasz z tych narzędzi internetowych, takich jak Notion, Prezentacje Google, Miro i innych, które uznasz za atrakcyjne dla Twojego zespołu, ułatwiasz dostęp do repozytorium z dowolnego urządzenia i z dowolnego miejsca.

To jest świetne dla zdalnych zespołów i dla uzyskania świeżej pary oczu, o której mówiliśmy wcześniej.

Jest przenośny i można go łatwo udostępniać. Teraz naprawdę dodajesz skrzydeł swojej wiedzy eksperymentalnej, aby wywrzeć pełny wpływ.

Użyj spostrzeżeń do planowania testów

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Więc podzielmy to wszystko…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Jego cechy to:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Czemu?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Uruchom repozytorium od pierwszego dnia. Zacznij edukować interesariuszy, że eksperymentowanie dotyczy walidacji i uczenia się, a niekoniecznie pieniędzy. Im więcej wykażesz, że „nauczyliśmy się X z tego testu” lub „Y z tego testu”, tym bardziej będziesz zgrany ty i twoi interesariusze.

– David Mannheim

3. Zbuduj wpisowe z dowodem

Jeśli nikt lub tylko kilka osób nie dokumentuje swoich testów i dzieli się spostrzeżeniami między działami, musisz pokazać, dlaczego wszyscy inni muszą dołączyć do tego wysiłku.

Pomyślne zademonstrowanie korzyści płynących z repozytorium edukacyjnego dla obsługi pakietu C-suite to dopiero pierwszy krok. Następną rzeczą, którą musisz zrobić, to przekazać te korzyści również innym zainteresowanym stronom.

Matthias podzielił się fantastycznym sposobem na to:

Zacznij mały, szczupły i zwinny. Uruchom eksperymenty, zbierz wnioski i poświęć dużo wysiłku na ich dokumentowanie. Zrób porządny raport po każdym eksperymencie i często wysyłaj go (co miesiąc, co kwartał, co rok). Na początku skoncentruj się na eksperymentach z dużymi rybami z pozytywnym wpływem i silnymi naukami. Pozytywne wyniki motywują ludzi do rozpoczęcia pracy.

Po zebraniu kilku ważnych, znaczących wniosków przydatne może być również pokazanie negatywnych wyników i wyjaśnienie, jaki byłby negatywny wpływ, gdybyśmy wdrożyli to bez eksperymentu. Następnie wyjaśnij, jak ważne są te nauki dla biznesu i podejmowania lepszych decyzji dotyczących produktów.

4. Gdy już zadziała, zacznij szukać konkretnych narzędzi (najpierw ucz się i działaj, kup później)

Po skonfigurowaniu prostego repozytorium w Prezentacjach Google lub dowolnej wybranej przez Ciebie bezpłatnej platformie i wykonaniu kroków 2 i 3, możesz zainwestować pieniądze w narzędzie.

Nie rzucaj się w wir i nie pompuj pieniędzy do repozytorium edukacyjnego, dopóki nie upewnisz się, że istnieje zachęcający zwrot z inwestycji.

Wniosek

Jeśli z tego artykułu wynika jeden ważny wniosek, to powinieneś zacząć postrzegać doświadczenia z eksperymentów jako atut firmy. Ten atut pozwoli Ci zaoszczędzić czas i pieniądze. Będzie też wspierać program optymalizacji oparty na danych w Twojej organizacji.

Nie tylko przeprowadź test, wygraj lub przegraj, a potem pospiesz się do następnego pomysłu. Poświęcenie czasu na komunikację i uporządkowanie tego, co odkryłeś w swoim repozytorium uczenia się, nada strukturę Twojej podróży eksperymentalnej.

Co więcej, jest to najłatwiejszy sposób na przekazanie pałeczki, ocenę wpływu testów i promowanie ekscytującej kultury eksperymentowania.

A jak zaczynasz to wszystko zdobywać?

Rób tak, jak mówią eksperci: Zacznij prosto.