Jak współpracować z agencją przeprowadzającą testy A/B (i osiągać wszystkie cele rozwojowe)

Opublikowany: 2022-03-23
Jak współpracować z agencją testującą A:B

Trudna prawda: outsourcing testów A/B nie gwarantuje wzrostu.

Chcielibyśmy, żeby to było takie proste. Nawet ze światowej klasy ekspertami niewłaściwe oczekiwania zmieszane z niewłaściwymi kierunkami często prowadzą do bezowocnej współpracy.

Z drugiej strony istnieje mądrzejszy i znacznie bardziej produktywny sposób współpracy z agencją testów A/B. To sekretny sos kryjący się za historiami sukcesu, które przyciągnęły Cię do współpracy z ekspertami CRO.

W tym artykule pokażemy Ci ten tajny sos — jasny, krok po kroku plan współpracy i partnerstwa z najlepszymi agencjami CRO lub A/B. Pod koniec będziesz wiedział, jak współpracować z agencjami CRO, aby osiągnąć wszystkie cele rozwojowe.

Zagłębmy się…

ukryć
  • Cztery powody, dla których warto wdrożyć agencję testów A/B
    • 1. Pomoc przy kompilacji testu A/B
    • 2. Pomoc przy telemetrii
    • 3. Pomoc w badaniach klientów
    • 4. Pomoc w eksperymentach ewangelizacyjnych
  • Trzy naprawdę złe powody do outsourcingu
    • 1. Chcesz, aby Twoje eksperymenty wygrywały PRZEZ CAŁY CZAS.
    • 2. Chcesz wykorzystać „intuicję” agencji, aby ciąć zakręty w rygorze testowania
    • 3. Nie masz zamiaru rozpalać pasji do testowania w domu i chcesz, aby agencja była wieczną kulą
  • Prosty plan pracy z agencjami testów A/B
    • 1. Uzyskaj Wyczyść
    • 2. Zidentyfikuj interesariuszy
    • 3. Studnia na pokładzie
    • 4. Zbuduj zaufanie
    • 5. Wyodrębnij naukę
  • Wniosek

Cztery powody, dla których warto wdrożyć agencję testów A/B

Gdy zagłębisz się w te cztery powody, znajdziesz oceny w postaci gwiazdek za współpracę. Nazywamy to indeksem współpracy .

W tym celu określiliśmy poziom współpracy, który jest niezbędny do osiągnięcia sukcesu we wdrażaniu agencji CRO i są one powiązane z każdym z tych czterech powodów (lub korzyści).

Aby zapewnić sobie te korzyści, będziesz musiał zaangażować się we współpracę w ramach swojego partnerstwa. To właśnie reprezentują te gwiazdy.

Na przykład, jeśli szukasz pomocy przy kompilacji testów A/B, współpraca niekoniecznie musi być wyczerpująca, ale nadal musi tam być. Dlatego dostaje dwie gwiazdki.

Teraz to załatwione, więc przejdźmy dalej.

1. Pomoc przy kompilacji testu A/B

WSPÓŁPRACA:

Jeśli twój program optymalizacyjny dojrzał do pewnego momentu, na pewno nie jesteś samotnym wilkiem, który prowadzi całą operację od początku do końca. Potrzebujesz inżynierów i programistów.

Problem polega jednak na tym, że większość działów optymalizacji nie ma oddanych inżynierów i programistów.

Kiedy trafisz na hipotezę, czujesz się pewnie podczas testowania, jeśli musisz błagać i pożyczać zasoby od zespołu programistów, aby je wdrożyć, szkodzi to Twojej wydajności.

Co więcej, chociaż podstawowy aspekt „kodowania” pozostaje ten sam, rozwijanie produktu i tworzenie testu to dwa bardzo różne konteksty wymagające zmiany sposobu myślenia.

Nie należy więc polegać na wewnętrznych agentach, dla których priorytetem jest coś innego niż pomyślne skonfigurowanie testów w celu skalowania programu. Istnieje lepsza strategia, która dodaje zwinności do Twojego programu eksperymentów…

Outsourcing .

W tym ustawieniu jest to nie tylko pożądane, ale także logiczne. Agencje mają nie tylko oddany zespół deweloperów, ale także specjalizują się w tworzeniu — w tym partnerzy Convert, BrillMark i EchoLogyx, skutecznie 10X zwiększając Twoje wewnętrzne wysiłki.

Klienci, którzy chcą rozszerzyć swój program testowy o kilka stopni, powinni dążyć do włączenia agencji zewnętrznych. Z mojego doświadczenia wynika, że ​​istnieje limit tego, jak bardzo mogą zwiększyć swój program testowy z zespołem wewnętrznym. Na przykład, jeśli zespołowi wewnętrznemu uda się opracować dwa testy miesięcznie w oparciu o dostępne zasoby w celu wsparcia rozwoju testów A/B i kontroli jakości, a chcą zwiększyć tę liczbę do 10 testów miesięcznie, lepiej będzie, jeśli skorzysta z agencji kto może zapewnić to dedykowane wsparcie .

Tasin Reza, Echologiax

Dlaczego cytujemy Tasina?

Tasin Reza jest dyrektorem operacyjnym Echologyx, agencji rozwoju typu full-stack, której celem jest wspieranie zarówno ekspertów od testów A/B, jak i wewnętrznych zespołów optymalizacyjnych.

2. Pomoc przy telemetrii

WSPÓŁPRACA:

Dużo mówiliśmy o tym, jak ważne jest tworzenie właściwych kanałów zbierania danych oraz traktowanie danych jakościowych i ilościowych w celu wyeliminowania stronniczości.

Agencje testujące A/B rozumieją, dlaczego różne platformy zgłaszają różne liczby dla tego samego zdarzenia lub akcji. Mogą ocenić, jak szkodliwa jest ta rozbieżność i pomóc wewnętrznemu zespołowi przełożyć to na wpływ na ostateczne wyniki testów.

Bez tej bezcennej wiedzy, jak możesz ufać swoim wynikom, gdy źródła danych często nie zgadzają się co do krytycznych wskaźników?

Jak wspomina Chad Sanderson, przekonanie, że różne dane wejściowe pogodzą się w wyniku, jest naiwne. Agencje testów A/B dodają do tej mieszanki tak bardzo potrzebną umiejętność korzystania z danych.

Jest to jeden z powodów, dla których Alex Birkett (cytowany poniżej) współpracuje z agencjami – aby dodać niezbędną integralność do wyników testów A/B. Jak możesz sobie wyobrazić, wymaga to jeszcze więcej wspólnego wkładu niż tylko uzyskanie pomocy przy kompilacji testowej.

W zdecydowanej większości przypadków współpracowałem z agencją testów A/B, zatrudniałem ją do pomocy wyłącznie przy opracowywaniu eksperymentów i zapewnianiu jakości. Wynika to z powszechnego faktu, że ograniczającym zasobem większości organizacji są inżynierowie. Korzystanie z zewnętrznej agencji rozwoju testów A/B pozwoliło mi zwiększyć przepustowość wysokiej jakości doświadczeń i mogę ufać, że eksperymenty są dobrze zaprojektowane, ponieważ są przyzwyczajone do pracy na platformie, której używam.

Ostatnio rozważałem pozyskanie firmy oferującej pełen zakres usług, która pomogłaby w opracowywaniu testów A/B, a także w przypadku dwóch innych wąskich gardeł: telemetrii i badań klientów. Skonfigurowanie odpowiednich potoków danych jest trudne, a nakłonienie firmy zajmującej się testowaniem A/B, aby to zrobiła, dobrze dostosowuje zachęty (wyraźnie chcą odpowiednio przypisać swoją wartość, więc chcą mieć odpowiednią konfigurację analityczną). A badań klientów zawsze brakuje, nawet jeśli sam je dużo robię. Im więcej tym lepiej, a specjaliści mają czasem trudno dostępne narzędzia .

Alex Birkett, współzałożyciel Omniscient Digital

Dlaczego cytujemy Alexa?

Alex Birkett ma w tej dyskusji wyjątkową perspektywę. Jest to ktoś, kogo ludzie wzywają, aby pomóc swoim wewnętrznym zespołom nabrać tempa eksperymentów. Zlecił również wykonanie badań nad budową i CX kilku agencjom zajmującym się testowaniem A/B jako kierownik wewnętrznych eksperymentów.

Kolejny powód wymaga takiej samej współpracy, aby odnieść sukces, jak outsourcing pomocy w zakresie telemetrii.

3. Pomoc w badaniach klientów

WSPÓŁPRACA:

Badania klientów to bez wątpienia najdroższy, czasochłonny i żmudny aspekt formułowania wiarygodnej hipotezy. Ale, jak sugeruje hierarchia dowodów, jest to podstawa, na której opierają się kontrolowane eksperymenty online (testy A/B).

Kontrolowane eksperymenty w testach A/B
Źródło

Tutaj jest kilka rzeczy, które mogą pójść nie tak:

  • Zespoły wewnętrzne nie mają know-how, aby ustrukturyzować właściwe pytania badawcze klientów.

    Mogą wprowadzać w błąd, stronnicze i ostatecznie dążyć do potwierdzenia istniejącej opinii, zamiast badać problem ujawniony przez dane ilościowe.

    Zewnętrzny badacz wprowadzi bardziej neutralną perspektywę do kopania tej kopalni złota.
  • Zespoły wewnętrzne nie mają wystarczającej przepustowości, aby zanurzyć się w oszałamiającej gamie perspektyw, którą może tylko prawdziwy ekspert.

    Jakie są wszystkie kąty do zbadania? Jak tworzyć lepsze hipotezy z takim poziomem perspektywy, nie czerpiąc z bogatego i zróżnicowanego doświadczenia?

4. Pomoc w eksperymentach ewangelizacyjnych

WSPÓŁPRACA:

Tak, wpisowe do eksperymentów powinno pochodzić od zarządu.

To „uprawnienie”, o którym mówi Manuel Da Costa, jest tutaj kluczowe. Eksperymenty osadzone w DNA firmy to:

  • Część entuzjazmu budzi obietnica „więcej” zwycięskich testów.
  • Częściowe zrozumienie tego, w jaki sposób te odmienne sukcesy we wczesnych dniach programu CRO mogą powstać, od optymalizacji pod kątem metryki po wsparcie w podejmowaniu decyzji dla firmy.
  • Część „eksperymenty nie podlegają negocjacjom” mandatu kierownictwa, które proaktywnie wybiera wykonalność naukową zamiast instynktu.

Oto jak obecność agencji na pokładzie przyczynia się do każdej części:

  • Testy korzystają z ich ogromnego doświadczenia w procesach i kontroli jakości. Wewnętrzne dane Convert sugerują, że agencje przeprowadzają bardziej istotne testy.
  • Zajmują się technicznymi aspektami wdrażania testów, dając Changemakerom pewność, że będą głośno mówić o wpływie eksperymentów w całej firmie. Nie zaszkodzi, że pomagają w edukacji w całej organizacji.
  • Mogą pomóc liderom w eksperymentowaniu na początkowych etapach wykupu pakietu menedżerskiego ze względu na ich doświadczenie w udowadnianiu mocy eksperymentów w różnych branżach i branżach. Ostateczny lobbing, który może być potrzebny, korzysta z dojrzałego POV.

Dlatego tak ważne jest, aby zaangażować odpowiednią agencję – taką, która rozumie, jak pracować z danymi, jest gotowa dostosować się do istniejących już ram eksperymentalnych i jest zaangażowana w przekazywanie wiedzy i wzmacnianie wewnętrznego zespołu do zrozumieć, dlaczego kwestionowanie większości pomysłów (chyba że zostanie zweryfikowane za pomocą testu A/B) jest dobrym podejściem.

Sprawdziliśmy ponad 400 agencji testujących CRO i A/B. Oto lista dostawców usług, którym ufamy.

OŚWIADCZENIE: Niektórzy z nich są partnerami agencji Convert. Ale jasno wymieniliśmy czynniki, które posłużyły do ​​zakwalifikowania wszystkich kandydatów i żadna agencja nie jest wyjątkiem.

Omówiliśmy ważne powody, dla których warto wdrożyć agencję testów A/B. Teraz pokażemy Ci złe powody, by zlecić testy A/B na zewnątrz.

Trzy naprawdę złe powody do outsourcingu

1. Chcesz, aby Twoje eksperymenty wygrywały PRZEZ CAŁY CZAS.

Otrzymujesz wyniki eksperymentów, na które zasługujesz.

Ten post i jego komentarze są dowodem:

Jeśli zaprosisz na pokład agencję, która będzie szukać zwycięzców, oni będą szukać zwycięzców. Istnieje setka subtelnych i niezbyt subtelnych sposobów wpływania na wszystko, od zapytań o dane po interpretację wyników, aby mieć portfolio zwycięskich testów, które nigdy nie wpływają na naukę ani na wyniki finansowe.

Wynik: Prawdopodobnie zadeklarujesz, że przeprowadzanie testów A/B z agencją to nie twoja sprawa. Ale dostałbyś dokładnie to, czego szukasz – ZWYCIĘSKIE TESTY.

Agencje powinny być partnerami. Powinni mieć swobodę badania problemów, które faktycznie hamują przychody i wydajność. Zwłaszcza jeśli zlecasz im nie tylko budowę, ale także badanie i projektowanie eksperymentów.

2. Chcesz wykorzystać „intuicję” agencji, aby ciąć zakręty w rygorze testowania

Eksperymenty podążają za procesem naukowym. Tak więc nie ma dokładnego sposobu na wykorzystanie doświadczenia naukowca (czytaj: twojej agencji testów A/B), aby znaleźć najszybszą drogę do wygranej.

Wprowadzając agencję, stawiasz jej wyjątkowe wyzwanie; nie sytuacja, w której mogą powiedzieć: „Wiesz, widzieliśmy to już wcześniej. To zwykle działa. Zróbmy to."

Gdy potencjalni klienci zwracają się do nas o współpracę z nimi przy CRO/eksperymentach, często pytają o nasze wcześniejsze doświadczenia w tej niszy lub sektorze. Na przykład, jakie masz doświadczenie w pracy z luksusowymi markami podróżniczymi / meblami z wysokimi biletami / usługami finansowymi / itp.?

To bardzo mocno błędnie rozumie, czym jest eksperymentowanie.

Jeśli zatrudnisz markę lub agencję kreatywną, użyją swojej intuicji i kreatywnych możliwości, aby zaprojektować coś, czego prawdopodobnie nie zamierzasz testować. Dlatego musisz wiedzieć, jaki rodzaj intuicji i kreatywności kupujesz i czy „docierają” do odbiorców. Ufasz komuś, kto nawiąże nieprzetestowaną komunikację z klientami.

I odwrotnie, cały sens eksperymentowania – który ostatecznie jest powieleniem metody naukowej w biznesie – polega na usunięciu opinii, uprzedzeń i intuicji poprzez:

a) wykorzystanie badań i danych do formułowania pomysłów

b) testowanie tych pomysłów z prawdziwymi klientami i

c) opieranie się na nauce tak, aby większe rzeczy, które robisz, okazały się skuteczne, zanim je zrobisz

Kupujesz proces i metodę, których prawidłowe wykonanie wymaga dużej wiedzy, a nie „doświadczenia” w sektorze.

Kierujemy się danymi, a nie niczyimi opiniami na temat Twojej branży czy klientów.

Jonny Longden (poprzez biuletyn Test Everything )

Jeśli planujesz wykorzystać intuicję agencji testów A/B i nie czuć się całkowicie w ciemności podczas próby zdiagnozowania problemu lub zapewnienia bardziej zintegrowanej mapy drogowej prowadzącej do sukcesu CRO, musisz pracować nad lepszą współpracą między klientem a agencją poprzez jasną komunikację i system przepływu.

3. Nie masz zamiaru rozpalać pasji do testowania w domu i chcesz, aby agencja była wieczną kulą

Nie uważasz, że zatrudnienie agencji jest okazją do odskoczenia do czegoś lepszego w firmie. Możesz zdobyć kilka zwycięskich testów – które mogą, ale nie muszą, przełożyć się na realne korzyści biznesowe – ale jedno jest pewne: konsekwentne eksperymentowanie nigdy się nie uda.

Eksperymentowanie nie może być taktyką. Podobnie jak PPC, może działać oddzielona od innych działów i (nadal) przetrwać.

Prawdziwa moc przeprowadzania testów polega na przeformułowaniu sposobu, w jaki każdy członek zespołu podejmuje kluczowe decyzje w pracy. Chodzi o to, aby zdać sobie sprawę, że i tak eksperymentujemy i zgłaszamy to jako „podejmowanie ryzyka”. Posiadanie solidnej struktury naukowej leżącej u podstaw tych zagrożeń i hazardu jest tym, co kieruje firmę w kierunku przewidywania, większej jasności co do tego, co się sprawdza i, co najważniejsze, stałego sukcesu.

Upewnienie się, że Ty i Twoja agencja CRO jesteście dobrze dopasowani w perspektywie krótko- i długoterminowej, jest kluczem do stworzenia synergicznej relacji, która z powodzeniem spełnia wskaźniki i przekracza oczekiwania.

Prosty plan pracy z agencjami testów A/B

1. Uzyskaj Wyczyść

Chcesz wiedzieć, dlaczego wprowadzasz agencję na pokład. Wybierz KPI — zarówno dla programu, jak i firmy — które będziesz dążyć do poprawy.

Zawsze powinny istnieć cele biznesowe na poziomie makro i cele na poziomie mikro, aby osiągnąć te wyższe. Zespoły testujące muszą skoncentrować się na tych nadrzędnych celach poprzez badania i innowacje, które z kolei mogą zostać przetestowane.

Kluczem jest tutaj zakomunikowanie tego interesariuszom biznesowym – w jaki sposób eksperymenty pomogą firmie w podejmowaniu właściwych decyzji – w kierunku osiągnięcia oczekiwanych KPI. Na tej podstawie należy stworzyć mapę drogową dla eksperymentów; jednocześnie jednak mapa drogowa powinna być wystarczająco elastyczna, aby sprostać pilnym wymaganiom biznesowym. I wreszcie, potrzebna jest oddana osoba, która będzie prowadzić to wszystko przy wsparciu oddanego zespołu .

Tasin Reza

Bądź ostrożny tutaj. Wskaźniki KPI związane tylko z programem zaowocują większą liczbą testów (większa prędkość testów), być może mniejszą liczbą testów wdrażanych z błędami i krótszym czasem wdrożenia. To wszystko są wspaniałe oznaki zdrowego programu.

Ale jeśli nie ma jasności co do tego, co maszyna do eksperymentów ma odciąć – czyli problem, który powinna rozwiązać – będziesz dobrze prosperować w optymalizacji, ale nie posuniesz swojej firmy do przodu.

Bez jasności pojawi się luka między strategią produktu/miejsca (naprowadzanie wskaźników KPI, które mają wpływ na biznes) a strategią eksperymentowania (naprowadzanie wskaźników KPI, które promują dynamiczny program CRO).

Aby wypełnić tę lukę, skup się na nauce i poprawie doświadczenia użytkownika. Obserwując wskaźniki przychodów, upewnij się, że nie rozwijasz wizji tunelowej i nie tracisz z oczu, na czym tak naprawdę polega eksperymentowanie.

W przypadku programu, który jest zależny od budżetu, będziesz musiał raportować również pod względem ROI.

Tim Mehta, kierownik programu eksperymentów w sklepie Microsoft Store, podzielił się w tym wywiadzie ze Speero, że skoncentrowanie przywództwa na innowacjach pomaga, ponieważ wtedy można wykazać zwrot z inwestycji w postaci spostrzeżeń uzyskiwanych z eksperymentów, mówiąc językiem potencjalnych przychodów i potencjalna utrata przychodów, których udało się uniknąć.

A potem nie dziel się tylko „wygranymi” i „przegranymi”. Te terminy nie oznaczają tego samego poza sferą CRO. Zostanie lepiej zinterpretowany i przełożony na wartościowe decyzje biznesowe, jeśli zamiast tego zostanie przedstawiony jako rekomendacje .

2. Zidentyfikuj interesariuszy

Łatwiej jest wprowadzić agencję, jeśli masz pełną jasność co do sposobu działania programu eksperymentów. Nie musisz czekać na rozpoczęcie pracy i poprawienie błędów w miarę ich pojawiania się. To nieefektywne i kosztowne.

Zamiast tego usprawnij proces od samego początku za pomocą macierzy przypisania RACI. Ten wykres pomaga w określeniu kluczowych celów, kamieni milowych, zadań i obowiązków w projekcie dla każdego z zaangażowanych interesariuszy.

W ten sposób dowiadujesz się, kim są Twoi kluczowi interesariusze (tj. Ci, którzy muszą być na bieżąco).

RACI to akronim, który określa strukturę projektu:

  • Odpowiedzialny – kto odpowiada za wykonanie zadań lub podejmowanie decyzji? Jest to zwykle grupa ludzi.
  • Odpowiedzialny – kto podpisze się na zadania i zapewni wykonanie kamieni milowych? Kto będzie przydzielał zadania osobom odpowiedzialnym za ich wykonanie? Zwykle jest to lider projektu i jest to pojedyncza rola, aby mógł podjąć ostateczną decyzję.
  • Konsultacja – Z kim należy się konsultować w sprawie zadań projektu? Kto musi wnieść wkład w zadanie, aby pomóc w jego wykonaniu?
  • Poinformowany – kto powinien być informowany o statusie projektu? Kto potrzebuje aktualizacji postępów, ale nie potrzebuje codziennych informacji?

Rozmawialiśmy o tym, jak zbudować i wykorzystać wykres RACI do projektu eksperymentalnego. Oto przykład, jak służy do organizowania komunikacji:

Model RACI pokazujący cztery typy komunikacji dla interesariuszy
Źródło

Skoncentruj się na interesariuszach, którzy muszą być informowani o tym, co robi agencja, i tych, których praca będzie miała bezpośredni wpływ. Ponieważ wdrożenie agencji nie musi zakłócać normalnych operacji biznesowych.

Kiedy zatrudniasz doświadczoną agencję CRO, upewnij się, że korzystasz z matrycy RACI, aby móc znaleźć osoby posiadające wiedzę specjalistyczną, która zapewnia wyniki i przynosi różnorodne rozwiązania przyszłych problemów.

3. Studnia na pokładzie

Pomyśl o dołączeniu agencji tak, jak o dołączaniu nowego członka zespołu. Wiesz, że będziesz musiał przygotować niezbędne zasoby, aby mogli łatwo zacząć.

Jest wiele rzeczy, o których nie będą wiedzieć, jeśli wcześniej nie współpracowaliście ze sobą. Na przykład: wewnętrzne funkcjonowanie i różne przypadki użycia Twojej witryny, macierz priorytetów itp. Więc jak możesz przekazać tę wiedzę?

Konieczne jest, aby (agencje) wiedziały, jak pracować w ramach parametrów naszego programu, w tym naszej macierzy priorytetów, naszego planowania sprintu, listy kontrolnej QA, której używamy do uruchomienia, oraz naszego zespołu projektowego. Na szczęście większość z nich jest w dużej mierze zautomatyzowana i umieszczona na Airtable, do którego każdy może uzyskać dostęp .

Alex Birkett

Zauważyłem, że klienci zapominają, co ludzie z zewnątrz wiedzą o ich wewnętrznej stronie internetowej lub aplikacjach, które wymagają optymalizacji. Wewnętrzny zespół jest bardzo blisko związany z samą stroną. Znają tajniki wszystkich różnych scenariuszy, przypadków użycia i anomalii, które przedstawia witryna. I czasami zapominają, że ktoś z zewnętrznej agencji niekoniecznie ma taką samą wiedzę na temat ich strony internetowej. Może to stanowić wyzwanie dla agencji na początkowym etapie. Dzielenie się wewnętrzną wiedzą, która jest wymagana, aby pomóc firmie w programie CRO na początku, jest bardzo ważne. W ten sposób agencje będą wiedziały, czego się spodziewać i co wziąć pod uwagę, gdy mają pomysł na test lub opracowują i sprawdzają jakość testów .

Tasin Reza

Jeśli zaczynasz od zera, daj agencji czas potrzebny na zrozumienie swojej działalności i utwórz następujące elementy:

  • Podręcznik badania klientów

    Jest to wewnętrzny dokument/baza danych, który daje agencji cenny wgląd w to, kim jest klient. Będzie zawierać dane zebrane z grup fokusowych, wywiadów, ankiet e-mailowych, analiz analitycznych, a także poparte danymi profile idealnych klientów i informacje demograficzne.
  • Macierz priorytetów

    Nie możesz wszystkiego przetestować. Według Davida Mannheima w swoim artykule, większość programów jest ograniczona przez:
    • Cel testowania w organizacji
    • Dostępność ruchu
    • Pożądana zmiana
    • Ilość dostępnego czasu

W morzu pomysłów na testy potrzebujesz systemu, który zdecyduje, jaki test wdrożyć i co zostawić na później. Jeśli wiesz o tym, Twoja agencja też musi o tym wiedzieć.

  • Lista kontrolna pytań i odpowiedzi

    Po zakończeniu testów, jak zweryfikować dokładność wyników? Wykonanie testu wymaga wielu kroków, a to oznacza wiele punktów styku, w których coś może pójść nie tak.

    Musisz podzielić się krokami, które podejmujesz, aby zastanowić się, co zostało zrobione w celu zweryfikowania wyników. Mamy listę kontrolną pytań i odpowiedzi, z której możesz skorzystać, więc nie musisz zaczynać od zera.
  • Repozytorium elementarnej nauki

    Tutaj przechowujesz dane i dokumentację z poprzednich testów. Informacje tutaj mogą poprawić skuteczność i jakość przyszłych testów do wybitnych poziomów.

    Jeśli nie masz repozytorium nauki, tracisz informacje, które mogą zwiększyć sukces Twojego programu eksperymentów.

Dlaczego więc musisz dać agencji czas na zrozumienie swojej działalności i przyswojenie informacji z tych zasobów? Ponieważ procesy są filarem Dojrzałości Eksperymentów. Stworzenie pewnych podstawowych zasad jest kluczowym aspektem rygorystycznego wdrażania. Nie przegap.

4. Zbuduj zaufanie

Daj im swobodę zgłaszania testów płaskich i przegrywających. Zrozum, że większość testów, które przeprowadzisz, przegra. To świetnie, dlaczego? Ponieważ aktywnie eliminujesz to, co może nie działać, i zmierzasz w kierunku zmian, funkcji i decyzji, które mają większą szansę wywrzeć znaczący pozytywny wpływ.

Jeśli słyszysz tylko o wygranych, stracisz 90% swoich spostrzeżeń. Ponieważ 9 na 10 testów zwykle kończy się niepowodzeniem.

Ponadto, jeśli twoje agencje będą musiały się tłumaczyć za każdym razem, gdy zobaczysz płaski test, poczują, że ich usługi będą bardziej wartościowe gdzie indziej – przynajmniej agencje, które rozumieją eksperymentowanie i jego potencjał.

Nie chcesz tego. Zamiast tego chcesz, aby Twoja komunikacja była dobrą grą i budować zaufanie. Oto jak:

  • Komunikuj się otwarcie ze swoją agencją

Mów i słuchaj. Omów cele swojej organizacji i czego oczekujesz od relacji z agencją. A potem posłuchaj, czego oczekują od Ciebie i Twojego zespołu.

Upewnij się, że uznajesz te żądania i opinie. Nawet podczas kolejnych spotkań, w miarę postępów projektu, daj im znać, że ich opinie i pomysły są cenne dla Twojego zespołu.

Jeśli masz wątpliwości, wyraź je szczerze. Najczęściej Twoja agencja CRO zna te obawy i wie, jak je rozwiązać w zdrowy sposób. Mogą również pomóc Ci nakreślić bezpieczną ścieżkę do Twoich celów.

To jest coś, na co zawsze możesz spojrzeć wstecz, gdy wszystko jest niewyraźne i wiesz, że jesteś na właściwej ścieżce.

  • Ustal wzajemnie korzystne cele komunikacyjne

Za każdym razem, gdy współpracujesz z agencją, musisz jasno określić oczekiwania komunikacyjne. Obejmuje to środek komunikacji, czas i częstotliwość spotkań, punkty rozmów itp.

Wcześniejsze zdefiniowanie tych rzeczy nie tylko usprawnia proces pracy na dłuższą metę, ale ta doza pewności sprzyja zaufaniu. Obie strony wiedzą, czego się spodziewać, dzięki czemu możesz się zrelaksować i spełnić inne zobowiązania.

Ale jest jeszcze jedna rzecz: nie tylko ustawiasz to i jeździsz z tym do końca. Będziesz musiał od czasu do czasu sprawdzać, czy działa zgodnie z przeznaczeniem. Na przykład zapytaj swoją agencję, czy otrzymuje krytyczne informacje na czas.

PS: Jeśli coś zmieniasz, poinformuj innych interesariuszy.

  • Radź sobie z konfliktami jak mistrzowie

Uwielbiamy mieć różową jazdę, ale faktem jest, że pojawią się konflikty. Jeśli zarządzasz mikrozarządzaniem, zwiększasz swoje szanse na korzyść konfliktu. Proszę, nie zarządzaj.

Ale jeśli nie zgadzasz się ze swoją agencją CRO, co robisz?

Poprowadź swojego wewnętrznego menedżera HR i prowadź te trudne rozmowy jak profesjonalista. Zrozum, że te chwile nie są konkursem typu „ty-agencja”, w którym możesz wygrać. Zamiast tego jest to Twój partner i masz wspólny cel — rozwój poprzez optymalizację (lub coś innego).

Zapewnij ich o celu, wróć do niego razem i kieruj się w górę stamtąd.

Czy musisz coś zmienić? Czy ta zmiana przybliża Cię do pierwotnych celów projektu? Czy jest coś, co źle zrozumiałeś? A może jest coś, co możesz lepiej wyjaśnić?

Więcej pytań w takiej chwili może zaoszczędzić czas na rozwiązanie problemu.

Wreszcie dajesz zaufanie, aby zdobyć zaufanie. Zaufaj swojej agencji, aby wykonała swoją najlepszą pracę i zapewniła wyniki, a z większym prawdopodobieństwem zwróci to zaufanie z powrotem na Ciebie.

Jeśli będziesz komunikować się w ten sposób ze swoimi partnerami CRO, będziesz pielęgnować jakość relacji, która sprawi, że będą podekscytowani wyjściem poza granice Twojej organizacji.

5. Wyodrębnij naukę

Zbuduj swoje repozytorium nauki. Nie możesz pozwolić sobie na odrzucenie spostrzeżeń z poprzednich testów i odmówienie zespołowi ds. kontroli jakości możliwości szybszego diagnozowania uszkodzonych kampanii.

Pomoże to również usprawnić proces raportowania procesów i wyników swoim szefom oraz zwiększyć szybkość testowania (ponieważ masz pomysły rozsiane po całej historii eksperymentów).

Ale może to być cenne tylko wtedy, gdy jest dostępne i odpowiednio ustrukturyzowane. Produktywne repozytorium nauki zaczyna się od udokumentowania każdej nauki w ten sposób:

  1. Zapisz wszystkie metadane ze swoich testów

Wyróżnij typ testu, strony, na których przeprowadzono test, punkty styku, odbiorców i obszary wzrostu. Skondensuj te informacje, a także hipotezy, dane i wyniki w karcie wyników metadanych.

Zachowaj to w narzędziu repozytorium eksperymentów. Na początku możesz użyć slajdów Google, Notion lub Airtable, aby zachować i udostępnić te informacje.

  1. Nagrywaj dla różnych stylów uczenia się

Nie każdy będzie fanem sposobu, w jaki wolisz zapisywać informacje. Niektórzy lubią tekst, inni uwielbiają elementy wizualne, takie jak obrazy i filmy. Nagrywając naukę z poprzednich testów, dodaj zrzuty ekranu i nagrania ekranu, gdzie tylko możesz.

  1. Oznacz swoje testy

Każdy, kto przechodzi przez repozytorium, powinien być w stanie natychmiast zidentyfikować cel testu. Czy to było iteracyjne czy zakłócające? A może chodziło o optymalizację lub innowacyjność? Opracuj tagi, które pasują do Twojego programu eksperymentów i użyj ich do sortowania testów.

To repozytorium edukacyjne będzie bezcenne dla Ciebie i Twojej agencji CRO. Mogą zbadać historię Twojego programu eksperymentalnego bez zadawania zbyt wielu pytań.

Mogą też szybko zdiagnozować problem lub, jeszcze lepiej, zaprojektować plan, który nie marnuje czasu na testy, które już wykonałeś.

Nie myśl też o swoim programie eksperymentów jako o odrębnej jednostce od innych procesów w Twojej organizacji. Inni członkowie zespołu muszą zapoznać się z tym, co robi Twoja agencja. To wtedy organizujesz spotkania jeden na jednego, aby mogli naśladować i chłonąć to, jak eksperci agencji myślą i podchodzą do testowania.

Daliśmy Ci przewagę, jeśli chodzi o modelowanie sposobu myślenia optymalizatorów.

Chociaż te 1:1 są integralną częścią promowania kultury eksperymentowania, należy je również dopasować do dostępu do zagregowanych danych i raportów.

To jeden ze sposobów na skorzystanie z doświadczenia ekspertów Twojej agencji CRO. Innym sposobem jest poproszenie ich o wkład w strukturę zespołu optymalizacyjnego (scentralizowane lub zdecentralizowane CoE). Ponieważ eksperci mają dalekowzroczność i precedensy, mogą popchnąć Cię we właściwym kierunku na podstawie mapy drogowej eksperymentów.

Jak współpracować z agencją testową CRO lub A/B

Wniosek

Teraz, gdy już wiesz, jak współpracować z agencjami CRO w celu uzyskania maksymalnej produktywności, możesz zacząć osiągać swoje cele rozwojowe przy jak najmniejszym tarciu. Mogą zdarzyć się sytuacje, w których wątpisz w swoje postępy, ale dopóki zapewniasz wystarczającą współpracę i masz odpowiednie oczekiwania, Twoje partnerstwo będzie owocne.

Baner-na-narzędzia-porównanie-blog
Baner-dla-narzędzi-porównanie-bloga-mobilny