Dane wejściowe i wyjściowe w eksperymentach: jak wybrać, co mierzyć

Dane, które definiujesz i śledzisz w programie eksperymentów, są niezwykle ważne.

To, co mierzysz, określa Twoje skupienie. Mówią „nie możesz zarządzać tym, czego nie mierzysz”.

I chociaż jest to całkowicie prawdziwe (na pewno możesz schudnąć, nawet jeśli nie patrzysz na wagę), jest to kierunkowe i praktycznie prawdziwe (znacznie łatwiej schudnąć, jeśli spojrzysz na wagę).

Spędziłem mnóstwo czasu zastanawiając się, jakie dane mają znaczenie w eksperymentach.

Co ważniejsze, spędziłem dużo czasu myśląc zarówno o metrykach wejściowych, jak i metrykach wyjściowych.

Jaka jest różnica między danymi wejściowymi i wyjściowymi?

Wskaźniki wejściowe to wiodące wskaźniki, rzeczy, które możesz bezpośrednio kontrolować. Zazwyczaj śledzą wysiłek, alokację zasobów i wydajność operacyjną.

Idea metryk wejściowych polega na tym, że korelują one z metrykami wyjściowymi.

Chociaż nie możesz bardzo dokładnie przewidzieć, w szczególności, jaki będzie Twój łączny współczynnik konwersji, możesz łatwo kontrolować liczbę przeprowadzanych eksperymentów, skuteczność wypychania wygranych do produkcji i do pewnego stopnia, jaki będzie Twój współczynnik wygranych. i średnia wielkość wygranej.

Te rzeczy mogą i powinny być mapowane na metryki wyjściowe, które są zazwyczaj liczbowymi metrykami biznesowymi, na których interesują interesariusze. Są to liczby, które pokazują, czy cały wysiłek, jaki wkładasz w eksperymenty, faktycznie się opłaca z perspektywy zwrotu z inwestycji.

Ponieważ metryki wyjściowe koncentrują się na wynikach biznesowych, omówię je najpierw – powodem jest to, że metryki wyjściowe powinny określać metryki wejściowe.

Mówiąc prościej, metryki wyjściowe są tym, co ma znaczenie dla firmy, a metryki wejściowe to dźwignie, które możesz kontrolować, aby uzyskać te wyniki.

Wskaźniki wyników eksperymentu

Wskaźniki wyjściowe są tym, co pokazujesz swojemu szefowi. Wiążą się one z wartością twojego programu eksperymentów i pokazują, że ogólnie zapewniasz pozytywny zwrot z inwestycji.

Realistycznie rzecz biorąc, metryka wyników eksperymentu może być dowolną ilościową, którą można zmierzyć. W większości przypadków jest to wskaźnik dyskretny lub binarny, taki jak współczynnik konwersji, ale czasami jest to wskaźnik ciągły, taki jak przychód na użytkownika.

We wszystkich przypadkach chcesz zmapować dane wyjściowe, które najlepiej reprezentują wartość dla Twojej firmy.

Najlepszym sposobem podziału danych eksperymentalnych są dwie kategorie: mikrokonwersje i makrokonwersje (nazywane też danymi podstawowymi i dodatkowymi) .

Mikrokonwersje a makrokonwersje (i wskaźniki monitorowania)

Powszechną radą w przestrzeni testów A/B jest optymalizacja pod kątem makrokonwersji.

Makrokonwersje, choć zdefiniowane przez Ciebie i Twoją firmę, to te, które leżą najbliżej pieniędzy. W handlu elektronicznym jest to zakup lub przychód na odwiedzającego. W B2B może to być wysokiej jakości konwersja leadów lub może rejestracja produktu na oprogramowanie freemium.

W każdym razie możesz mapować mikrokonwersje bezpośrednio na przychody, dzięki czemu zwrot z inwestycji w tych eksperymentach jest łatwy do zmierzenia i uzasadnienia wysiłku.

Mikrokonwersje to te działania, które prowadzą do makrokonwersji i mają tendencję do silnej korelacji z ukończeniami makrokonwersji.

W handlu elektronicznym mikrokonwersje mogą obejmować dodanie do koszyka, kliknięcia banerów, a nawet rejestracje na listach e-mailowych. W B2B mogą to być kliknięcia do strony z cennikiem, kliknięcia CTA lub zapisy na listy e-mailowe.

Dostępne są również metryki monitorowania lub metryki poręczy . Są to wskaźniki jakości, których nie możesz poprawiać, ale nie szkodzić. Jeśli więc eksperyment zwiększa współczynnik konwersji, ale także zwiększa zwrot produktu lub współczynnik zwrotu, nie możesz przenieść tego eksperymentu do produkcji.

Nie ma uniwersalnego i obiektywnego podziału na te dwie kategorie, chociaż istnieją pewne oczywiste linie podziału. Mianowicie, czy konwersja bezpośrednio prowadzi do przychodów dla Twojej firmy?

Przejdę tutaj przez 18 wskaźników wyjściowych, dzieląc je na makro i mikrokonwersje. Na koniec omówimy, jak wybrać odpowiednie cele wyjściowe dla Twojej firmy.

Makrokonwersje

Dane współczynnika konwersji (dowolnego typu)

Współczynnik konwersji jest najczęstszym wskaźnikiem wyjściowym, ale może oznaczać wiele rzeczy dla wielu różnych rodzajów działalności.

Na podstawowym poziomie oznacza to po prostu, że próbujesz zwiększyć odsetek osób, które oglądają doświadczenie, a po obejrzeniu tego doświadczenia wykonujesz żądaną czynność.

1. Współczynnik konwersji ołowiu

Jednym z najczęstszych typów współczynnika konwersji jest współczynnik konwersji leadów.

Jest to odsetek odwiedzających Twoją witrynę, którzy rejestrują się, aby zostać leadem. Definicja „leada” oczywiście zależy od Twojej firmy. W niektórych przypadkach jest to ktoś, kto zarejestruje się, aby poprosić o demo.

Czasami firmy dalej drążą i liczą tylko „kwalifikowane” leady, co opiera się na wzbogacaniu danych lub filtrowaniu różnych wymiarów w celu określenia, czy ktoś jest odpowiedni dla produktu.

Inne firmy liczą kwalifikujących się potencjalnych klientów, na przykład odwiedzających, którzy zarejestrują się na seminarium internetowe lub pobiorą oficjalny dokument.

2. Rejestracje lub zakupy produktów

Rejestracje produktów to wyraźne makrokonwersje. Jeśli sprzedajesz towary fizyczne, to ktoś je kupuje. Jeśli jesteś firmą freemium SaaS, jest to osoba, która po raz pierwszy wprowadza Twój produkt.

Trudno wyobrazić sobie program eksperymentów marketingowych, który nie śledzi tego jako kluczowego wskaźnika KPI eksperymentu.

3. Wskaźnik aktywacji

Rozpoczynając eksperymentowanie z produktami, jedną z pierwszych rzeczy, o których należy pamiętać w przypadku firmy rozwijającej się w oparciu o produkty, jest współczynnik aktywacji.

Kiedy ktoś się zarejestruje, jakie jest pierwsze działanie w produkcie, które ma znaczenie i pokazuje zaangażowanie użytkownika?

Niektóre firmy przypisują to do konkretnej akcji lub liczby akcji (Facebook miał słynną zasadę 7 znajomych w 7 dni).

Ten moment jest zwykle określany jako „moment aha”, moment lub działanie, które powoduje, że użytkownik rozumie wartość produktu. Ten moment jest zwykle odkrywany zarówno poprzez jakościową informację zwrotną, jak i ilościową zdolność do skorelowania tego działania z dłuższym okresem retencji lub lepszymi wskaźnikami monetyzacji.

4. Stopa monetyzacji

Podobnie jak wskaźnik aktywacji, wskaźnik monetyzacji jest powszechnie stosowany w firmach rozwijających się, które są oparte na produktach, z wieloma użytkownikami freemium lub co najmniej kilkoma rosnącymi poziomami produktów.

W modelach freemium ta metryka jest dyskretna – czy darmowy użytkownik przekracza barierę, aby zostać płatnym użytkownikiem, czy nie? W innych modelach ta metryka może być ciągła – na przykład, jeśli firma pobiera opłaty w oparciu o wykorzystanie, takie jak AWS, nie jest to tak proste, jak rozgraniczenie między „płatnymi” i „nieopłaconymi” kontami.

5. Zapisy na listy e-mail

Większość firm w tym momencie zdaje sobie sprawę z wartości marketingu e-mailowego i budowania solidnej listy e-mailowej. Szczególnie dla content marketerów i blogerów najciekawszą makrokonwersją może być zamiana czytelników na subskrybentów e-maili.

Namalowanie tego wartością w dolarach będzie wymagało trochę pracy analitycznej, ale jeśli masz wystarczającą ilość danych historycznych, zazwyczaj możesz przypisać średnią wartość przychodów do danego e-maila, który zbierasz.

6. Wskaźnik aktywacji poczty e-mail

Wskaźnik aktywacji wiadomości e-mail jest niedocenianym wskaźnikiem marketingowym. To, że ktoś zapisuje się na Twoją listę e-mailową, nie oznacza, że ​​jest zaangażowany ani wartościowy.

To jest jak wersja e-mail marketingu „high fit lead”.

Możesz zdefiniować „aktywację” tutaj, jak chcesz, ale wiele z nich zawiera coś w rodzaju „otwarto jeden z pierwszych trzech e-maili” lub inny sposób pokazania, że ​​dana osoba faktycznie czyta i otwiera Twoje e-maile.

Mierniki wartości klienta

Dane wartości klienta są zazwyczaj zmiennymi ciągłymi, co sprawia, że ​​nieco trudniej jest je wykorzystać jako dane eksperymentalne. Ale prawie zawsze są najbliższym przybliżeniem rzeczywistej wartości biznesowej i mogą działać jako świetne wskaźniki Twojej pracy.

7. Przychód na odwiedzającego

Przychód na użytkownika to jeden z najlepszych wskaźników złożonych dla e-commerce. Nie każdy coś kupi, ale niektórzy to zrobią. A niektórzy z tych, którzy kupią, kupią dużą ilość produktu.

Przychód na użytkownika przypisuje średnią wartość każdemu odwiedzającemu witrynę, więc w tym równaniu uwzględniasz zarówno wielkość zakupu, jak i liczbę kupujących.

8. Średnia wartość zamówienia!

Średnia wartość zamówienia oblicza wśród kupujących, jaka jest średnia wielkość zakupów. Dotyczy to ponownie witryn e-commerce, w których można kupować bezpośrednio na stronie. Może to być również ASP (średnia cena sprzedaży) w transakcjach B2B.

9. Liczba zakupów

Rodzaj metryki retencji dla e-commerce, możesz śledzić liczbę zakupów w danym okresie (miesiąc, kwartał, rok).

Śledzi to powtarzające się zakupy i wskazuje zarówno na cechy witryny, jak i kanały marketingowe, które mają przyciągać więcej ponownych kupujących (zwykle marketing e-mailowy i płatne reklamy). Jest to całościowa metryka, która ma na celu optymalizację nie tylko sprzedaży, ale także drugiej i trzeciej sprzedaży.

10. Retencja

W produktach SaaS utrzymanie klienta jest kluczem do wzrostu. Możesz skłonić tysiące użytkowników do zarejestrowania się, ale jeśli nie płacą i nadal płacą, Twoja firma z czasem straci przychody.

Chociaż wiele rzeczy wpływa na retencję poza samym produktem, eksperymenty mogą również pomóc w przeniesieniu igły do ​​retencji. Śledzenie retencji jako eksperymentu KPI staje się jednak nieco trudne dla wielu firm, ponieważ jest to długi cykl informacji zwrotnych.

11. Dożywotnia wartość klienta

Wreszcie mistyczny szczyt piramidy, jeśli chodzi o złożone metryki: długoterminowa wartość klienta.

Uwzględnia to wszystkie poprzednie wskaźniki, takie jak zarabianie lub średnia cena sprzedaży, utrzymanie (jak długo ktoś pozostaje płacącym klientem), a także średnie współczynniki konwersji, a następnie tworzy złożony wskaźnik przy użyciu formuł wartości życiowej klienta, aby oszacować, ile średnio klient jest wart dla Twojej firmy.

Jest to oczywiście bardzo trudne do zmierzenia na podstawie eksperymentu, ale jako biznesowy wskaźnik KPI, ważne jest, aby wiedzieć.

Pozwala to wymyślić sposoby na zwiększenie wartości produktu, a także pokazuje, jak wykonalne mogą być określone kanały marketingowe i kampanie reklamowe.

Mikrokonwersje

1. Współczynniki klikalności (wielu typów)

Współczynnik klikalności to główny rodzaj mikrokonwersji. Czy to z reklamy na stronę docelową, czy od strony docelowej do żądania strony demonstracyjnej.

W handlu elektronicznym jest to często śledzone jako współczynnik klikalności do strony produktu, a może nawet działanie „dodaj do koszyka” lub przeglądanie koszyka. Może to być również coś takiego jak współczynniki otwarć wiadomości e-mail lub współczynniki klikalności wiadomości e-mail dla sprzedawców e-maili. Twoje narzędzie do e-mail marketingu powinno łatwo dostarczać te informacje, a także umożliwiać testowanie A/B różnych wersji.

Oczywiście musisz kliknąć z jednej lokalizacji, aby przejść do następnej, więc współczynnik klikalności powinien korelować z większą liczbą zakupów lub konwersji.

Ale jeśli jako eksperymentalny wskaźnik KPI śledzisz wyłącznie współczynnik klikalności, możesz często oszukać to za pomocą sztuczek kopiowania lub UX.

Jak to ujął Lukas Vermeer:

CTR jest fatalny w optymalizacji rezerwacji hotelowych (np. EMK z tematem „DARMOWE PIWO” poprawi CTR, ale prawdopodobnie zmniejszy sprzedaż, gdy klienci zorientują się, że na Twojej stronie nie ma piwa, a na pewno nie darmowego piwa).

Andrew Chen nazywa to zachowaniem intencji i zakłada, że ​​jest to jeden z powodów, dla których wyniki testów A/B nie przekładają się na najwyższą linię.

2. Kliknięcia linku

Kliknięcia linków to dokładnie to, co brzmi – liczba osób, które kliknęły w dany link. Jest to kolejny wskaźnik współczynnika klikalności, ale w przypadku niektórych firm (np. podmiotów stowarzyszonych) kliknięcie linku wychodzącego jest ważnym wskaźnikiem zamiaru.

Zawsze ustawiam śledzenie kliknięć linków w witrynach, z którymi pracuję, głównie dlatego, że może wskazywać zachowanie użytkownika witryny i możliwości optymalizacji.

Niektóre eksperymenty mają również na celu zmianę kierunku zachowań użytkowników (czasem mapowanie na makrokonwersję, ale czasami tylko sprawdzenie, czy mogą przyciągnąć więcej kliknięć do nowego modułu).

3. Odtworzenia wideo

Jeśli masz wideo na stronie docelowej, ważne jest, aby śledzić, ile osób faktycznie ogląda lub odtwarza wideo.

Widziałem jednak eksperymenty, w których samo dodanie filmu zwiększa konwersje bez faktycznego oglądania samego filmu przez wielu użytkowników. Jeśli więc to śledzisz, nadal zalecamy mapowanie eksperymentów na makrokonwersję na stronie.

4. Uzupełnienia wideo

Istnieje, ile osób obejrzało film i jak daleko ludzie oglądają film. Zakończenie filmu lub wskaźnik ukończenia filmu pokazuje, jak daleko przeciętna osoba przechodzi przez film.

Ponownie, może to być ważne, szczególnie na stronach edukacyjnych, ale nadal radzę wybrać bardziej odpowiedni biznesowy KPI, taki jak współczynnik konwersji leadów. Nadal możesz śledzić ukończenie filmu i prawdopodobnie powinieneś, ale to, że ktoś obejrzy cały film, niekoniecznie oznacza, że ​​jest bardziej prawdopodobne, że dokona konwersji.

5. Widoki na prezentację produktów

Dla wielu firm B2B, które nie mają abonamentu freemium lub bezpłatnego okresu próbnego, ograniczona interaktywna prezentacja produktu to świetny sposób, aby pokazać odwiedzającym, jak faktycznie wygląda i działa produkt.

Oto przykład prezentacji produktów Pendo:

Jako KPI należy traktować to jak wyświetlenia wideo lub wszelkiego rodzaju wyświetlenia modułu promocyjnego. Chociaż mogą i często są skorelowane z bardziej zorientowanym na biznes KPI, takim jak współczynnik konwersji, nie zawsze tak jest. Śledź więc te rzeczy, ale także mierz swoją makrokonwersję jako główny wskaźnik KPI eksperymentu.

6. Wskaźnik ukończenia wycieczki po produkcie

Znowu są tacy, którzy oglądają prezentację produktu i od razu ją odbijają, a ci odwiedzający różnią się od tych, którzy oglądają prezentację produktu i ją uzupełniają. Być może istnieje korelacja między wskaźnikami ukończenia wycieczek produktowych a współczynnikiem konwersji, ale może też nie być.

Jeśli traktujesz prezentację produktu jak produkt sam w sobie, to oczywiście ważne jest, aby zobaczyć, ile osób ją kończy. To dobry wskaźnik UX dla prezentacji produktu.

7. Ceny odsłon stron

Większość kupujących B2B odwiedza stronę z cenami przed zakupem, chociaż ma to znaczenie, gdy w podróży klienta odwiedzają tę stronę. Tak wielu marketerów śledzi współczynnik klikalności do strony z cennikiem jako mikrokonwersję.

To coś w rodzaju wersji dodawania do koszyka, która istnieje w optymalizacji e-commerce.

Dane wejściowe eksperymentu

Dane wejściowe w programie eksperymentów są definiowane na poziomie programu. Nie śledzą bezpośrednio przychodów, ale są działaniami, które korelują z poprawą danych wyjściowych.

W większości przypadków dane wejściowe eksperymentów będą próbować zwiększyć zwrot z eksperymentów lub zmniejszyć koszt prowadzenia eksperymentów (poprzez zwiększoną wydajność).

Przejdę tutaj przez 6 eksperymentalnych wskaźników wejściowych.

1. Eksperymentuj prędkość

Szybkość eksperymentów mierzy, ile eksperymentów uruchomisz w danym okresie.

Ogólnie rzecz biorąc, trzy dane wejściowe, które stanowią podstawę Twojego ROI, to liczba przeprowadzanych eksperymentów, procent z nich zwycięskich i średnia wygrana.

Mówiąc najprościej, przeprowadzanie większej liczby eksperymentów (lub większej liczby wariantów na eksperyment) zwiększa szansę na wygraną (pod warunkiem, że są to eksperymenty dobrej jakości).

Zwiększenie prędkości eksperymentu jest również świetne jako funkcja wymuszająca; pomaga zobaczyć, gdzie występują wąskie gardła w rozwoju i produkcji oraz gdzie potrzebne są dodatkowe zasoby.

2. Ostateczna stawka

Dla mnie nie ma nic bardziej zniechęcającego niż ciąg nierozstrzygniętych eksperymentów. Wolę czasem widzieć rozstrzygającą stratę niż niejednoznaczny test, ponieważ przynajmniej wtedy mogę sugerować, że to, co testuję, ma znaczenie dla doświadczenia użytkownika.

Dlatego niektórzy ludzie zaczynają śledzić ostateczne wskaźniki – liczbę rozstrzygających eksperymentów spośród wszystkich przeprowadzanych przez Ciebie eksperymentów.

Jeśli twój program jest na wcześniejszym etapie lub wydaje się, że prowadzisz wiele nierozstrzygających eksperymentów przy niewielkiej nauce, może to być dobry wskaźnik, który zmusi cię do wyjścia z tej rutyny.

3. Wskaźnik wygranych

Wszyscy chcemy prowadzić zwycięskie eksperymenty. Częścią eksperymentów jest zaakceptowanie, że nie wszyscy będą zwycięzcami (jeśli byli, musisz zastanowić się, ile nisko wiszących owoców masz do czynienia w porównaniu do próbowania nowych innowacyjnych rzeczy).

Wskaźnik wygranych pokazuje, ile z przeprowadzanych eksperymentów jest zwycięskich?

Jeśli zwiększysz liczbę eksperymentów i utrzymasz współczynnik wygranych, Twój ROI wzrośnie (przy założeniu kosztów krańcowych prowadzenia większej liczby eksperymentów). Jeśli utrzymasz szybkość eksperymentu, ale zwiększysz współczynnik wygranych, zwiększy się również ROI.

Jest to kluczowa dźwignia poprawiająca zwrot z inwestycji w eksperymenty.

4. Średni wzrost na wygraną

Na koniec, jaki jest średni wzrost, dzięki któremu wygrywają eksperymenty, które przeprowadzasz?

Jest to bardzo trudne do kontrolowania, ponieważ gdybyśmy mogli przewidzieć wielkość eksperymentu, cóż, nie musielibyśmy go przeprowadzać.

Warto jednak śledzić, ponieważ, podobnie jak szybkość eksperymentu i współczynnik wygranych, jest to wyraźny wiodący wskaźnik wartości programu eksperymentalnego.

Ponadto zachęcanie do większych wygranych może często prowadzić do tego, że marketerzy i sprzedawcy produktów myślą nieszablonowo i próbują większych, bardziej innowacyjnych eksperymentów.

5. Czas rozwoju

Proces eksperymentu dzielę na odrębne etapy.

Zazwyczaj przepływ pracy wygląda tak:

Pomysł na eksperyment > dokument eksperymentu > model szkieletowy > projekt > rozwój > kontrola jakości > uruchom test > analizuj > dokument > wypchnij do produkcji

Na etapie planowania ustalam szacunkowe terminy realizacji dla każdego kroku, a następnie obliczam deltę między terminem oczekiwanym a rzeczywistym. Jeśli różnica jest zbyt duża, oznacza to, że możemy mieć wąskie gardło procesu.

Najczęściej będzie to miało miejsce na etapie projektowania lub rozwoju.

Jeśli możesz poprawić te etapy, możesz zwiększyć przepustowość eksperymentu, co jest jednym z kluczowych wskaźników KPI, którym się przyglądamy.

6. Czas do produkcji

Podobnie jak w przypadku czasu rozwoju, czas do produkcji mierzy etap procesu eksperymentu: ile czasu zajmuje od analizy zwycięskiego eksperymentu do wdrożenia go na żywo w produkcie lub w witrynie.

Ten etap jest często niedoceniany. Eksperymentatorzy będą świętować zwycięstwo, a następnie przejść do następnego, ale ważne jest, jak szybko coś zaimplementujesz. Po pierwsze, zmniejsza żal – czas, w którym pracujesz z nieoptymalnym wariantem.

Po drugie, ulepszanie na tym etapie pozwala skoncentrować coraz więcej czasu programisty na konfigurowaniu kolejnych eksperymentów.

Metryki składu i ogólne kryterium oceny

W eksperymentowaniu istnieje koncepcja znana jako ogólne kryterium oceny. Można to również nazwać metryką Gwiazdy Północnej.

Jest to metryka, która uwzględnia metryki poręczy (tj. metryki, które należy obserwować i uwzględniać, które mogą sugerować szkody lub straty w doświadczeniu użytkownika). Wskaźniki Guardrail mogą obejmować takie rzeczy, jak współczynnik odrzuceń, współczynnik wyjścia, a nawet wyniki postaw, takie jak NPS lub CSAT.

Ogólna ocena czasami łączy kilka różnych wskaźników wyjściowych w jedną metrykę sukcesu.

Te dane prawie nigdy nie są wskaźnikami krótkoterminowymi, takimi jak kliknięcia, ale raczej śledzą jakiś cel makrobiznesowy.

Ronny Kohavi podał te przykłady: „zakupione jednostki, przychody, zysk, oczekiwana wartość w całym okresie życia lub ich ważona kombinacja”.

Chociaż pożądane jest utworzenie ogólnego kryterium oceny, zazwyczaj wymaga to dużo pracy z inżynierią danych, zwłaszcza jeśli Twój model biznesowy to rynek lub coś mniej prostego niż e-commerce (chociaż nawet w tym przypadku trudno jest śledzić długotrwałą wartość klienta na na podstawie eksperymentu).

Szerszy punkt jest jednak taki: im bliżej można się zbliżyć do stworzenia jednego kompleksowego wskaźnika sukcesu – takiego, który uwzględnia długoterminową wartość biznesową, a także metryki ochronne – tym jaśniejszy będzie program eksperymentu i jego cele.

Jak wybrać cele eksperymentu i KPI

OK, przeszliśmy przez kilkanaście wskaźników wyjściowych i kilka wskaźników wejściowych.

Pytanie brzmi zatem, w jaki sposób ty i twoja firma wybieracie, na czym się skoncentrować – ponieważ *jest to wybór iz tego wyboru będą wypływać wszelkiego rodzaju zachęty, zachowania i działania.

Najlepszym sposobem na wybór metryk, celów i wskaźników KPI jest utworzenie drzewa celów.

Speero ma tutaj świetny przykład wizualizacji drzewa celów:

W nim zaczynają od celów na poziomie firmy, które obejmują mierniki satysfakcji klienta. Przekłada się to na cele na poziomie zespołu, które koncentrują się na pomyślnym rozwoju funkcji. Następnie spowalnia do celów na poziomie osobistym, które koncentrują się na testowaniu i wymyślaniu nowych propozycji funkcji.

Uważam, że wszystkie cele zespołowe i osobiste powinny bezpośrednio odzwierciedlać i przyczyniać się do realizacji celów firmy. To jest wyrównanie, a kiedy osiągniesz wyniki, które przyczyniają się do realizacji celów firmy, będziesz znacznie bardziej podekscytowany swoim programem, ponieważ pokazujesz prawdziwy zwrot z inwestycji w misję firmy.

Jak to będzie wyglądać w Twojej firmie, zależy od wielu czynników. Ważne jest, aby przejść przez to ćwiczenie i krytycznie zastanowić się, jakie cele wybierasz.

Wniosek

Sposób, w jaki definiujesz swoje cele w eksperymentach, wpływa na prawie wszystkie działania poniżej tych celów.

Teoretycznie istnieją tysiące metryk, które można realnie śledzić zarówno na poziomie wyjściowym, jak i wejściowym. Wybór odpowiednich wskaźników, nie tylko do śledzenia, ale także do mierzenia skuteczności eksperymentów lub programu, ma kluczowe znaczenie dla powodzenia programu.

Więc w rzeczywistości uważam, że powinieneś skupić się na jak najmniejszej liczbie wskaźników. Pozwala to na koncentrację, ale daje też czas na ich poprawę w ciągu miesięcy lub lat.

Lubię dzielić moje cele na dwie kategorie: metryki wejściowe i wyjściowe. Dane wyjściowe są tym, na podstawie którego oceniam moje indywidualne eksperymenty lub wyniki mojego programu eksperymentów. Zgłaszam je zespołowi i kierownictwu.

Wskaźniki wejściowe pomagają mi zbudować bardziej efektywny program. To na nich oceniam wysiłki własne i mojego zespołu.

Jak definiujesz dane eksperymentalne w swoim programie? Czy koncentrujesz się na wskaźnikach wejściowych, czy tylko na wynikach i wynikach?