Jak zapewnić dokładne wyniki testów A/B pomimo ITP firmy Apple?

Pierwotnie został zaprojektowany w celu blokowania plików cookie innych firm (trackerów, które identyfikują użytkowników w różnych domenach) dla użytkowników Safari. Z biegiem czasu ewoluowało również w kierunku ograniczania niektórych własnych plików cookie, które działają jako moduły śledzące. Na tym polega znaczenie ITP. Świetnie sprawdza się w zapobieganiu śledzeniu złośliwych gości.

Dlaczego powstało Safari ITP?

Przez długi czas, zanim opracowano ITP, dane osób trzecich były głównym źródłem informacji o odwiedzających witrynę dla branży marketingowej, analitycznej i reklamowej.

Odwiedzający nie mieli jednak pojęcia, kto ma dostęp do ich danych osobowych i co może z nimi zrobić. Brak przejrzystości co do tego, kto może uzyskać dostęp do informacji, utrudniał ustalenie, czy firmy korzystają z nich w sposób odpowiedzialny, czy nie.

Rozwiązanie pojawiło się w serii nieoczekiwanych przepisów dotyczących prywatności (RODO, CCPA, CPRA, LGPD, ePrivacy), które umożliwiły użytkownikom zrozumienie, kiedy ich dane osobowe są gromadzone przez firmy lub są niewłaściwie dostępne, dając im możliwość decydowania, w jaki sposób są one wykorzystywane – łącznie z tym, czy w ogóle chcą je zebrać!

Wraz z wprowadzeniem tych przepisów, które chronią prywatność użytkowników, przeglądarki zostały zmuszone do ich przestrzegania. Apple jako pierwszy wprowadził do swojej przeglądarki funkcje prywatności. W 2017 roku uruchomiła Intelligent Tracking Prevention (ITP), aby chronić prywatność swoich użytkowników.

Jak ITP ewoluowało na przestrzeni lat?

ITP zmieniał się na przestrzeni lat, każda wersja wprowadzała nowe ograniczenia. Przejdźmy przez najważniejsze wersje ITP i zobaczmy, jakie zmiany przyniosła każda z nich.

Udostępnij tę infografikę w swojej witrynie:

Czy Safari ITP ma wpływ na Twoje testy A/B?

Jeśli przeprowadzasz eksperymenty z którymkolwiek z poniższych, ITP może mieć wpływ na Twoje wyniki:

Pliki cookie stron trzecich

Ponieważ ITP nie zezwala na pliki cookie stron trzecich, najprawdopodobniej będzie to miało negatywny wpływ i powinieneś rozważyć przejście na inne rozwiązanie.

Własne pliki cookie

Te pliki cookie zostaną usunięte z przeglądarki użytkownika po 7 dniach, co może mieć wpływ na Twoje dane i wrażenia użytkownika.

Lokalny magazyn

Dane te zostaną usunięte z przeglądarki użytkownika po 7 dniach, co może mieć wpływ na wyniki testu i wrażenia użytkownika, jeśli ścieżka konwersji zwykle trwa dłużej niż tydzień.

Testowanie po stronie serwera

W tej chwili jest to najbezpieczniejsze rozwiązanie, ale upewnij się, że Twoje narzędzia testowe obsługują buforowanie i segmentację po stronie serwera.

Jakich narzędzi można użyć do ustalenia wpływu ITP?

Jeśli nadal nie masz pewności, czy zostałeś dotknięty przez ITP, oto kilka narzędzi, które pomogą Ci od razu zauważyć jego wpływ.

Raporty Google Analytics

Możesz skorzystać z raportów Google Analytics i poszukać zmian, które omówimy poniżej. Będziesz głównie używać raportu Przeglądarka i system operacyjny oraz raportu Źródło/medium, aby określić wpływ ITP na Twoje dane.

Kalkulator wpływu ITP dla danych Google Analytics

Możesz również skorzystać z Kalkulatora wpływu ITP, aby zobaczyć, jak ITP 2.1, 2.2 i 2.3 wpłynęły na Twoje dane GA. Jest też artykuł, w którym znajdziesz wyjaśnienie działania tego narzędzia.

Jak wygląda wpływ ITP na wyniki testów A/B?

Teraz, gdy wiesz, jak rozpoznać, czy jesteś dotknięty ITP, możesz się zastanawiać, w jaki sposób ITP może wpłynąć na wyniki testu A/B.

Przyjrzyjmy się więc, jaki wpływ miałaby ITP na wyniki testów A/B i kilka typowych sygnałów, których należy szukać w raportach z testów A/B.

Mniej powracających gości dzięki Safari 12.1 i nowszym

Jednym z sygnałów ostrzegawczych, że ma miejsce Intelligent Tracking Prevention, jest wzrost liczby nowych użytkowników korzystających z przeglądarek wymuszających zmiany ITP, a jednocześnie zmniejszenie liczby powracających użytkowników. Oznacza to, że zyskujesz więcej nowych użytkowników i mniej powracających użytkowników niż zwykle.

Dzieje się tak, ponieważ w przypadku ITP pliki cookie nie mogą już wykonywać swojej pracy. 24-godzinne i 7-dniowe ograniczenia kierowania ITP na odwiedzających zmieniają znaczenie terminu „powracający odwiedzający”.

Ci odwiedzający, którzy wracają do Twojej witryny w ciągu 7 dni od ostatniej wizyty, są dokładnie zgłaszani jako „powracający odwiedzający”. Natomiast użytkownicy, którzy wielokrotnie wchodzili w interakcję z Twoją witryną, ale dokonali konwersji lub dokonali zakupu po 7 dniach, są błędnie klasyfikowani jako „nowi użytkownicy”.

Ta zmiana definicji „powracających odwiedzających” oznacza, że ​​ITP hamuje właściwą atrybucję marketingową, a także segmentację rynku i retargeting.

Następnie pokażemy dokładnie, w jaki sposób można wykryć ten potencjalny problem w raportach Google Analytics.

Filtruj raport „Przeglądarka” według przeglądarek zawierających „Safari”. Ustaw dane wizualizowane na wykresie na „Nowi użytkownicy” i „Powracający użytkownicy”, a szczegółowość na „Miesiąc”. Dzięki temu możesz zauważyć, że z czasem przechwycono mniej powracających użytkowników.

W tym celu można również skorzystać z Kalkulatora wpływu ITP. Wykresy kołowe pokazują, jak zmieniała się liczba nowych i powracających użytkowników. W tym przypadku tylko 15,8% użytkowników z ITP 2.1 lub wyższym może zostać zidentyfikowanych jako powracający użytkownicy. 22,4% innych przeglądarek można zidentyfikować jako powracających użytkowników.

Wyższy % nowych sesji

Ponieważ nie można łatwo rozpoznać powracających użytkowników, zauważysz też, że wpłynie to na wymiar „liczba sesji”.

Oznacza to, że zobaczysz wyższy odsetek użytkowników Safari z liczbą pojedynczej sesji.

Przyjrzyjmy się temu wymiarowi w Google Analytics.

Filtruj raport „Przeglądarka” do dowolnej przeglądarki zawierającej „Safari”. Ustaw dane wizualizowane na wykresie na „% nowych sesji”, a szczegółowość na „Miesiąc”. Pokazuje trendy „% nowych sesji” w czasie.

Możesz również skorzystać z Kalkulatora wpływu ITP i zobaczyć, jak zmienił się „% nowych sesji” po marcu 2019 r., kiedy ITP 2.1 wszedł w życie. Ponieważ czas trwania plików cookie został skrócony, zobaczysz więcej „% nowych sesji” dla Safari w porównaniu do całej witryny, aby zrozumieć konsekwencje makro i mikro.

Błędnie zadeklarowane zwycięskie odmiany

To największa obawa każdego testera. Nikt nie chce ogłaszać fałszywych zwycięzców, ale w rzeczywistości sprawcą może być ITP. Z powodu ITP możesz zauważyć pewne nieprawidłowości z zadeklarowanymi zwycięzcami testów A/B.

Ponieważ odwiedzający mogą być poprawnie klasyfikowani jako nowi lub powracający tylko przez 7 dni, masz bardzo krótki czas z prawidłowymi danymi, aby ogłosić zwycięzcę. Ale jeśli Twoja witryna nie uzyska wystarczającego ruchu przed datą wygaśnięcia, może zostać ogłoszony niewłaściwy zwycięzca lub w ogóle nie zostanie ogłoszony zwycięzca.

Zobacz, jak by to wyglądało w aplikacji Convert Experiences:

Brak atrybucji marketingowej

Jednym z największych koszmarów marketerów jest niemożność prawidłowego przypisania konwersji. Oznacza to, że nie możesz śledzić, które kampanie marketingowe przynoszą sprzedaż, a więc nie możesz określić, w które z nich warto zainwestować.

Obecnie większość marketerów używa parametrów zapytań, takich jak parametry UTM, do przypisywania konwersji.

Mogą one jednak zostać oznaczone przez ITP, który ogranicza odpowiednie pliki cookie z 7 dni do 1 dnia . Daje to bardzo krótkie okno na prawidłowe przypisanie konwersji. Ponadto, jak pokazaliśmy wcześniej, powracający użytkownicy nie są kategoryzowani niezawodnie dłużej niż 7 dni. To błędnie przekierowuje udział w konwersji użytkownika do ostatniego kanału zaangażowania lub transakcji.

W rzadkich przypadkach ITP może nawet być w stanie usunąć wszystkie dodatkowe informacje z adresów URL. Gdy parametry UTM zostaną utracone, nie ma możliwości powiązania konwersji z określonym kanałem lub źródłem, co sprawia, że ​​analizy stają się bezsensowne.

Weźmy dwa przykłady.

Odwiedzający A pochodzi ze strony stowarzyszonej w poniedziałek, a tydzień później wraca, aby dokonać zakupu:

• Przed ITP: sprzedaż jest przypisywana „Partnerowi”
• Po ITP: sprzedaż jest przypisywana do „Bezpośredniej”
• Dlaczego: druga wizyta trwa dłużej niż jeden dzień po pierwszej

Odwiedzający B przechodzi z reklamy na Facebooku do Twojego najnowszego posta na blogu i zakupów:

• Przed ITP: sprzedaż przypisywana jest „Facebookowi”
• Po ITP: sprzedaż jest przypisywana do „Bezpośredniej”
• Dlaczego: wizyta na blogu nie jest powiązana z wizytą w innej domenie

Przejdź do pulpitu nawigacyjnego Google Analytics i wybierz Pozyskiwanie, a następnie Cały ruch z menu rozwijanego. Aby zobaczyć listę, w jaki sposób ludzie znajdują Twoją witrynę, przejdź do źródła/medium.

Jeśli polegasz na ruchu z podmiotów stowarzyszonych, takich jak Facebook i LinkedIn, firma ITP może przepchnąć Twój program do analityki internetowej, aby pokazać zawyżonych unikalnych użytkowników. Partnerzy, tacy jak Facebook i LinkedIn, mogą łatwo rozpoznać unikalny ruch odwiedzających z tych źródeł w zwykłych warunkach niezwiązanych z ITP. Odwiedzający Twoją witrynę przyniosą ze sobą unikalny identyfikator odwiedzającego za pośrednictwem adresu URL, który podmiot stowarzyszony porównałby z plikiem cookie umieszczonym wcześniej w przeglądarce. Podmiot stowarzyszony monitorowałby następnie odwiedzających w różnych domenach za pomocą pliku cookie i identyfikacji odwiedzających.

Poniżej możesz zobaczyć liczbę unikalnych użytkowników pochodzących z Facebooka i LinkedIn bez wpływu ITP:

W przypadku ITP sytuacja wygląda nieco inaczej. ITP stosuje teraz czarną listę domen z możliwością śledzenia w wielu witrynach. Jeśli ITP umieszcza na czarnej liście witryny Twoich partnerów i używają czegoś, co wygląda jak identyfikator odwiedzającego, pliki cookie, które upuszczają, będą miały 24-godzinny okres ważności zamiast zwykłego 7-dniowego. W rezultacie będziesz mógł śledzić użytkowników tylko w ciągu 24 godzin.

Jeśli miałbyś załadować ten sam raport co poprzednio, ale teraz pokazuje on wpływ ITP, zauważysz spadek „Użytkownicy”:

Brak trwałego tworzenia profilu użytkownika

Dzięki ITP tworzenie profilu użytkownika nie jest już dostępne. Profil użytkownika również będzie rozmazany. Narzędzie do śledzenia profilu użytkownika nie jest już w stanie wydawać odwiedzającym stałego identyfikatora użytkownika lub klienta podczas korzystania z ITP. To dynamiczna sytuacja. Wpływa to również na mechanizm „retargetingu”. Aby zapewnić najbardziej odpowiednie treści i reklamy, retargeting opiera się w dużej mierze na stałym identyfikatorze użytkownika.

Istotne personalizacje tylko dla nowych gości

Na personalizacje wpłynie to w zależności od logiki, która je wspiera.

Personalizacja w czasie rzeczywistym, w której doświadczenie użytkownika jest kształtowane przez jego zachowanie podczas tej konkretnej sesji, pozostanie nienaruszona. Jednak rozpoznanie ich preferencji i zachowań po powrocie przestanie działać, chyba że powrócą do Twojej witryny w ciągu 7 dni.

Problemy z funkcjonalnością sieciową

ITP ma również konsekwencje w innych obszarach, takich jak funkcjonalność sieci i marketing afiliacyjny. Jeśli używasz plików cookie zapisywalnych za pomocą skryptu lub jakiejkolwiek innej formy przechowywania zapisywalnych skryptem do zapisywania danych odwiedzających, naprawdę odczujesz skutki ITP. Twoja witryna może regularnie prosić o zgodę na pliki cookie, resetować preferencje dotyczące języka i waluty do ustawień domyślnych i tak dalej.

Kompleksowa wydajność

Ze względu na ograniczenia dotyczące własnych plików cookie w Twojej witrynie, ITP ma wpływ na Twój marketing cyfrowy, a w rezultacie na Twoją firmę jako całość. Ponieważ platformy reklamowe i analityczne wykorzystują te pliki cookie do śledzenia i raportowania, wdrożenie ITP oznacza, że ​​nie można już całkowicie ufać wglądom w dane marketingowe.

Do symulacji wpływu ITP użyto testu A/B na żywo

Rozważ witrynę, która otrzymuje 30% ruchu od użytkowników Safari. Odbiera 200 000 unikalnych użytkowników miesięcznie i ma średnio 3% współczynnik konwersji.

Stworzyliśmy symulację tego, co by się stało, gdyby przeprowadzono dwustronicowy test A/B (Oryginał i Wariant1). Wariant1, zgodnie z teorią, przewyższa oryginał.

Na naszym wykresie widać jednak, że gdy ITP nie jest usuwane, Oryginał radzi sobie lepiej.

Symulacja pokazuje, że z powodu ITP narzędzie do eksperymentów po 7 dniach zgłosi, że Oryginał jest zwycięzcą.

Jest to przeciwieństwo wyników uzyskanych po usunięciu wpływu ITP, co pokazuje, że Wariant 1 powinien być faktycznym zwycięskim wynikiem.

Zasadniczo ITP powoduje, że twój test A/B daje całkowicie niedokładne i niewiarygodne wyniki. Jest jednak coś, co możesz z tym zrobić. Czytaj dalej, aby zobaczyć, co to jest.

Co się stanie, jeśli zignorujesz wpływ ITP na wyniki testu A/B?

W swojej polityce zapobiegania śledzeniu Apple stwierdził:

Oznacza to, że jeśli Twoja witryna spróbuje ominąć wbudowane funkcje anty-śledzące firmy Apple, zostanie potraktowana jako złośliwe oprogramowanie.

Jeśli spróbujesz skorzystać z okresu prolongaty, możesz nie zauważyć od razu wpływu na raportowanie Analytics, ale zauważysz niespójność między Google Analytics/Twoją platformą eksperymentalną a innymi zewnętrznymi dostawcami, którzy biorą pod uwagę zmiany ITP.

Rozwiązanie firmy Convert w celu obejścia ITP

Zacznijmy od przykładu, aby zrozumieć, co ITP może zrobić z Twoimi doświadczeniami i raportami Convert (jeśli nie zastosujesz naszego rozwiązania poniżej).

Jeśli na przykład ścieżka składa się z trzech kroków, a użytkownik ukończy ostatni krok ósmego dnia, przepływ ścieżki nigdy nie zostanie ukończony, nawet jeśli użytkownik wykona wszystkie kroki. Wynika to z faktu, że dane zebrane podczas podróży klienta mogą wygasać po 7 dniach.

Poza tym odwiedzający jest traktowany jak nowy gość, a proces zbierania danych rozpoczyna się od nowa.

Wyniki stają się niejasne, ponieważ ten sam użytkownik jest śledzony wiele razy.

Może to również oznaczać, że jeśli odwiedzający powróci na stronę po 7 dniach, zostanie mu zaoferowana inna wersja tego samego testu niż ta, która była wyświetlana wcześniej.

Może to następnie prowadzić do niespójności w doświadczeniu użytkownika i mieć wpływ na dokładność kampanii.

Odwiedzający, którzy trafiają do Twojej witryny z domeny z funkcjami śledzenia w wielu domenach i ciągiem zapytania lub identyfikatorem fragmentu w adresie URL, są rozpoznawani jako nowi użytkownicy, jeśli przybędą 24 godziny po poprzedniej wizycie, mimo że trafili do witryny nieco dłużej przed tym.

Dzieje się tak, ponieważ pliki cookie przechowują informacje o tym, jaka odmiana została pokazana użytkownikowi.

Co więc może się nie udać w Twoich doświadczeniach i raportach z usługi Convert?

• Ktoś, kto wraca kilka razy podczas doświadczenia, może mieć za każdym razem inną odmianę.
• Ze względu na różne standardy ochrony prywatności w każdej przeglądarce ta sama aktywność może przebiegać inaczej.
• Konwersje mogą nie być odpowiednio przypisane do doświadczeń oferowanych w długich oknach konwersji (dłuższych niż 7 dni).
• Ponieważ wyraźne oddzielenie wpływu zmienności staje się trudniejsze, Twój program optymalizacyjny zauważy bardziej „niejednoznaczne” lub „płaskie” wyniki.
• Ponieważ powracający użytkownicy są błędnie oznaczani jako nowi, eksperymenty prawdopodobnie wcześniej niż oczekiwano przekroczą wstępnie obliczoną minimalną wielkość próbki.
• Użytkownicy nie będą identyfikowalni podczas wizyt.

Na szczęście nic z powyższych nie musi ci się przydarzyć.

Aby rozwiązać powyższe problemy, przed podjęciem decyzji o przeniesieniu procesu generowania plików cookie z przeglądarki na serwer zbadaliśmy wiele technik ograniczania wpływu ITP.

Ponieważ nowe ograniczenia dotyczące czasu trwania plików cookie dotyczą tylko plików cookie tworzonych przez przeglądarkę, przenieśliśmy część dotyczącą wydawania plików cookie na Twój serwer sieciowy, co oznacza, że ​​pliki cookie będą tworzone przez Twój serwer, a nie przeglądarki użytkowników.

Dla użytkowników, którzy nie mogą zastosować naszego rozwiązania ITP

Jeśli powyższe rozwiązanie nie jest możliwe po Twojej stronie, Convert oferuje filtrowanie wyników doświadczeń według domyślnego zestawu segmentów użytkowników, w tym przeglądarki, zaraz po wyjęciu z pudełka.

Użyj opcji Segment przeglądarki, aby wyświetlić wyniki zawierające i wykluczające Safari, aby sprawdzić spójność wyników eksperymentu w różnych przeglądarkach.

Oto jak:

Przejdź do zakładki „Raport” swojego doświadczenia:

W menu rozwijanym Segment użyj pól wyboru „Filtruj według przeglądarki”:

Wybierz wszystkie przeglądarki wymienione w menu, z wyjątkiem Safari.

Umożliwia to przeglądanie wyników ze wszystkimi typowymi danymi sprawozdawczymi i obliczeniami istotności statystycznej, z populacją odwiedzających, na którą może mieć wpływ ITP, i bez niej.

Pamiętaj tylko, że inne przeglądarki mogą domyślnie wymuszać te zmiany prywatności, więc to obejście ma zastosowanie tylko do czasu, gdy ITP zostanie wymuszone we wszystkich innych przeglądarkach (podobnie jak w Safari).

Myśli zamykające

W jaki sposób firmy mają zarządzać tym obszarem, biorąc pod uwagę stale zmieniające się wymagania dotyczące prywatności, jednocześnie poprawiając działania marketingowe, zachowując przewagę konkurencyjną i zaspokajając rosnące zapotrzebowanie na zindywidualizowane doświadczenia konsumenckie?

Niestety nie ma prostego rozwiązania.

Najważniejszą rzeczą do zapamiętania jest to, że jeśli Twoja firma jeszcze tego nie zrobiła, ważne jest, aby upewnić się, że zespoły są świadome problemów związanych z prywatnością i potencjalnych konsekwencji gromadzenia danych, analizy wyników i optymalizacji.

Krytycznym błędem byłoby przymknięcie oka lub zdyskontowanie potencjalnych efektów tylko dlatego, że Safari może stanowić niewielką część ruchu.

Podczas gdy Safari przoduje w zwiększaniu ochrony danych, Firefox i Chrome podejmują również kroki w celu poprawy swojej prywatności. W rezultacie te limity mogą dotyczyć większej liczby użytkowników Twojej witryny.

Jeśli Twoje zespoły mają problemy z nadążaniem za wszystkimi nowymi aktualizacjami prywatności i ustalają, jak wpłyną one na biznes, daj nam znać.

Trzy główne rozwiązania strategiczne firmy Convert koncentrują się na aktualizowaniu ważnych aspektów działalności, na które mogą mieć wpływ zmieniające się przepisy dotyczące prywatności, takie jak:

• Poprawa doświadczenia klienta
• Poprawa wyników marketingowych
• Zdobywanie przewagi konkurencyjnej

Obecnie pomagamy naszym klientom w nawigowaniu po aktualizacjach ITP i upewnianiu się, że w ich różnych systemach zastosowano niezbędne obejścia. Daj nam znać, czy możemy zrobić to samo dla Ciebie.