Statistici de testare A/B: de ce contează statisticile în experimente

Un ghid rapid pentru statistici și testare A/B: termenii pe care trebuie să-i cunoașteți

Este aproape imposibil să desfășurăm un experiment rezonabil de testare A/B fără a avea un control asupra statisticilor.

În timp ce o platformă precum Convert Experiences se poate ocupa de toate măsurile, raționamentul și analizele statistice pentru tine, o înțelegere de bază a unor termeni statistici te va ajuta cu siguranță.

Să începem cu elementele de bază.

Eșantion și Populație

Utilizarea întregului trafic de pe site-ul dvs. pentru testarea A/B vă va oferi, teoretic, o idee generală despre populația dvs. Cu toate acestea, aceasta poate fi o utilizare suboptimă a resurselor, deoarece populația în întregime este imposibil de capturat. Aici sunt utile mostrele. Deși există diferite metode de eșantionare, utilizarea unei abordări ale eșantionării aleatorii ajută la asigurarea că nu există părtiniri inerente în selecția eșantionului. Această abordare este inspirată de practica farmaceutică-medicală a studiilor randomizate controlate.

Medie, Mediană și Mod

În termeni cei mai simpli, media reprezintă media, mediana reprezintă valorile situate la mijloc atunci când toate numerele sunt aliniate liniar (a 50- ^a percentila în distribuție), iar modul este cea mai repetă valoare. Acești trei termeni sunt folositori atunci când parcurgeți statisticile rezumate ale unui test A/B.

Varianta si abaterea standard

Acestea sunt concepte foarte importante care măsoară dispersia în punctele de date. Cu alte cuvinte, cât de departe sunt datele de medie. Abaterea standard este rădăcina pătrată a variației. Acesta este motivul pentru care Deviația standard este un judecător mai bun al dispersiei, deoarece deține aceeași unitate de măsură ca și media. De exemplu, înălțimea medie a bărbaților adulți din SUA este de 70 de inci, cu o abatere standard de 3 inci. Dacă ar fi să folosim Variance în acest exemplu, valoarea ar fi de 9 inci pătrați, deci este mai puțin intuitiv. Gândiți-vă la abaterea standard ca la abaterea „obișnuită” a datelor.

Ipoteza nulă și alternativă

A Ipoteza nulă face apel la status quo-ul. Ipoteza dvs. nulă ar afirma că orice modificare pe care ați observat-o în date, de exemplu, creșterea, se datorează pur și simplu aleatoriei. O ipoteză alternativă ar fi că modificarea nu este aleatorie, ci indică un efect cauzal, ceea ce înseamnă că modificările dvs. au avut un impact asupra utilizatorilor dvs.

De exemplu, presupuneți că încercați să definiți cel mai bun titlu pentru pagina dvs. de destinație. Ai o variantă de control și o variantă alternativă. Efectuați un test A/B și obțineți rate de conversie diferite pentru ambele, așa că există o creștere (pozitivă sau negativă). Ipoteza nulă aici ar fi că diferența se datorează aleatoriei. Ipoteza alternativă ar afirma că modificarea este atribuită unei anumite variante.

Când rulați un test A/B, veți obține unul dintre următoarele patru rezultate:

• Respingi Ipoteza Nulă.
• Nu reușiți să respingeți ipoteza nulă.
• Respingi în mod fals Ipoteza Nulă.
• Nu reușiți în mod fals să respingeți Ipoteza Nulă.

În mod ideal, rezultatele a și b ar trebui să fie cele pe care să le urmăriți, deoarece acestea sunt scenariile din care puteți învăța ceva. Acesta este modul în care vă puteți îmbunătăți produsul și, în cele din urmă, vă puteți crește profitul. Rezultatele c și d corespund erorilor de mai jos.

Erori de tip I și de tip II

Ultimele două opțiuni din rezultatele posibile ale testului dvs. A/B sunt erorile de tip I și de tip II, denumite fals pozitive și fals negative.

O eroare de tip I este atunci când respingeți în mod fals o ipoteză nulă adevărată. Adică schimbarea pe care ai observat-o s-a datorat întâmplării, dar ai concluzionat altfel, deci este un fals pozitiv. În cele mai multe cazuri, tot ceea ce este necesar pentru a diminua valorile false pozitive este creșterea nivelului de încredere necesar pentru a atinge semnificația statistică. Acesta este de obicei setat la 95%, dar pentru experimentele esențiale pentru misiune, este posibil să doriți să o setați la 99% de încredere, ceea ce va reduce șansele de a face o astfel de eroare la doar 1%.

Erorile de tip II sunt exact opusul. Aici, nu reușiți să respingeți o ipoteză nulă falsă. Aceasta înseamnă că a existat un impact real, pozitiv sau negativ, asupra ratei de conversie, dar nu părea a fi semnificativ statistic și ai declarat în mod fals că s-a datorat întâmplării aleatorii. Cel mai adesea, acest lucru se datorează lipsei de putere statistică.

În limbajul puterii statistice, litera greacă α reprezintă erori de tip I și β reprezintă erori de tip II. Este ușor să se confunde între puterea statistică și semnificația statistică.

Acest tabel explică clar:

Încrederea statistică

Cu cât testul tău primește mai mulți vizitatori, cu atât crește încrederea ta statistică, până când ajunge la 99% dacă îl lași să ruleze suficient de mult. Dar de obicei, cu excepția cazului în care este critic pentru misiune, un nivel de încredere de 95% este considerat suficient de bun pentru majoritatea testelor A/B (asigură că șansa de a face un fals pozitiv, adică eroarea de tip I este de cel mult 5%).

Puterea Statistică

Puterea statistică se referă la probabilitatea de a detecta un efect atunci când există unul.

Puterea statistică și încrederea statistică sunt concepte înrudite care lucrează împreună pentru a măsura evoluția unui test A/B. În mod ideal, ambele ar trebui să depășească valorile de prag înainte de a încheia testul (mai multe despre asta mai jos).

Interval de încredere și marja de eroare

În general, rezultatul experimentului dvs. de testare A/B ar fi ceva de genul „Rata de conversie este de 3% +/- 1%”. În această declarație, „1%” reprezintă marja dvs. de eroare. Pe scurt, aceasta este abaterea rezultatelor conversiei care este rezonabilă pentru a menține rezultatele testelor acceptabile. Cu cât marja de eroare este mai mică, cu atât rezultatele testelor devin mai fiabile. Pe măsură ce creșteți dimensiunea eșantionului, veți observa că marja de eroare scade.

Dacă desfășurați teste A/B cu Conversia experiențe, aveți acces la Raportul de experiență care detaliază variația, rata de conversie, îmbunătățirea, încrederea și conversiile pentru vizitatorii lunari unici . Ar trebui să obțineți cel puțin 97% încredere pentru a declara un câștigător. În mod implicit, platforma Convert a fost optimizată pentru a începe raportarea analizelor experimentului numai după ce au fost realizate cinci conversii. Pentru a asigura fiabilitatea testelor, Convert folosește teste Z cu două cozi.

La începutul experimentului, dacă una dintre variante are performanțe semnificativ mai bune, ar trebui să continuați cu durata prevăzută a testului. Rezultatele timpurii pot fi cauzate de zgomot sau aleatoriu.

Efecte minime detectabile

MDE este creșterea minimă de realizat, peste care schimbarea devine demnă de implementat. Pregătirea pentru un test prin alegerea unui MDE scăzut permite experimentului să capteze modificări mai detaliate. Setarea unui MDE mai mare înseamnă că experimentul dvs. poate detecta doar modificări majore și, prin urmare, poate funcționa chiar și cu eșantioane de dimensiuni mai mici. Problema aici este că efectuarea unei schimbări drastice pentru a genera o creștere suficient de mare, în cele mai multe cazuri, nu va fi posibilă decât dacă site-ul dvs. nu a fost niciodată optimizat înainte.

Cel mai bun mod de a vă gândi la MDE este să utilizați calculatorul nostru pentru dimensiunea eșantionului. Începeți prin a introduce traficul și conversiile săptămânale și vedeți ce se poate realiza într-o perioadă de timp.

Valoarea P

Cassie Kozyrkov, om de știință șef de decizie de la Google a inventat o definiție foarte simplă pentru a explica valoarea P: „Cu cât valoarea p este mai mică, cu atât pare mai ridicolă ipoteza nulă!”

Modul în care îl folosim este comparându-l cu nivelul de semnificație. Să presupunem că avem un nivel de semnificație de 5%, care corespunde direct unui nivel de încredere de 95%, apoi de îndată ce valoarea p devine inferioară 5/100 = 0,05, putem spune că testul nostru a atins semnificație statistică și vom poate respinge ipoteza nulă.

Dacă vrem să fim și mai siguri, ne setăm nivelul de semnificație la 1% și apoi așteptăm ca valoarea p să scadă sub 0,01. Asta ar echivala cu o încredere de 99% în rezultatele noastre.

Distribuția traficului

Distribuția traficului ajută la alocarea unui anumit procent din trafic pentru experiment. Să presupunem că ai 100 de vizitatori pe site-ul tău în fiecare lună. Din aceasta, puteți alege să alocați 30% din trafic pentru experiment. În mod implicit, fiecare variantă din testul dvs. A/B va primi o cotă egală din trafic. Deci, dacă ai două variante, fiecare va primi 15% din trafic.

Utilizarea Convert Experiences vă ajută să configurați această alocare a traficului în câteva clicuri. Pe măsură ce procesul dumneavoastră de experimentare evoluează, puteți crea mai multe variante și puteți optimiza alocarea pentru a se potrivi nevoilor dumneavoastră.

Cum pot ajuta statisticile în testarea A/B?

De ce nu poți compara performanța variantelor A și B?

Desfășurarea unui experiment de testare A/B folosind chiar și o platformă convenabilă precum Convert Experiences necesită anumite resurse în termeni de timp și energie. Atunci, nu ar avea sens să creăm doar două variante, să le măsuram ratele de conversie respective și să o alegem pe cea cu performanță mai bună?

Deși sună pragmatic și plin de resurse, poate duce la concluzii greșite și chiar la rezultate interpretate greșit, deoarece nu au fost efectuate teste statistice asupra datelor. Așadar, observarea unei schimbări nu este suficientă, trebuie să știi cât timp să aștepți pentru a fi sigur de acea schimbare și, pentru asta, trebuie să efectuezi un test statistic, cum ar fi un test Z, un test T sau un test G.

Privind doar mărimea liftului sau a efectului nu vă va ajuta:

A. Determinați factorii cauzali probabili asociați cu câștigarea unei variante

Un test A/B, prin proiectare, te-ar constrânge să alegi două variante care au doar unele diferențe materiale. Pentru un set mai mare de diferențe, în general, ați opta pentru un test multivariat mai extins.

Testarea A/B funcționează pe baza regulii că, de la început, cunoașteți variabilele dependente și independente din experiment. De exemplu, dacă creați două seturi cu CTA diferite puse în același aspect, știți că diferența dintre CTA este factorul cauzal dacă puteți respinge ipoteza și observați o schimbare a conversiilor.

Dacă pur și simplu rulați două variante complet diferite, chiar dacă obțineți o tracțiune relativ mai bună asupra uneia, nu v-ar ajuta să obțineți informații despre publicul dvs. sau să determinați de ce funcționează.

b. Faceți diferența între aleatorie și cauzalitate

Structura unui test A/B ar necesita o ipoteză nulă și o ipoteză alternativă. Ipoteza nulă ar analiza în general aleatoritatea fiind factorul cauzal și nu eficacitatea uneia dintre variantele tale, în determinarea ratelor de conversie. O ipoteză nulă nu este respinsă atunci când semnificația statistică nu este atinsă în timp și se presupune că orice variabilitate ulterioară este rezultatul aleatoriei. Pe de altă parte, dacă puteți respinge ipoteza nulă, înseamnă că există o probabilitate mare (la nivelul stabilit de încredere, de exemplu 95% sau 99%) să fi descoperit un factor cauzal cu un impact pozitiv sau negativ asupra conversii.

c. Alocați costuri numai modificărilor cu probabilitate mai mare de conversii îmbunătățite

Testele A/B efectuate ar veni, de asemenea, cu măsuri statistice, cum ar fi niveluri de semnificație, intervale de încredere și marje de erori. Astfel de concepte analitice nu există în majoritatea analizelor ad-hoc.

Luați, de exemplu, o comparație între două pagini de trimitere a formularelor cu unele diferențe semnificative în aspectul și afișarea informațiilor. Unul are rezultate relativ mai bune decât celălalt. Acum, cum determinați că veți putea replica rezultatele? Deoarece nu aveți date care să arate cât de semnificative au fost rezultatele experimentului, nu există nicio modalitate de a judeca dacă rezultatele experimentului pot fi replicate sau nu.

Evaluarea și eliminarea expunerii la erorile de tip I și II pentru testarea A/B

Erorile de tip I (o ipoteză nulă adevărată este respinsă sau un pozitiv fals) și erorile de tip II (o ipoteză nulă falsă nu este respinsă sau un negativ fals) pot avea consecințe grave asupra activelor de piață pe care le optimizați cu testarea A/B.

Niciun instrument nu vă poate arăta în mod explicit o eroare de tip I sau de tip II, dar vă poate ajuta să le minimizați, de exemplu, asigurându-vă că este atins un nivel de încredere de 95% sau mai mult și că puterea statistică a atins cel puțin 80%

Să presupunem că faceți două variante ale paginii finale în ciclul dvs. de achiziție, afișați-o la aproximativ 10.000 de vizitatori în decurs de 10 zile și obțineți rezultatele. Vedeți o performanță mai bună pentru o variantă și, prin urmare, o aplicați pe site-ul dvs. de comerț electronic.

Problema aici este că veți afla despre o eroare de tip I sau de tip II în experimentul dvs. de testare A/B după ce nu reușiți să replicați rezultatele experimentului în realitate. Există modalități mai bune de a vă asigura că nu aveți erori de tip I și de tip II în testul dvs. A/B.

În primul rând, asigurați-vă că dimensiunea eșantionului este suficient de mare pentru a asigura experimente statistice solide. Puteți utiliza calculatorul Convert pentru a obține dimensiunea potrivită a eșantionului.

Apoi, asigurați-vă că aveți un nivel de semnificație de cel puțin 95% și nu opriți testul până când puterea dvs. nu ajunge la 80%. Cu MDE corectă și lungimea experimentului dată de calculator, puteți fi practic asigurat că controlați erorile de tip I sau de tip II. Primul este direct influențat de nivelul de semnificație pe care îl setați, iar al doilea de puterea statistică cu care sunteți dispus să trăiți. În mod ideal, nivelul tău de încredere ar trebui să fie superior sau egal cu 95%, iar puterea ta statistică să se fi acumulat la cel puțin 80%. În ambele cazuri, cu cât mai mulți, cu atât mai bine. Dacă ambii parametri ajung la 99%, se asigură că riscul erorilor de tip I sau II este bine controlat și inferior la 1%.

Atât descoperirea, cât și eliminarea unor astfel de probleme sunt posibile doar datorită gândirii statistice pe care funcționează testarea A/B.

Stabilirea dacă experimentul dvs. de testare A/B este scalabil sau nu

În exemplul de mai sus, chiar dacă vedeți că o variantă câștigă alternativa ei în decurs de o lună, nu veți putea scala cu ușurință experimentul. Acest lucru se datorează faptului că dimensiunea eșantionului de 10.000 de vizitatori a fost destul de mică.

Statisticile de testare A/B vă oferă multe ghiduri euristice pentru a vă asigura că testul este scalabil, precum și rezultatele acestuia. Rezultatele fiecărui experiment de testare A/B vor deschide calea pentru mai multe teste în viitor.

În primul rând, începeți prin a vă asigura că aveți suficient trafic în fiecare lună pentru a testa orice variantă a elementelor UI sau UX ale platformei dvs. Experții de la Convert recomandă un trafic de cel puțin 10.000 de vizitatori și 1.000 de conversii pentru fiecare variantă pentru a avea rezultate solide din punct de vedere statistic. Odată ce le aveți, asigurați-vă că nu testați mai multe elemente simultan, nu permiteți testului să ruleze pentru o durată considerabilă și poate atinge un nivel rezonabil de semnificație.

Dacă aveți un număr mic de vizitatori, puteți efectua în continuare teste A/B pentru campanii de e-mail, campanii de rețele sociale și chiar grupuri de anunțuri Google. Sau, puteți opta pentru un MDE ridicat pentru a obține câteva perspective ample despre publicul dvs.

Realizarea experimentelor rentabile

Alocarea oricărui procent din trafic pentru un test A/B este un cost. Afișați o pagină sau un element UX posibil sub-optim pentru audiența dvs. și, prin urmare, este posibil să pierdeți un venit potențial. În timp ce testul A/B vă va oferi o idee definitivă de a scala un element sau o pagină mai optimizată, care poate recupera aceste venituri probabile pierdute, acest cost poate fi folosit ca o constrângere pentru a vă optimiza procesul de testare.

După efectuarea unui test A/B, puteți trece la un test A/B/n unde veți avea mai multe variante de testat.

Multe calculatoare gratuite disponibile online vă vor arăta dimensiunea eșantionului de care aveți nevoie pentru rezultate precise din acest test. Aceste calculatoare funcționează pe o ipoteză simplistă – calculați dimensiunea eșantionului pentru un test A/B și apoi înmulțiți-l cu numărul de variante din experiment. Acesta este un mod ineficient de a proceda. Calculatorul nostru oferă opțiuni eficiente de corecție a comparațiilor multiple, cum ar fi Šidak, așa că utilizați întotdeauna instrumentele potrivite la fiecare pas al experimentului pentru a vă asigura că obțineți rezultatele necesare fără a pierde banii suplimentari acumulați din calculele greșite.

Estimarea și controlul aleatoriei în eșantionul dvs

Deși există mai multe principii matematice complexe ale aleatoriei, majoritatea indică aceeași caracteristică - imprevizibilitatea.

Aleatoriile poate fi percepută ca opusul cauzalității clar definite. În loc să știi ce elemente au fost responsabile pentru conversia mai mare, trebuie să te bazezi pe niște factori externi nedefiniți ca factori cauzali probabili pentru rezultate. Deoarece nu controlați acești factori externi, nu puteți replica rezultatele testelor la scară.

Dacă nu utilizați un proces de testare A/B solid din punct de vedere statistic, nu vă deranjați să examinați impactul aleatoriei. Dar aleatorietatea va exista în continuare. Este posibil să ajungeți să implementați capital pentru un activ de marketing care se convertește în timpul testului, dar nu funcționează la scară. Mai rău, este posibil să diluați impactul canalului de conversie existent.

Statisticile de testare A/B vă pot ajuta să rezolvați această problemă. Când formulați o ipoteză, creați un scenariu în care aleatorietatea ar putea fi motivul pentru rezultatele modificate. Dacă puteți respinge acest scenariu, ați respins, în esență, aleatoria ca fiind cauza unor conversii mai bune. Cu mai multe teste înainte în proces, concentrându-se pe alte zone din pâlnia de conversie, puteți elimina și mai mult spațiul pentru aleatorie în procesul de optimizare a conversiilor.

Ideal ar fi să definiți un criteriu de evaluare generală (OEC) cu o metrică principală și alte valori pentru balustradă și să efectuați experimente pentru a-l optimiza pe primul, asigurându-vă în același timp că cei din urmă nu se degradează. De exemplu, doriți să creșteți ratele de conversie (valoarea principală), dar nu doriți să scadă implicarea utilizatorilor, deoarece aceasta ar indica clienți nemulțumiți.

O carte grozavă, probabil cea mai importantă carte despre experimentare de până acum, este Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, de Ron Kohavi, Diane Tang, Ya Xu.

Asigurarea că nu aveți nevoie de un test multivariat mai cuprinzător

Instrumente cuprinzătoare precum Convert Experiences vă pot ajuta să efectuați mai multe teste A/B. Deși aceasta poate părea o funcționalitate banală, vă poate ajuta să înțelegeți dacă aveți nevoie de un test multivariat mai cuprinzător sau dacă rezultatele testului dvs. A/B sunt suficient de satisfăcătoare.

Toate acestea depind de ceea ce faci imediat după ce ai înțeles rezultatele testului. Începi să implementezi pagina sau elementul câștigător sau mergi pentru teste suplimentare? Dacă dimensiunea eșantionului, nivelul de semnificație și MDE sunt satisfăcătoare, de obicei puteți implementa alternativa câștigătoare. Dacă sunteți de cealaltă parte, puteți utiliza teste suplimentare pentru a găsi cauza diferitelor rate de conversie.

De exemplu, să presupunem că testați dacă un anumit CTA pe pagina dvs. de destinație ajută la conversii mai bune sau nu. Îți faci testul A/B și ai un câștigător clar. Dar, unele măsuri statistice, cum ar fi nivelul de semnificație, nu sunt satisfăcute. Deci, luați varianta câștigătoare și creați o altă variantă pentru a efectua un alt test A/B.

Dacă rezultatele sunt replicate, puteți avea mai multă încredere în varianta câștigătoare. Dacă nu puteți replica nivelurile de conversie ale primului test, este posibil să aveți nevoie de un test multivariat pentru a găsi elementul responsabil pentru creșterea conversiilor.

Testarea A/B vă poate ajuta să evitați dependența de datele auto-raportate

Chiar și cea mai mică dintre variabile poate avea un impact major asupra comportamentului utilizatorului detectat. De exemplu, efectul de pâlpâire are un impact considerabil asupra ratelor de conversie. Pâlpâirea este situația în care pagina dvs. de destinație prestabilită este afișată înaintea paginii dvs. variante, atunci când un vizitator face parte din traficul dvs. eșantion utilizat pentru testarea A/B. Acest lucru poate duce la rezultate poluate – chiar și atunci când rulați un proces consistent din punct de vedere analitic.

Când pot apărea posibile probleme cu procesele statistice și analitice, cum ar fi testarea A/B, rularea unui proces auto-raportat poate duce doar la rezultate mai suboptime sau chiar false. Procesele de auto-raportare sunt adesea poluate de mai multe părtiniri și date zgomotoase, deoarece întreaga responsabilitate de a-și aminti preferințele și de a le raporta revine utilizatorului, care nu are niciun stimulent să fie sincer. În plus, există distorsiuni de ordonare și alți factori externi care pot duce la date greșite.

Testarea A/B vă pune pe scaunul de observator și elimină necesitatea oricărei forme de raportare a utilizatorului. Cu instrumente precum Convert, nici măcar nu trebuie să vă faceți griji cu privire la pâlpâirea.

Luarea deciziilor organizaționale bazată pe date

Un experiment de testare A/B nu lasă loc pentru presupuneri în acest proces. La fiecare pas, platforma dvs. de testare colectează observații, înregistrează date și efectuează analize. În acest fel, indiferent de preferințele superiorilor sau ale investitorilor sau agențiilor dvs., rezultatele pe care le obțineți vor fi bazate pe date.

Când există mai multe părți interesate implicate în proces, este ușor ca rezultatul final să fie suboptim. Testarea A/B este un proces analitic, care elimină spațiul pentru orice astfel de luare a deciziilor ierarhice sau gândire părtinitoare.

De exemplu, agenția dvs. poate recomanda o revizuire a interfeței de utilizare pentru pagina dvs. de destinație, deoarece aceasta se va adăuga la facturabilele pentru luna și, dacă este făcută corect, s-ar putea chiar să nu vă împiedice conversiile. Cu toate acestea, cu un test A/B, dacă ipoteza dvs. nulă rămâne puternică, veți ști cu siguranță că nu sunt necesare astfel de modificări deocamdată. Deoarece aveți datele care să vă susțină raționamentul, nu trebuie să cedeți la postură chiar și la conducerea firmei dvs. Acest lucru vă poate ajuta, de asemenea, să luptați împotriva HiPPO (Opinia celui mai bine plătit). Datele nu mint și un test A/B este cea mai bună dovadă pe care o ai la dispoziție.

Înțelegerea rezultatelor experimentului cu calcule transparente

Înțelegerea rezultatelor testului dvs. A/B este aproape la fel de importantă ca și efectuarea unui test riguros din punct de vedere statistic. Orice instrument poate rula testul, poate compara alternativele și vă poate arunca un câștigător. Ceea ce aveți nevoie este un indiciu al unei relații cauzale. În timp ce măsurile statistice pot evidenția acest lucru, Convert Experiences a fost conceput pentru transparență în calcule.

Platforma are un timp de funcționare de 99,99%, permite peste 90 de integrări terță parte, permite urmărirea obiectivelor terțelor părți și acceptă verificări de cod și erori. În acest fel, până la sfârșitul procesului de testare, veți avea o idee clară despre care element este câștigătorul, de ce este mai preferabil și dacă aveți nevoie de mai multe teste pentru a fi mai încrezător în ceea ce privește scalarea acestuia.

Folosirea statisticilor A/B pentru a trece spre maturitatea CRO

Ce este maturitatea CRO și cum vă poate ajuta testarea statistică A/B să ajungeți acolo?

În timp ce optimizarea ratei de conversie poate părea a fi un mod izolat de gândire, necesită schimbări bazate pe proces în cadrul companiei, încercând să se concentreze mai mult pe conversii. Provocarea este că CRO este un domeniu relativ nou. Într-un sondaj din 2018, aproape 62% dintre specialiști în marketing lucrau în CRO de mai puțin de 4 ani.

Un specialist CRO de la Shopify a creat o ierarhie a modului în care firmele tind să transcende spre maturitatea CRO. Pe măsură ce vă adânciți în această ierarhie, veți descoperi cât de esențială este experimentarea statistică solidă pentru evoluția proceselor dumneavoastră organizaționale:

1. Efectuarea cercetărilor calitative și cantitative pentru a identifica punctele de contact suboptimale

Tabloul de bord Google Analytics vă va ajuta adesea să explorați paginile sau punctele de contact din experiența consumatorului care necesită atenție imediată. Rezolvarea unei probleme specifice, cum ar fi ratele ridicate de respingere pe pagina de pornire, cărucioarele abandonate, completarea incompletă a formularelor și ignorarea abonamentelor prin e-mail pot fi folosite ca punct de plecare pentru optimizarea pâlniei de conversie.

2. Formularea de idei de testare și experimentare pe baza cercetărilor efectuate anterior

Statisticile de testare A/B vă pot ajuta să înțelegeți performanța de referință pentru site-ul dvs. web și chiar concurența. Puteți folosi acest lucru pentru a înțelege ce elemente sunt în urmă și pentru a începe variantele de testare A/B care pot funcționa mai bine.

3. Testarea și experimentarea ideilor cu cele mai înalte priorități

Când vă configurați ideile de testare A/B în Experiențe Convertiți, veți seta valori precum MDE. Astfel de metrici te vor ajuta să prioritizezi testele care vor avea un impact maxim asupra afacerii tale, în ceea ce privește alocarea resurselor necesare derulării experimentului.

4. Analiza și înregistrarea rezultatelor testelor

După ce ați efectuat testul, devine esențial să înțelegeți de ce ați obținut rezultatele pe care le vedeți. Aici platforme precum Convert Experiences vă pot ajuta să filtrați între aleatoriu și cauzalitate cu probabilitate ridicată. Cu calculele sale transparente, Convert Experiences vă va ajuta să înțelegeți de ce varianta dvs. câștigătoare are performanțe mai bune.

5. Crearea de teste de urmărire

Odată ce ați efectuat testele A/B și ați obținut rezultatele, puteți trece la teste multivariate mai cuprinzătoare sau puteți efectua un test A/B cu o altă variantă. Convertiți ușurează efectuarea unui set variat de teste statistice care vă pot ajuta să vă creșteți încrederea în susținerea variantei câștigătoare.

Modelul de maturitate CRO se concentrează pe un proces holistic prin strategia și cultura unei firme, instrumente și tehnologie, oameni și abilități și procese și metodologie, în care progresul întreprinderii este urmărit la niveluri de maturitate precum – începător, aspirant, progresist, strategic, și Transformator.

Convert Experiences aduce o analiză riguroasă a datelor în procesul dvs. de testare A/B, nu necesită codificare pentru efectuarea testelor, oferă rezultate accesibile vizual și analitic și este transparent cu privire la rezultatele testelor. Având platforma în centrul planurilor dvs. de testare A/B, Maturitatea CRO a întreprinderii dvs. poate trece cu mai multă ușurință către etapele de transformare.

Testarea A/B în acțiune: studii de caz comparative

1. Utilizarea Google Analytics și experiențe de conversie pentru generarea de ipoteze

Google Analytics poate fi un punct de plecare excelent pentru a înțelege zonele potențiale de îmbunătățire pe site-ul dvs. Scăderea bruscă a traficului, ratele ridicate de respingere în comparație cu timpul de pagină etc. pot fi indicatori puternici ai problemelor potențiale.

Identificați toate provocările pe care le vedeți în rapoartele dvs. Google Analytics. Paralel cu aceasta, desfășurați un sondaj calitativ pe site-ul dvs. web, pe mânerele rețelelor sociale și pe campanii de e-mail, întrebându-vă publicul ce caută. În plus, puteți folosi Hotjar pentru a înțelege cum navighează vizitatorii elementele de pe fiecare pagină.

Pe baza tuturor acestor date, puteți crea apoi variante perspicace și puteți rula teste A/B. Dacă utilizați deja Conversie experiențe, puteți utiliza și instrumentul de generare a ipotezelor Convert Compass pentru a accelera și mai mult procesul.

2. Creșterea conversiilor din cărucioarele abandonate prin testarea A/B

Cărucioarele abandonate sunt scumpe pentru site-ul dvs. și destul de incomod pentru vizitatorii dvs., deoarece amândoi ați investit timp și resurse semnificative pentru a ajunge la acest punct, dar conversia nu a funcționat.

Folosind Convert Experiences integrate cu alte platforme, puteți formula o abordare structurată pentru a face față acestei provocări.

• În primul rând, începeți cu integrarea Experiențe Convertiți în Shopify, WooCommerce, PrestaShop, BigCommerce sau orice altă platformă de comerț electronic pe care o utilizați.
• Apoi, utilizați Google Analytics pentru a stabili obiective pe platformele dvs. și utilizați instrumente precum Hotjar sau Crazy Egg pentru a evalua posibila problemă.
• Cu Convert Experiences, puteți utiliza aceste date, puteți formula ipoteze și puteți rula teste A/B într-un mod organizat. Clienții au observat o creștere a veniturilor de peste 26% folosind o abordare similară.

3. Optimizarea paginii de destinație

Paginile de destinație sunt destul de esențiale pentru întregul proces de conversie. Pentru a extrage valoare maximă din paginile dvs. de destinație, puteți utiliza o varietate de instrumente precum Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics sau alte instrumente de vârf pentru cazul de utilizare. Convert Experiences se integrează perfect cu aceste platforme pentru a vă ajuta să filtrați paginile de destinație cu conversii reduse.

Apoi, puteți utiliza integrarea Hotjar și Convert pentru a înțelege ce elemente ale paginii dvs. nu funcționează. Cu instrumente avansate precum hărțile termice, puteți obține o înțelegere vizuală a modului în care vizitatorii accesează diferitele elemente de pe pagina dvs. După aceasta, puteți folosi Convert Compass pentru a genera ipoteze și apoi a rula teste pe platformă.

După ce ați efectuat testul, puteți utiliza integrarea dintre Convert și platformele principale de creare a paginilor de destinație, cum ar fi LanderApp, Instapage sau Hubspot CMS. Aceste integrări vă vor ajuta să desfășurați experimente simple de testare A/B pe paginile dvs. de destinație.

Folosind același flux de lucru, experții CRO au descoperit incremente de conversie de 27%, cu ratele de adăugare în coș crescând cu 13%.

Obținerea unui ROI mai mare cu testarea A/B „igienică”.

1. Pragul de trafic al site-ului web : Convert vă recomandă să aveți trafic de cel puțin 10.000 de vizitatori și conversii de peste 1.000 disponibile pentru fiecare variantă testată.

2. Folosirea instrumentului potrivit pentru testarea A/B : a nu avea platforma de testare potrivită vă poate oferi rezultate poluate, vă poate face să efectuați teste suboptime sau poate cauza constrângeri severe asupra resurselor dvs. Convert Experiences a fost conceput pentru a elimina acești parametri cheie, asigurând în același timp că procesul de testare este accesibil, transparent și fără întreruperi.

3. Definirea obiectivelor de testare : obiectivele dvs. ca afacere trebuie să fie aliniate. De exemplu – în timp ce optimizați pentru numărul maxim de înscrieri, alte unități din echipa dumneavoastră nu ar trebui să optimizeze procesele ulterioare pentru vânzări maxime. UX incoerent poate face mai multe daune decât un UX sub-optim.

Prin urmare, mențineți uniformitatea obiectivelor în rândul întregului set de membri ai echipei. La nivel de testare, asigurați-vă că definiți clar dimensiunea eșantionului, durata, semnificația statistică, ipoteza și MDE înainte, în timpul și după rularea testului A/B.

4. Excluzând traficul intern: atunci când executați un test A/B, mulți dintre membrii echipei dvs. ar vizita paginile sau punctele din călătoria clientului pentru a evalua în mod obiectiv pagina. Acest lucru poate aduce zgomot rezultatelor testării.

Convert Experiences a fost conceput pentru a filtra un astfel de trafic și a se concentra numai pe segmentele de public pe care le-ați definit, pentru înregistrarea, agregarea și analiza datelor în procesul de testare A/B.

Gânduri finale despre statisticile testării A/B

Testarea A/B este un exercițiu analitic riguros care poate fi efectuat doar cu rigoare statistică. Fără statisticile construite în proces, testarea A/B este o presupunere pură.

Convert Experiences vă permite să aveți experimente de testare A/B simplificate, accesibile, de încredere și totuși eficiente din punct de vedere al resurselor. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.