„Testează totul” – De la pe hârtie la în practică

Să fim clari.

Nu este niciodată o greșeală să rulezi mai multe teste A/B, chiar dacă acestea nu afectează direct vânzările și veniturile, atâta timp cât le executați bine și învățați din proces.

Dar…

Fiecare test necesită o investiție de timp, efort, capital uman și multe altele .

Deci, de ce unii experți susțin testarea tuturor? Și care este calea de mijloc... mai ales pentru tine... da... citești acest articol.

Acum este posibil să aveți o mulțime de idei bune de testare și doriți să știți dacă ar trebui să le testați pe toate. Dar nu asta este ideea! După cum menționează Natalia într-un interviu cu Ben Labay din Speero:

Există sute de idei grozave, dar nu acesta este scopul. Ideea este găsirea celui potrivit pentru a lucra la momentul potrivit .

Poate suna tentant să începeți să testați totul aleatoriu, dar este esențial să acordați prioritate testării ipotezei potrivite la momentul potrivit .

Cu prioritizarea corectă, puteți cultiva o mentalitate de „testați totul” . Cu toate acestea, majoritatea modelelor de prioritizare a ipotezelor sunt insuficiente.

Să cercetăm puțin mai profund pentru a înțelege dacă ar trebui să testați totul A/B, cum vă ajută prioritizarea să luați decizii și cum să vă creați propriul model de prioritizare care depășește limitările opțiunilor tradiționale.

Testați totul: de ce este recomandat?

Să începem prin a examina această abordare controversată: are sens testarea tuturor?

Haide, alege o parte.

Care este acțiunea ta implicită?

Ce este „placut” pentru tine fără a citi restul acestui articol și a aduna mai multe date?

Terminat?

Acum să vedem dacă raționamentul nostru se aliniază cu al tău.

Înainte de a aborda problema „testării tuturor”, trebuie să înțelegem ce implică testarea A/B și rezultatele acesteia.

Valabilitate statistică

Testarea A/B este o modalitate validă din punct de vedere statistic de a vedea dacă modificările pe care le aveți în vedere vă afectează indicatorii cheie de performanță (KPI).

De exemplu, dacă scopul dvs. este să obțineți mai multe vizite pe blogul dvs., îl puteți adăuga în meniul principal de navigare. Noul meniu nu mai este o copie a celui vechi . Dar această schimbare este inutilă dacă nu are un impact pozitiv asupra comportamentului vizitatorilor site-ului dvs.

Simplul fapt că cele două versiuni sunt structural diferite nu contează. În general, ceea ce contează este realizarea rezultatului dorit și anticipat. Sunt oamenii mai înclinați să viziteze blogul atunci când îl văd în meniul principal decât atunci când este ascuns în subsol ?

Bunul simț ar putea spune DA , ar trebui să existe un efect (pozitiv) . Dar este posibil ca testul dvs. să nu arate nicio modificare a valorilor pe care ați ales să le monitorizați ca măsură a impactului.

Dacă acest lucru este adevărat, atunci testele A/B atenuează și riscul.

Atenuarea riscurilor

Implementarea modificărilor la nivelul întregului site este complexă și un joc cu minge complet diferit.

Puteți ajunge să faceți o schimbare și să riscați să pierdeți resurse prin construirea de funcții pe care utilizatorii nu le doresc și personalizând elementele site-ului web care nu produc rezultatele așteptate. Acesta este unul dintre principalele motive pentru care este necesară testarea A/B, deoarece este testul acid pentru soluția propusă înainte de a fi implementată efectiv.

Compilările de testare A/B (în special versiunile la nivelul clientului) necesită mai puține resurse decât modificările hard-codate ale site-ului și funcțiile de înaltă fidelitate. Acest lucru vă oferă undă verde să nu luați o anumită rută, mai ales când rezultatele indică faptul că KPI-urile cheie nu se mișcă în direcția corectă.

Fără testare, investești în experiențe care pur și simplu nu funcționează. Este un risc orb pe care îl asumi, fără să știi că ar putea fi necesar să revii la designul anterior pentru a proteja veniturile și performanța.

Georgi, creatorul Analytics-toolkit.com, susține chiar că testarea A/B este, prin esență, un instrument de management al riscului:

De ce să riști când poți testa?

(—Mai multe despre asta mai târziu pe blog. Continuați să citiți!—)

Analiza tendințelor

Când desfășurați în mod constant teste din care învățați , începeți să observați tendințe în răspunsul publicului dvs. la anumite intrări. Cel mai bine este să nu presupuneți că puteți obține ceva de valoare dintr-o singură iterație. Dar meta-analiză (într-un singur mediu de testare A/B variabilă) de-a lungul timpului vă poate oferi încrederea de a acorda prioritate testării unei anumite ipoteze față de altele.

Unii experți sunt în spatele testării totul, având în vedere că experimentarea are multe beneficii.

Pe de altă parte, mulți experți susțin cel puțin să se inspire din rezultatele repetabile din experimentele anterioare pentru a răspunde la marile întrebări .

Editorul șef al GoodUI, Jakub Linowski, este printre cei mai noti. El susține că experimentele generează cunoștințe care permit predicția. El crede că urmărirea cunoștințelor, tacticilor, tiparelor, bunelor practici și euristicii este importantă.

Cunoștințele pe care le obțineți în urma experimentelor vă ajută să faceți predicții mai fiabile. Acest lucru, la rândul său, vă permite să creați ipoteze mai precise și să le prioritizați mai bine.

La prima vedere, aceste perspective pot părea contradictorii. Dar ei întăresc același argument, „ experimentarea aduce certitudine într-o lume incertă ”.

Fie faceți ipoteze pe setul dvs. de date, fie transferați convingerile din teste efectuate pentru rezultate finale dorite similare, în mai multe verticale și industrii.

La Convert, ne inspirăm din ambele puncte de vedere și vedem cum o fațetă o construiește pe următoarea în următoarele două moduri simple.

Învățare și testare: Duoul practic pentru testarea inspirată

Pune la indoiala tot

Aceasta este o învățătură durabilă a maeștrilor stoici .

Când pui la îndoială tot ceea ce te înconjoară, îți dai seama că ești un compus din ceea ce iei de la oamenii pe care îi cunoști, cultura în care trăiești și euristica pe care creierul tău alege să le urmeze.

Acest „instinct” care ne conduce de obicei nu este al nostru.

De exemplu, mulți dintre noi visează să ducă un stil de viață generos, centrat pe consum. Dar asta chiar a venit de la noi? Sau suntem victimele reclamei, mass-media și Hollywood-ului?

Mass-media și publicitatea au început să joace un rol major în modelarea viselor și dorințelor persoanei individuale de a deveni în primul rând un consumator... și a devenit posibil să seducă persoana individuală și să-l facă să creadă că ceea ce își dorește este o decizie liberă care vine din interior. el (dar, de fapt, este captiv la sute de reclame care au generat dorința despre care spunea că este subiectivă și i-au creat dorința automată .

Abdel Wahab El-Messiri

A face schimbări și decizii de afaceri folosind JUST propriul „instinct” este neînțelept. Dacă nu putem fi siguri că schimbările pe care vrem să le facem și deciziile pe care vrem să le aplicăm în afacerea noastră vin de la noi, de ce suntem chiar atașați de ele?

A pune la îndoială totul este esențial . Instinctul dvs., cele mai bune practici, modelele de prioritizare și așa mai departe.

Și dacă punem la îndoială totul, următorul pas este să îl supunem verificării matematice prin experimente. Pentru că oprirea la întrebări nu închide bucla de la incertitudine la certitudine.

Învață din experimente

Nu poți învăța dacă nu testezi.

Asigurați-vă că vă cuantificați în mod corespunzător perspectivele. Trebuie să folosiți atât datele calitative, cât și cantitative în testele A/B pentru a vă traduce învățăturile în ceva semnificativ. De exemplu, grupați impactul mediu în funcție de context, tip de test, locație de testare, KPI monitorizați, rezultatul testului și așa mai departe.

Un exemplu excelent al acestei abordări metodice este baza de date GOODUI .

Identifică modele care funcționează în mod repetat în testele A/B, ajutând companiile să obțină conversii mai bune și mai rapide.

GOODUI are 124 de modele bazate pe 366 de teste (numai pentru membri) și adaugă mai mult de 5 noi teste de încredere în fiecare lună. Învățând din experimente și cuantificând aceste învățăminte în modele, baza de date GOODUI scurtează procesul obositor de testare A/B și permite clienților să obțină mai multe câștiguri!

Inspiră-te din aceste modele:

Modelul #2: Etichetele pictogramelor: https://goodui.org/patterns/2/

Modelul #20: Răspuns predefinit: https://goodui.org/patterns/20/

Modelul #43: Titluri lungi: https://goodui.org/patterns/43/

Dar concentrează-te pe... prioritizarea ideilor

Prioritizează ideile care se aliniază cu obiectivele tale generale de afaceri, ținând cont de rezultatele specifice companiei.

Imaginează-ți asta.

Conduceți o afacere cu o bază decentă de clienți. Cu toate acestea, rata de retenție a acestor clienți este sub 15% . Scopul tău principal este să construiești o afacere sustenabilă care să rețină clienții la o rată mult mai mare. Acest obiectiv ar trebui să vă influențeze prioritizarea.

Să presupunem că aveți două idei și doriți să știți pe care să le testați mai întâi – una care este probabil să crească rata de retenție și alta care să crească vânzările de la clienții noi . Probabil ar trebui să acordați prioritate primei idei, în ciuda faptului că a doua are un potențial mult mai mare de îmbunătățire.

Asta pentru că o rată mai mare de retenție a clienților înseamnă o afacere mai stabilă pe termen lung. Acest lucru se aliniază perfect cu obiectivele și strategia dvs. generale de afaceri.

Cealaltă idee vă poate aduce mult mai multe vânzări noi. Dar, în cele din urmă, afacerea dvs. va avea în continuare scurgeri de peste 85% dintre clienții săi.

Modelele de prioritizare pentru experimentare nu reușesc întotdeauna să ia în considerare importanța strategică a ceea ce este testat. Ei analizează impactul probabil, efortul etc. al unei game largi de idei diferite, dar nu iau în considerare care dintre acele idei se aliniază cel mai bine la strategia și direcția de afaceri .

Jonny Longden, prin Test Everything

Unde scad cele mai multe modele de prioritizare?

Dacă sunteți un optimizator pasionat, este posibil să aveți o listă lungă de idei de testare A/B. Dar nu le puteți testa pe toate deodată, chiar dacă decideți să testați totul, din cauza traficului și resurselor limitate .

Este ca și cum ai avea o listă lungă de lucruri de făcut și știi că pur și simplu nu poți aborda totul în același timp. Deci prioritizați și începeți cu cei cu CEA MAI MARE PRIORITATE. Acest lucru se aplică pentru obținerea de profituri prin experimentare. Cu o prioritizare adecvată, programul dvs. de testare va avea mult mai mult succes.

Dar prioritizarea în testarea A/B, așa cum a scris David Mannheim în articolul său, este atât de grea. Acest lucru se datorează în principal

• Produci adesea idei care nu sunt concentrate și aliniate cu obiectivele de afaceri.
• Nu luați în considerare repetarea și învățarea din experimentele anterioare.
• Utilizați modele de prioritizare disfuncționale și încercați să adăugați cadre arbitrare problemei.

Și acestea sunt, de asemenea, câteva domenii pe care chiar și cele mai populare modele de prioritizare tind să le treacă cu vederea și să greșească lucruri. Dar de ce este asta? Iată câteva elemente critice care contribuie la lipsa lor de prioritizare adecvată.

• Factori care induc în eroare: factorii pe care îi folosesc pentru a selecta testele sunt foarte înșelătoare. În primul rând este efortul, dând impresia că ideile cu efort redus merită o prioritizare rapidă.
• Funcția de pondere: Majoritatea modelelor atribuie ponderi arbitrare factorilor. Nu poți prioritiza pur și simplu aleatoriu; ai nevoie de un motiv pentru asta.
• Iterații complexe: nu pot distinge iterațiile de testare existente (conduse de învățare) de ideile noi pentru stabilirea priorităților.

Pentru început, cadrul de prioritizare PIE ierarhizează ipotezele pe baza:

• Potențial de îmbunătățire
• Importanţă
• Uşura

Dar cum determinați în mod obiectiv potențialul unei idei de testare? Dacă am putea ști acest lucru dinainte, ca Peep Laja, fondatorul CXL, a explicat, nu am avea nevoie de modele de prioritizare.

Modelul PIE este foarte subiectiv. De asemenea, nu se aliniază bine cu obiectivele de afaceri și promovează soluții cu risc scăzut. Ușurința este înșelătoare, deoarece sugerează că ideile cu efort redus ar trebui să fie prioritizate.

Cu cât riscul este mai mare, cu atât recompensa este mai mare .

Și asta se aplică doar dacă te provoci cu idei mai sofisticate.

Un alt model popular, modelul de notare ICE (Impact, Confidence, and Ease), seamănă mult cu PIE și are aceleași defecte ca PIE .

Cadrul PXL este o îmbunătățire față de aceste două și face ca orice evaluare „potențială” sau „impact” să fie mult mai obiectivă. Cu toate acestea, are încă deficiențele sale.

În primul rând, nu ia în considerare alinierea la obiectivele de afaceri . În al doilea rând, nu distinge iterațiile actuale ale testelor de ideile noi.

David Mannheim, vicepreședintele global pentru optimizarea ratei de conversie, Brainlabs, a dezvăluit că 50% din toate cele peste 200 de experimente pe care le-au construit pentru un client la fosta lui consultanță, User Conversion, au fost iterații unul celuilalt. De asemenea, odată au creat o valoare îmbunătățită cu 80% față de ipoteza originală și au declarat:

Știam că „conceptul” funcționează, dar modificând execuția, aș adăuga peste 6 iterații diferite, am observat un câștig incremental de peste 80% față de originalul .

În „Raportul „Experimente informate despre experiență de rulare ”, Convert a descoperit că aproape toți experții intervievați au fost de acord că învățarea determină ideea de succes. Acest lucru poate fi susținut în continuare cu interpretarea H&M privind modelele de învățare.

Aproape orice alt experiment pe care îl desfășurăm la H&M în echipa noastră de produse este susținut de o învățare documentată a unui experiment anterior sau a unei alte metodologii de cercetare .

Matthias Mandiau

Cum să vă creați propriul model de prioritizare a testului A/B?

Prioritizarea încurajează mentalitatea „testați totul”. Oferă încredere pentru a testa (în primul rând) ideile și ipotezele care fac cel mai mare impact asupra celei mai presante probleme.

Dar fiecare afacere este diferită. Deci nu poate exista o abordare unică de prioritizare a experimentului. Contextul, după cum a subliniat David, este rege .

În esență, toate modelele sunt greșite, dar unele sunt utile .

George EP Box, statistician

Din exemplele de mai sus, putem spune că toate modelele sunt defecte, dar unele sunt utile. Secretul este să creezi cel mai util și mai de impact model pentru afacerea ta.

Iată patru pași pentru construirea unui model:

1. Inspiră-te din exemple

Una dintre cele mai fructuoase modalități de a dezvolta un model de prioritizare bun este să alegeți capabilități din diferite modele, să amestecați și să combinați și să produceți un amestec cu un nivel limitat.

De exemplu, vă puteți inspira din abordarea de evaluare mai obiectivă a PXL , care pune întrebări precum „Adăugați sau eliminați element?” . În același timp, puteți lua în considerare unghiul de impact al ICE și îl puteți adăuga.

2. Faceți spațiu pentru factorii care contează

Includeți factori care se aliniază cu obiectivele dvs. de afaceri . Acest lucru vă va ajuta să vă concentrați mai mult pe factorii principali de creștere și pe KPI, cum ar fi valoarea de viață a clientului (LTV) și rata de retenție a clienților, nu doar valorile și rezultatele la nivel de suprafață.

După cum sa menționat anterior, învățarea specifică companiei este, de asemenea, crucială atunci când prioritizează experimentele. Anumite soluții le depășesc în mod constant și istoric pe altele pentru publicul dvs.?

De asemenea, luați în considerare potențialul de iterație . Iterațiile pot ajuta la realizarea mai multor progrese către rezolvarea unei anumite probleme de afaceri și au mai mult succes. Dacă este adevărată, ipotezele cu potențial de iterare pot și ar trebui să aibă prioritate față de testele independente. În plus, experimentarea nu este altceva decât un volant în care eforturile se alimentează reciproc.

În cele din urmă, luați în considerare investițiile în resurse , inclusiv complexitatea, timpul, costul și măsurile tradiționale utilizate pentru a prioritiza experimentele.

3. Greutatea este critică

Decideți ce doriți să obțineți din testele pe care le rulați. Explorează idei noi, inovatoare ? Sau exploatarea unei zone cu probleme până când găsești o soluție?

Personalizați sistemul de punctare în funcție de nevoile dvs. Să luăm în considerare două tipuri diferite de experimente pentru a înțelege mai bine acest lucru.

1. Adăugarea blogului în meniul de navigare va crește numărul de vizite pe blog.
2. Scăderea numărului de formulare pe pagina de finalizare a achiziției va reduce rata de abandon a coșului.

Pentru acest exemplu, să presupunem că am selectat doar doi factori pentru modelul nostru de prioritizare. Unul este potențialul de iterație, iar celălalt este potențialul de impact și evaluați fiecare ipoteză pe o scară de la 1 la 5 pentru fiecare factor.

Scopul nostru principal pentru testare acum este să remediem problema abandonării cardului pentru un site de comerț electronic . Ar trebui să acordăm mai multă pondere potențialului de iterație, deoarece probabil că nu vom remedia acest lucru cu un test. Și este probabil să repetăm ​​de multe ori într-o singură ipoteză înainte de a reduce semnificativ abandonul căruciorului.

Putem cântări factorul potențial de iterație dublând scorul acestuia.

Să dăm primei ipoteze un „4” pentru factorul potențial de impact. Și „2” pentru potențialul de iterație. Apoi, pentru ipoteza de completare a formularului, „3” atât pentru factorii potențiali de impact, cât și pentru iterație.

Fără accent pe potențialul de iterație, ar fi o egalitate: „4 + 2 = 3 + 3”

Dar după dublarea scorului la acest factor , ipoteza numărul doi câștigă:

Scorul final pentru prima ipoteză : „4 + 2(2) = 8 ”

Scorul final pentru a doua ipoteză : „3 + 3(2) = 9 ”

Concluzia este că rezultatul de prioritizare al aceluiași cadru ar trebui să se schimbe pe măsură ce se schimbă considerațiile externe și interne.

4. Clătiți și repetați până când atingeți acronimul potrivit

Încercați să nu vă așteptați la rezultate bune cu o singură iterație. Continuați să modificați până când ajungeți cu modelul de prioritizare potrivit pentru afacerea dvs.

De exemplu, ConversionAdvocates și-au creat propriul cadru, IIEA , care înseamnă:

• Insight
• Ideaţie
• Experimentare
• Analiză

IIEA încearcă să rezolve două probleme majore ale majorității modelelor prin enumerarea obiectivelor de învățare și de afaceri ale fiecărui experiment înainte de lansare.

Indiferent de acronim pe care ajungeți să-l creați, revizuiți-l și reevaluați-l în mod constant. Sina Fak, șeful de optimizare la ConversionAdvocates, a menționat că au perfecționat IIEA în ultimii cinci ani.

Din 2013, au folosit acest cadru personalizat pentru a ajuta mai multe companii să rezolve probleme critice, cum ar fi reducerea costurilor și creșterea conversiilor.

Al tău poate să nu fie un ICE sau PIE convenabil, dar rezultatele vor fi delicioase.

Cu noul tău model de prioritizare ultra-util, poți împrumuta din învățarea moștenită ȘI potențial să „testi totul” .

Un câștig-câștig în cartea noastră!