Panduan Langkah demi Langkah Tanpa Jargon untuk (Secara Menyeluruh) Memahami Metrik Pengujian A/B

Konten hebat tidak dibuat oleh individu. Ucapkan "halo" kepada para ahli yang memungkinkan panduan ini. Lebih dari 80 tahun pengalaman eksperimen dan pengujian A/B – dalam amembaca menit.

Alex Birkett

Ben Labay

Curtis Stanier

Deborah O'Malley

Erik Bernhardsson

Justin Christianson

Max Bradley

Sumantha Shankaranarayana

Tim Mehta

Mencoba memahami metrik pengujian A/B seperti menelusuri lubang kelinci dengan definisi yang terlalu rumit, jargon teknis, dan "pendapat" ahli yang tidak pernah berakhir.

Kami tidak menyalahkan Anda jika Anda mengeluarkan lebih dari satu desahan putus asa mencoba menemukan sesuatu yang berharga secara online.

Bahkan jika Anda yakin ingin menjalankan eksperimen, mungkin terasa seperti yang diketahui adalah informasi penjaga gerbang.

Tapi kami bertekad untuk mengubah itu. Eksperimen adalah untuk semua orang dan pada akhirnya, Anda akan percaya itu juga.

Kebenaran Sulit Tentang Memulai Eksperimen

Kita akan menyelami bagaimana metrik dilihat melalui lensa yang berbeda tetapi, pertama-tama, kita harus bersih.

Anda mungkin pernah mendengar pernyataan ini sebelumnya: “Tidak ada kerugian dalam pengujian A/B – hanya pembelajaran.”

Ini sebagian benar.

Tes yang tidak meyakinkan (datar) dan bahkan kerugian dapat membantu Anda mendapatkan gambaran yang jelas tentang apa yang tidak berhasil untuk audiens target Anda. Tetapi jika Anda sedang membangun program eksperimen dan belum memiliki C-suite buy-in, bersiaplah untuk menavigasi beberapa perairan yang rumit. Pahami bahwa orang-orang yang memegang dompet tidak akan terlalu senang melakukan diskusi esoteris tentang "pembelajaran" tanpa pendidikan yang cukup.

Untuk mendapatkan persetujuan mereka, Anda harus menunjukkan kemenangan yang cepat dan nyata terlebih dahulu . Hasil tes A/B yang dapat dilaporkan oleh manajer Anda kepada pimpinan sehingga mereka menunjukkan kepercayaan pada fakta bahwa metode eksperimen ilmiah yang sebagian besar bersifat akademis memang dapat mendorong sesuatu yang praktis seperti bisnis ke depan.

Dan cara termudah untuk melakukannya?

Kejar buah gantung terendah: Tingkatkan rasio konversi pada pengalaman pengguna yang cukup dekat dengan memengaruhi transaksi atau pembelian. Katakanlah, peningkatan langsung 1000 unit dalam pesanan yang ditempatkan (seperti yang ditunjukkan oleh hasil pengujian Anda) mudah dikonversi menjadi dolar dan keuntungan.

Bawa laporan itu ke rapat dewan dan Anda akan memiliki ruangan yang penuh dengan kegembiraan — jenis yang berasal dari menemukan "saluran akuisisi" lain alias CRO.

Tapi kuartal akan datang dan pergi tanpa Anda pernah melihat lonjakan yang dijanjikan. Eksekutif yang memuji Anda sebagai masa depan bisnis akan sangat kecewa. Pemotongan anggaran akan menyusul. Dan seseorang yang tinggi (*batuk* HiPPO yang tidak dapat diperbaiki *batuk*) akan memuntahkan omong kosong tentang bagaimana eksperimen tidak akan pernah bisa mengalahkan saluran tradisional seperti iklan dan acara yang telah teruji oleh waktu.

[HiPPO = Orang Berbayar Tertinggi dengan Opini]

Lihat apa yang baru saja terjadi? Dengan mengaktifkan visi terowongan Anda, Anda menurunkan eksperimen menjadi hanya CRO — sesuatu yang dilihat (hampir) sebagai saluran akuisisi model baru untuk memulihkan uang yang tersisa di atas meja. Dan bersamaan dengan itu? Semua klaim besar, penipuan, dan jebakan yang cenderung menyertainya.

Berbagai Cara untuk Melihat Metrik Pengujian A/B

Eksperimen adalah mesin. Tetapi kebanyakan orang memiliki pemahaman yang salah tentang cara kerjanya.

Mereka berpikir bahwa inputnya adalah masalah bisnis dan outputnya adalah solusi bisnis valid yang signifikan secara statistik . Dan ini mungkin gambaran ideal yang lebih besar.

Diperbesar, mesin eksperimen menerima pembelajaran dan upaya yang dilakukan pada proses ilmiah sebagai input dan menghasilkan metrik program sebagai output.

Tetapi ada JIKA besar di sini: Agar keluaran pada akhirnya menghasilkan hasil yang diharapkan dan diinginkan, kualitas program eksperimen adalah yang terpenting.

Hanya ketika Anda terobsesi dengan kualitas eksperimen, Anda akan memiliki peluang lebih tinggi untuk melihat hasil yang dapat menggerakkan jarum pada pertumbuhan besar dan masalah efisiensi yang ingin dipecahkan oleh semua bisnis.

Cara untuk mencapainya adalah dengan memiliki strategi metrik yang tidak menempatkan hasil di atas alas.

Sebaliknya, ini membantu tim mengukur dan melacak input dan output (input menjadi satu-satunya faktor yang benar-benar mengendalikan pengoptimal) dan menggunakannya sebagai pengukur kemajuan. Perjalanan menuju hasil bukanlah sprint, itu adalah maraton yang dijalankan di latar belakang sebagai produk sampingan dari eksperimen yang baik.

Jangan salah paham. Ini lebih mudah dikatakan daripada dilakukan.

Seringkali eksperimen akan menunjukkan bahwa perubahan tertentu tidak boleh dilakukan. Fitur tertentu tidak boleh dikirimkan! Dan eksperimen itu sendiri disengaja… mengalihkan fokus dari strategi pengiriman pertama ke wawasan dan mempelajari strategi pertama (didukung oleh metrik yang tepat).

Eksperimen-keragu-raguan sangat umum di kalangan eksekutif. Sebagian besar pendiri telah bertahun-tahun membangun perusahaan tanpa eksperimen, dan eksperimen dapat terasa seperti kekuatan konservatif yang menghalangi kecepatan perusahaan, pemasaran produk, dan inovasi bulan depan.

Erik Bernhardsson, Pendiri Modal Labs

Kasus untuk Beralih ke Strategi Insights First (Dengan Metrik yang Tepat)

Untuk membuat kemajuan nyata, kita harus beralih dari mengejar strategi pengiriman ke strategi metrik. Ini desentralisasi strategi produk yaitu mendorong ide ke bawah yang ideal. Dan mengadopsi strategi metrik secara intrinsik berarti eksperimen. Anda tidak dapat menghindar dari menguji bagaimana perubahan produk baru memengaruhi bisnis Anda.

"Mengapa" program eksperimen Anda dikodekan dalam strategi metrik Anda.

• Apakah semua upaya Anda terfokus pada kemenangan cepat dan pendapatan?
• Apakah eksperimen merupakan cara untuk memahami pelanggan Anda dan menawarkan mereka nilai sepanjang siklus hidup mereka?
• Atau apakah eksperimen adalah tujuannya sendiri, di mana semakin baik Anda menguji, semakin banyak wawasan andal yang Anda hasilkan dan tanggung jawab Anda adalah menjaga roda ini tetap bergerak, tanpa berdampak negatif pada pengalaman yang ada?

Lebih lanjut tentang ini nanti dengan Ben Labay dari Speero.

Berdasarkan eksperimen ke eksperimen, metrik memperkuat fokus (nyata) Anda. Anda dapat memiliki manifesto 10 halaman yang berbicara tentang menanamkan eksperimen dalam DNA bisnis Anda untuk mempercepat inovasi, tetapi jika tujuan utama Anda selalu diarahkan pada konversi, maka program pengujian Anda pada dasarnya adalah program CRO. Ini mungkin yang ingin Anda capai, tetapi waspadai kendala yang akan muncul di masa mendatang, termasuk menganggap pengujian A/B sebagai antek akuisisi/pendapatan—sejujurnya, tidak demikian.

Kelas metrik yang berbeda memungkinkan untuk melacak indikator yang penting bagi C-suite, sambil mengoptimalkan program untuk pengujian kualitas yang lebih tinggi, wawasan kausal, dan melalui berbagai iterasi untuk meningkatkan cara kerja bagian dalam mesin sehingga keluaran dapat mulai mendorong hasil dalam jangka panjang.

Video dengan Tim Mehta ini adalah cuplikan jujur ​​mengapa narasi eksperimen yang hanya berkisar pada pembelajaran bukanlah sikap yang praktis untuk diambil.

Saya pikir itu sangat keren untuk mendapatkan semua pembelajaran di sisi keterlibatan tetapi bagi pemilik bisnis Anda untuk dapat Anda tahu untuk terus membangun sumber daya untuk program dan mendapatkan anggaran untuk itu pada dasarnya Anda tahu Anda perlu memastikan Anda setidaknya dapat menunjukkan bahwa dari sudut pandang bisnis, nilai dolar yang diberikan oleh eksperimen itu kepada Anda.

Jadi saya pikir untuk banyak eksperimen itu lebih pada metode ilmiah umum dari semua yang Anda coba lakukan adalah belajar, ini adalah Anda tahu itu tidak sebanyak menang/kalah karena hipotesis terbukti eh Anda tahu terbukti atau ditolak um sedangkan dengan apa yang kami lakukan dengan baik, sebagian besar dari kami berada di sisi pemasaran dan tentu saja kami harus dapat mengomunikasikan beberapa jenis kemenangan atau nilai pendapatan untuk dapat melanjutkan.

Tim Mehta, Direktur Pemasaran Pertumbuhan di Lucid Software

Pada tingkat yang lebih praktis, metrik menahan pembelajaran. Menjalankan tes datar secara berurutan? Ini mungkin masalah dengan cara Anda mengumpulkan data (masalah yang berfokus pada instrumen) atau dengan cara Anda merancang eksperimen. Metrik membantu Anda menemukan jarum di tumpukan jerami dan melakukan yang lebih baik.

TL&DR; Metrik membantu penguji menangkap berbagai aspek eksperimen, dan mendistribusikan dampaknya kepada pemangku kepentingan dalam bahasa yang mereka pahami, hargai, dan hargai. Strategi metrik jauh melampaui “tujuan” dan taruhan di lapangan yang digunakan untuk mengevaluasi variasi kemenangan dan kerugian.

Melalui metrik, program eksperimen hidup, matang, berkembang, dan berhasil (atau gagal).

Metrik Input, Output & Hasil: Mendekonstruksi Program Eksperimen dengan Ben Labay dan Alex Birkett

Ada banyak definisi seputar metrik primer, sekunder, dan pagar pembatas. Tetapi siapa pun yang telah menjalankan program eksperimen tahu bahwa harus ada kerangka kerja untuk menentukan berbagai tingkat tujuan.

Jadi kami bertanya kepada Ben Labay, Managing Director Speero, dan Alex Birkett, Co-founder Omniscient, pertanyaan ini:

Apa kerangka kerja metrik Anda untuk memetakan variabel yang diukur ke dampak eksperimen berlapis-lapis?

Kerangka Ben

1. Kategori metrik program

Ini 'berdasarkan tahap' harus dianggap enteng. Anda ingin memantau semua ini sepanjang waktu, tetapi FOKUSnya sedikit berbeda tergantung pada tahap program.

2. Mulailah dengan taksonomi metrik tingkat atas, ini milik saya:

Kemudian, untuk masing-masing,

3. Contoh metrik sasaran:

Kemudian

4. Contoh metrik pengemudi

Kemudian

5. Metrik pagar pembatas program

Jadi…. MAKA Anda memiliki bahan untuk strategi metrik:

Catatan: Eksperimen tahap awal harus fokus pada metrik input tetapi Anda harus menghadapi tekanan untuk menghasilkan hasil yang tidak akan terwujud jika Anda tidak memiliki pendidikan, orang, dan proses yang tepat.

Ini adalah siklus yang mengalahkan diri sendiri. Selain itu, metrik hasil tidak boleh langsung dirayakan, terutama jika Anda memproyeksikan "pendapatan".

Cara terbaik untuk memahami hal ini adalah dengan melihat bagaimana Airbnb beralih ke strategi metrik:

“Tamu harus terlebih dahulu meminta izin kepada tuan rumah untuk menginap di Airbnb mereka, dan tuan rumah akan memutuskan apakah mereka menyukai permintaan pemesanan. Ini menciptakan banyak gesekan, merupakan pengalaman yang mengerikan bagi para tamu, dan membuka pintu bagi bias yang tidak pantas untuk memasuki proses tersebut.

Strategi pengiriman produk akan mendiktekan banyak fitur untuk dikirim. Namun Airbnb membentuk tim yang kuat dengan strategi metrik: membuat Airbnb mencapai 100% pemesanan instan.

Hasilnya adalah strategi eksperimen-berat yang secara kumulatif menggeser pasar. Perubahan produk mencakup peringkat pencarian, orientasi host, dan fungsionalitas inti host (misalnya kontrol tamu, aturan rumah, pengaturan waktu tunggu, dll.) yang memungkinkan host sukses di dunia di mana tamu memesan rumah mereka secara instan.

Erik Bernhardsson

Kerangka Kerja Alex's Go-to

Kerangka kerja masuk saya untuk memetakan metrik eksperimen sederhana: metrik input dan output .

Pemangku kepentingan peduli dengan metrik keluaran. Ini digunakan dalam perhitungan ROI dan membuktikan nilai program – hal-hal seperti tingkat konversi situs web, tingkat konversi corong, prospek berkualitas tinggi, dll.

Secara pribadi, saya pikir ini terlalu dibesar-besarkan pada tingkat terprogram dan diremehkan pada tingkat per eksperimen. Maksud saya, jika Anda melacak tingkat konversi halaman web Anda dari kuartal ke kuartal, eksperimen tidak akan menjadi satu-satunya hal yang terjadi selama jangka waktu tersebut. Penggalangan dana, tren ekonomi makro, pergeseran saluran akuisisi – semua ini dapat menjadi faktor pengganggu yang sangat besar. Anda dapat menyiasati beberapa di antaranya dengan mengatur penahanan atau menguji ulang versi dasar dari pengalaman digital Anda.

Mereka diremehkan berdasarkan per eksperimen karena orang cenderung tidak memikirkan KPI eksperimen inti mereka, alih-alih memilih untuk menyertakan berbagai sasaran dan memilih salah satu yang sesuai dengan narasi mereka. Sangat sulit untuk menghasilkan tujuan gabungan, kriteria evaluasi keseluruhan, untuk menentukan eksperimen Anda. Metrik masukan adalah cara yang lebih baik bagi saya untuk mengukur program kami. Tiga utama yang saya lihat adalah
a) kecepatan percobaan
b) tingkat kemenangan percobaan dan
c) kemenangan rata-rata per percobaan.

Jika saya memindahkan jarum pada salah satu dari ini, saya kemungkinan akan memindahkan jarum pada metrik keluaran saya

Sasaran, Penggerak, dan Pagar Pembatas: Metrik menurut Cakupan

Ben Labay menggunakan analogi mobil untuk menjelaskan metrik ini:

Intinya adalah Anda memiliki metrik jangka panjang seperti metrik tujuan dan ini adalah GPS atau sistem navigasi Anda, yaitu metrik bintang utara (NSM).

Ini berbeda dengan metrik pengemudi yang merupakan metrik jangka pendek alias speedometer Anda. Misalnya, pengoptimalan tingkat konversi untuk nilai pesanan rata-rata (AOV).

Letakkan ini lebih kontras dengan metrik peringatan dan keselarasan Anda, seperti tachometer atau pengukur panas Anda; ini adalah metrik pagar pengaman Anda.

PS Tonton video ini oleh Ben untuk memahami kategori ini dengan lebih baik:

Metrik Sasaran atau Bintang Utara

Metrik Bintang Utara atau metrik lagging atau cakupan luas seperti yang didefinisikan oleh Ben lebih bersifat strategis daripada taktis.

Misalnya, pengujian A/B Netflix tidak dibuat untuk meningkatkan interaksi—tes tersebut dirancang untuk meningkatkan retensi. Jika mereka mempertahankan pelanggan, itu berarti pelanggan terlibat dengan dan menemukan nilai dalam produk. Jadi, retensi merangkum beberapa metrik taktis seperti persentase pengguna yang membayar atau menonton lebih dari 3 konten.

Metrik Pengemudi

Indikator utama ini adalah apa yang Anda fokuskan dalam jangka pendek, yaitu rasio pentalan, dan rasio konversi. Terkadang, memiliki satu metrik saja tidak cukup untuk mengevaluasi suatu hasil. Di situlah Kriteria Evaluasi Keseluruhan atau OEC berperan.

Juga dikenal sebagai respon atau variabel dependen, variabel hasil atau metrik kinerja, OEC pada dasarnya adalah kombinasi dari KPI berbobot berbeda sebagai KPI utama tunggal.

Metrik tunggal memaksa pertukaran dilakukan sekali untuk beberapa eksperimen dan menyelaraskan organisasi di belakang tujuan yang jelas. OEC yang baik tidak boleh berfokus pada jangka pendek (misalnya, klik); sebaliknya, itu harus mencakup faktor-faktor yang memprediksi tujuan jangka panjang, seperti prediksi nilai seumur hidup dan kunjungan berulang.

Ronny Kohavi

Metrik pagar pembatas

Menurut Ronny Kohavi,

Metrik pagar pembatas adalah metrik penting yang dirancang untuk memperingatkan pelaku eksperimen tentang asumsi yang dilanggar. Metrik pagar pembatas memberikan apa yang disebut Spitzer (2007) sebagai “kapasitas untuk memicu tindakan berdasarkan informasi.” Saat efek Perlakuan tiba-tiba memindahkan metrik pagar pembatas, Anda mungkin ingin mengurangi kepercayaan pada hasil, atau menghentikan eksperimen dalam kasus yang dapat membahayakan pengguna atau organisasi.

Ada dua jenis metrik pagar pembatas: metrik pagar pembatas terkait kepercayaan dan metrik pagar pembatas organisasi. Kami mulai dengan apa yang kami yakini sebagai metrik pagar pembatas terpenting yang harus dimiliki setiap eksperimen: Rasio Sampel, lalu menindaklanjuti dengan metrik pagar pembatas lainnya dan metrik pagar pembatas organisasi.

Rasio Sampel = Dalam eksperimen terkontrol, rasio sampel sama dengan rasio alokasi ukuran sampel antara kelompok uji yang berbeda: kontrol dan varian

Pandangan Filosofis tentang Metrik: 5 Ws

Sumantha Shankaranarayana, Pendiri EndlessROI memandang metrik secara berbeda.

Pengambilan metrik lainnya berasal dari Avinash Kaushik, Penginjil Pemasaran Digital di Google.

Dalam edisi terbaru buletinnya, The Marketing <> Analytics Intersect, ia merekomendasikan untuk mengabaikan metrik kesombongan seperti suka dan pengikut dan dewa palsu seperti tampilan halaman dan "keterlibatan".

Alih-alih, fokuslah pada hasil mikro seperti pendaftaran buletin dan tingkat penyelesaian tugas, hasil makro digital seperti pendapatan dan pendapatan konversi, dan metrik yang memengaruhi laba seperti laba dan nilai umur.

Namun metrik lainnya datang dari Simon Girardin dari Pengacara Konversi:

Memilih Metrik yang Membuat Perbedaan dengan Driver Tree

Menyusun strategi metrik yang solid datang untuk memahami apa itu Pohon Pengemudi.

Driver Tree adalah peta tentang bagaimana metrik dan tuas yang berbeda dalam suatu organisasi cocok bersama. Di paling kiri, Anda memiliki metrik menyeluruh yang ingin Anda dorong. Ini adalah tujuan akhir yang Anda ingin semua tim kerjakan.

Saat Anda bergerak ke kanan, Anda menjadi lebih terperinci dalam hal bagaimana Anda ingin mencapai tujuan itu. Setiap cabang memberi Anda indikator bagian komponen yang membentuk "apa" di atasnya.

Curtis Stanier, Direktur Produk di Delivery Hero

Driver Tree, jika digabungkan dengan metrik, dapat membantu mengidentifikasi area peluang potensial dan memandu Anda ke solusi.

Curtis menjelaskan ini dengan sebuah contoh. Misalnya, jika tujuan Anda adalah meningkatkan jumlah pendaftaran email. Katakanlah hanya separuh pelanggan yang berhasil mengeklik tautan konfirmasi email yang Anda kirimkan kepada mereka. Ada dua kemungkinan skenario di sini—pelanggan tidak menerima email atau mereka tidak mengkliknya. Driver ini dapat memiliki faktor yang mempengaruhi yang berbeda.

Saat Anda memetakan aliran proses ke dalam Driver Tree, Anda bisa mendapatkan akar masalahnya. Mungkin penyedia email yang Anda gunakan memiliki tingkat kesalahan 10% yang berarti email tersebut tidak pernah terkirim. Masalah khusus ini menjadi peluang bagi tim Anda untuk memperbaikinya.

Berikut adalah contoh khusus dari Bhavik Patel, Kepala Analisis Produk di Hopin, untuk mengilustrasikan bagaimana Anda dapat memetakan tujuan seperti kecepatan pengujian, yaitu jumlah pengujian yang dijalankan ke metrik pengemudi dan pagar pembatas.

Ikuti 3 Langkah Ini untuk Memulai Program Eksperimen Anda

1. Pilih tujuan program eksperimen Anda

Libatkan HiPPO alias C-suite Anda sehingga Anda tidak mengejar metrik bintang utara di mana kepemimpinan tidak tertarik. Jika tidak, program eksperimen Anda tidak akan pernah terlihat. Loop pada orang yang memahami bahwa masalah besar membutuhkan solusi inovatif, bukan bermain aman.

Sebagai aturan praktis, Ben Labay mengatakan bahwa tujuan jangka panjang yang tertinggal dari program eksperimen Anda dapat menjadi salah satu dari tiga hal – Pendapatan, Pelanggan, atau Proses Eksperimen .

Misalnya, Booking.com memiliki kualitas eksperimen sebagai metrik bintang utaranya. Inilah alasannya:

Yang benar-benar penting bagi kami bukanlah berapa banyak keputusan produk yang dibuat, atau seberapa cepat keputusan dibuat, tetapi seberapa baik keputusan itu.

Meskipun menggunakan eksperimen sebagai bagian dari pengembangan produk dan pengambilan keputusan adalah praktik umum saat ini, itu tidak dengan sendirinya menjamin bahwa keputusan yang baik dibuat. Menjalankan eksperimen dengan benar bisa jadi sulit, dan data yang diperoleh dari eksperimen hanya dapat diandalkan seperti eksekusi eksperimen itu sendiri. Menjalankan eksperimen yang buruk hanyalah cara yang sangat mahal dan berbelit-belit untuk membuat keputusan yang tidak dapat diandalkan.

Christophe Perrin, Manajer Produk Grup di Booking.com

2. Buat log Metrik Pagar Pembatas yang dapat diterima

Tim Mehta merekomendasikan memiliki kecepatan uji sebagai metrik pagar pembatas dengan peringatan yaitu hanya jika integritas pengujian Anda baik atau memenuhi standar. Jika Anda tidak menjalankan uji kualitas, metrik apa pun yang Anda pilih akan menjadi metrik cantik.

Seperti Tim, Ben Labay juga menyarankan untuk memiliki kecepatan uji bersama dengan metrik lain ini sebagai seperangkat metrik pagar pembatas yang berfungsi:

3. Pilih Metrik Pengemudi Anda berdasarkan kasus per kasus

Tidak semua metrik adalah metrik yang baik. Setelah menjalankan ribuan pengujian A/B, Microsoft mengidentifikasi enam properti utama dari metrik A/B yang baik:

1. Kepekaan
2. Keterpercayaan
3. Efisiensi
4. Kemampuan debug
5. Interpretabilitas dan Kemampuan Bertindak
6. Inklusivitas dan Keadilan

Anda dapat menggunakan STEDII untuk menyaring metrik mana yang akan dilacak dan diukur perubahannya.

Max Bradley, Manajer Pengoptimalan Web Senior di Zendesk, percaya Anda harus fleksibel tentang metrik driver sehingga Anda dapat berpikir di dalam atau di luar kotak:

Kami melihat bahwa bidang pembuatan subdomain (ditampilkan di bawah), sejauh ini, adalah bidang formulir yang paling menantang dalam alur pendaftaran percobaan kami untuk pengunjung. Tingkat drop off di bidang ini jauh lebih tinggi daripada bidang lainnya.

Yang terpenting, kami memiliki pelacakan di tempat yang memungkinkan kami untuk melihat kinerja formulir secara detail di tempat pertama. Jika Anda baru memulai, tingkat pelacakan ini tidak mungkin dapat dicapai dalam jangka pendek, tetapi saya akan mendorong "masuk ke dalam gulma" dengan pelacakan Anda seiring berjalannya waktu.

Ketika masalah telah diidentifikasi, kami melakukan berbagai langkah untuk menentukan pendekatan yang ingin kami uji. Kami melihat apa yang dilakukan perusahaan lain di mana subdomain terlibat, saya sarankan melihat lebih dari sekadar pesaing Anda di sini. Kami percaya bahwa pengguna tidak perlu menyibukkan diri dengan membuat subdomain, ini memperkenalkan area lain bagi pengguna untuk berhenti dan berpikir, meningkatkan beban kognitif mereka. Kami dapat membuat subdomain mereka dari nama perusahaan mereka yang telah mereka berikan dan menyembunyikan bidang subdomain dari pengguna.

Kami tentu berharap bahwa perubahan ini akan meningkatkan jumlah pengguna yang berhasil mendaftar untuk uji coba, kami dapat memperkirakan peningkatan yang diharapkan karena pelacakan yang disebutkan.

Namun, apa yang tidak kami ketahui saat ini adalah dampak keseluruhannya terhadap bisnis. Kami berharap untuk melihat peningkatan dalam konversi percobaan, tetapi apakah ini akan diterjemahkan ke dalam corong untuk Menang?

Selain itu, dengan menyembunyikan bidang subdomain dan membuat subdomain secara otomatis untuk pengguna, kami ingin memastikan bahwa kami tidak hanya meneruskan masalah ini ke area bisnis lainnya. Ini melibatkan advokasi pelanggan dan dukungan pelanggan yang terlibat sejak awal.

Area utama yang kami yakini penting dalam menentukan dampak eksperimen ini adalah sebagai berikut:

• Tingkat pendaftaran percobaan untuk pengunjung formulir
• Prospek, MQL, Peluang, dan Kemenangan
• Perubahan yang dilakukan oleh pengguna pada nama subdomain di posting produk mendaftar
• Jumlah tiket yang diterima oleh advokasi pelanggan untuk perubahan nama subdomain.”

Berdasarkan tujuan yang Anda pilih dan bagaimana Anda secara konsisten mendekati driver Anda, persona eksperimen dan lintasan program Anda dapat menempuh beberapa cara berbeda. Lihatlah bagan ini dari Ben Labay:

Model Mental: Bagaimana Pro Memilih Metrik Mereka dalam Eksperimen Dunia Nyata

Kami meminta para ahli untuk memandu kami melalui contoh di mana mereka melihat masalah, merancang hipotesis, dan kemudian memilih metrik untuk mengukur keberhasilan dan mengkonsolidasikan pembelajaran.

Inilah yang mereka katakan:

Ben Labay dan Pemetaan Tujuan

Perjelas ke mana arah bisnis ini, dan mengapa.

Apa strategi pertumbuhan bisnis? Apakah mereka tumbuh 20% tahun depan dengan memperoleh lebih banyak pengguna? Apakah mereka akan fokus pada produk baru atau monetisasi basis pengguna yang ada? Dengan informasi ini, Anda tahu ke mana harus mengarahkan program pengoptimalan, Anda harus tahu di mana di corong atau saluran utama apa yang menjadi fokus.

Bagi banyak perusahaan eCommerce pada tahun 2021, itu adalah akuisisi dan konversi pengguna baru. Pada akhir 2022, ini adalah AOV-centric, yang berfokus pada profitabilitas dan efisiensi akuisisi.

• Dengan SaaS selama beberapa tahun terakhir ada pola fokus pada pertumbuhan yang dipimpin produk, jadi fokus pada uji coba, dan orientasi terutama untuk segmen pasar bawah.

Dapatkan pemahaman yang jelas tentang perilaku pelanggan (penurunan, pola navigasi, dll.) dan persepsi (motivasi vs FUD, ketakutan, ketidakpastian, dan keraguan).

Kami memiliki model data yang hebat dalam hal ini, ResearchXL, yang tidak hanya mengumpulkan data tentang perilaku dan persepsi, tetapi juga mengarahkan data melalui informasi ke dalam wawasan yang membangun peta jalan yang diprioritaskan.

Gabungkan langkah 2 dan 3, dan hubungkan tema masalah/peluang yang Anda buat dari riset pelanggan ke sasaran bisnis di peta pohon sasaran.

Berikut adalah closeup dari peta pohon sasaran tempat Anda dapat melihat eksperimen yang terkait dengan metrik perkembangan halaman checkout, yang merupakan titik fokus untuk klien eCommerce ini:

Ketika saya di Workato, kami ingin belajar sebanyak mungkin tentang membangun tur produk yang interaktif. Mengingat kami tidak memiliki versi freemium, banyak prospek ingin melihat dan merasakan bagaimana produk tersebut benar-benar beroperasi.

Apa yang kami harapkan untuk dipelajari menentukan KPI untuk setiap percobaan di sini.

Dalam satu percobaan, kami hanya ingin melihat apakah, berbeda dengan tombol CTA situs web inti lainnya seperti "permintaan demo", orang-orang bahkan tertarik dengan konsep tur produk. Ini adalah semacam tes "pintu dicat", meskipun kami sebenarnya telah membuat tur produk minimum yang layak. Dalam eksperimen ini, kami hanya melacak proporsi klik ke tur produk dan menggunakan eksperimen non-inferioritas pada prospek (kami hanya tidak ingin mereka turun).

Kemudian, dalam mengoptimalkan tur itu sendiri, kami menggunakan KPI makro utama dari tingkat konversi situs web (prospek) dan mengelompokkan mereka yang mengklik tur produk untuk melihat apakah ada juga korelasi tinggi serta peningkatan makro dalam KPI inti kami. .”

Bagaimana Deborah O' Malley Membantu Meningkatkan RKT

Metrik sering kali digerakkan oleh klien. Biasanya, mereka terkait dengan pendapatan. Namun, terkadang klien hanya ingin meningkatkan keterlibatan.

Dalam contoh ini, klien di sektor pendidikan ingin meningkatkan Rasio Klik-tayang (RKT) dari halaman yang menjelaskan tentang program pendidikan ke halaman tempat calon siswa dapat mempelajari lebih lanjut tentang program tersebut dan melamarnya.

Berdasarkan analisis berdasarkan data, hipotesisnya adalah bahwa ada begitu banyak informasi yang bersaing di halaman, sehingga pengguna tidak jelas tentang cara melanjutkan atau ke mana harus mengklik untuk mempelajari lebih lanjut.

Dalam menerapkan kerangka kerja 5 langkah yang dijelaskan di atas, diputuskan bahwa pop-up, atau pemberitahuan slide-in yang diformat dan diatur waktunya secara optimal, akan berfungsi paling baik untuk memberi tahu pengunjung tempat mengeklik untuk mempelajari lebih lanjut.

Oleh karena itu, serangkaian eksperimen dilakukan untuk menentukan format dan waktu optimal dari pop-up notifikasi. Rasio klik-tayang diukur.

Seperti yang ditunjukkan oleh hasil studi kasus ini (pengujian 1, pengujian 2) mengoptimalkan penempatan dan waktu pop-up memiliki dampak positif yang sangat besar pada konversi RKT.

Namun, sementara hasilnya terbukti positif, pada akhirnya, aplikasi yang diajukan adalah metrik yang benar-benar menggerakkan jarum untuk sekolah. Oleh karena itu, pengujian tambahan perlu dilakukan untuk menentukan cara optimal untuk meningkatkan pengajuan aplikasi.

Pembelajaran kunci dari contoh ini adalah bahwa klien sering kali memiliki gagasan tentang apa yang ingin mereka tingkatkan. Sebagai seorang eksperimen, tugas Anda adalah memenuhi harapan mereka, tetapi mendorong lebih jauh. Peningkatan RKPT itu bagus. Tetapi bertujuan untuk meningkatkan konversi lebih dalam di corong. Dorong sejauh mungkin ke metrik penghasil uang corong akhir, seperti aplikasi yang sudah selesai atau penyelesaian pembayaran. Ukur penyelesaiannya dan ukur kesuksesan Anda.

Mengapa Justin Christianson Menambahkan Poin Data Sekunder

Kami mendasarkan tujuan kami di sekitar tujuan. Anda tidak bisa hanya memikirkan penjualan dan pendapatan. Umumnya metrik utama kami adalah konversi penjualan dan RPV, tetapi itu tidak selalu memberikan gambaran terbesar tentang bagaimana pengunjung berinteraksi.

Untuk itu kami ingin mengatur titik data sekunder seperti tambahkan ke troli, klik elemen, kunjungan pada halaman tertentu seperti troli atau checkout. Tujuan sekunder sedikit berubah tergantung pada halaman atau jenis tes. Terkadang penjualan dan pendapatan bukanlah tujuan yang ingin Anda bidik dalam hal hasil.

Kami menggunakan eksperimen kami untuk benar-benar membantu memahami apa yang dipedulikan pengunjung, elemen mana yang membawa bobot dalam keseluruhan UX kemudian membangun strategi berdasarkan hasil tersebut. Hipotesis kami umumnya selalu menanyakan pertanyaan, mengapa atau apa dalam situasi. Itu bisa menjadi sesuatu yang sederhana seperti memindahkan bagian di halaman beranda, kemudian tujuan kami adalah klik pada bagian itu, penjualan, pendapatan, kunjungan di halaman produk. Lalu bagaimana menginterpretasikan data tersebut adalah jika pengunjung menunjukkan keterlibatan yang lebih tinggi dengan memindahkan bagian, maka bagian tersebut memiliki bobot, oleh karena itu pengunjung lebih memilih jalur keseluruhan. Contohnya adalah menyajikan perincian koleksi vs menampilkan blok produk yang sebenarnya pada halaman untuk toko e-niaga.

CXO: Puncak Pembelajaran Eksperimen Pertama?

Tingkat konversi bukan metrik kesombongan. Ini telah menjadi istilah yang sempit sekalipun.

Annika Thompson, Direktur Layanan Klien di Speero

Masalahnya, Annika menjelaskan, bukan karena CRO itu tidak penting, tetapi karena membawa banyak barang bawaan. Ini hanyalah snapshot dalam waktu dan tanpa konteks, itu bisa tidak relevan dan benar-benar berbahaya.

Di sisi lain, CXO atau pengoptimalan pengalaman pelanggan berfokus pada menambang wawasan kualitas tentang preferensi dan perilaku pelanggan – memberikan segalanya mulai dari eksperimen penghancur blok konversi hingga strategi bisnis yang kuat. Ini hanya lebih untuk uang pengujian Anda.