Cara Menampilkan Metrik Shopify dalam Laporan Pengujian A/B untuk Memberikan Nilai yang Jelas

Membuat laporan pengujian A/B Shopify yang luar biasa memiliki dua aspek utama—memilih metrik yang tepat dan mengetahui cara menyajikannya.

Metrik pilihan Anda memengaruhi hasil pengujian dan menentukan fokus seluruh program pengoptimalan.

PS Jangan memilih terlalu banyak metrik. Gunakan aturan Goldilocks: tidak terlalu banyak dan tidak terlalu sedikit. Terlalu banyak dan Anda akan menemukan "pemenang" di setiap percobaan. Terlalu sedikit dan Anda akan kehilangan pembelajaran potensial dan mungkin berdampak negatif pada metrik utama lainnya.

Dan ketika harus menyajikan metrik ini dalam laporan Shopify Anda, pikirkanlah secara komprehensif namun efisien. Kawinkan visual dengan angka sehingga perubahan utama dan tren atau pola metrik yang mengarah ke perubahan disorot.

Tanpa laporan yang menyajikan temuan yang berarti bagi kepemimpinan, akan sulit untuk mendapatkan dukungan untuk eksperimen lebih lanjut atau membuktikan ROI pengujian A/B.

Mungkin pembelajaran Anda adalah semua risiko yang Anda hindari dengan tidak meluncurkan ide atau wawasan buruk yang Anda peroleh saat kehilangan variasi tetapi segmen menunjukkan harapan atau metrik bergerak dengan cara yang tidak terduga. Dan sekarang Anda perlu memahami mengapa itu terjadi melalui eksperimen dan membuktikan sebab-akibat.

Intinya: Buat laporan yang mudah ditafsirkan dan bantu tim eksperimen menyampaikan nilai upaya—kemenangan, pembelajaran, dan wawasan yang sebenarnya—kepada pemangku kepentingan dengan jelas.

Metrik Shopify Teratas Untuk Dilacak dalam Pengujian A/B Dan Apa Artinya

Meskipun metrik yang harus Anda lacak bergantung pada hipotesis Anda, berikut adalah beberapa metrik dari Shopify yang harus Anda pertimbangkan untuk diperhatikan

• Total pesanan : Jumlah pesanan yang dilakukan

• Total penjualan: Jumlah total dikategorikan oleh saluran penjualan
  Rumus : Penjualan kotor – diskon – pengembalian uang + ongkos kirim + pajak

• Laman landas teratas: Menampilkan laman tempat pelanggan memulai sesi.
  
• Nilai pesanan rata -rata : Nilai rata-rata semua pesanan (dikurangi kartu hadiah) dibagi dengan jumlah total pesanan.

• Tingkat Konversi Toko Online: Persentase sesi yang menghasilkan pesanan
  
  
  • Ditambahkan ke troli: Jumlah dan persentase sesi di mana pelanggan menambahkan setidaknya satu item ke troli mereka.
    Rumus : ((Sesi dengan item keranjang dilihat) / (total sesi))*100
  • Mencapai checkout: Jumlah dan persentase sesi di mana pembeli menambahkan setidaknya satu item ke keranjang mereka, mencapai checkout dan melakukan tindakan.
  • Sesi yang dikonversi: Jumlah dan persentase sesi di mana pembeli menambahkan setidaknya satu item ke keranjang mereka, mencapai pembayaran, dan kemudian melakukan pembelian.
• Tarif troli yang ditinggalkan: Persentase troli yang ditinggalkan pelanggan sebelum mereka mencapai pembayaran.
  Rumus : (1 – (Jumlah pembelian yang diselesaikan / Jumlah penjualan yang dimulai))*100

• Rasio Pentalan: Persentase sesi keterlibatan tunggal
  Rumus: Total sesi satu halaman / Total kunjungan masuk

Anda juga dapat melacak pelanggan baru, pelanggan yang kembali, saluran rujukan (SEO, media sosial, langsung, atau email) dan penjualan berdasarkan lokasi.

Kami bertanya kepada lebih dari 50 pengoptimal Shopify melalui HARO tentang metrik yang mereka sukai untuk dilacak dan beberapa favorit yang jelas muncul:

• Rasio Konversi (CR)
• Rasio Klik Tayang (RKT)
• Nilai Konversi
• Waktu di Halaman
• Tingkat Pentalan
• Kedalaman Gulir
• Keterlibatan pada halaman tertentu – seperti halaman katalog/kategori
• Kedalaman Navigasi Situs
• Tampilan Halaman
• Tampilan Elemen
• Masukkan ke keranjang
• Pembelian Bersih
• Waktu-untuk-Checkout
• AOV
• NPS (Pasca Pembelian)
• Pendapatan Rata-rata per Pengunjung
• Tarif Keranjang yang Ditinggalkan
• Laba bersih

Kenyataannya adalah, dalam hal pelacakan metrik, tidak ada jawaban yang cocok untuk semua. Metrik yang paling penting untuk dilacak akan bervariasi tergantung pada tujuan dan sasaran spesifik Anda.

Untuk beberapa toko Shopify, mungkin terlihat seperti ini:

Beberapa tujuan favorit saya untuk dilacak di toko Shopify adalah

1. Dorong klik-tayang pada iklan.
2. Meningkatkan penjualan produk tertentu.
3. Tingkatkan navigasi halaman utama.

Jessica Kats, pakar e-niaga dan ritel di Soxy

Shopify Analytics: 3 Metrik yang Harus Anda Berikan Perhatian Ekstra

Di Convert, kami meminta pemilik toko Shopify untuk memberi perhatian ekstra pada 3 metrik:

1. Tingkat Konversi (CR) – Dengan risiko menyatakan dengan jelas, tingkat konversi Anda dapat menjadi indikator yang baik untuk keberhasilan atau kegagalan eksperimen Anda. Pada akhirnya, Anda menginginkan lebih banyak penjualan dan peningkatan pendapatan. Namun ini mungkin bukan metrik terbaik jika Anda tidak mencoba mengukur bagaimana tindakan Anda memengaruhi orang yang melakukan tindakan di situs Anda.
   
   Baca terus untuk mengetahui metrik mana yang paling penting!

2. Nilai Pesanan Rata-Rata (AOV) : Meskipun AOV bukanlah metrik yang paling lengkap, Anda tetap harus mempertimbangkan untuk memantaunya. Ini merupakan indikasi profitabilitas di berbagai segmen—metrik luas yang mengukur seberapa banyak orang membeli dari berbagai kategori.
   Saat menggunakannya sebagai metrik eCommerce utama Anda, pastikan:
   
   
   • AOV dipantau di seluruh SKU
   • Anda melacak pesanan dari distributor dan pesanan massal karena dapat membuang AOV
   • AOV tidak menunjukkan keuntungan karena tidak mengurangi harga pokok penjualan yang merupakan pengeluaran yang signifikan.

3. Average Revenue Per Visitor (ARPV): Tidak seperti AOV yang memiliki order sebagai unit pengacakan sehingga sulit untuk diuji dengan benar, ARPV menggunakan pengunjung sebagai unit pengacakan yang praktis.
   
   ARPV adalah metrik yang paling penting untuk dilacak karena terdiri dari CR dan AOV.

Dan Alex Birkett, Co-Founder Omniscient Digital, setuju:

Tujuan eksperimen Anda sangat penting bagi desain eksperimen Anda dan apa yang sebenarnya Anda pelajari dari eksperimen Anda.

Di terlalu banyak perusahaan, metrik proporsi sederhana "rasio konversi" adalah tujuan eksperimen universal. Tidak apa-apa jika Anda ingin mengetahui apakah intervensi Anda meningkatkan proporsi orang yang mengambil tindakan, seperti membeli *apa pun* di situs web Anda, tetapi jika bukan itu yang Anda coba pelajari atau jika itu bukan tujuan Anda. mencoba untuk bergerak, itu bukan metrik terbaik.

Banyak situs web Shopify yang pernah saya tangani juga menginginkannya
a) meningkatkan ukuran pembelian (atau nilai pesanan rata-rata – AOV) bagi mereka yang membeli atau
b) meningkatkan nilai rata-rata pengunjung di seluruh kumpulan halaman.

Untuk yang pertama, Anda ingin menyiapkan AOV dan pelacakan pendapatan. Ini memerlukan integrasi dengan keranjang belanja Anda, tetapi sebagian besar alat pengujian termasuk Konversi memiliki integrasi asli dengan Shopify.

Convert juga memiliki panduan lengkap untuk mengoptimalkan AOV yang dapat Anda lihat.

Ketika saya mengoptimalkan AOV, saya juga melacak tingkat konversi untuk memastikan saya tidak merusak metrik itu.

Tapi saya melihatnya sebagai metrik pagar pembatas.

Jika saya dapat meningkatkan AOV sambil mempertahankan tingkat konversi dasar saya, saya mengirimkan eksperimen ke produksi. Saya juga dapat menghitung nilai marjinal jika rasio konversi turun sedikit, tetapi nilai pesanan rata-rata menebusnya dengan meningkatkan pendapatan rata-rata per pengunjung eksperimen.

Ini membawa saya ke alat pelaporan post-hoc kedua saya untuk Shopify: pendapatan rata-rata per pengunjung.

Ini, beberapa berpendapat, adalah metrik pengoptimalan konversi toko eCommerce utama, karena merupakan metrik gabungan yang dapat dipengaruhi oleh peningkatan konversi atau dengan meningkatkan nilai setiap konversi (yaitu nilai pesanan rata-rata).

Nilai pesanan rata-rata dan pendapatan rata-rata per pengunjung yang jatuh tempo menghadirkan beberapa kerumitan tambahan dalam pelaporan.

Tingkat konversi adalah metrik biner dan dapat diperlakukan sebagai variabel kategoris (lulus / gagal, mengonversi atau tidak), dan dapat dianalisis menggunakan sesuatu seperti uji chi-kuadrat.

Nilai pesanan rata-rata adalah variabel kontinu dan sering dipengaruhi oleh outlier (misalnya, seseorang datang dan membeli 10X volume pembelian normal – apa yang Anda lakukan dengan outlier itu?).

Pendapatan rata-rata per pengunjung juga dipengaruhi oleh outlier dan merupakan variabel berkelanjutan, tetapi asumsi yang mendasari model cenderung seimbang pada ukuran sampel yang lebih tinggi.

Kedua metrik ini diremehkan dalam pelaporan untuk eksperimen Shopify, tetapi mereka menghadirkan beberapa tantangan baru untuk analisis di luar peningkatan rasio konversi sederhana.

Namun, sebagian besar alat pengujian A/B dapat memperhitungkan hal ini, dan Anda tidak akan mengalami terlalu banyak masalah dengan inferensi.

Tip alat: Gunakan kalkulator analisis pra-pengujian Konversi untuk mengukur persyaratan ukuran sampel mereka untuk toleransi risiko dan efek yang ingin mereka deteksi pada metrik penting yang tercantum di atas.

Elemen & Wawasan Apa yang Harus Disertakan dalam Laporan Pengujian A/B Shopify yang Hebat?

Jadi seperti apa laporan pengujian A/B Shopify yang luar biasa? Kita akan membahasnya sebentar lagi.

Pertama, rendam ini di:

Anda dapat membuat laporan pengujian yang baik dan berharga hanya jika Anda memulai pengujian dari hipotesis yang baik

Andra Baragan, Pendiri ONTRACK Digital

Jika Anda ingin beberapa petunjuk tentang cara membuat hipotesis yang solid, kami siap membantu Anda.

Sekarang setelah dasar kita tercakup, berikut saran lebih lanjut dari Andra Baragan tentang cara membuat pengujian A/B:

Setiap pengujian A/B baru harus dimulai dengan menjawab pertanyaan berikut:

Masalah : apa masalah yang Anda coba perbaiki?

Peluang : bagaimana solusi Anda akan memperbaiki masalah?

Jalur pengoptimalan : bagaimana ini membantu klien kami mencapai tujuan mereka? Sumber : Sumber data apa yang Anda gunakan untuk menemukan solusi Anda?

Terakhir, dalam hal pelaporan, Andra merekomendasikan untuk kembali dan menjawab pertanyaan-pertanyaan itu dengan angka.

Dalam setiap laporan pengujian, kami menyertakan yang berikut:

• Durasi tes : (berapa hari tes berjalan)
• Interval pengujian: (jangka waktu di mana ia berjalan)
• Apa yang kami uji: (jelaskan apa yang Anda ubah)
• Wawasan : (1-2 baris mengapa Anda mengujinya, apa yang Anda amati yang membuat Anda ingin mengujinya)
• Apa yang Anda pelajari dari tes? Apa langkah selanjutnya sekarang?
• Apakah tes itu sesuatu yang perlu diterapkan di situs web langsung? Apakah Anda ingin mengulangi variasi dan mengujinya lagi? Apa tindakan yang diperlukan setelah laporan ini?

Kami selalu mendapatkan hasil pengujian dari Google Analytics – kami membuat segmen khusus pengguna untuk setiap variasi dan kemudian kami dapat menjalankan segmen tersebut pada semua laporan yang relevan – ini memberi kami pandangan yang tak tertandingi tentang dampak pengujian terhadap perilaku pengguna.

Catatan : Jika Anda mengeluarkan analitik dari dasbor Shopify dan membandingkannya dengan Google Analytics, akan ada beberapa perbedaan karena cara penghitungan metrik. Berikut informasi lebih lanjut tentang mengapa itu terjadi.

Menyusun Laporan

Struktur laporan Anda dapat bervariasi berdasarkan kepada siapa Anda mempresentasikannya—eksekutif tidak memerlukan detail sebanyak tim pengujian Anda. Namun, laporan Anda biasanya harus mencakup aspek-aspek berikut:

• Slide 1: Tujuan tes -Mengapa Anda menjalankan tes, dan apa hipotesis Anda yang membuat Anda merancang tes khusus ini?
  
  Untuk pemangku kepentingan dan organisasi Anda yang lebih luas, Anda dapat mempertahankan level ini cukup tinggi. Saat mempresentasikan ke tim pengujian Anda, sertakan konteks dari pengujian sebelumnya (jika berlaku) dan selami lebih dalam metrik yang ingin Anda pindahkan.

• Slide 2: Rincian tes – Tunjukkan variasi tes yang berbeda dan tambahkan catatan singkat untuk menjelaskan perbedaannya. Sertakan kapan Anda menjalankan pengujian, berapa lama pengujian tersebut dijalankan, dan ikhtisar jumlah pengunjung menurut variasi.
  
  Saat mempresentasikan kepemimpinan atau tim lain, Anda dapat mengabaikan detail yang tidak relevan dengan pembelajaran atau wawasan. Untuk tim pengujian Anda, Anda dapat memperluas slide atau halaman ini untuk mencakup setiap detail kecil.

• Slide 3: Hasil pengujian – Menampilkan persentase peningkatan atau kerugian, rasio konversi dari berbagai varian, dan signifikansi statistik pengujian.
  
  Pemangku kepentingan peduli dengan hasil, menjadikan ini salah satu aspek terpenting dari laporan Anda. Soroti kemenangan dan KPI yang bergerak dengan cara yang benar. Hapus outlier yang tidak relevan dengan hasil. Ingat, Anda harus menarik minat mereka. Beri mereka sesuatu yang mereka bisa yang membuat mereka terlihat baik.
  
  Untuk tim pengujian Anda, Anda dapat menghabiskan lebih banyak waktu untuk kerugian dan metrik mana yang gagal bergerak seperti yang Anda harapkan.

• Slide 4: Pelajaran yang dipetik dari tes – Jika tes tidak memiliki kemenangan yang jelas, ini adalah kesempatan Anda untuk menggunakan data untuk menceritakan sebuah kisah. Jelaskan kepada pemangku kepentingan apa arti angka-angka dalam laporan Anda, wawasan apa yang telah Anda peroleh dari menjalankan pengujian ini dan bagaimana Anda berencana untuk menghasilkan hipotesis baru untuk pengujian di masa mendatang.
  
  Ini juga sangat penting untuk tim pengujian Anda. Pelajaran yang Anda pelajari melalui kegagalan dapat menentukan langkah selanjutnya untuk tim.

• Slide 5: Dampak pada pendapatan : Jika Anda bisa, coba hitung persentase peningkatan yang Anda tunjukkan sebelumnya dengan proyeksi dampak pendapatan YoY.
  
  Ingatlah agar pemangku kepentingan eksekutif tertarik pada eksperimen, Anda harus menunjukkan kepada mereka dampaknya terhadap laba perusahaan. Jika Anda tidak memiliki proyeksi pendapatan untuk ditampilkan, pastikan pembelajaran Anda menyertakan rencana untuk menjalankan tes di masa mendatang yang mungkin berdampak.
  
  

Karena tidak ada satu cara pun untuk melakukannya dengan benar, kami meminta beberapa pakar untuk membagikan bagaimana mereka menyusun laporan mereka dan inilah yang mereka katakan:

Saya memiliki metode penyusunan laporan yang sangat standar yang meliputi:

1. Ringkasan
   
   Ringkasan singkat dan sederhana tentang apa yang kami uji, mengapa kami melakukannya, apa yang kami amati, dan apa yang ingin kami lakukan selanjutnya.

2. Konsep tes
3. Eksperimen materi iklan
4. Tanggal dan durasi
5. Metrik
6. halaman
7. Hipotesa
8. Analisis
9. Hasil
   
   Menurut pendapat saya, sangat penting bahwa setiap laporan menyertakan hasil mentah lengkap untuk memungkinkan mereka diinterogasi oleh orang lain dan juga untuk kepentingan anak cucu.
   
   Kami mungkin menerima begitu saja bahwa kami dapat mengakses hasil di alat pengujian A/B kami sekarang, tetapi bagaimana dalam setahun? Dua tahun? Tiga?

10. Langkah selanjutnya
    
    Berdasarkan apa yang kita lihat dalam percobaan ini, apa yang akan kita lakukan selanjutnya?

Oliver Palmer, konsultan CRO di Oliver Palmer

Laporan pengujian A/B kami selalu menyertakan elemen berikut:

1. Deskripsi yang jelas tentang perubahan yang dilakukan di setiap versi;

2. Hasil eksperimen, termasuk versi mana yang berkinerja lebih baik; dan

3. Rekomendasi untuk eksperimen lebih lanjut berdasarkan hasil uji A/B

Laporan ini membantu kami memahami apa yang terbaik untuk toko kami dan membuat keputusan yang tepat tentang cara meningkatkan tingkat konversi kami.

Luke Lee, CEO PalaLeather

1. “ Eksperimen dilihat (halaman) – Berapa banyak orang yang melihat eksperimen?
2. Eksperimen dilihat (elemen) – Jika eksperimen hanya ditampilkan di scroll, berapa banyak orang yang melihatnya?
3. Eksperimen diam – Di desktop, apakah kursor pengguna mengarahkan kursor ke area eksperimen?
4. Interaksi eksperimen – Apakah pengguna berinteraksi dengan eksperimen? (Lacak setiap elemen satu per satu)
5. Waktu di halaman
6. Saatnya checkout ”

Alex Halliday, Pendiri dan CEO AirOps

Berikut adalah contoh singkat dari salah satu laporan aktivitas ONTRACK Digital:

( Anda dapat menggunakan ini sebagai template untuk laporan Anda.)

Slide 1:

• Nama merk
• Nama laporan
• Jangka waktu

Geser 2:

Sorotan tes

• Jumlah tes selesai
• Jumlah tes yang berhasil
• Fitur diimplementasikan
• Jumlah tes yang sedang berlangsung
• Ikhtisar semua tes dengan pembaruan status

Slide 3:

Ikhtisar Google Analytics untuk periode tertentu

• Pendapatan dan tingkat konversi
• Transaksi
• AOV

Geser 4:

Tes sedang berjalan

• Cuplikan tes yang sedang berlangsung
• Visual dari perangkat lunak pengujian A/B untuk menunjukkan mana yang muncul sebagai pemenang
• Metrik dari Google Analytics untuk mendukung kemajuan pengujian

Geser 5:

Ikhtisar tes masa depan

• Semua tes sedang direncanakan

Anda dapat memiliki satu slide untuk menjelaskan setiap tes disertai dengan visual.

Meliputi Tujuan & KPI

Sasaran dan KPI masuk ke bagian "detail pengujian" sehingga Anda dapat menjelaskan tujuan eksperimen.

Pastikan untuk menambahkan catatan untuk menjelaskan pilihan Anda. Anda mungkin bertanya-tanya mengapa Anda memilih tujuan atau KPI tertentu untuk dilacak daripada yang lain.

Perlu bantuan untuk mengidentifikasi sasaran dan KPI mana yang harus dilacak? Dapatkan Panduan Utama kami untuk Menggunakan Sasaran dalam Pengujian A/B.

Kami juga meminta beberapa pakar untuk membahas tujuan mana yang mereka lacak:

Tujuan favorit saya untuk menguji di toko Shopify adalah meningkatkan keterlibatan di halaman katalog. Produk kami menentukan pendapatan penjualan dan pertumbuhan pelanggan dalam saluran. Berfokus pada tujuan ini dan pengujian memberi kita wawasan yang banyak tentang apakah halaman dikunjungi cukup kali. Jika keterlibatannya rendah, pengujian membantu kami mengetahui area yang kurang, sehingga mendorong pembenahan upaya pemasaran.

Aviad Faruz, CEO Faruzo

Dalam hal pelacakan sasaran, saya biasanya memilih satu metrik utama dari daftar di bawah dan kemudian menggunakan yang lain sebagai metrik kesehatan atau metrik penghitung. Ada baiknya untuk mengawasi beberapa nomor jika terjadi konsekuensi yang tidak diinginkan.

1. Tingkat bouncing
2. CVR (peningkatan keseluruhan ke rasio konversi)
3. AOV (nilai pesanan rata-rata)
4. Pendapatan rata-rata per pengunjung (campuran dari dua hal di atas)
5. NPS atau sejenisnya

Saya juga suka mengelompokkan pengguna berdasarkan:

1. sumber UTM
2. Tipe perangkat
3. Lokasi
4. Pengunjung Baru vs Kembali”

Alex Halliday, Pendiri dan CEO AirOps

Dari segi sasaran, biasanya akan ada indikator utama yang kami coba pengaruhi secara langsung (misalnya, halaman produk yang dilihat atau interaksi dengan filter ukuran/warna) dan kemudian hampir selalu Konversi dan Pendapatan Per Pengunjung. Sasaran yang dilacak harus secara langsung berhubungan dengan hipotesis dan tujuan komersial eksperimen, sehingga jarang berguna untuk melacak paling banyak lebih dari tiga atau empat.

Oliver Palmer, Konsultan CRO di Oliver Palmer

Kami biasanya melacak dua sasaran dalam pengujian A/B kami: rasio konversi dan nilai pesanan rata -rata . Namun, bergantung pada sifat eksperimen, kami juga dapat melacak sasaran lain seperti rasio klik-tayang atau waktu di situs. Biasanya tergantung pada percobaan. Pengguna dan bisnis lain mungkin memiliki kriteria yang berbeda untuk melacak tujuan mereka masing-masing.

Sasaran favorit kami untuk diuji di toko Shopify adalah tingkat konversi dan nilai pesanan rata-rata. Kami menemukan bahwa ini adalah metrik yang paling penting untuk toko kami dan mereka memberikan wawasan paling banyak tentang bagaimana kami dapat meningkatkan toko kami. Namun, setiap toko berbeda dan Anda mungkin menemukan bahwa tujuan lain lebih penting untuk bisnis Anda. Itu benar-benar tergantung pada apa yang ingin Anda optimalkan.

Luke Lee, CEO Palaleather

Menambahkan Materi Kreatif Untuk Visual Storytelling

Sebagian besar perangkat lunak pengujian A/B yang Anda gunakan akan menawarkan tabel dan grafik atau semacam template siap pakai yang dapat Anda gunakan saat mengekspor laporan. Anda dapat menambahkan grafik tersebut ke laporan Anda (jika relevan, tentu saja) dan mempertimbangkan untuk membuatnya sendiri.

Nomor Anda menceritakan sebuah cerita. Cukup gunakan materi iklan untuk menggambarkannya secara visual. Caranya adalah dengan menggunakan visualisasi yang mudah dipahami, sebaiknya sekaligus.

Annemarie Klaassen dan Ton Wesseling di CXL telah menempuh jalan ini mencoba berbagai metode untuk sampai pada solusi yang berhasil. Berikut ringkasan singkat dari saran mereka:

Tip 1: Jika Anda tidak yakin, tetap berpegang pada norma—Spreadsheet Excel

Anda dapat melihat lift dan dampak langsung. Selain itu, Anda dapat memberi kode warna pada pemenang sehingga semua orang dapat melihat varian mana yang dimenangkan dengan mudah.

Tip 2: Tambahkan grafik

Anda dapat melihat tingkat konversi per hari dari waktu ke waktu dan menambahkan batas bawah dan atas variasi default.

Namun, ini tidak akan memberi Anda jawaban yang jelas tentang varian mana yang menang dan bagaimana KPI terpengaruh; hanya menunjukkan bahwa ada efek stabil yang tidak menarik bagi pemangku kepentingan.

Tip 3: Tirulah ahli statistik

Cara lain (mungkin lebih akurat) adalah dengan meniru apa yang dilakukan ahli statistik: 2 kurva lonceng, nilai kritis, dan area yang diarsir. Tapi masalahnya adalah terlalu sulit untuk menjelaskannya dengan jelas.

Jadi Annemarie dan Ton datang dengan ini:

Dua poin jelas untuk menunjukkan tingkat konversi kedua varian. Garis putus-putus mewakili interval kepercayaan.

“Jika tingkat konversi variasi B berada di luar jangkauan interval kepercayaan A, variasi B secara signifikan lebih baik. Area yang diarsir hijau menonjolkan ini. Sebuah titik di area merah akan berarti bahwa variasi tersebut berkinerja lebih buruk secara signifikan.”

Mereka butuh beberapa percobaan lagi untuk melakukannya dengan benar. Apa yang akhirnya mereka dapatkan adalah versi yang lebih terkonsolidasi yang masuk akal bagi tim mereka dan mereka dapat mengotomatiskan produksi materi iklan.

Anda dapat membaca posting lengkap untuk melihat apa yang mereka dapatkan pada akhirnya.

PS Anda tidak perlu memperumit ini. Pastikan Anda memiliki materi iklan yang mendukung hasil dan pembelajaran Anda dan pastikan materi tersebut cukup mudah untuk dipahami semua orang.

Meliputi Penargetan & Desain Eksperimen

Bagaimana Anda merancang eksperimen dan segmen audiens mana yang ditargetkan sama pentingnya dengan apa yang Anda pelajari dari eksperimen tersebut, terutama karena Anda harus menggunakan wawasan tersebut untuk menyusun pengujian di masa mendatang.

Ini juga masuk ke bagian "detail". Anda mungkin ingin mengabstraksi beberapa informasi yang tidak relevan dengan C-suite atau menyajikan versi singkatnya.

Berikut ini cara para pakar mendekati penargetan & segmentasi:

Eksperimen yang berbeda akan menargetkan segmen pengguna yang berbeda, seperti pelanggan tetap atau individu yang telah melihat halaman produk utama Anda. Anda dapat menargetkan klien Inggris dengan Inggris Inggris jika Anda memiliki pengguna dari seluruh Anglosphere. Dengan menyegmentasikan audiens, Anda dapat mengekspos eksperimen hanya kepada jumlah pengunjung tertentu yang memenuhi kriteria Anda sambil mengecualikan mereka yang tidak.

Sebelum Anda menjalankan pengujian A/B di toko Anda, Anda perlu mencari tahu bagian mana dari audiens Anda yang cocok untuk hipotesis Anda. Segmentasi menjamin bahwa eksperimen yang benar ditampilkan kepada klien yang benar.

Lulu Albanna, Co-Founder – WRC Media

Jelaskan mengapa Anda membuat pilihan khusus ini. Apakah itu hasil dari percobaan sebelumnya? Atau, apakah Anda sampai pada hipotesis tertentu berdasarkan penelitian konversi?

Paul Somerville, Manajer Teknis di Electric Scooter Guide, juga merekomendasikan untuk berbagi di mana tes dipicu dan mengapa itu penting:

Kami telah melakukan banyak pengujian A/B untuk fitur seperti obrolan langsung, tombol ajakan bertindak, gambar produk, pemosisian penjualan yang lebih baik, halaman arahan, menu navigasi, dan banyak lagi sebagai perusahaan Shopify.

Misalnya, pengujian A/B membantu kami menetapkan keseimbangan yang tepat antara penjualan silang dan peningkatan penjualan tanpa gangguan atau gesekan dalam pengalaman pelanggan.

Kami melihat bahwa audiens kami menyukai saran yang sangat relevan langsung di halaman produk daripada yang disajikan saat checkout setelah melakukan beberapa eksperimen, dan sebagai hasilnya, kami meningkatkan nilai transaksi rata-rata.

Menekankan pada Segmentasi

Semua pengujian tidak dimulai dengan mempertimbangkan segmen pemirsa. Seringkali, tujuan pengujian adalah untuk mengetahui segmen mana yang merespons perubahan dengan lebih baik.

Jadi, jika Anda bermaksud untuk menentukan segmen audiens setelah tes selesai, pastikan Anda menyertakan temuan Anda tentang hal itu di bagian "hasil" dan "pembelajaran" dari laporan.

Beberapa segmentasi umum yang ingin Anda sertakan dalam laporan Anda:

• Geografis
• Perilaku
• Cuaca
• teknografi

Semua ini akan membantu Anda menyempurnakan hasil yang Anda miliki untuk lebih memahami audiens Anda dan merancang tes yang unggul.

Namun, Anda harus ingat bahwa pasca-segmentasi dapat mengalami tiga masalah umum—memiliki ukuran sampel yang terlalu kecil, membandingkan beberapa segmen, dan berfokus pada segmen yang sepenuhnya salah.

Catatan : Anda juga bisa menjadi lebih mahir dengan pasca-segmentasi—segmentasi audiens berdasarkan cookie, lapisan data Anda, atau bahkan daftar HubSpot.

Menyampaikan Nilai Pengujian A/B Shopify, Secara Internal & kepada Klien

Sekarang setelah Anda mengetahui seperti apa tampilan laporan pengujian A/B Shopify Anda, berikut beberapa saran dari para ahli kami:

• B2C vs. B2B – Tunjukkan pada mereka jalan yang benar
  Siklus pembelian di B2C jauh lebih pendek dan lalu lintasnya lebih banyak sehingga idealnya Anda memiliki potensi untuk menjalankan banyak pengujian. Namun, Anda akan menemukan sebagian besar merek masih fokus pada saluran akuisisi yang "dicoba dan diuji" yang menjadi tidak berkelanjutan karena pembaruan privasi baru yang menghasilkan data yang buruk. Hasil? Kenaikan mengejutkan dalam biaya akuisisi pelanggan. Jelaskan kepada klien/pemangku kepentingan Anda bahwa Anda tidak dapat membelanjakan semua pesaing Anda.

• Bermain untuk kepentingan pimpinan
  Nilai sebenarnya dari pengujian A/B terletak pada wawasan yang Anda peroleh dari eksperimen. Tetapi ini tidak berguna bagi pendiri dan pemangku kepentingan lainnya. Mereka cenderung tidak terkesan dengan pembelajaran dan lebih tertarik pada "kemenangan".

• Jangan salah menaruh harapan
  Tentu saja, Anda harus mencoba menunjukkan dampaknya terhadap pendapatan, tetapi frasa kuncinya di sini adalah: bila memungkinkan. Jangan memproyeksikan pendapatan berdasarkan peningkatan rasio konversi atau nilai pesanan rata-rata.
  Alih-alih fokus pada apa yang diuji:
  
  
  • Jadilah spesifik tentang apa yang Anda lakukan dan buat laporan visual dan relevan.
  • Apa saja pembelajarannya? Ini bisa berasal dari metrik seperti CR atau ARPV yang bergerak. Jangan terpaku pada gerakannya tetapi jika hipotesis itu terbukti benar. Jika demikian, apa yang diungkapkan oleh hubungan sebab akibat tentang segmen audiens Anda?
  • Apa yang akan Anda lakukan dengan wawasan ini? Apakah Anda akan memperbaiki positioning? Atau mungkin meningkatkan desain situs?
  • Apa artinya ini bagi bisnis secara keseluruhan? Dan dapatkah merek mengambil satu langkah lebih dekat untuk memenuhi tujuan bisnis?

• Tambahkan konteks ke angka yang Anda sajikan
  Anda harus memberi tahu orang-orang, dengan tegas, apa yang mereka lihat. Itu bisa berarti kode warna, menambahkan tolok ukur industri, menunjukkan rata-rata, segmen pemirsa, atau bahkan menunjukkan berapa biaya saluran yang berbeda.

Mengikuti pendekatan ini memastikan Anda tidak selalu di bawah tekanan untuk mendapatkan kemenangan cepat.

Anda dapat memfokuskan kembali perhatian Anda pada eksperimen—belajar. Tetapi kuncinya adalah tidak memprioritaskan satu hal di atas yang lain.

Agen eksperimen terbaik berfokus pada minat dan dukungan sebanyak apa yang mereka uji. Tindakan penyeimbang yang nyata antara antusiasme (Ya! Eksperimen dapat menumbuhkan bisnis) dan menetapkan ekspektasi yang tidak akurat (pendapatan kami akan berlipat ganda).

Jalan ke depan adalah (*drumroll please*) pendidikan. Dapatkan salinan “Eksperimentasi Karya”—bacaan tanpa jargon yang akan memandu Anda menjalankan pengujian yang lebih baik dan berbagi wawasan yang dapat ditindaklanjuti.

Dan jika Anda mencari alat pengujian A/B yang dapat membantu berbagi beban Anda, cobalah Convert. Gratis selama 15 hari—tidak perlu kartu kredit.