Kapan Mencari Maksimum Lokal dan Global Dengan Pengujian A/B Anda

Bayangkan Anda sedang mendaki Gunung Everest dalam kabut tebal dengan amnesia. Anda hanya dapat melihat sejauh tangan Anda yang terulur. Anda tidak tahu di mana Anda berada atau ke arah mana harus pergi, hanya saja Anda perlu mencapai puncaknya. Apa peluang yang Anda lakukan?

Mungkin serendah gunung itu tinggi.

Analogi yang dramatis seperti ini, dibuat dengan mengacu pada dasar metode pengujian A/B yang populer. Puncak itu adalah versi terbaik halaman arahan pasca-klik Anda, dan Anda bingung, hampir buta, dan tersesat di lereng gunung halaman Anda saat ini.

Lebih buruk lagi, Anda mungkin diberikan peta yang salah oleh blogger pemasaran favorit Anda. Anda mungkin mengira Anda melakukan pengujian A/B dengan cara yang benar — bahwa Anda sedang menuju ke arah puncak itu. Namun, kemungkinan besar Anda akan segera menemui jalan buntu, dan Anda tidak akan pernah menemukan variasi performa tertinggi dari halaman arahan pasca-klik Anda.

Mitos pengujian A/B yang membingungkan pemula

Beberapa blog pemasaran paling populer di internet terus mengabadikan mitos pengujian A/B yang menghancurkan pemula sejak awal. Itu menjadi korban saya ketika saya mulai juga.

“Jangan ubah lebih dari satu elemen halaman per pengujian A/B” Saya terus membaca berulang kali. Saya tidak mempertanyakannya karena sumbernya dapat dipercaya dan karena sebagian besar, yah, itu masuk akal.

Inti dari pengujian A/B adalah untuk mengumpulkan data yang dapat Anda gunakan untuk mengoptimalkan halaman, email, iklan, atau apa pun yang sedang Anda uji. Bagaimana saya bisa tahu apa yang menyebabkan perubahan rasio konversi pada kesimpulan pengujian jika saya membuat lebih dari satu penyesuaian antara versi "A" dan "B"? Data seperti apa itu?

Jadi, saya menguji elemen satu per satu: judul halaman arahan pasca-klik “A” vs. judul halaman arahan pasca-klik “B.” Selanjutnya, tombol biru di halaman arahan pasca-klik “A” vs. tombol hijau di halaman arahan pasca-klik “B.” Beginilah cara para profesional dan Amazon dan Google melakukannya. Jika itu cukup baik untuk perusahaan multi-miliar dolar, itu cukup baik untuk saya.

Masalah yang saya abaikan, yang menjadi sangat menyakitkan bagi saya beberapa bulan kemudian, adalah bahwa saya bukanlah Amazon atau Google. Situs web mereka menghasilkan banyak lalu lintas, yang berarti bahwa peningkatan kecil yang diperoleh dari pengujian warna tombol yang sembrono ini dapat menghasilkan pendapatan jutaan dolar.

Namun, bagi kebanyakan orang, mereka membuang-buang waktu dan sumber daya. Bagi kebanyakan orang, menggunakan metode pengujian A/B ini seperti mendaki Gunung Everest dalam kabut tebal dengan amnesia.

Heuristik mendaki bukit

Dalam kehidupan kita sehari-hari, ada masalah yang kita temui yang solusinya jelas. Namun, apa yang terjadi jika Anda dihadapkan pada rintangan yang tidak biasa dan sangat unik? Ambil labirin ini, misalnya:

Tidak ada posting blog yang ditulis tentang cara terbaik untuk menavigasi labirin khusus ini. Teman Anda (kemungkinan besar) tidak dapat membimbing Anda melewatinya. Anda tidak memiliki peta. Jadi, bagaimana Anda berpindah dari A ke B?

Jawabannya dapat ditemukan dalam program komputer yang disebut "The General Problem Solver", yang dibuat pada tahun 1963 oleh Newell, Simon, dan Shaw untuk mempelajari kecerdasan buatan. Penelitian mereka juga telah diterapkan pada pemecahan masalah manusia. Dr Russ Dewey menjelaskan:

Newell dan Simon mendefinisikan setiap masalah sebagai ruang. Di satu ujung ruang adalah titik awal, di sisi lain adalah tujuannya. Prosedur pemecahan masalah itu sendiri dipahami sebagai serangkaian operasi untuk melintasi ruang itu, untuk pergi dari titik awal ke keadaan tujuan, selangkah demi selangkah.

Dalam Pemecah Masalah Umum, program menguji berbagai tindakan (yang disebut operator oleh Newell dan Simon) untuk melihat mana yang akan membawanya lebih dekat ke keadaan tujuan. Operator adalah aktivitas apa pun yang mengubah status sistem. Pemecah Masalah Umum selalu memilih operasi yang muncul untuk membawanya lebih dekat ke tujuannya. Taktik ini disebut mendaki bukit, karena menyerupai taktik selalu melangkah menuju puncak bukit atau gunung.

Dalam labirin di atas, setiap jalan buntu adalah "ruang" — masalah yang perlu Anda atasi dengan "operasi", yaitu tindakan yang membawa Anda lebih dekat ke tujuan (mulai dari "A" ke "B").

Jadi, Anda mulai dari "A" dan mengikuti jalur yang menurut Anda akan membawa Anda ke "B" paling cepat. Saat Anda menemui jalan buntu, Anda kembali dan mencoba rute alternatif. Anda mengulangi prosesnya sampai Anda mencapai tujuan Anda.

Inilah yang Anda lakukan saat menguji A/B elemen kecil. Anda mengidentifikasi masalah, seperti tombol yang tidak terlihat, misalnya. Kemudian, Anda mendekati tujuan Anda untuk membuat versi terbaik dari halaman arahan pasca-klik Anda (atau menurut Anda) dengan menguji apa yang menurut Anda lebih baik. Jika itu tidak berhasil, Anda menguji yang lain.

Namun, pada titik tertentu, Anda akan mencapai titik pengembalian yang semakin berkurang yang disebut "maksimum lokal".

maksimum lokal dan maksimum global

Alasan mengapa metode di atas disebut heuristik "mendaki bukit" adalah karena metode ini memiliki batasan besar yang dapat membuat Anda menggaruk-garuk kepala di atas bukit sambil memandang ke puncak gunung — tempat halaman arahan pasca-klik terbaik Anda berada. Dr. Dewey menjelaskan:

Mendaki bukit adalah strategi sederhana, tetapi tidak selalu berhasil. Salah satu jebakan potensial adalah "masalah perbukitan". Jika Anda memilih langkah apa pun yang membawa Anda menanjak (atau ke arah tertentu), Anda mungkin akan mendaki kaki bukit yang terletak di antara Anda dan gunung, mengabaikan prosedur yang jauh lebih efisien untuk mengitarinya. Dengan kata lain, jika Anda langsung menuju tujuan tanpa fleksibilitas, Anda mungkin harus membayar mahal, menghabiskan banyak energi, atau menyebabkan lebih banyak pekerjaan untuk diri sendiri tanpa berkontribusi pada tujuan.

Dalam istilah pengoptimalan, "bukit" ini disebut "maksimum lokal". Ini adalah versi terbaik dari halaman Anda saat ini, yang ketika A/B diuji lebih lanjut, akan menghasilkan hasil yang semakin berkurang. Puncak gunung itu disebut "maksimum global". Itulah versi terbaik halaman arahan pasca-klik Anda. Berikut adalah grafik yang berguna untuk diilustrasikan:

Dengan memulai halaman arahan pasca-klik tunggal dan pengujian A/B elemen kecil satu per satu untuk memperbaikinya, Anda semakin mendekati maksimum lokal tersebut, tetapi metode ini tidak akan pernah membawa Anda ke puncak gunung itu. Jadi bagaimana Anda menavigasi jalan ke sana?

Pengujian A/B untuk mencapai maksimum global

Dalam sebuah posting blog berjudul "Jangan Terjebak Ke Dalam Perangkap Hal-hal Kecil Pengujian A/B," Rand Fishkin dari Moz menjelaskan skenario yang membuat frustrasi yang mungkin terjadi terlalu dekat dengan rumah:

Katakanlah Anda menemukan halaman/konsep yang relatif Anda sukai dan mulai menguji hal-hal kecil - optimalkan di sekitar minimum lokal. Anda mungkin menjalankan pengujian selama 4-6 bulan, mencari peningkatan sebesar 5% dalam rasio konversi keseluruhan dan merasa cukup baik. Sampai...

Anda menjalankan ide besar dan baru lainnya dalam sebuah pengujian dan meningkatkan lebih lanjut. Sekarang Anda tahu bahwa Anda telah membuang-buang waktu untuk mengoptimalkan dan menyempurnakan halaman yang konsep keseluruhannya tidak sebagus halaman baru, kasar, dan belum dioptimalkan yang baru saja Anda uji untuk pertama kali.

Alih-alih, Fishkin, seperti pemberi pengaruh pemasaran lainnya, merekomendasikan pengujian A/B "perbaikan" dan "ide besar" terlebih dahulu — atau, dengan kata lain, menguji halaman yang sangat berbeda. Dari halaman yang sangat berbeda itu, halaman yang berkinerja terbaik paling dekat dengan maksimum global. Itulah yang harus Anda sesuaikan dengan pengujian multivarian: tombol vs. tombol, judul vs. judul, dll. Beberapa studi kasus mendukung metode ini.

Pengujian A/B untuk maksimum global

1. Facebook

Pada tahun 2008, Facebook menguji desain navigasi yang sama sekali baru. Tim mereka memindahkannya dari kiri halaman ke drop-down di sebelah kanan. Namun, dengan melakukan itu, mereka membuat aplikasi dalam navigasi kurang terlihat oleh pengguna, yang mengakibatkan lebih sedikit lalu lintas ke aplikasi tersebut. Karena mereka adalah sumber pendapatan yang berharga bagi Facebook, itu menjadi masalah.

Setelah mencoba menyelamatkan desain baru dengan beberapa trik keterlibatan, tim pengoptimalan menyadari bahwa mereka telah mencapai maksimum lokal dan menghapus semuanya. Dari Pengembang Produk Facebook, Adam Mosseri:

Apa yang kami lakukan di sini adalah kami mengoptimalkan maksimum lokal. Dalam kerangka kerja ini, hanya ada begitu banyak lalu lintas yang dapat kami salurkan ke aplikasi. Dan yang kami butuhkan adalah perubahan struktural. Premis kami tidak aktif. Minat kami membawa kami ke jalan yang salah. Kami tidak menyadarinya […] kami mengoptimalkan sesuatu secara lokal, dan kami perlu sedikit mengganggu untuk keluar dari situ.

2. Moz

Halaman variasi ini, dibuat oleh Pakar Tingkat Konversi untuk Moz, enam kali lebih panjang dari aslinya. Itu menampilkan lebih banyak infografis, tajuk utama yang berbeda, dan video, di antara elemen lain yang tidak ada di halaman asli. Itu mengungguli kontrol sebesar 52%.

Jika tim hanya berupaya meningkatkan elemen pada halaman asli, mereka tidak akan pernah menambahkan konten yang meningkatkan konversi hingga setengahnya. Dari para penguji:

Dalam analisis kami tentang presentasi tatap muka Rand yang efektif, kami memperhatikan bahwa dia membutuhkan setidaknya lima menit untuk membuktikan produk berbayar Moz. Halaman yang ada lebih seperti ringkasan satu menit. Setelah kami menambahkan elemen kunci dari presentasi Rand, halaman menjadi lebih panjang.

3. Kepadatan Server

Sebagian besar studi kasus pengujian A/B yang Anda temukan online berkaitan dengan tampilan halaman web. Mereka adalah warna tombol vs. warna tombol atau gambar vs. gambar, dan jumlahnya terus bertambah setiap hari. Akibatnya, kebanyakan orang yang mendalami pengujian A/B berasumsi bahwa ini hanya dapat digunakan untuk desain web.

Namun, konsep pengujian A/B dapat diterapkan pada apa saja, termasuk desain produk atau bahkan struktur harga, seperti yang akan Anda lihat pada contoh dari Sever Density ini.

Perusahaan, layanan pemantauan server dan situs web, mengizinkan pelanggannya untuk membayar berdasarkan berapa banyak server dan situs web yang perlu mereka pantau:

Struktur itu dimaksudkan untuk memperluas basis pelanggan, dan memang demikian, tetapi sekarang pandangan tim tertuju pada pendapatan yang lebih tinggi. Jadi, mereka melakukan A/B menguji perombakan total harga mereka, dengan model terpaket:

Struktur baru sebenarnya menghasilkan lebih sedikit konversi, tetapi nilai setiap konversi meroket. Inilah hasilnya:

Nilai pesanan rata-rata sekarang lebih dari $55 dibandingkan dengan yang lama: $19,70. Takeaways mengingatkan penguji tentang dua hal penting:

Pengujian A/B dapat digunakan untuk lebih dari sekadar perubahan desain yang dangkal.
Konversi bukanlah segalanya. Terkadang lebih sedikit konversi memberi Anda hasil yang lebih baik.

Bagaimana Anda menemukan maksimum global dan lokal?

Ingat: Kekuatan pengujian A/B semakin mendekati maksimum global dengan perubahan besar. Untuk menemukan maksimum lokal, lebih baik Anda menggunakan pengujian multivariasi.

Apakah Anda jatuh ke dalam perangkap pengujian ketat satu elemen halaman pada satu waktu? Apakah Anda membuat beberapa perubahan per tes untuk menemukan maksimum global?

Pelajari cara menyediakan personalisasi iklan 1:1 untuk setiap pemirsa yang Anda miliki dengan Demo Perusahaan Instapage hari ini.