Semua Jenis Pengujian Berbeda yang Dapat Anda Jalankan di Situs Anda (+ Kapan Harus Menjalankannya)

Dunia eksperimen sebagian besar telah melampaui tes A/B warna tombol sederhana.

Mereka mungkin memiliki tempat mereka dalam portofolio eksperimen yang Anda jalankan, tetapi mudah-mudahan, pada titik ini, mereka tidak identik dengan eksperimen atau CRO.

Eksperimen bisa jauh lebih besar.

Dengan menggunakan berbagai jenis eksperimen, kita dapat mempelajari variasi di situs web kita, menguji pengalaman baru, menemukan jalur halaman baru, membuat lompatan besar atau langkah kecil, dan mengidentifikasi kombinasi elemen yang optimal pada halaman.

Apa yang ingin Anda pelajari dari eksperimen harus tercermin dalam desainnya, dan desain eksperimen lebih dari sekadar menguji A versus B menggunakan hipotesis konkret.

Bahkan, ada seluruh subbidang studi yang dikenal sebagai desain eksperimen (DoE) yang mencakup hal ini.

Desain Eksperimen: Pengantar Desain Eksperimental

Design of Experiments (DoE) adalah metode ilmiah yang digunakan untuk menentukan hubungan antara faktor-faktor yang mempengaruhi suatu proses dan output dari proses tersebut.

Design of Experiments adalah konsep yang dipopulerkan oleh ahli statistik Ron Fisher pada tahun 1920-an dan 1930-an.

DoE memungkinkan kita untuk memahami bagaimana variabel input yang berbeda mempengaruhi output proses dengan mengubah input secara sistematis dan mengamati perubahan yang dihasilkan dalam output. Pendekatan ini dapat digunakan untuk mengoptimalkan proses, mengembangkan produk atau fitur baru, atau mempelajari elemen mana yang bekerja paling baik dalam hubungannya satu sama lain.

Dalam pemasaran, kami menggunakan DoE untuk meningkatkan pemahaman kami tentang bagaimana elemen yang berbeda pada halaman (faktor) mempengaruhi tingkat konversi (output). Dengan merancang eksperimen secara efektif, kami dapat mengidentifikasi elemen mana yang memiliki dampak terbesar pada rasio konversi.

Ada banyak jenis eksperimen yang berbeda, dan setiap jenis dapat digunakan untuk mempelajari berbagai hal tentang situs web atau aplikasi Anda.

Dalam artikel ini, saya akan membahas 16 jenis eksperimen.

Nitpicker mungkin mencatat bahwa ini tidak semua desain eksperimental yang berbeda secara fundamental; namun, beberapa adalah "jenis" yang berbeda karena cara Anda menghasilkan hipotesis atau kerangka kerja apa yang mendasari alasan Anda menjalankan eksperimen.

Beberapa, tambahan, tidak cukup "eksperimen", tetapi lebih merupakan aturan pengoptimalan yang dibangun di atas model pembelajaran mesin.

Namun, masing-masing dari berikut ini memiliki tujuan yang berbeda dan dapat dilihat sebagai alat unik dalam perangkat eksperimen.

1. Tes A/A

Pengujian A/A adalah konsep sederhana: Anda menguji dua versi halaman yang identik.

Mengapa Anda melakukan ini?

Ada banyak alasan, terutama dalam mengejar kalibrasi dan memahami data yang mendasari, perilaku pengguna, dan mekanisme pengacakan alat pengujian Anda. Pengujian A/A dapat membantu Anda:

• Tentukan tingkat varians dalam data Anda
• Identifikasi kesalahan pengambilan sampel dalam alat pengujian Anda
• Tetapkan tingkat konversi dasar dan pola data.

Menjalankan tes A/A sangat kontroversial. Beberapa bersumpah dengan itu. Ada yang bilang itu buang-buang waktu.

saya ambil? Mungkin ada baiknya menjalankan satu setidaknya sekali, untuk semua alasan yang disebutkan di atas. Alasan lain saya CINTA menjalankan tes A/A adalah untuk menjelaskan statistik untuk menguji pemula.

Saat Anda menunjukkan eksperimen "signifikan" kepada seseorang dengan data yang dikumpulkan selama dua hari, hanya untuk kemudian terungkap bahwa itu adalah pengujian A/A, maka pemangku kepentingan biasanya memahami mengapa Anda harus menjalankan eksperimen hingga selesai.

Jika Anda ingin membaca lebih lanjut tentang pengujian A/A (sebenarnya ini adalah subjek yang sangat besar), Convert memiliki panduan mendalam tentangnya.

2. Tes A/B Sederhana

Semua orang tahu apa itu pengujian A/B sederhana: Anda menguji dua versi halaman, satu dengan perubahan dan satu tanpa.

Tes A/B adalah roti dan mentega dari eksperimen. Mereka mudah diatur dan mudah dimengerti, tetapi mereka juga dapat digunakan untuk menguji perubahan besar.

Pengujian A/B paling sering digunakan untuk menguji perubahan pada antarmuka pengguna, dan tujuan pengujian A/B sederhana hampir selalu untuk meningkatkan rasio konversi pada halaman tertentu.

Tingkat konversi, omong-omong, adalah metrik umum yang mencakup semua jenis proporsi, seperti tingkat aktivasi pengguna produk baru, tingkat monetisasi pengguna freemium, tingkat konversi prospek di situs web, dan rasio klik-tayang.

Dengan tes A/B sederhana, Anda memiliki hipotesis tunggal dan mengubah satu elemen pada satu waktu untuk mempelajari sebanyak mungkin tentang elemen penyebab perubahan Anda. Ini bisa berupa perubahan judul, perubahan warna atau ukuran tombol, menambah atau menghapus video, atau apa saja.

Saat kami mengatakan "pengujian A/B", kami sebagian besar menggunakan istilah umum untuk mencakup sebagian besar jenis eksperimen lainnya yang akan saya cantumkan di pos ini. Biasanya digunakan sebagai istilah umum yang berarti, “kami mengubah *sesuatu* – besar, kecil, atau banyak elemen – untuk meningkatkan metrik.”

3. Uji A/B/n

Pengujian A/B/n sangat mirip dengan pengujian A/B, tetapi alih-alih menguji dua versi halaman, Anda menguji beberapa versi.

Pengujian A/B/n serupa, dalam beberapa hal, dengan pengujian multivarian (yang akan saya jelajahi selanjutnya). Namun, alih-alih tes "multivariat", saya akan menganggap ini sebagai tes multi-varian.

Pengujian multivarian berguna untuk memahami hubungan antara berbagai elemen pada halaman. Misalnya, jika Anda ingin menguji judul, gambar, dan deskripsi yang berbeda pada halaman produk, dan Anda juga ingin melihat kombinasi mana yang tampaknya berinteraksi paling baik, Anda akan menggunakan pengujian multivariasi.

Pengujian A/B/n berguna untuk menguji beberapa versi dari satu elemen dan tidak terlalu peduli dengan efek interaksi antar elemen.

Misalnya, jika Anda ingin menguji tiga judul berbeda pada halaman arahan, Anda akan menggunakan pengujian A/B/n. Atau, Anda bisa menguji tujuh versi halaman yang sama sekali berbeda. Ini hanya pengujian A/B dengan lebih dari dua pengalaman yang diuji.

Pengujian A/B/n adalah pilihan yang tepat saat Anda memiliki banyak lalu lintas dan ingin menguji beberapa varian secara efisien. Tentu saja, statistik perlu dikoreksi untuk beberapa varian. Ada juga banyak perdebatan tentang berapa banyak varian yang harus disertakan dalam pengujian A/B/n.

Seringkali, Anda dapat mendorong beberapa varian yang lebih orisinal dan kreatif saat menguji beberapa pengalaman sekaligus, bukan secara iteratif di beberapa pengujian A/B sederhana.

4. Uji Multivariat

Uji multivariat adalah eksperimen dengan banyak perubahan. Jika pengujian A/B/n menguji versi gabungan dari setiap varian terhadap varian satu sama lain, pengujian multivariat juga bertujuan untuk menentukan efek interaksi di antara elemen yang diuji.

Bayangkan, misalnya, Anda mendesain ulang beranda. Anda telah melakukan riset konversi dan menemukan masalah kejelasan dengan judul Anda, tetapi Anda juga memiliki beberapa hipotesis seputar tingkat kontras dan kejelasan dalam CTA Anda.

Anda tidak hanya tertarik untuk meningkatkan masing-masing dari kedua elemen tersebut secara terpisah, tetapi kinerja elemen-elemen ini juga kemungkinan besar bergantung. Oleh karena itu, Anda ingin melihat kombinasi judul baru dan CTA mana yang paling berhasil.

Desain eksperimen menjadi jauh lebih rumit saat Anda memasuki wilayah multivarian. Ada beberapa jenis pengaturan eksperimen multivarian, termasuk desain faktorial penuh, desain faktorial sebagian atau pecahan, dan pengujian Taguchi.

Dan hanya karena akal sehat statistik, pengujian multivarian hampir pasti membutuhkan lebih banyak lalu lintas daripada pengujian A/B sederhana. Setiap elemen atau pengalaman tambahan yang Anda ubah meningkatkan jumlah lalu lintas yang Anda butuhkan untuk hasil yang valid.

5. Tes Penargetan

Tes penargetan, lebih dikenal sebagai personalisasi, adalah tentang menunjukkan pesan yang tepat kepada orang yang tepat pada waktu yang tepat.

Dengan uji penargetan, Anda dapat membuat versi laman yang berbeda dan menampilkan setiap versi kepada sekelompok orang yang berbeda. Tujuannya biasanya untuk meningkatkan tingkat konversi dengan menampilkan konten yang relevan kepada setiap pengguna.

Perhatikan bahwa personalisasi dan eksperimen bukanlah sinonim. Anda dapat mempersonalisasi pengalaman tanpa memperlakukannya sebagai eksperimen. Misalnya, Anda dapat memutuskan tanpa data atau maksud untuk mengumpulkan data, bahwa Anda akan menggunakan token nama depan di email Anda untuk mempersonalisasi pesan dengan nama penerima.

Personalisasi? Ya. Percobaan? Tidak.

Namun Anda juga dapat menjalankan eksperimen yang menargetkan segmen pengguna tertentu. Ini sangat umum dalam eksperimen produk, di mana Anda dapat mengisolasi kelompok berdasarkan tingkat harga, waktu pendaftaran, sumber pendaftaran, dll.

Statistik yang sama berlaku untuk eksperimen personalisasi, jadi penting untuk memilih segmen yang bermakna untuk ditargetkan. Jika Anda terlalu terperinci – katakanlah menargetkan pengguna Chrome seluler Kansas pedesaan yang memiliki antara 5 dan 6 sesi – tidak hanya tidak mungkin untuk mengukur dampaknya secara statistik, tetapi juga tidak mungkin menjadi dampak bisnis yang berarti.

Personalisasi biasanya dipandang sebagai perpanjangan alami dari pengujian A/B sederhana, tetapi dalam banyak hal, hal itu memperkenalkan banyak kerumitan baru. Untuk setiap aturan personalisasi baru yang Anda terapkan, itu adalah "alam semesta" baru yang Anda buat untuk dikelola, diperbarui, dan dioptimalkan oleh pengguna Anda.

Alat personalisasi prediktif membantu Anda mengidentifikasi segmen target serta pengalaman yang tampaknya bekerja lebih baik dengan mereka. Jika tidak, aturan personalisasi sering diidentifikasi dengan melakukan segmentasi post-test.

6. Tes Bandit

Tes bandit, atau menggunakan algoritma bandit, sedikit teknis. Tetapi pada dasarnya mereka berbeda dari pengujian A/B karena mereka terus-menerus mempelajari dan mengubah varian mana yang ditampilkan kepada pengguna.

Pengujian A/B biasanya merupakan eksperimen "cakrawala tetap" (dengan peringatan teknis menggunakan pengujian berurutan), artinya Anda telah menentukan periode uji coba sebelumnya saat menjalankan pengujian. Setelah selesai, Anda membuat keputusan untuk meluncurkan varian baru atau kembali ke versi asli.

Tes bandit bersifat dinamis. Mereka terus memperbarui alokasi lalu lintas ke setiap varian berdasarkan kinerjanya.

Teorinya seperti ini: Anda masuk ke kasino dan menemukan beberapa mesin slot (bandit multi-bersenjata). Dengan asumsi setiap mesin memiliki imbalan yang berbeda, masalah bandit membantu "memutuskan mesin mana yang akan dimainkan, berapa kali memainkan setiap mesin dan dalam urutan apa untuk memainkannya, dan apakah akan melanjutkan dengan mesin saat ini atau mencoba mesin yang berbeda."

Proses pengambilan keputusan di sini dipecah menjadi "eksplorasi", di mana Anda mencoba mengumpulkan data dan informasi, dan "eksploitasi", yang memanfaatkan pengetahuan itu untuk menghasilkan imbalan di atas rata-rata.

Jadi, tes bandit di situs web akan mencari, secara real time, varian optimal, dan mengirimkan lebih banyak lalu lintas ke varian tersebut.

7. Algoritma Evolusioner

Algoritma evolusioner adalah semacam kombinasi antara tes multivariat dan tes bandit. Dalam konteks eksperimen pemasaran, algoritme evolusi memungkinkan Anda menguji sejumlah besar varian secara bersamaan.

Tujuan dari algoritma evolusioner adalah untuk menemukan kombinasi elemen yang optimal pada halaman. Mereka bekerja dengan membuat "populasi" varian dan kemudian menguji semuanya satu sama lain. Varian dengan performa terbaik inilah yang kemudian dijadikan sebagai titik awal untuk generasi berikutnya.

Seperti yang disarankan oleh namanya, ia menggunakan iterasi evolusioner sebagai model untuk optimasi. Anda memiliki banyak versi judul, tombol, body copy, dan video yang berbeda, dan Anda menyatukan masing-masing untuk membuat mutasi baru, dan secara dinamis mencoba mematikan varian yang lemah dan mengirimkan lebih banyak lalu lintas ke varian yang kuat.

Ini seperti pengujian multivariat pada steroid, meskipun dengan transparansi yang kurang dalam efek interaksi (dengan demikian, potensi belajar yang lebih rendah).

Eksperimen ini juga membutuhkan sedikit lalu lintas situs web agar berfungsi dengan baik.

8. Tes Jalur Halaman Terpisah

Pengujian jalur halaman terpisah juga merupakan jenis pengujian A/B yang sangat umum.

Alih-alih mengubah elemen pada satu halaman, Anda mengubah seluruh jalur yang diambil pengguna melalui situs web Anda.

Dengan pengujian jalur halaman terpisah, pada dasarnya Anda menguji dua versi berbeda dari situs web, produk, atau corong Anda. Tujuannya biasanya untuk menemukan versi yang menghasilkan lebih banyak konversi atau penjualan. Ini juga dapat membantu mengidentifikasi titik penurunan di corong, yang dapat mendiagnosis area fokus untuk pengoptimalan lebih lanjut.

Pada dasarnya, alih-alih mengubah salinan pada tombol, Anda mengubah halaman berikutnya yang dikirimkan oleh tombol jika Anda mengkliknya. Ini adalah cara yang ampuh untuk bereksperimen dengan perjalanan pelanggan.

9. Uji Eksistensi

Pengujian keberadaan adalah konsep yang menarik. Apa yang Anda coba lakukan adalah mengukur dampak (atau kekurangannya) dari elemen tertentu dalam produk atau situs web Anda.

Menurut artikel CXL, “Sederhananya, kami menghapus elemen situs Anda dan melihat apa yang terjadi pada tingkat konversi Anda.”

Dengan kata lain, Anda sedang menguji untuk melihat apakah perubahan memiliki efek sama sekali.

Secara strategis, ini adalah strategi yang diremehkan. Kita sering berasumsi, baik melalui heuristik kita sendiri atau melalui penelitian kualitatif, elemen mana yang paling penting pada sebuah halaman.

Tentunya video demo produk itu penting. Pengujian eksistensi adalah cara untuk mempertanyakan keyakinan itu dan dengan cepat mendapatkan jawaban.

Anda hanya menghapus video dan melihat apa yang terjadi.

Tingkat konversi naik atau turun? Menarik – itu berarti elemen atau real estat yang ditempatinya berdampak dalam beberapa hal.

Tidak ada dampak? Itu juga menarik. Dalam hal ini, saya akan mengarahkan fokus tim saya pada bagian lain dari pengalaman digital, mengetahui bahwa bahkan menghapus elemen sama sekali tidak berpengaruh apa pun pada KPI kami.

10. Tes Pintu Dicat

Tes pintu yang dicat mirip dengan tes keberadaan. Mereka sangat umum untuk menguji penawaran baru serta menguji permintaan untuk fitur produk baru.

Pada dasarnya, tes pintu yang dicat adalah eksperimen untuk melihat apakah orang benar-benar akan menggunakan fitur baru atau tidak. Anda sebenarnya tidak menghabiskan waktu dan sumber daya untuk *membuat* penawaran atau fitur baru. Sebaliknya, Anda membuat "pintu yang dicat" untuk melihat apakah orang yang lewat bahkan akan mencoba membukanya (yaitu Anda membuat tombol atau halaman arahan dan melihat apakah orang mengkliknya, menyimpulkan minat).

Tujuan dari tes pintu yang dicat adalah untuk mengetahui apakah ada permintaan untuk barang yang Anda uji. Jika orang benar-benar menggunakan fitur baru, maka Anda tahu itu layak untuk dilakukan. Jika tidak, maka Anda tahu itu tidak sepadan dengan waktu Anda dan dapat membatalkan ide tersebut.

Mereka juga dikenal sebagai tes asap .

Tes pintu yang dicat adalah cara yang bagus untuk menguji ide-ide baru tanpa menginvestasikan banyak waktu atau uang.

Karena Anda sebenarnya tidak memiliki penawaran atau pembuatan pengalaman, Anda biasanya tidak dapat menggunakan KPI seperti rasio konversi. Sebaliknya, Anda harus membuat model ambang batas minimum dari nilai yang diharapkan. Misalnya, membuat fitur X akan dikenakan biaya Y, jadi berdasarkan data dasar yang ada, kita perlu melihat rasio klik-tayang Y untuk menjamin pembuatan pengalaman "nyata".

Daftar tunggu pra-peluncuran, dalam beberapa hal, adalah tes pintu yang dicat (dengan contoh terkenal adalah pisau cukur Harry).

11. Tes Penemuan

Tes penemuan, yang saya ambil dari Metodologi Pengujian Berbasis Disiplin Andrew Anderson, semuanya tentang meningkatkan rentang opsi yang mungkin.

Mereka hampir selalu merupakan versi pengujian A/B/n dengan beberapa varian, tetapi tidak harus dirancang seperti itu. Tujuan yang lebih besar dari ini adalah untuk menguji opsi di luar kisaran yang biasanya Anda anggap masuk akal. Ini mengurangi bias Anda sendiri, yang dapat membatasi cakupan opsi yang pernah Anda pertimbangkan.

Alih-alih mendefinisikan hipotesis secara sempit, Anda berharap untuk keluar dari bias Anda sendiri dan berpotensi mempelajari sesuatu yang benar-benar baru tentang apa yang berhasil dengan audiens Anda.

Untuk melakukan tes penemuan, Anda mengambil sebidang real estat di produk atau situs web Anda dan menghasilkan banyak varian berbeda. Tujuannya adalah setiap varian sangat berbeda dari yang terakhir, memberi Anda berbagai pilihan yang berbeda. Tujuannya adalah untuk menemukan sesuatu yang berhasil, bahkan jika Anda tidak tahu apa itu sebelumnya.

Dalam pengujian penemuan, penting untuk memetakan eksperimen Anda ke KPI makro dan tidak mengoptimalkan konversi mikro. Penting juga untuk menguji pengalaman lalu lintas yang bermakna dan tinggi, karena Anda akan menginginkan kekuatan statistik yang sesuai untuk mengungkap peningkatan di antara banyak varian.

Untuk melihat contoh eksperimen seperti ini, lihat contoh Andrew Anderson dari Malwarebytes di mana mereka menguji 11 varian yang sangat berbeda.

12. Tes Iteratif

Ada sebuah konsep yang dikenal dalam ilmu komputer sebagai "masalah pendakian bukit". Pada dasarnya, algoritme pendakian bukit berusaha menemukan titik tertinggi dalam lanskap dengan mulai dari bawah dan terus bergerak ke atas.

Konsep yang sama dapat diterapkan pada eksperimen pemasaran.

Dengan tes berulang, Anda mulai dengan perubahan kecil dan terus membuatnya lebih besar hingga Anda mencapai titik pengembalian yang semakin berkurang. Titik pengembalian yang semakin berkurang ini disebut "maksimum lokal." Maksimum lokal adalah titik tertinggi dalam lanskap yang dapat dicapai dari titik awal Anda.

Tujuan dari tes iteratif adalah untuk menemukan maksimum lokal untuk perubahan yang diberikan. Ini bisa menjadi cara yang sangat efektif untuk menguji hal-hal seperti perubahan penawaran atau perubahan harga, serta elemen apa pun yang menurut Anda berpengaruh melalui penelitian atau melalui pengujian keberadaan.

Pada dasarnya, Anda tahu elemen X penting, dan Anda tahu ada ruang gerak tambahan untuk meningkatkan KPI Y dengan meningkatkan elemen X. Jadi, Anda melakukan beberapa tusukan kecil dan berulang untuk mengubah elemen X hingga tampaknya Anda tidak dapat meningkatkan metrik lagi (atau sangat sulit untuk melakukannya).

Contoh mudah dari tes iteratif berasal dari situs web saya sendiri. Saya menjalankan popup magnet utama. Saya tahu mereka mendorong email, dan kemungkinan ada titik pengembalian yang semakin berkurang, tetapi saya rasa saya belum mencapainya. Jadi setiap beberapa bulan, saya mengubah satu variabel – baik judul, penawaran itu sendiri, atau gambar, dengan harapan dapat sedikit meningkatkan.

13. Tes Inovatif

Berlawanan dengan pengujian berulang, pengujian inovatif berusaha menemukan bukit yang benar-benar baru untuk didaki.

Menurut artikel CXL, tes inovatif "dirancang untuk menjelajahi wilayah yang belum dipetakan dan menemukan peluang baru."

Tes inovatif adalah tentang mencoba sesuatu yang benar-benar baru. Mereka biasanya sedikit lebih berisiko daripada jenis eksperimen lainnya, tetapi mereka juga bisa sangat bermanfaat. Jika Anda mencari kemenangan besar, maka pengujian inovatif adalah cara yang harus dilakukan.

Homepage lengkap atau desain ulang halaman arahan termasuk dalam kategori ini. Pengujian penemuan adalah bentuk pengujian inovatif. Tes warna tombol akan menjadi kebalikan dari tes inovatif.

Tes inovatif seharusnya membuat Anda atau pemangku kepentingan Anda sedikit tidak nyaman (tapi ingat, keindahan eksperimen adalah durasinya terbatas dan membatasi kerugian Anda).

CXL memberikan contoh pengujian inovatif yang mereka jalankan untuk klien di sini:

14. Tes Non-inferioritas

Tes non-inferioritas digunakan untuk menentukan apakah pengobatan baru tidak lebih buruk dari pengobatan standar.

Tujuan dari tes non-inferioritas adalah untuk menunjukkan bahwa pengobatan baru setidaknya sama efektifnya dengan pengobatan standar.

Mengapa Anda menjalankan tes seperti ini?

Banyak alasan. Yang terbaik yang dapat saya pikirkan adalah jika Anda memiliki varian yang "lebih baik" di beberapa dimensi lain (lebih murah untuk dirawat, lebih sesuai dengan standar merek, dll.), tetapi Anda ingin memastikan itu tidak membahayakan Anda. KPI bisnis inti.

Atau dalam lensa uji klinis medis, bayangkan sebuah obat telah dikembangkan dengan biaya 1/10 dari obat yang biasa diresepkan. Selama tidak bekerja * lebih buruk * daripada obat yang ada, keterjangkauannya berarti itu adalah pilihan yang jauh lebih baik untuk diluncurkan.

Alasan lain saya menjalankan ini adalah jika perlakuan tersebut sangat disukai oleh seorang eksekutif atau pemangku kepentingan. Benci untuk membocorkannya kepada Anda, tetapi hanya karena kami memiliki akses ke data sebagai profesional eksperimen tidak berarti kami menghindari kekacauan pemikiran yang bias dan politik manusia.

Saya senang untuk mengambil tes yang dikirimkan HiPPO sesekali dan menjalankannya melalui ambang batas kepastian yang lebih rendah seperti tes non-inferioritas. Selama tidak mengacaukan KPI *saya*, tidak ada salahnya meluncurkannya, dan memenangkan dukungan politik.

15. Fitur Bendera

Tanda fitur adalah teknik pengembangan perangkat lunak yang memungkinkan Anda untuk mengaktifkan atau menonaktifkan fitur atau fungsi tertentu dan menguji fitur baru dalam produksi.

Tanpa masuk ke banyak detail teknis, mereka memungkinkan Anda untuk menguji fitur dalam produksi atau meluncurkannya perlahan ke subset pengguna yang lebih kecil, sambil mempertahankan kemampuan untuk dengan cepat mengurangi atau mematikan fitur jika tidak berfungsi.

Dalam banyak hal, mereka adalah metodologi jaminan kualitas. Tetapi sekali lagi, dalam banyak hal, begitu juga pengujian A/B.

Istilah "bendera fitur" adalah istilah umum yang mencakup banyak fungsi "pengalih" terkait, seperti rilis kenari, pengujian dalam produksi, pengembangan berkelanjutan, rollback, dan gerbang fitur.

16. Eksperimen Semu

Terakhir, kategori eksperimen yang paling rumit, luas, dan paling sulit didefinisikan: eksperimen semu.

Eksperimen semu sering digunakan ketika tidak mungkin untuk menetapkan pengguna secara acak ke grup uji.

Misalnya, jika Anda menguji fitur baru di situs web Anda, Anda dapat menjalankan pengujian A/B, tanda fitur, atau bahkan lengan personalisasi.

Tetapi bagaimana jika Anda ingin menguji banyak perubahan SEO dan melihat efeknya pada lalu lintas? Atau lebih jauh lagi, dampaknya terhadap konversi blog? Bagaimana jika Anda ingin menguji keampuhan iklan billboard outdoor?

Dalam sejumlah besar kasus yang mengejutkan, sulit jika bukan tidak mungkin untuk membuat eksperimen yang terorganisir dengan ketat dan benar-benar terkontrol.

Dalam kasus ini, kami merancang eksperimen semu agar sesuai dengan apa yang kami miliki.

Dalam hal perubahan SEO, kita dapat menggunakan alat seperti Dampak Penyebab untuk mengukur perubahan pada deret waktu. Terutama jika kami mengontrol eksperimen kami berdasarkan halaman atau dimensi lain yang dapat diidentifikasi, ini akan memberi kami ide longitudinal yang baik tentang apakah intervensi kami berhasil atau tidak.

Dalam hal iklan radio atau papan reklame, kami dapat mencoba memilih lokasi geografis yang representatif dan mengukur efeknya dari waktu ke waktu menggunakan statistik bayesian yang serupa.

Ini adalah topik yang kompleks, jadi saya akan menautkan ke dua sumber yang bagus:

• Bagaimana Netflix menjalankan eksperimen semu
• Bagaimana Shopify menjalankan eksperimen semu

Kesimpulan

Saya harap ini meyakinkan Anda bahwa pengujian A/B jauh melampaui mengubah judul atau tombol CTA Anda untuk mengoptimalkan tingkat konversi.

Ketika Anda memperluas bukaan Anda tentang apa yang dapat dicapai oleh eksperimen, Anda menyadari bahwa itu adalah alat pembelajaran yang luar biasa.

Kami dapat memetakan elemen yang berdampak pada halaman arahan, mengidentifikasi kombinasi elemen yang optimal, menemukan jalur halaman pengguna yang baru dan lebih baik, mengembangkan fitur dan pengalaman baru tanpa mempertaruhkan utang teknis atau pengalaman pengguna yang buruk, dan bahkan menguji saluran pemasaran baru dan intervensi dari situs web kami atau di luar produk kami.