Anda Membutuhkan Repositori Pembelajaran Pengujian A/B untuk Menjalankan Eksperimen Berdasarkan Pengalaman (Kata Pakar)

Apakah program pengujian Anda terasa kurang terstruktur atau berdampak?

Apakah Anda menjalankan tes tanpa rencana serangan dan tidak yakin apa yang harus diprioritaskan atau di mana harus bekerja selanjutnya?

Mungkin Anda tersesat saat mencoba mengingat tes mana yang pernah Anda coba sebelumnya, apa yang berhasil, dan apa yang gagal?

Atau mungkin Anda baru saja bergabung dengan program yang sudah ada dan tidak tahu apa yang sudah dijalankan, bagaimana kinerjanya, atau harus mulai dari mana?

Sangat mudah untuk tersesat di tengah rumput liar saat pengujian A/B, tetapi untungnya, ada cara sederhana untuk menyelesaikan semua ini.

Kami baru-baru ini mewawancarai 5 CRO profesional dan satu hal yang segera jelas: Jika Anda ingin menjalankan eksperimen berdasarkan pengalaman dan menumbuhkan budaya pengujian Anda, Anda harus memiliki repositori wawasan terpusat.

Apa itu Gudang Pembelajaran?

Sederhananya, ini adalah lokasi tunggal untuk menyimpan semua informasi tentang pengujian sebelumnya yang telah Anda jalankan.

• halaman tujuan,
• Hipotesis dan apa yang Anda terapkan,
• Elemen dan varian uji,
• Hasil,
• Dampaknya pada metrik penting, dll.

Ini bisa menjadi dasar seperti folder di laptop atau proyek Asana, tetapi repositori pembelajaran lebih dari sekadar sistem pengarsipan yang dimuliakan…

Sebuah 'repositori pembelajaran eksperimen' memungkinkan bisnis dan pemangku kepentingan yang lebih luas untuk melihat eksperimen apa yang telah dilakukan hingga saat ini dan pembelajaran apa yang telah diperoleh. Repositori menyediakan pembaca dengan kemampuan untuk mengkonsumsi konten pada waktu dan kecepatan mereka sendiri yang penting dalam bisnis global.

– Max Bradley, Mengelola Eksperimen Web di Zendesk

Ini berarti akses mudah ke seluruh tim Anda dari semua pengujian sebelumnya, yang sebenarnya dapat membantu Anda membangun budaya pengujian tersebut.

Bagaimana?

Semakin banyak orang yang terlibat dalam pengujian dan melihat pengujian berjalan, semakin cepat mereka mengadopsi pola pikir.

Dengan melihat tes apa yang telah berjalan dan hasilnya, ini dapat memicu ide dan sudut pandang baru bagi siapa saja yang memiliki akses ke informasi ini. Ini kemudian dapat menyebabkan aha! momen di berbagai area perusahaan di luar tim pengujian, yang kemudian dapat mereka uji sendiri atau diajukan ke tim pengujian.

Misalnya, jika departemen iklan berbayar mengidentifikasi bahasa paling efektif yang mendapat peningkatan dalam pengujian halaman, maka mereka mungkin ingin mencobanya di salinan iklan, penelusuran berbayar, atau media sosial mereka, karena ini jelas beresonansi dengan audiens.

Akses ke tes sebelumnya tidak hanya membuka ide baru dengan anggota tim eksternal, tetapi juga mengurangi waktu yang dihabiskan untuk mencari informasi penting.

Ada lebih banyak repositori pembelajaran dari sekadar akses ke seluruh perusahaan dan penghematan waktu:

Pembelajaran adalah prinsip inti dalam membangun produk yang bermakna dan efektif, dan satu-satunya cara untuk mengumpulkan pembelajaran yang bermakna & tervalidasi adalah dengan menjalankan eksperimen dan mengumpulkan semua pembelajaran tersebut di repositori pusat. Pembelajaran dalam repositori ini dapat digunakan dalam banyak latihan seperti misalnya: pohon peluang/solusi, di mana Anda bekerja menuju tujuan pengguna tertentu dengan beberapa pendekatan solusi yang berbeda.

Kunci untuk menjalankan eksperimen berdasarkan pengalaman adalah memiliki repositori pusat yang dapat diakses, terstruktur, dapat ditelusuri, dan diperbarui/dikelola dengan benar. Melakukan ini dengan cara yang berhasil dapat memiliki efek eksponensial pada produktivitas dan kualitas keluaran program eksperimen secara keseluruhan .

– Matthias Mandiau, Spesialis Eksperimen dan Analisis Data di H&M Group

Seperti yang dikatakan Matthias, semakin kita dapat memahami audiens kita, semakin baik kita dapat memberikan produk dan layanan untuk mereka.

Kami mungkin tidak langsung mendapatkan wawasan, tetapi itu dapat mengarahkan kami ke jalur yang benar, dan dari sana kami dapat meningkatkan lebih jauh dan menawarkan produk dan pengalaman pengguna terbaik.

Lebih baik lagi?

Terus mempelajari dan mengelola hasil dari pengujian kami dapat membantu kami menghindari kesalahan yang merugikan…

Anda Telah Menjalankan Eksperimen, Sekarang Hindari Kesalahan Ini

Memiliki tempat untuk menyimpan dan mengakses data masa lalu memang bagus, tapi itu bukan satu-satunya keuntungan.

Faktanya, selama wawancara kami, kami menemukan sejumlah kesalahan program pengujian umum yang dibicarakan berulang kali — hampir semuanya diperbaiki dengan memiliki repositori pembelajaran.

Gagal Menghormati Data Perusahaan “Mahal”

Salah satu argumen yang paling meyakinkan untuk repositori pembelajaran adalah fakta sederhana bahwa semua data dari pengujian adalah milik perusahaan.

Anda menghabiskan waktu dan uang yang berharga untuk mengumpulkan data itu. Hal terakhir yang ingin Anda lakukan adalah tidak menyimpannya atau menggunakannya, atau lebih buruk lagi, jangan pernah kembali ke sana untuk membantu Anda merencanakan tes baru dan belajar dari tes sebelumnya:

Mengapa menginvestasikan begitu banyak uang dalam program eksperimen ketika hasil utama (pembelajaran) tidak diperhatikan?

Tinjauan yang baik adalah kunci untuk memahami apa yang sudah dikerjakan, apa yang sekarang harus menjadi fokus, dan apa yang harus segera dikerjakan. Juga dengan cara ini pengetahuan tidak tergantung pada orang, karena orang datang dan pergi dalam perusahaan.

Selain itu memungkinkan berbagi pengetahuan yang lebih baik, orientasi yang lebih baik, mempersiapkan kasus bisnis yang lebih baik, penelitian yang lebih baik…

– Matthias Mandiau

Memiliki pandangan setinggi-tingginya terhadap program pengujian Anda dapat membantu Anda tidak hanya menguji dengan lebih baik tetapi juga melatih staf baru atau bahkan pemimpin tim. (Dan melewati masalah kehilangan semua wawasan ketika manajer CRO meninggalkan perusahaan).

Bagaimana?

Nah, sekarang anggota baru dapat melihat apa yang telah dicoba sebelumnya, apa yang berhasil, dan mungkin apa yang berpotensi berhasil tetapi tidak diterapkan dengan benar atau dapat diulang lebih lanjut…

Ketinggalan dalam Mengembangkan "Naluri Usus" Seluruh Perusahaan Yang Diinformasikan Pengalaman (Dan Data)

Tidak ada yang salah dengan menggunakan insting Anda untuk menghasilkan ide-ide ujian. Terkadang Anda hanya memiliki intuisi dari data atau pengalaman yang dapat membantu Anda membentuk hipotesis dan menyelesaikan tes awal.

Namun, Anda perlu berhati-hati untuk selalu mengandalkan insting ini sepanjang waktu, dan tidak memperhatikan penelitian dan data sebagai gantinya.

Satu hal yang saya katakan kepada tim saya (di Bouqs) adalah... ketika Anda tidak memiliki data (pembelajaran/artefak yang dicatat dari pengujian), Anda harus membuat keputusan berdasarkan insting Anda, atau insting pemangku kepentingan. Basis data pembelajaran membuat
usus untuk kita semua yang bisa kita gunakan sebagai cek usus, tapi itu bukan hanya milik kita sendiri atau bias.

– Natalia Contreras-Brown, Wakil Presiden Manajemen Produk di The Bouqs

Perusahaan terbesar dengan program CRO paling matang hampir semuanya digerakkan oleh data. Mereka membuat pilihan berdasarkan apa yang menurut data paling penting dan sering kali menjadi alasan mereka menjadi pemimpin pasar.

Jangan menjadi bersalah karena hanya menguji pilihan dan opini, dan jangan fokus pada metrik saja. Luangkan waktu untuk menemukan wawasan kontekstual dari setiap hasil tes. Ikuti informasi dan, yang paling penting, lacak dan simpan apa yang terjadi dan mengapa menurut Anda itu terjadi, sehingga Anda tidak membuat kesalahan dengan melupakan apa yang telah Anda coba dan mengapa itu berhasil.

Mengulang Tes Yang Telah Dijalankan Sebelumnya

Kami telah mengisyaratkan hal ini, tetapi tanpa melacak apa yang Anda lakukan, menjadi sangat mudah untuk menjalankan kembali ide pengujian yang telah Anda coba, atau melewatkan ide pengujian karena Anda pikir ide tersebut telah dijalankan.

Repositori pembelajaran membantu menghindari menjalankan eksperimen lagi yang telah dilakukan sebelumnya. Ini juga mengurangi waktu yang dihabiskan untuk menjawab pertanyaan tentang hasil dan pembelajaran dari pemangku kepentingan untuk tim eksperimen.

– Max Bradley

Bersikap baiklah kepada diri sendiri dan tim masa depan Anda dan catat apa yang telah Anda jalankan dan semua detail dari setiap tes.

Bisa jadi Anda ingin menjalankan sesuatu yang serupa tetapi tanpa detail tentang apa yang Anda coba sebelumnya, dapat dengan mudah melewatkan atau menghabiskan 30 hari lagi untuk mendapatkan data yang seharusnya Anda simpan.

Komunikasi yang Buruk atau Kurangnya Akses ke Informasi

Salah satu perbedaan terbesar dalam tim CRO yang matang adalah kemampuan mereka untuk berkomunikasi atau mengakses informasi dengan cepat dan mudah. Tidak hanya dalam kemudahan akses, tetapi seberapa efisien mereka dapat memberikan informasi yang tepat.

Memiliki repositori pembelajaran yang terdokumentasi dengan baik dan terorganisir dapat mengurangi hambatan komunikasi dan bahkan membantu untuk tidak mengesampingkan alur kerja pengujian, saat Anda mencari informasi dan menunda sesuatu.

(Repositori eksperimen) adalah sistem manajemen pengetahuan yang menyimpan semua data hingga tingkat yang terperinci, dan dapat diakses oleh tim secara umum, tetapi yang paling penting memfasilitasi artefak komunikasi (lapisan komunikasi) yang akan diproduksi untuk orang yang tepat dalam format yang tepat di tempat. waktu yang tepat.

Ini adalah 'lapisan data' dalam alur kerja pengujian, seperti yang terlihat di sini:

– Ben Labay, Direktur Pelaksana / CRO & Eksperimen @ Speero oleh CXL

Meninggalkan Pembelajaran (dan Uang) di Meja

Jangan lupa bahwa sebagian besar tes gagal. Hanya melalui iterasi dan pembelajaran dari pengujian sebelumnya, Anda dapat meningkatkan dan mendapatkan kemenangan yang memengaruhi ROI tersebut.

Tanpa melacak apa yang telah Anda jalankan dan di mana Anda telah, menjadi sangat sulit untuk bergerak maju dan melihat kemajuan, atau bahkan merasa percaya diri dalam proses pengujian Anda.

Stefan Thomke mengatakan dengan baik "meskipun dibanjiri informasi yang datang dari segala arah, manajer saat ini beroperasi di dunia yang tidak pasti di mana mereka tidak memiliki data yang tepat untuk menginformasikan keputusan strategis dan taktis". Eksperimen memvalidasi dan validasi membantu kita untuk belajar . Sangat penting untuk menyusun pembelajaran tersebut dalam repositori yang mudah diakses untuk meninjau pembelajaran tersebut untuk keputusan di masa mendatang.

– David Mannheim, Wakil Presiden CRO, BrainLabs

Berikut adalah representasi visual dari proses ideal dari Ruben de Boer:

Belajar dan meningkatkan dari setiap tes yang Anda jalankan sangat penting. Tidak hanya secara langsung terkait dengan keberhasilan tes masa depan Anda, tetapi bahkan dapat membantu Anda untuk memperluas kemenangan saat ini ke area lain atau bahkan situs lain.

Hampir setiap eksperimen lain yang kami jalankan di H&M dalam tim produk kami didukung oleh pembelajaran terdokumentasi dari eksperimen sebelumnya atau metodologi penelitian lainnya.

– Matthias Mandiau

Kebiasaan belajar dan mengulangi ini muncul lagi dan lagi pada hampir semua orang yang kami wawancarai.

Di Brainlabs, sekitar 40-50% eksperimen kami untuk Flanels, toko pakaian pria terkenal, adalah pengulangan satu sama lain. Ini menunjukkan kekuatan pembelajaran dalam satu eksperimen dan bagaimana hal itu dapat berkembang menjadi sesuatu yang lain; karena kita selalu belajar dari bagaimana stimulus praktis dapat mempengaruhi variabel .

– David Mannheim

Mari kita berikan contoh lain.

Katakanlah Anda memiliki halaman pengambilan prospek dan tata letak yang Anda gunakan berfungsi dengan baik untuk satu halaman. Anda kemudian dapat menyesuaikannya dengan orang lain di situs Anda untuk melihat apakah itu meningkatkan daya angkat di sana juga.

Bagaimana jika Anda adalah agensi dengan banyak klien di ceruk yang sama?

Wawasan dan kemenangan dari satu perusahaan dapat menghasilkan ide dan desain yang dapat bekerja untuk klien Anda yang lain juga…

Apa yang berhasil sekali, memiliki peluang bagus untuk belum sepenuhnya dieksploitasi:

• Ini dapat bekerja lagi dengan intensitas yang lebih besar (untuk pelanggan yang sama)
• Ini mungkin berfungsi lagi di tempat lain (untuk pelanggan yang sama)
• Ini mungkin bekerja lagi untuk seseorang yang sama sekali berbeda

Dengan kata lain, kemenangan di masa lalu memiliki potensi prediktif yang dapat mempercepat pengoptimalan (lebih banyak kemenangan, peluang sukses lebih besar, efek lebih besar).

– Jakub Linowski, GOODUI.org

Drip Agency melakukan hal ini dengan 2 klien mereka.

Mereka mengambil desain tata letak halaman pemenang dari satu klien, lalu mengujinya di klien lain untuk segera meningkatkan konversi.

GoodUI melakukan hal serupa. Mereka mengambil ide dan informasi pengujian pemenang dari satu klien dan menggunakannya sebagai dasar untuk menguji halaman lain di situs.

Ini memberi mereka peningkatan konversi sebesar 42%!

Mereka kemudian mengambil langkah lebih jauh.

Daripada hanya menerapkan desain pemenang untuk satu klien, mereka menjalankan studi kasus untuk melihat apakah Anda dapat memprediksi tes yang menang berdasarkan kampanye sebelumnya di beberapa situs web.

Teorinya adalah bahwa desain UX tertentu dapat bekerja di industri lain.

Jadi mereka menjalankan 51 pengujian menggunakan tata letak desain pemenang sebelumnya dan mencapai tingkat keberhasilan 71% saat menggunakan pemenang sebelumnya untuk membantu merancang pengujian baru di situs lain.

Cukup keren, bukan?

Nah, inilah alasan lain mengapa repositori pembelajaran sangat membantu dan itulah mengapa penguji yang baik melihat pemenang sebelumnya.

Jika Anda memikirkannya, GoodUI pada dasarnya adalah jenis repositori pembelajaran, yang merupakan basis data pengujian dan pemenang sebelumnya di berbagai situs dan industri.

Masalahnya, mereka akan sering melihat desain digunakan kembali di situs lain dan memperhatikan bahwa pola tertentu akan memberikan daya angkat. Mungkin orang lain menjalankan tes tetapi berhasil, dll.

Menjadi cookie yang cerdas, GoodUI menggunakan pola khusus ini sebagai inspirasi untuk pengujian yang dijalankan untuk klien baru…

Dan itu masuk akal, bukan? Setelah Anda memperbaiki masalah teknis dan memutuskan halaman untuk diuji, tidak ada salahnya untuk melihat elemen pengujian sebelumnya pada halaman serupa dan apa yang berhasil.

Anda dapat menggunakan situs lain untuk inspirasi saat memulai, tetapi semua ahli setuju. Anda harus mulai membangun repositori Anda sendiri sesegera mungkin.

Berinvestasi dalam Repositori Eksperimen

Jakub Linowski mengatakan di LinkedIn bahwa jika Anda melihat profesi seperti dokter, insinyur, atlet, dan militer, Anda akan melihat sebagian besar kesuksesan dan pertumbuhan mereka dibangun di atas pembelajaran yang mereka hasilkan dari eksperimen sebelumnya.

Dengan gambaran mental itu, Anda dapat membayangkan seberapa cepat bidang CRO dapat tumbuh secara keseluruhan ketika eksperimen tidak selalu harus dimulai dari level 0. Namun tanpa repositori pembelajaran, itulah yang terjadi.

Dan banyak tim CRO internal bersalah dalam hal ini.

Jika Anda membawa ide ini lebih dekat ke rumah, jelas bagaimana membangun apa yang sudah Anda ketahui adalah cara yang solid untuk menggabungkan upaya program eksperimen Anda.

Repositori = Peluang Keberhasilan Eksperimen yang Lebih Tinggi

Hanya ketika Anda memiliki pola pikir tes pembelajaran (dan tes masa lalu) Anda benar-benar menghargai apa yang ditawarkan eksperimen yaitu gagasan tentang apa yang berhasil dan apa yang tidak, mengingat konteks dan keadaan.

20 "keputusan yang baik" di UX, UI, Produk, Pemasaran (berkat eksperimen) dapat membantu melenturkan otot pengambilan keputusan dan mempertajam naluri. Semakin Anda melihat pendapat Anda ditolak atau divalidasi, semakin banyak kompas yang Anda miliki untuk mencari tahu apa yang berhasil dan apa yang dibutuhkan audiens Anda.

Mereka yang menguji demi tingkat konversi kehilangan gambaran besar ini. Ini tentang mempelajari apa yang dibutuhkan audiens Anda, dan bukan tentang menjadi benar.

Mari tunjukkan caranya:

Bagaimana Menyusun Repositori Pembelajaran Anda

Repositori pembelajaran dimaksudkan untuk menghilangkan silo data, mendorong kolaborasi, dan memperkuat komunikasi.

Jika Anda tidak terstruktur dengan benar, akan sangat sulit untuk memenuhi persyaratan dasar tersebut. Tetapi hal tentang penataan repositori pembelajaran Anda adalah bahwa ada opsi. Mereka bekerja secara berbeda untuk organisasi yang berbeda.

Itu bukan masalah karena kami akan menjelaskan 3 model tersebut kepada Anda dan kemudian Anda dapat membayangkan mana yang akan selaras sempurna dengan tim, departemen, atau organisasi Anda. Bahkan lebih baik, para ahli merekomendasikan satu model tertentu.

Tampaknya ada pemenang dalam hal struktur tim eksperimen: Pusat Keunggulan.

1. Pusat Keunggulan (CoE) memungkinkan dan melengkapi tim eksperimen khusus departemen

Dalam model ini, tim eksperimen adalah CoE untuk program eksperimen seluruh organisasi.

Jadi, mereka semacam penjaga pintu bagi siapa saja di departemen lain yang ingin menjalankan eksperimen. Anda melewati mereka dan mereka membantu mengaturnya.

Kemudian mereka mengawasi integritas eksperimen ini dan menjaga semuanya selaras dengan tujuan eksperimen yang luas dari organisasi.

Penataan dengan cara ini hari ini akan menghilangkan masalah downline besok. Karena semuanya disimpan di jalur yang sama, mudah dipantau, dan membangun repositori pembelajaran dengan cara ini mudah dikoordinasikan.

Tantangan utama di sini adalah tidak dapat diakses seperti model desentralisasi.

2. Unit terdesentralisasi duduk di seluruh departemen dan membuat semua orang bergabung

Unit terdesentralisasi berada di berbagai departemen dan menjalankan tes yang sebenarnya. Ini adalah strategi yang hebat karena mereka memiliki pengetahuan paling banyak tentang loop pertumbuhan dan metrik mereka sendiri, sehingga mereka berada dalam posisi terbaik untuk merancang dan melaksanakan eksperimen berdampak tinggi.

Dalam model ini, semua orang dapat menjalankan pengujian — terlepas dari departemen dan tingkat pengalaman mereka dengan eksperimen. Ketika dikombinasikan dengan CoE, itu menarik beberapa pengagum ...

Saya penggemar berat eksperimen terdesentralisasi, bekerja bersama dengan pusat keunggulan untuk kontrol kualitas dan menginjili pengujian AB. Dalam pengalaman saya, struktur ini bekerja paling baik untuk budaya yang benar-benar merangkul kekuatan eksperimen. Dalam hal repositori pembelajaran, ini harus mengikuti; anggota tim harus diberdayakan untuk menjalankan eksperimen dan menyoroti pembelajaran dari hasil kerja mereka .

– David Mannheim

Tanggung jawab memelihara repositori pembelajaran dengan demikian juga mengikuti.

3. Dikelola oleh satu orang untuk mengumpulkan dan memelihara pembelajaran eksperimen

Namun, tidak seperti model CoE-sendiri, repositori pembelajaran model terdesentralisasi lebih sulit untuk dikoordinasikan.

Ini membantu untuk memiliki peran yang ditunjuk yang bertanggung jawab untuk mendokumentasikan dan memelihara pembelajaran. Dan ada sesuatu yang bermanfaat tentang ini:

Dikelola oleh manajer program/proyek (mencatat) dan ahli strategi pengujian utama (yang memasukkan 'cerita), tetapi jika dilakukan dengan benar, ia dapat memiliki masukan di semua tahap, karena masukan masuk sebagai entri formulir seperti formulir terbitan, pelacak kampanye, ide solusi pengujian baru, dll .

– Ben Labay , Direktur Pelaksana / CRO & Eksperimen @ Speero oleh CXL

Matthias Mandiau sependapat dengan Ben.

Saya lebih suka hibrida antara terpusat/terdesentralisasi:

Repositori selalu harus dapat diakses (cloud).

Perlu untuk dapat menggabungkan metodologi penelitian yang berbeda untuk membuat hipotesis yang kuat.

Pengaturan dan pengelolaan repositori dan kepemilikan harus dengan 1 tim/manajer (terpusat). Baik untuk menindaklanjuti KPI kinerja eksperimen makro tingkat tinggi di tingkat pusat.

Setiap tim produk yang bekerja dengan eksperimen harus memiliki pemangku kepentingan (analis data/CRO) yang memiliki tanggung jawab untuk menjaga dengan baik semua pembelajaran yang dikumpulkan yang diunggah dalam format yang tepat ke repositori pusat. Juga baik untuk menindaklanjuti KPI kinerja eksperimen mikro tingkat tim produk dalam tim terdesentralisasi. Bisa berupa dasbor yang ditautkan ke GA atau repositori misalnya .

Di Zendesk, satu manajer bertanggung jawab untuk memelihara repositori, tetapi inputnya berasal dari “pemilik pengujian”:

Saat ini kami memiliki repositori yang dikelola oleh satu tim dalam bisnis dengan satu orang mengambil kepemilikan keseluruhannya. “Pemilik” tes diminta untuk menambahkan penyelesaian pasca tes pembelajaran ke dalam area repositori masing-masing.

– Max Bradley

Dan begitulah cara satu orang (atau tim kecil) yang mengelola model tipe terdesentralisasi dapat menjaga repositori pembelajaran eksperimen tetap efisien dan terjamin kualitasnya.

Ini mirip dengan apa yang dilakukan GoodUI — memanfaatkan pembelajaran dari seluruh vertikal dan pelanggan untuk menciptakan sumber daya wawasan eksperimen yang luar biasa.

Jadi, bahkan jika Anda belum memiliki repositori pembelajaran, Anda memiliki banyak pengetahuan untuk diambil. Paket Convert datang dengan langganan diskon GoodUI.

Bagaimana Mendokumentasikan Pembelajaran Anda

Sama seperti sistem pengarsipan terorganisir, repo pembelajaran Anda tidak dapat menjadi tempat untuk membuang data. Perlu ada cara yang pasti dan tepat untuk mendokumentasikan pembelajaran sehingga bermanfaat bagi semua orang.

Ini berarti representasi visual data yang intuitif, cerita data bebas jargon, dan metode mudah untuk menemukan pengujian tertentu bila diperlukan.

Begini caranya.

Tangkap dan Rekam Semua Metadata Dari Pengujian

Langkah pertama yang jelas adalah mengumpulkan data dari tes. Tapi data apa yang Anda kumpulkan? Sangat mudah untuk mengatakan mengumpulkan semuanya, tetapi itu bisa dengan mudah membuat Anda kewalahan — dan mengecilkan hati.

Jadi, data apa yang harus disertakan dalam repositori eksperimen Anda?

Ini adalah metadata lengkap dari konsep pengujian. Dan itu terutama harus melacak input berdasarkan pertanyaan yang perlu ditanyakan, yang standar dalam kategori:

• Jenis tes
• halaman
• Titik sentuh
• Pemirsa
• Area permukaan pertumbuhan

Tetapi tidak standar DALAM kategori ini, misalnya, audiens akan berbeda tergantung pada perusahaan, tetapi semua perusahaan akan menguji segmen audiens yang berbeda.

– Ben Labay

Dan seperti apa ini?

Mari kita telusuri masing-masing kategori tersebut sehingga Anda mendapatkan gambaran yang lebih jelas:

• Jenis tes

Apa jenis tes itu? Tes A/B? MVT? Tes A/B/n?

• halaman

Di sini Anda menentukan halaman atau halaman di situs Anda tempat pengujian terjadi. Apakah itu beranda? Halaman produk tertentu? Halaman harga merek SaaS Anda?

• Titik sentuh

Titik kontak adalah area dalam perjalanan pelanggan tempat mereka berinteraksi dengan merek Anda. Ini bisa berupa iklan, katalog produk, posting blog, email pemasaran, aplikasi Anda, dll.

• Pemirsa

Siapa audiens target Anda untuk tes ini? Apakah Anda menargetkan segmen tertentu berdasarkan kriteria apa pun? Data perilaku? Sasaran? Sumber pengunjung? Geolokasi? Atau semuanya dipilih secara acak?

• Area permukaan pertumbuhan

Ini mengacu pada interaksi atau fitur yang mendorong pengguna untuk tetap menggunakan situs Anda atau menggali lebih dalam hubungan mereka dengan merek Anda. Jadi, ini semacam pengait yang meningkatkan nilai setiap pengunjung. Ini bisa berupa tawaran percobaan gratis atau demo.

Untuk memperkaya metadata, Anda juga ingin menyertakan:

• tanggal
• URL/Regeks
• Iterasi pada pengujian sebelumnya — tautan ke pengujian sebelumnya yang merupakan dasar dari pengujian yang Anda laporkan.

Dan Anda menutup ini dengan info yang lebih berdampak. Termasuk…

• Tangkapan layar A dan B
• Terisolasi atau tidak (# perubahan)
• % dampak dengan interval kepercayaan
• Jenis metrik

– Jakub Linowski

Lebih banyak lebih baik. Tapi tetap relevan dan bermanfaat.

Berikut contoh lain dari Zendesk's Max Bradley:

Untuk laporan atau repositori pelacakan dasar, laporan Convert juga akan menunjukkan kepada Anda pemenang dan apa yang Anda uji.

Hormati Gaya Belajar yang Berbeda Sambil Melestarikan Informasi

Anda harus menarik berbagai cara orang lebih suka mengkonsumsi informasi saat menyimpan data eksperimen.

Ada beberapa hal yang perlu diperhatikan dalam melakukan…

Kami telah mencoba banyak metode berbeda. Sebagai agensi, kami berurusan dengan banyak pemangku kepentingan yang berbeda dari bisnis yang berbeda pada waktu tertentu. Di situlah letak tantangannya – orang mengambil pengetahuan dan belajar secara berbeda. Apakah mereka pembelajar visual, auditori, atau kinestetik? Di mana mereka di kunci Myers-Briggs? Cara berkomunikasi dengan pemangku kepentingan Anda hampir sama pentingnya dengan konten yang Anda komunikasikan. Dari pengalaman saya, saya telah belajar bahwa repositori pembelajaran harus menjadi dua hal untuk berhasil:

• Tema dan memo sehingga mudah difilter
• Ringkas untuk pembelajaran yang dapat dipindai.

– David Mannheim

Anda dapat memberikan informasi sebanyak mungkin tentang eksperimen yang dilaporkan. Dan melakukannya dalam berbagai format. Itu sebabnya Anda memerlukan tangkapan layar, rekaman video, dan cerita untuk memberi konteks pada semua angka.

Ingatlah untuk membuatnya tetap relevan, ringkas, dan dapat dipindai .

Tandai Tes Anda untuk Memaksimalkan Pembelajaran

Memberi tag pada pengujian Anda membuat semuanya mudah dijangkau.

Ini juga membantu Anda memahami tujuan tes secara sekilas.

Jika repositori Anda berkembang secara konsisten, suatu hari, Anda akan memiliki ribuan tes yang direkam dan ratusan orang menggunakannya untuk menggesek ide, mengekstrak wawasan, dan menginformasikan keputusan.

Pembelajaran akan lebih berguna jika orang dapat memahami posisi setiap tes dalam spektrum solusi organisasi Anda.

Bagaimana Mengkomunikasikan Pembelajaran Anda untuk Efek Maksimum

Repositori pembelajaran Anda hanya akan menguntungkan program eksperimen Anda ketika orang benar-benar menggunakannya.

Jadi, selain membuatnya dapat diakses, presentasikan kepada seluruh tim dan organisasi Anda dengan cara yang masuk akal dan memicu minat untuk bereksperimen.

Tapi bagaimana Anda melakukannya? Ini adalah angka dan beberapa istilah khusus industri yang dapat disalahpahami. Bagaimana Anda membuat orang-orang dari berbagai disiplin ilmu menghargai pembelajaran yang telah Anda kumpulkan?

Mengkomunikasikan pengujian A/B bisa jadi rumit, tetapi jika Anda mengikuti langkah-langkah ini, Anda akan menghilangkan hambatan tersebut dan mendapatkan hasil maksimal dari repositori pembelajaran Anda.

Jadikan Itu Kebiasaan

Pertama, jika eksperimen adalah konsep asing di mana Anda berada, membiasakan diri melalui pembelajaran mungkin membutuhkan waktu. Jadi, siapkan kesabaran dengan Anda dalam perjalanan ini.

Tugas Anda di sini adalah menjadikan ini bagian dari aktivitas mingguan Anda yang biasa. Ini bisa menjadi bagian dari bagian inspirasi dari brainstorming atau permainan yang Anda mainkan untuk menutup rapat. Misalnya, versi Anda sendiri dari "tes apa yang dimenangkan?"

Ini adalah bagian dari gambaran besar membangun budaya di mana bereksperimen adalah norma…

Biasakan menjalankan pembelajaran bersama tim dengan cara yang konsisten, menyenangkan, dan menginspirasi. Itu perlu menjadi bagian dari bisnis seperti biasa. Setidaknya seminggu sekali harus ada pertemuan untuk membahas hipotesis dan hasil eksperimen. Setiap sprint harus berisi setidaknya 1 atau 2 eksperimen dan menjadikan eksperimen sebagai kebiasaan menciptakan budaya positif.

– Matthias Mandiau

Selain menampilkannya dalam rapat tim, tes repositori juga sangat mudah dibagikan dalam buletin pembelajaran. Menjadi kebiasaan menambahkannya di sini juga memudahkan adopsi eksperimen di seluruh situs.

Jadilah Rendah Hati & Transparan untuk Membangun Kepercayaan

Tampaknya keren untuk meyakinkan orang bahwa eksperimen memiliki semua jawaban, tetapi itu akan menyesatkan. Bantu kolega Anda memahami cara kerjanya, apa yang diwakili oleh angka-angka, dan seberapa besar kepercayaan yang dapat Anda berikan pada wawasan tertentu yang telah Anda gambar.

Jangan menyajikan wawasan seolah-olah itu datang dengan kepastian 100%. Alih-alih tunjukkan kepada mereka bahwa ini adalah salah satu cara terbaik Anda dapat membuat keputusan, sebagai lawan dari "firasat" dan praktik terbaik.

Melakukan yang sebaliknya akan membuat mereka kehilangan kepercayaan pada repositori pembelajaran yang Anda buat dan bisa ditinggalkan untuk mengumpulkan debu.

Berikut adalah beberapa tip lagi dari Ben Labay dari Speero tentang cara mengomunikasikan hasil:

Jangan sembunyikan tes yang hilang. Alih-alih, gunakan itu sebagai kesempatan untuk menunjukkan manfaat dua sisi dari pengujian.

Jika Anda menang, Anda mendapatkan wawasan tentang apa yang berhasil. Jika hilang, Anda telah mempelajari apa yang tidak berfungsi sehingga Anda menghindari membuat perubahan yang merugikan metrik utama.

Dalam kedua kasus, Anda telah belajar tentang sesuatu yang dapat diperbaiki.

Saat Anda mempresentasikannya, susun dalam cerita yang menunjukkan penerapan wawasan di dunia nyata dan undang pemangku kepentingan untuk berpartisipasi dalam menulis cerita, seperti yang dilakukan Max:

Kami menyajikan pembelajaran terbaru setiap dua minggu sekali kepada tim kami yang lebih luas dan setiap bulan untuk bisnis yang lebih luas. Kami berusaha setransparan mungkin dengan menghadirkan tes yang kalah sebanyak yang menang. Selain itu, kami meminta semua pengulas untuk mengirimkan ide mereka atau mengajukan pertanyaan apa pun yang mereka miliki di saluran Slack khusus kami. Jika memungkinkan, kami juga ingin menunjukkan manfaat dalam arti sebenarnya selain peningkatan persentase, ini membuatnya lebih berdampak bagi pembaca.

– Max Bradley

Jangan Gerbang Pembelajaran, Libatkan Semua Orang

Eksperimen tidak hanya untuk pemasaran, pengoptimalan, produksi, dan/atau tim pertumbuhan. Menjadi organisasi berbasis data berarti memenuhi sebagian besar proses pengambilan keputusan dengan wawasan yang diambil dari pengujian yang dilakukan dengan baik.

Dan gudang pembelajaran Anda berada tepat di tengah-tengah seluruh misi.

Jadi, dapatkan semua orang di kapal.

Ya, orang akan memiliki tingkat pengalaman yang berbeda-beda di lapangan, tetapi jangan biarkan hal itu merusak program. Selama setiap tim memiliki seseorang atau orang-orang dengan pengalaman yang lebih dalam dengan eksperimen, Anda akan mendapatkan sesuatu.

Ini juga mendorong untuk memiliki beberapa orang dalam tim yang lebih akrab dengan eksperimen dan beberapa yang kurang pengalaman dengan itu. Memiliki setidaknya 2 atau 3 orang dalam tim yang berpengalaman dengan eksperimen membuat perbedaan besar .

– Matthias Mandiau

Pengaruhnya menyebar secara alami dengan cara ini.

Berinvestasi dalam Sepasang Mata Baru & Penyerbukan Silang Ide

Terkadang perspektif yang berbeda akan memberi Anda ide yang tidak Anda pikirkan. Jadi, jangan biarkan pembelajaran eksperimen Anda berada dalam gelembung.

Bersedialah untuk membagikannya dengan pakar lain di bidang Anda dan lihat apa yang dapat Anda pelajari dari umpan balik mereka.

Mungkin ada sesuatu yang tidak berhasil pada satu segmen pelanggan, tetapi ada versi yang sedikit berbeda yang dapat bekerja untuk segmen lain?

Atau mungkin Anda telah menemukan sesuatu yang diperdebatkan semua orang dan sekarang Anda dapat bergabung dalam percakapan untuk mempelajari lebih lanjut?

Anda akan senang dengan apa yang dapat Anda temukan saat melibatkan pakar CRO lainnya. Bahkan panggilan pelatihan dapat menjadi bagian dari strategi Anda untuk mendapatkan sudut pandang yang berbeda.

Coaching – www.goodui.org/coaching – satu atau dua panggilan bulanan dengan tim eksperimen untuk: meninjau rencana pengujian, memberikan umpan balik tentang desain pengujian, dan memunculkan apa yang berhasil untuk orang lain.
– Jakub Linowski

Jadikan Pembelajaran Dapat Dibagikan

Beberapa orang menggunakan Notion, yang lain menggunakan Google Slide, dan beberapa pakar CRO menyarankan menggunakan papan Miro, tetapi tujuannya sama…

Mengkomunikasikan data pengujian dan wawasan dengan anggota tim lainnya (atau pemangku kepentingan lainnya) untuk memastikan pembelajaran mendapatkan jangkauan yang cukup.

Saat Anda menggunakan alat online seperti Notion, Google Slides, Miro, dan alat lain yang menurut Anda menarik bagi tim Anda, Anda mempermudah mengakses repositori dari perangkat apa pun, dan dari mana saja.

Ini bagus untuk tim jarak jauh dan untuk mendapatkan pandangan baru yang kita bicarakan sebelumnya.

Ini portabel dan dapat dengan mudah dibagikan. Sekarang Anda benar-benar memberikan sayap pembelajaran eksperimen Anda untuk membuat dampak penuh.

Gunakan Wawasan untuk Merencanakan Tes

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Jadi mari kita hancurkan semuanya…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Fitur-fiturnya meliputi:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Mengapa?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Mulai repositori dari hari 1. Mulailah mendidik pemangku kepentingan bahwa eksperimen adalah tentang validasi dan pembelajaran, tidak harus uang. Semakin Anda menunjukkan “kami belajar X dari tes ini” atau “Y dari tes itu”, Anda dan pemangku kepentingan Anda akan semakin selaras.

– David Mannheim

3. Bangun Dukungan Dengan Bukti

Jika tidak ada atau hanya beberapa orang yang mendokumentasikan pengujian mereka dan berbagi wawasan lintas departemen, Anda harus menunjukkan mengapa semua orang perlu bergabung dalam upaya tersebut.

Berhasil menunjukkan manfaat dari repo pembelajaran untuk dukungan C-suite hanyalah langkah pertama. Hal berikutnya yang harus Anda lakukan adalah mengomunikasikan manfaat ini kepada pemangku kepentingan lainnya juga.

Matthias membagikan cara yang fantastis untuk melakukannya:

Mulai dari yang kecil, ramping & gesit. Jalankan eksperimen, kumpulkan pembelajaran, dan lakukan upaya yang baik untuk mendokumentasikannya. Buat laporan yang layak setelah setiap percobaan dan juga sering mengirim (bulanan, triwulanan, tahunan). Fokus pada eksperimen ikan besar dengan dampak positif & pembelajaran yang kuat pada awalnya. Hasil positif memotivasi orang untuk memulai.

Setelah Anda mengumpulkan beberapa pembelajaran yang berdampak kuat, akan berguna juga untuk menunjukkan hasil negatif dan menjelaskan dampak negatif apa yang akan terjadi jika kita menerapkan ini tanpa eksperimen. Kemudian jelaskan betapa pentingnya pembelajaran ini untuk bisnis dan untuk mengambil keputusan produk yang lebih baik.

4. Setelah Berhasil, Mulailah Melihat Alat Tertentu (Pelajari dan Bertindak Dulu, Beli Nanti)

Ketika Anda telah menyiapkan repo sederhana di Google Slides atau platform gratis apa pun yang Anda pilih dan menyelesaikan langkah 2 dan 3, maka Anda dapat menginvestasikan uang dalam sebuah alat.

Jangan terburu-buru dan memompa uang ke dalam gudang pembelajaran sampai Anda yakin ada ROI yang mendorong untuk direalisasikan.

Kesimpulan

Jika ada satu takeaway besar yang Anda dapatkan dari artikel ini adalah Anda harus mulai melihat pembelajaran eksperimen sebagai aset perusahaan. Aset ini akan menghemat waktu dan uang Anda. Dan itu akan mendukung program pengoptimalan yang lebih didorong oleh data di organisasi Anda.

Jangan hanya menjalankan tes, dapatkan menang atau gagal dan kemudian bergegas ke ide Anda berikutnya. Meluangkan waktu untuk mengomunikasikan dan menyusun apa yang telah Anda temukan di repositori pembelajaran Anda akan memberi struktur pada perjalanan eksperimen Anda.

Selain itu, ini adalah cara paling mulus untuk melewati tongkat estafet, menilai dampak tes, dan mempromosikan budaya eksperimen yang menarik.

Dan bagaimana Anda mulai mendapatkan semua ini?

Lakukan seperti yang dikatakan para ahli: Mulai dari yang sederhana.