Cara Menjalankan Rapat Eksperimen yang Akan Mengubah Perusahaan Anda (& Bagaimana Saya Melakukannya di Workato)

Untuk sebagian besar, saya benci pertemuan.

Saya sudah mengatakannya berkali-kali, dalam artikel, Tweet, dan kepada rekan-rekan saya.

Terutama, saya tidak suka ketika orang menggunakan rapat sebagai penopang untuk menghindari menyelesaikan pekerjaan, atau ketika orang menjalankan rapat dengan buruk dan membuang-buang waktu semua orang.

Tetapi sebagai seorang pemimpin, saya menyadari pentingnya beberapa pertemuan. Khususnya, dalam kasus saya, pertemuan eksperimen mingguan.

Itu benar – landasan program eksperimen di Workato hanyalah satu pertemuan. Kami tidak melakukan standup harian (kami melakukannya secara asinkron di Slack); alih-alih hanya satu pertemuan di awal minggu dengan beberapa artefak dan ritual lain yang ditaburkan untuk membuat mesin tetap bergerak.

Ini akan menjadi artikel pertama dan satu-satunya saya yang menyelami secara mendalam tentang bagaimana saya menjalankan rapat ini, mengapa saya menjalankannya seperti itu, dan bagaimana saya menyeimbangkannya dengan alat program eksperimen lainnya (seperti email, basis data berbagi pengetahuan, dan pembacaan).

Sebelum memandu Anda melalui menit, saya ingin memulai dengan mengajukan pertanyaan tingkat tinggi – mengapa pertemuan ini di tempat pertama?

Apa tujuan dari pertemuan tim eksperimen?

Setiap pertemuan membutuhkan tujuan. Jika tidak memiliki tujuan, itu tidak boleh terjadi.

Tiga utilitas pertemuan eksperimen mingguan saya adalah sebagai berikut:

• Belajar dan berbagi wawasan
• Prioritas inisiatif
• Identifikasi dan eliminasi kemacetan proses

Ini berarti kami menghilangkan sebagian besar poin pembicaraan lain yang tidak memenuhinya dari rapat.

Eksperimen dipercepat dengan belajar

Ketika Anda mulai membangun program eksperimen, Anda harus bekerja keras untuk meletakkan fondasinya.

• Mendapatkan alat pengujian yang tepat.
• Memastikannya terintegrasi dengan alat analitik Anda dan Anda melacak data dengan tepat.
• Berkomunikasi dengan eksekutif untuk menetapkan harapan yang tepat untuk eksperimen.

Namun, begitu Anda mulai menskalakan eksperimen, apa yang Anda pelajari pada setiap eksperimen akan bertindak sebagai potensiator untuk sisa program Anda.

Saat Anda melewati 5-10 eksperimen sebulan, seberapa baik Anda belajar dari pemenang, pecundang, dan ketidakyakinan akan memengaruhi tingkat keberhasilan kumpulan eksperimen berikutnya yang Anda jalankan. Dan semua ini harus menjadi inti dalam mempengaruhi bagaimana Anda memprioritaskan peta jalan Anda.

Ini mungkin tampak seperti buang-buang waktu, tapi tidak. Brian Balfour, pendiri Reforge, juga menekankan pentingnya pembelajaran dalam menjalankan pertemuan pertumbuhan:

Jadi kami menghabiskan sebagian besar pertemuan kami dengan berjalan melalui pembelajaran dan berbagi wawasan.

Ini sangat membantu jika rapat Anda bersifat lintas fungsi atau memiliki anggota dari tim lain yang sedang menelepon, karena Anda sering mendapatkan perspektif yang biasanya tidak Anda dapatkan.

Misalnya, kami akan sering mendapatkan pemasar produk pada pertemuan eksperimen kami untuk muncul dan berbagi penemuan terbaru dari riset pelanggan atau untuk berbagi perubahan narasi strategis yang akan datang.

Hal-hal berubah; prioritas itu gesit

Dalam pertemuan saya, saya ingin memperjelas ke mana tujuan kami, langkah apa yang kami ambil untuk sampai ke sana, dan siapa yang bertanggung jawab dan bertanggung jawab atas apa.

Itu bagian pertemuan selanjutnya.

Mengalir dari apa yang telah kita pelajari muncul pertanyaan, “apa yang akan kita lakukan selanjutnya?”

Eksperimen beranda kami hilang – jadi apa yang kami pelajari dan apa yang akan kami lakukan selanjutnya?

Banyak prioritas sebenarnya dilakukan secara asinkron dan setiap tiga bulan – setidaknya eksperimen terbesar dan kumpulan tematik terluas dari proyek kami.

Tapi kami meninggalkan banyak ruang gerak untuk perubahan kecil dan iterasi ke peta jalan berdasarkan perubahan strategis dan apa yang telah kami pelajari dari eksperimen sebelumnya, dan kami menggunakan bagian dari pertemuan untuk memindahkan berbagai hal untuk mencerminkan hal itu.

Identifikasi dan eliminasi kemacetan proses

Terakhir, penting untuk mengungkap hambatan proses, terutama jika Anda berada dalam fase penskalaan program eksperimen.

Ini membutuhkan pemikiran sistem, dan itu adalah pekerjaan inti dari pemimpin tim atau manajer program. Secara efektif, Anda harus mengidentifikasi dan mengukur setiap langkah proses eksperimen mulai dari ide hingga produksi.

Langkah mana yang membutuhkan waktu paling lama, atau lebih tepatnya, lebih banyak waktu dari yang diharapkan? Dan bagaimana Anda dapat menggunakan rapat mingguan ini untuk mengidentifikasi penundaan dan jeda waktu tersebut sehingga Anda memastikan proses lainnya tidak terlalu terpengaruh?

Ini adalah bagian penting dari pertemuan mingguan, dan lebih banyak lagi, secara umum, untuk menjaga eksperimen Anda tetap pada jalurnya.

Apa yang harus dihindari dalam pertemuan eksperimen

Anda dapat menjalankan rapat sesuka Anda, tetapi untuk rapat eksperimen tim mingguan, dua hal cenderung membuang-buang waktu.

• Menarik data ad-hoc atau meminta siapa pun untuk melakukannya
• Curah pendapat dan ide yang tidak terstruktur

Saat Anda menarik data ad-hoc atau meminta seseorang untuk melakukannya, catatlah itu. Jika Anda berulang kali meminta sedikit data, tambahkan itu ke daftar periksa proses Anda. Seharusnya tidak menjadi sesuatu yang muncul setiap pertemuan (membuang banyak waktu dan fokus). Di sinilah dasbor dan pelaporan berguna.

Pada brainstorming tidak terstruktur, saya sebenarnya bukan pembenci itu secara umum.

Tapi ada waktu dan tempat dan biasanya ada metode untuk kegilaan itu.

Saat Anda menghabiskan banyak waktu untuk mengumpulkan ide selama rapat mingguan, Anda mengurangi waktu yang dihabiskan untuk mengidentifikasi hambatan proses dan memastikan Anda menjalankan eksperimen yang tepat.

Jika ide bagus yang acak muncul, tidak apa-apa. Jika itu berubah menjadi sesi brainstorming yang terstruktur secara longgar, Anda harus meletakkan kaki Anda dan membuatnya offline.

Bagaimana saya menjalankan pertemuan tim eksperimen mingguan saya

Baiklah, jadi bagaimana sebenarnya saya menjalankan rapat tim eksperimen mingguan saya?

Saya harus mengaburkan beberapa detail seputar eksperimen aktual yang kami jalankan dan hasilnya, tentu saja, tetapi saya akan membahas setiap bagian sedetail mungkin.

Orang orang

Pertama, orang-orang yang hadir setiap minggu adalah bagian dari fungsi eksperimen strategis inti. Ini adalah grup kecil yang mencakup analis, pemasar kinerja, pengembang web, dan manajer produk. Manajer saya juga sering hadir, tetapi tidak pada setiap panggilan.

Saya memiliki pertemuan terpisah dengan tim desain kami karena mereka adalah pusat keunggulan di perusahaan kami.

Orang-orang ini hadir secara teratur, dan kemudian saya mengundang "tamu" sesekali dari tim yang berdekatan seperti desain, pemasaran merek, atau pemasaran produk. Juga, untuk panggilan tamu ini, kami biasanya hanya mengatur sesi terpisah, karena tujuannya biasanya untuk memperkenalkan ide-ide baru, komunikasi tim yang lebih baik atau untuk bertukar pikiran.

Untuk membuatnya lebih umum, dalam banyak kasus pertemuan eksperimen Anda harus menyertakan orang-orang yang membuat keputusan tentang strategi dan orang-orang yang menjalankan strategi itu. Biasanya, ini adalah:

• Pemimpin/manajer program
• Manajer produk
• Pengembang
• desainer
• Analis

Jadwal

Saya menjalankan pertemuan ini setiap hari Senin pukul 3 sore waktu pusat. Senin pagi sangat bagus untuk mempersiapkan dan menyelesaikan pekerjaan yang mendalam, atau mengikat akhir yang longgar dari minggu sebelumnya. Menjelang sore, tim sudah siap untuk membahas minggu depan. Ini juga membuat kita semua tahu apa yang seharusnya kita kerjakan dan prioritaskan sepanjang minggu.

Kemudian, sepanjang minggu, kami akan melakukan pemeriksaan asinkron dan pertemuan 1:1 untuk membahas secara spesifik apa yang kami putuskan akan kami kerjakan selama rapat tim hari Senin.

Kami tidak menggunakan dek slide saat ini, tetapi kami dapat menggabungkannya. Jika itu masalahnya, saya akan membuat bagian individu terikat pada batas waktu kami yang tercantum di atas, dan dek akan dikirim Jumat minggu sebelumnya (dengan tujuan tidak menghabiskan lebih dari 20 menit Senin pagi menyusun bagian setiap orang) . Saat ini, kami terutama menelusuri database Airtable kami, yang kami gunakan untuk manajemen proyek.

Agendanya

Inilah agenda saya yang sebenarnya:

Durasi pertemuan: 45 menit

• Pengejaran informal: 5-10 menit
• Pembelajaran dari eksperimen / penelitian yang disimpulkan: <10 menit
• Memprioritaskan / merawat backlog: <10 menit
• Mengidentifikasi kemacetan/penghalang: sisa waktu (10-15 menit)

Kami sudah berjalan melalui masing-masing bagian di atas dan tujuannya.

Saya akan memberi Anda beberapa alat dan kerangka kerja yang dapat membantu dengan masing-masing hal di atas juga.

Pembelajaran dari percobaan/penelitian yang disimpulkan.

Hal utama yang Anda butuhkan di sini adalah sistem dokumentasi yang baik.

Sebelum eksperimen dijalankan, saya memerlukan dokumen eksperimen yang harus diisi dengan bagian berikut:

• Latar belakang
• Tujuan pembelajaran
• Hipotesa
• Prediksi (yang berbeda dari hipotesis).
• Desain eksperimen (kuantitas dan kreatif)
• Tindak lanjut (apa yang terjadi setelah kesimpulan)

Kemudian setelah eksperimen dijalankan, dua bagian lagi diisi:

• Hasil
• Pembelajaran

Dan dalam pertemuan kami, kami membahas hasil secara singkat dan lebih mendalam membahas bagian pembelajaran. Siapa pun "pemilik" percobaan adalah orang yang menyajikan pembelajaran, dan kemudian ada diskusi singkat tentang bagaimana kita dapat menerapkannya. Terkadang ini berarti menguji pada skala yang lebih luas atau hanya menskalakan pembelajaran ke pengalaman serupa. Terkadang ini berarti mengulangi dengan cara yang berarti.

Dua alat pilihan Anda dalam langkah ini adalah:

• Dokumen eksperimen (klik di sini untuk mencuri template saya)
• Sistem berbagi pengetahuan eksperimen / Wiki

Memprioritaskan / merawat backlog: <10 menit

Ada perdebatan tentang kegunaan bagian ini, tetapi saya suka menjadikannya sebagai diskusi kelompok karena, tidak seperti dalam produksi web sederhana atau manajemen produk, eksperimen tunduk pada banyak tekanan, penghalang, dan keinginan eksternal.

Misalnya, kami mungkin tidak memiliki persetujuan untuk eksperimen besar yang telah kami rencanakan, atau kami mungkin memiliki penghalang dari desain. Tetapi kami masih ingin mempertahankan irama pengujian kami, sehingga dalam acara itu, kami dapat tetap gesit dan meningkatkan ide upaya yang lebih rendah dari backlog.

Di beberapa organisasi, pengambilan keputusan ini semata-mata ditempatkan pada pemimpin tim eksperimen. Saya suka membuka diskusi untuk kelompok.

Mengapa?

Pertama, saya tidak ingin menghancurkan tim di bawah bobot skor prioritas saya. Bagian dari nilai eksperimen adalah dalam mempelajari hal-hal yang tidak Anda harapkan untuk dipelajari, dan dengan membiarkan otonomi prioritas dari orang lain dalam tim, kami mendapatkan ide yang tidak akan saya taruh di sana. Ini juga membantu meningkatkan komunikasi dan hubungan tim secara keseluruhan.

Kedua, orang lebih bersemangat untuk mengerjakan hal-hal yang mereka pilih untuk dikerjakan. Jika saya mulai menetapkan semua ide, saya membatasi hasrat yang dapat dirasakan orang untuk eksperimen individu (yang, dalam banyak hal, membatasi potensi eksperimen untuk menang).

Jadi di bagian ini, pada dasarnya kita bekerja dari dua alat:

• Kanban manajemen proyek (kami menggunakan Airtable – ini adalah template yang bagus).
• Matriks prioritas (kami menggunakan PXL).

Mengidentifikasi kemacetan/penghalang: sisa waktu

Akhirnya, mengidentifikasi kemacetan.

Ini sulit. Pada awalnya, ia melakukan dua hal:

• Menemukan pola dalam pengiriman yang terlambat
• Mengajukan pertanyaan kualitatif dan terbuka kepada tim

Di Airtable saya (yang saya minta maaf karena tidak dapat saya bagikan), saya memiliki empat kolom di setiap kartu:

• Desain karena
• Desain dikirim
• Pengembangan karena
• Pengembangan disampaikan

Ini adalah tambahan untuk langkah Kanban yang kami ikuti:

• Ide
• Dokumen eksperimen sedang berlangsung
• Dokumen eksperimen sedang ditinjau
• Dalam pengembangan
• Kualitas asuransi
• QA'd dan siap diluncurkan
• Berlari
• Selesai
• Didorong ke produksi

Hal ini memungkinkan saya untuk melihat di mana hal-hal yang jatuh di belakang jadwal. Jika, misalnya, kami telah menjalankan 10 tes namun tidak ada satupun yang diimplementasikan, kami memiliki masalah produksi. Atau mungkin eksperimen kami terhenti dalam jaminan kualitas dan kami memiliki tumpukan eksperimen yang siap dipublikasikan yang menunggu untuk diluncurkan.

Dalam tahap pengembangan, kami juga ingin melihat apakah kami menunggu desain atau pengembang untuk menciptakan pengalaman. Jika kami berulang kali tertinggal, itu berarti kami perlu memperbaiki prioritas tim-tim ini atau berpotensi meningkatkan jumlah karyawan.

Pertanyaan kualitatif terdengar seperti ini:

• Apakah ada yang membutuhkan dukungan dari saya minggu ini?
• Apakah ada penghalang potensial untuk mencapai tujuan kita minggu ini?

Jawaban untuk ini harus memungkinkan Anda untuk memperbaiki kemacetan ini dalam waktu dekat dan juga mengidentifikasi pola ketika mereka berulang untuk diperbaiki dalam jangka panjang.

Mengisi kekosongan: alat program eksperimen berguna lainnya

Rapat tim eksperimen bukanlah satu-satunya alat yang harus ada dalam perangkat manajer Anda.

Faktanya, kesalahan terbesar yang saya lihat dilakukan oleh manajer eksperimen adalah mencoba melakukan semuanya dalam satu pertemuan.

Sebaliknya, Anda ingin menyebarkan ritual dan artefak Anda sehingga Anda menggunakan alat terbaik untuk setiap pekerjaan yang ingin Anda selesaikan.

Pertemuan tim eksperimen mencapai tiga hal:

• Pembelajaran dan wawasan
• Prioritas dan alokasi kerja
• Identifikasi dan perbaikan pemblokir.

Sasaran program eksperimen lain yang mungkin Anda pedulikan adalah sebagai berikut:

• Mendapatkan ide dari tim lain
• Menjaga eksekutif dan pemangku kepentingan dalam lingkaran ROI dan hasil
• Berbagi hasil dengan tim lain untuk menyebarkan pengetahuan di luar eksperimen

Bergantung pada organisasi Anda, Anda mungkin memiliki lebih banyak hal untuk dikerjakan, seperti menjaga papan skor eksperimen atau bekerja dengan ilmuwan data untuk mengimplementasikan proses DataOps untuk mengotomatiskan bagian analisis atau platform Anda.

Tetapi untuk tujuan di atas, menurut saya alat ini tidak sulit dan sangat efektif:

• Email ulasan eksperimen
• Pertemuan pembacaan eksperimen lintas fungsi
• Arsip eksperimen / alat berbagi pengetahuan

Email ulasan eksperimen

Rapat tim eksperimen Anda tidak boleh dihabiskan untuk membahas hasil, untuk sebagian besar. Ini harus dilakukan secara efektif di dasbor dan email mingguan yang Anda, manajer program, kirimkan ke seluruh tim dan semua pihak yang berkepentingan.

Ini harus mencakup:

• Eksperimen sebelumnya yang telah menyimpulkan + hasil
• Eksperimen yang sedang berjalan
• Eksperimen masa depan

Setiap analitik dan dasbor swalayan juga dapat disertakan di sini. Saya suka membuat bagan hasil yang menarik secara visual dan menautkan ke detail lebih lanjut untuk yang kutu buku di grup. Tetapi pada umumnya, VP Anda tidak akan terlalu peduli dengan statistik terperinci dari setiap tes individu. Jadi email ini adalah untuk mendapatkan visibilitas atas upaya Anda dan membagikan hasil dan pembelajaran tingkat tinggi.

Pertemuan pembacaan eksperimen lintas fungsi

Tim eksperimen tidak boleh bertindak sebagai silo teritorial. Anda membatasi penyebaran pengetahuan yang diperoleh tim Anda, dan Anda juga membatasi masuknya ide-ide yang mengganggu.

Jadi setiap kuartal, saya suka menjalankan pembacaan eksperimen lintas fungsi di mana kami menjalani semua eksperimen yang telah kami jalankan dan pembelajaran tingkat tinggi, dan kemudian kami membuka mikrofon untuk tim lainnya untuk berkomentar dan menyampaikan ide.

Ini memberi tim lain – bagi saya, umumnya pemasaran produk, merek, produk, dan gen permintaan – melihat apa yang telah kami pelajari. Mungkin mereka dapat menggunakannya untuk memengaruhi pekerjaan, pesan, dan desain mereka.

Ini juga memungkinkan mereka untuk menempatkan hal-hal di radar kami yang mungkin belum kami ketahui – kampanye yang akan datang, eksperimen yang dijalankan pada alur orientasi, dll.

Arsip eksperimen / alat berbagi pengetahuan

Terakhir, alat yang paling diremehkan dalam program eksperimen adalah tempat untuk menyimpan semua hasil dan pembelajaran Anda. Sebaiknya, ini adalah alat dengan fungsi pencarian dan penandaan yang baik.

Hal ini memungkinkan pihak yang sangat tertarik dan terlibat untuk sekedar mencari sendiri apa yang telah dijalankan.

Secara pribadi, saya menggunakan kombinasi Airtable dan Google Docs. Tetapi Anda dapat menggunakan Notion, Confluence, atau alat arsip pengujian A/B khusus seperti Effective Experiments.

Kesimpulan

Pertemuan tim eksperimen adalah ritual penting yang dapat membuat atau menghancurkan efisiensi (kecepatan dan kualitas eksperimen) dan efektivitas tim Anda (seberapa terlihat dan dihormati tim Anda dalam organisasi).

Perlakukan rapat dan peserta dengan hormat, dan tetap setia pada tujuannya. Hindari gangguan dan scope creep – ada alat lain untuk brainstorming dan pelaporan. Dan dengan cepat Anda akan menemukan bahwa alih-alih takut akan pertemuan lain, Anda menantikan pertemuan ini karena sangat produktif. Di situlah kita telah mendarat.