Cara Memastikan Hasil yang Akurat dari Pengujian A/B Anda Terlepas dari ITP Apple

Awalnya dirancang untuk memblokir cookie pihak ketiga (pelacak yang mengidentifikasi pengguna di berbagai domain) untuk pengguna Safari. Seiring waktu, itu berkembang menjadi juga membatasi beberapa cookie pihak pertama yang bertindak sebagai pelacak. Disinilah letak pentingnya ITP. Itu melakukan pekerjaan yang sangat baik untuk mencegah pelacakan pengunjung jahat.

Mengapa Safari ITP Muncul?

Untuk waktu yang lama, sebelum ITP dikembangkan, data pihak ketiga adalah sumber utama informasi pengunjung situs web untuk industri pemasaran, analitik, dan periklanan.

Namun, pengunjung tidak memiliki petunjuk tentang siapa yang dapat mengakses data pribadi mereka dan apa yang dapat mereka lakukan dengannya. Kurangnya transparansi mengenai siapa yang dapat mengakses informasi membuat sulit untuk mengetahui apakah perusahaan menggunakan ini secara bertanggung jawab atau tidak.

Solusinya datang dalam serangkaian undang-undang privasi yang tidak terduga (GDPR, CCPA, CPRA, LGPD, ePrivacy), yang memungkinkan pengguna untuk memahami kapan informasi pribadi mereka dikumpulkan oleh perusahaan atau diakses secara tidak benar, memberi mereka kemampuan untuk memutuskan bagaimana ini digunakan –termasuk apakah mereka menginginkannya dikumpulkan atau tidak!

Dengan diperkenalkannya undang-undang yang melindungi privasi pengguna ini, browser dipaksa untuk mematuhinya. Apple adalah yang pertama memasukkan fitur privasi ke dalam browsernya. Pada tahun 2017, ia meluncurkan Intelligent Tracking Prevention (ITP) untuk melindungi privasi penggunanya.

Bagaimana ITP Berkembang Selama Bertahun-tahun?

ITP telah berubah selama bertahun-tahun, setiap versi memperkenalkan batasan baru. Mari kita lihat versi ITP yang paling penting dan lihat perubahan apa yang dibawa oleh masing-masing versi tersebut.

Bagikan infografis ini di situs Anda:

Apakah Pengujian A/B Anda Dipengaruhi oleh Safari ITP?

Jika Anda melakukan eksperimen dengan salah satu hal berikut, ITP mungkin berdampak pada hasil Anda:

Cookie Pihak Ketiga

Karena ITP tidak mengizinkan cookie pihak ketiga, kemungkinan besar Anda akan terkena dampak negatif dan harus mempertimbangkan untuk beralih ke solusi lain.

Cookie Pihak Pertama

Cookie ini akan dihapus dari browser pengguna setelah 7 hari, yang dapat memengaruhi data dan pengalaman pengguna Anda.

Penyimpanan lokal

Data ini akan dihapus dari browser pengguna setelah 7 hari, yang mungkin memengaruhi hasil pengujian dan pengalaman pengguna Anda jika jalur konversi biasanya lebih dari seminggu.

Pengujian Sisi Server

Ini adalah solusi teraman saat ini, tetapi pastikan alat pengujian Anda mendukung pengelompokan dan segmentasi sisi server.

Alat Apa yang Dapat Anda Gunakan untuk Menyebutkan Dampak ITP?

Jika Anda masih tidak yakin apakah Anda terkena dampak ITP, berikut adalah beberapa alat yang dapat membantu Anda segera mengetahui dampaknya.

Laporan Google Analytics

Anda dapat menggunakan laporan Google Analytics dan mencari perubahan yang kami bahas di bawah ini. Anda terutama akan menggunakan laporan Browser & OS dan laporan Sumber/Media untuk mengidentifikasi dampak ITP pada data Anda.

Kalkulator Dampak ITP untuk Data Google Analytics

Anda juga dapat menggunakan Kalkulator Dampak ITP untuk melihat bagaimana ITP 2.1, 2.2, dan 2.3 dapat memengaruhi data GA Anda. Ada juga artikel di mana Anda akan menemukan penjelasan tentang output dari alat ini.

Seperti Apa Dampak ITP pada Hasil Tes A/B?

Sekarang setelah Anda mengetahui cara mengetahui apakah Anda terpengaruh oleh ITP, Anda mungkin bertanya-tanya bagaimana ITP dapat memengaruhi hasil pengujian A/B Anda.

Jadi, mari kita lihat seberapa besar pengaruh ITP terhadap hasil pengujian A/B Anda dan beberapa sinyal umum yang harus dicari dalam laporan pengujian A/B Anda.

Pengunjung yang Kembali Lebih Sedikit dengan Safari 12.1 dan Lebih Tinggi

Salah satu tanda bahwa Pencegahan Pelacakan Cerdas sedang berlangsung adalah ketika jumlah pengguna baru yang menggunakan browser yang memaksa perubahan ITP meningkat, sementara jumlah pengguna yang kembali menurun. Artinya Anda mendapatkan lebih banyak pengunjung baru dan lebih sedikit pengunjung yang kembali dari biasanya.

Ini karena, ketika ITP terjadi, cookie tidak dapat lagi melakukan tugasnya. Batasan penargetan pengunjung ITP selama 24 jam dan 7 hari mengubah arti dari “pengunjung yang kembali”.

Pengunjung yang kembali ke situs web Anda dalam waktu 7 hari sejak kunjungan terakhir mereka secara akurat dilaporkan sebagai “pengunjung yang kembali”. Sementara pengguna yang berulang kali berinteraksi dengan situs Anda tetapi melakukan konversi atau melakukan pembelian setelah 7 hari diklasifikasikan secara tidak benar sebagai “pengunjung baru”.

Definisi ulang "pengunjung yang kembali" ini berarti bahwa ITP menghambat atribusi pemasaran yang tepat, serta segmentasi pasar dan penargetan ulang.

Selanjutnya, mari tunjukkan dengan tepat bagaimana Anda dapat menemukan potensi masalah ini di laporan Google Analytics Anda.

Filter laporan “Browser” menurut Browser yang berisi “Safari”. Tetapkan metrik yang divisualisasikan dalam diagram ke "Pengguna Baru" dan "Pengguna Kembali", dan perincian ke "Bulan". Ini memungkinkan Anda untuk melihat bahwa lebih sedikit pengguna kembali yang ditangkap dari waktu ke waktu.

Anda juga dapat menggunakan Kalkulator Dampak ITP untuk ini. Diagram lingkaran menunjukkan bagaimana jumlah pengguna baru dan pengguna kembali bervariasi dari waktu ke waktu. Dalam hal ini, hanya 15,8% pengguna dengan ITP 2.1 atau lebih tinggi yang dapat diidentifikasi sebagai pengguna yang kembali. 22,4% dari browser lain dapat diidentifikasi sebagai pengguna yang kembali.

% Sesi Baru Lebih Tinggi

Karena fakta bahwa pengunjung yang kembali tidak dapat dikenali dengan mudah, hal lain yang akan Anda perhatikan adalah bahwa dimensi "jumlah sesi" akan terpengaruh.

Ini berarti Anda akan melihat persentase pengguna Safari yang lebih tinggi dengan jumlah sesi tunggal.

Mari kita lihat dimensi ini di Google Analytics.

Filter laporan "Browser" ke Browser apa pun yang berisi "Safari". Tetapkan metrik yang divisualisasikan dalam diagram ke “% Sesi Baru” dan perincian ke “Bulan”. Ini menunjukkan tren “% Sesi Baru” dari waktu ke waktu.

Anda juga dapat menggunakan Kalkulator Dampak ITP dan melihat bagaimana "% Sesi Baru" telah berubah setelah Maret 2019 saat ITP 2.1 mulai berlaku. Karena durasi cookie telah dikurangi, Anda akan melihat lebih banyak "% Sesi Baru" untuk Safari dibandingkan dengan situs Anda secara keseluruhan untuk memahami implikasi makro dan mikro.

Variasi Kemenangan yang Salah Dideklarasikan

Ini adalah ketakutan terburuk dari penguji mana pun. Tidak ada yang ingin menyatakan pemenang palsu, namun kenyataannya adalah ITP mungkin pelakunya. Karena ITP, Anda mungkin melihat beberapa kejanggalan dengan pemenang tes A/B yang Anda nyatakan.

Karena pengunjung hanya dapat diklasifikasikan dengan benar sebagai pengunjung baru vs kembali selama 7 hari, Anda memiliki waktu yang sangat singkat dengan data yang valid untuk menyatakan pemenang. Tetapi jika situs Anda tidak mendapatkan lalu lintas yang cukup sebelum tanggal kedaluwarsa, pemenang yang salah mungkin diumumkan atau tidak ada pemenang yang diumumkan sama sekali.

Lihat seperti apa tampilannya di aplikasi Convert Experiences:

Tidak Ada Atribusi Pemasaran

Salah satu mimpi buruk terbesar bagi pemasar adalah tidak dapat mengaitkan konversi dengan benar. Ini berarti Anda tidak dapat melacak kampanye pemasaran mana yang menghasilkan penjualan, sehingga Anda tidak dapat menentukan mana yang layak untuk diinvestasikan.

Saat ini, sebagian besar pemasar menggunakan parameter kueri seperti parameter UTM untuk mengaitkan konversi.

Tetapi ini dapat ditandai oleh ITP, yang membatasi cookie yang relevan dari 7 hari menjadi 1 hari . Ini memberi Anda waktu yang sangat singkat untuk mengaitkan konversi dengan benar. Selain itu, seperti yang telah kami tunjukkan sebelumnya, pengunjung yang kembali tidak dikategorikan secara andal setelah 7 hari. Ini salah mengarahkan kredit untuk konversi pengunjung ke saluran keterlibatan atau transaksi terakhir.

Dalam keadaan yang jarang terjadi, ITP bahkan dapat menghapus semua informasi tambahan dari URL. Saat parameter UTM hilang, tidak ada cara untuk menautkan konversi ke saluran atau sumber tertentu, sehingga analitik Anda tidak berarti.

Mari kita ambil dua contoh.

Pengunjung A datang dari situs afiliasi pada hari Senin, lalu kembali seminggu kemudian untuk membeli:

• Sebelum ITP: penjualan dikaitkan dengan “Afiliasi”
• Setelah ITP: penjualan diatribusikan ke “Langsung”
• Mengapa: kunjungan kedua lebih dari satu hari setelah kunjungan pertama

Pengunjung B mengeklik dari iklan Facebook ke posting blog dan pembelian terbaru Anda:

• Sebelum ITP: penjualan diatribusikan ke “Facebook”
• Setelah ITP: penjualan diatribusikan ke “Langsung”
• Mengapa: kunjungan ke blog tidak terkait dengan kunjungan di domain lain

Buka dasbor Google Analytics Anda dan pilih Akuisisi, lalu Semua Lalu Lintas dari menu tarik-turun. Untuk melihat daftar cara orang menemukan situs Anda, buka Sumber/Media.

Jika Anda mengandalkan lalu lintas dari afiliasi seperti Facebook dan LinkedIn, ITP dapat mendorong program analisis web Anda untuk menunjukkan pengunjung unik yang meningkat. Afiliasi seperti Facebook dan LinkedIn dapat dengan mudah mengenali lalu lintas pengunjung unik dari sumber-sumber ini dalam kondisi reguler dan non-ITP. Pengunjung situs Anda akan membawa pengidentifikasi pengunjung unik dengan mereka melalui URL, yang akan dibandingkan oleh afiliasi dengan cookie yang dijatuhkan di browser sebelumnya. Afiliasi kemudian akan memantau pengunjung di seluruh domain menggunakan cookie dan identifikasi pengunjung.

Di bawah ini Anda dapat melihat jumlah pengunjung unik yang datang dari Facebook dan LinkedIn tanpa dampak ITP:

Dengan ITP, segalanya sedikit berbeda. ITP sekarang menggunakan daftar hitam domain yang mampu melacak lintas situs. Jika ITP memasukkan situs afiliasi Anda ke daftar hitam dan mereka menggunakan sesuatu yang terlihat seperti pengenal pengunjung, cookie yang mereka jatuhkan akan memiliki masa kedaluwarsa 24 jam, bukan 7 hari biasa. Akibatnya, Anda hanya dapat melacak pengguna dalam waktu 24 jam.

Jika Anda memuat laporan yang sama seperti sebelumnya, tetapi sekarang menunjukkan dampak ITP, Anda akan melihat penurunan "Pengguna":

Tidak Ada Pembuatan Profil Pengguna yang Persisten

Dengan ITP, pembuatan profil pengguna tidak lagi tersedia. Profil pengguna juga akan buram. Pelacak profil pengguna tidak lagi dapat mengeluarkan ID pengguna atau pelanggan tetap kepada pengunjung saat menggunakan ITP. Ini adalah situasi yang dinamis. Mekanisme "penargetan ulang" juga terpengaruh. Untuk menyediakan konten dan iklan yang paling tepat, penargetan ulang sangat bergantung pada ID permanen pengguna.

Personalisasi yang Bermakna Hanya untuk Pengunjung Baru

Personalisasi akan terpengaruh tergantung pada logika yang mendukungnya.

Personalisasi waktu nyata, di mana pengalaman pengguna dibentuk oleh perilaku mereka selama sesi tertentu, tidak akan terpengaruh. Namun, mengenali preferensi dan perilaku mereka saat mereka kembali tidak akan berfungsi lagi kecuali mereka kembali ke situs Anda dalam 7 hari.

Masalah Fungsi Web

ITP memiliki konsekuensi di area lain juga, seperti fungsionalitas web dan pemasaran afiliasi. Jika Anda menggunakan cookie yang dapat ditulis dengan skrip atau bentuk penyimpanan lain yang dapat ditulis dengan skrip untuk menyimpan data pengunjung, Anda akan benar-benar merasakan efek ITP. Situs web Anda dapat meminta persetujuan cookie secara teratur, mengatur ulang preferensi bahasa dan mata uang ke pengaturan default, dan seterusnya.

Kinerja End-To-End

Karena pembatasan cookie pihak pertama di situs web Anda, ITP berdampak pada pemasaran digital Anda dan, sebagai hasilnya, bisnis Anda secara keseluruhan. Karena platform periklanan dan analitik mengandalkan cookie ini untuk pelacakan dan pelaporan, penerapan ITP berarti bahwa wawasan data pemasaran tidak lagi dapat dipercaya sepenuhnya.

Uji A/B Langsung Digunakan untuk Mensimulasikan Dampak ITP

Pertimbangkan situs web yang menerima 30% lalu lintasnya dari pengguna Safari. Ini menerima 200.000 pengunjung unik setiap bulan dan memiliki tingkat konversi rata-rata 3%.

Kami membuat simulasi tentang apa yang akan terjadi jika pengujian A/B dua halaman dilakukan (Asli dan Varian1). Variant1, menurut teori, mengungguli Original.

Pada grafik kami, bagaimanapun, ditunjukkan bahwa ketika ITP tidak dihapus, yang Asli bekerja lebih baik.

Simulasi menunjukkan bahwa, karena ITP, alat eksperimen akan melaporkan bahwa yang Asli adalah pemenangnya setelah 7 hari.

Ini adalah kebalikan dari hasil yang diperoleh ketika dampak ITP dihilangkan, yang menunjukkan bahwa Varian1 seharusnya merupakan hasil kemenangan yang sebenarnya.

Pada dasarnya, ITP menyebabkan pengujian A/B Anda menghasilkan hasil yang sepenuhnya tidak akurat dan tidak dapat diandalkan. Ada sesuatu yang dapat Anda lakukan tentang hal itu sekalipun. Baca terus untuk melihat apa itu.

Apa Yang Terjadi Jika Anda Mengabaikan Dampak ITP pada Hasil Tes A/B?

Pada Kebijakan Pencegahan Pelacakan mereka, Apple menyatakan:

Ini berarti bahwa jika situs web Anda mencoba untuk menghindari fitur anti-pelacakan bawaan Apple, itu akan dianggap sebagai malware.

Jika Anda mencoba menggunakan masa tenggang, Anda mungkin tidak langsung melihat dampak dalam pelaporan Analytics, tetapi Anda akan melihat inkonsistensi antara Google Analytics/platform eksperimen Anda dan penyedia eksternal lainnya yang mempertimbangkan perubahan ITP.

Solusi Konversi untuk Berkeliling ITP

Mari kita mulai dengan sebuah contoh untuk memahami apa yang mungkin dilakukan ITP terhadap pengalaman dan laporan Konversi Anda (jika Anda tidak menerapkan solusi kami di bawah).

Misalnya, jika corong Anda memiliki tiga langkah dan pengunjung menyelesaikan langkah terakhir pada hari kedelapan, alur corong tidak akan pernah selesai, meskipun pengunjung menyelesaikan semua langkah. Hal ini disebabkan oleh fakta bahwa data yang dikumpulkan selama perjalanan pelanggan dapat kedaluwarsa setelah 7 hari.

Di luar ini, pengunjung diperlakukan sebagai pengunjung baru dan proses pengumpulan data dimulai lagi.

Hasilnya menjadi tidak jelas karena pengguna yang sama dilacak berkali-kali.

Ini mungkin juga berarti bahwa jika pengunjung kembali ke situs web setelah 7 hari, mereka akan ditawari versi pengujian yang sama yang berbeda dari yang ditampilkan sebelumnya.

Hal ini kemudian dapat menyebabkan inkonsistensi dalam pengalaman pengguna dan memengaruhi keakuratan kampanye.

Pengunjung yang tiba di situs Anda dari domain dengan kemampuan pelacakan lintas domain dan string kueri atau pengidentifikasi fragmen di URL dikenali sebagai pengunjung baru jika mereka tiba 24 jam setelah kunjungan sebelumnya, meskipun mereka tiba di situs sedikit lebih lama sebelum itu.

Ini karena cookie menyimpan informasi tentang variasi mana yang ditampilkan kepada pengguna.

Jadi apa yang bisa salah dalam pengalaman dan laporan Konversi Anda?

• Seseorang yang datang kembali beberapa kali selama pengalaman mungkin memiliki variasi yang berbeda setiap kali.
• Karena standar perlindungan privasi yang berbeda-beda di setiap browser, aktivitas yang sama dapat bekerja secara berbeda.
• Konversi mungkin tidak dikaitkan dengan tepat ke pengalaman yang ditawarkan selama periode konversi yang panjang (lebih dari 7 hari).
• Karena pemisahan pengaruh variasi yang bersih semakin sulit, program pengoptimalan Anda akan melihat hasil yang lebih "tidak meyakinkan" atau "datar".
• Karena pengunjung yang kembali diberi label yang salah sebagai pengunjung baru, eksperimen cenderung melebihi ukuran sampel minimum yang telah dihitung sebelumnya lebih awal dari yang diharapkan.
• Pengguna tidak akan dapat diidentifikasi di seluruh kunjungan.

Untungnya, tidak ada hal di atas yang harus terjadi pada Anda.

Untuk mengatasi masalah di atas, kami menyelidiki berbagai teknik untuk mengurangi dampak ITP, sebelum memutuskan untuk memindahkan proses pembuatan cookie dari browser ke server.

Karena pembatasan durasi cookie yang baru hanya berlaku untuk cookie yang dibuat oleh browser, kami memindahkan bagian penerbitan cookie ke server web Anda, yang berarti cookie akan dibuat oleh server Anda, bukan oleh browser pengguna.

Untuk Pengguna yang Tidak Dapat Menerapkan Solusi ITP Kami

Jika solusi di atas tidak memungkinkan di pihak Anda, Konversi menawarkan pemfilteran hasil pengalaman Anda dengan kumpulan segmen pengguna default, yang mencakup Browser, langsung dari kotak.

Gunakan opsi segmen Browser untuk menampilkan hasil yang menyertakan dan mengecualikan Safari untuk memeriksa konsistensi lintas browser dari hasil eksperimen.

Berikut caranya:

Buka tab "Laporkan" pengalaman Anda:

Dari tarik-turun Segmen, gunakan kotak centang “Filter menurut Browser”:

Pilih semua browser yang terdaftar di menu, kecuali Safari.

Ini memungkinkan Anda untuk melihat hasil dengan semua angka pelaporan umum dan perhitungan signifikansi statistik, dengan dan tanpa populasi pengunjung yang mungkin terpengaruh oleh ITP.

Perlu diingat bahwa browser lain mungkin memaksa perubahan privasi ini secara default sehingga solusi ini hanya berlaku hingga ITP dipaksakan ke semua browser lain (mirip dengan Safari).

Pikiran Penutup

Bagaimana seharusnya bisnis mengelola medan ini mengingat persyaratan privasi yang selalu berubah sambil juga meningkatkan upaya pemasaran, mempertahankan keunggulan kompetitif, dan memenuhi permintaan yang terus meningkat untuk pengalaman konsumen individual?

Sayangnya, tidak ada solusi sederhana.

Hal utama yang perlu diingat adalah jika perusahaan Anda belum melakukannya, penting untuk memastikan tim Anda mengetahui masalah privasi dan konsekuensi potensial dari pengumpulan data, analisis hasil, dan pengoptimalan.

Ini akan menjadi kesalahan kritis untuk menutup mata atau mengabaikan efek potensial hanya karena Safari mungkin mewakili sebagian kecil dari lalu lintas Anda.

Sementara Safari telah menjadi yang terdepan dalam meningkatkan perlindungan data, Firefox dan Chrome juga mengambil langkah-langkah untuk meningkatkan privasi mereka. Akibatnya, batasan ini dapat memengaruhi lebih banyak pengguna situs Anda.

Jika tim Anda berjuang untuk mengikuti semua pembaruan privasi baru dan menentukan bagaimana pengaruhnya terhadap bisnis, hubungi kami.

Tiga solusi strategis utama Convert difokuskan pada pembaruan aspek penting bisnis yang mungkin terpengaruh oleh perubahan peraturan privasi, seperti:

• Meningkatkan Pengalaman Klien
• Meningkatkan Hasil Pemasaran Anda
• Mendapatkan Keunggulan Kompetitif

Kami sekarang membantu klien kami dengan menavigasi pembaruan ITP dan memastikan bahwa solusi penting ada di berbagai sistem mereka. Beri tahu kami jika kami dapat melakukan hal yang sama untuk Anda.