AppleのITPにもかかわらずA/Bテストから正確な結果を保証する方法

もともとは、SafariユーザーのサードパーティCookie（さまざまなドメインのユーザーを識別するトラッカー）をブロックするように設計されていました。 時間の経過とともに、トラッカーとして機能する一部のファーストパーティCookieも制限するようになりました。 ここにITPの重要性があります。 悪意のある訪問者の追跡を防ぐのに優れた役割を果たします。

Safari ITPが誕生したのはなぜですか？

長い間、ITPが開発される前は、サードパーティのデータがマーケティング、分析、および広告業界のWebサイト訪問者情報の主な情報源でした。

しかし、訪問者は、誰が自分の個人データにアクセスでき、それを使って何ができるかについての手がかりを持っていませんでした。 誰が情報にアクセスできるかについての透明性の欠如は、企業がこれを責任を持って使用しているかどうかを知ることを困難にしました。

このソリューションは、一連の予期しないプライバシー法（GDPR、CCPA、CPRA、LGPD、ePrivacy）で提供されました。これにより、ユーザーは、個人情報が企業によって収集されているのか、不適切にアクセスされているのかを理解し、これをどのように使用するかを決定できます。 –収集したいかどうかも含めて！

ユーザーのプライバシーを保護するこれらの法律の導入により、ブラウザは準拠することを余儀なくされました。 Appleは、ブラウザにプライバシー機能を組み込んだ最初の企業です。 2017年には、ユーザーのプライバシーを保護するためにインテリジェント追跡防止（ITP）を開始しました。

ITPは何年にもわたってどのように進化してきましたか？

ITPは何年にもわたって変更されており、各バージョンで新しい制限が導入されています。 ITPの最も重要なバージョンを調べて、それぞれがどのような変化をもたらしたかを見てみましょう。

このインフォグラフィックをサイトで共有します。

A /BテストはSafariITPの影響を受けますか？

次のいずれかで実験を行っている場合、ITPが結果に影響を与える可能性があります。

サードパーティのCookie

ITPではサードパーティのCookieが許可されていないため、悪影響を受ける可能性が高く、別のソリューションへの切り替えを検討する必要があります。

ファーストパーティCookie

これらのCookieは、7日後にユーザーのブラウザから削除され、データとユーザーエクスペリエンスに影響を与える可能性があります。

ローカルストレージ

このデータは7日後にユーザーのブラウザから削除されます。これは、コンバージョン経路が通常1週間より長い場合、テスト結果とユーザーエクスペリエンスに影響を与える可能性があります。

サーバー側のテスト

これは現時点で最も安全なソリューションですが、テストツールがサーバー側のバケット化とセグメンテーションをサポートしていることを確認してください。

ITPの影響を特定するためにどのようなツールを使用できますか？

ITPの影響を受けているかどうかまだわからない場合は、その影響をすぐに見つけるのに役立つツールをいくつか紹介します。

GoogleAnalyticsレポート

Google Analyticsレポートを使用して、以下で説明する変更を探すことができます。 主にブラウザとOSレポートとソース/メディアレポートを使用して、データに対するITPの影響を特定します。

GoogleAnalyticsデータ用のITPImpactCalculator

ITP Impact Calculatorを使用して、ITP 2.1、2.2、および2.3がGAデータにどのように影響したかを確認することもできます。 このツールの出力の説明が記載されている記事もあります。

ITPのA/Bテスト結果への影響はどのように見えますか？

ITPの影響を受けているかどうかを特定する方法がわかったので、ITPがA/Bテストの結果にどのように影響するのか疑問に思われるかもしれません。

それでは、ITPがA / Bテストの結果にどの程度の影響を与えるか、およびA/Bテストレポートで探すべきいくつかの一般的なシグナルを見てみましょう。

Safari12.1以降でリピーターが少なくなる

インテリジェントトラッキング防止が行われていることを示す兆候の1つは、ITPの変更を強制するブラウザーを使用する新規ユーザーの数が増加し、リピーターの数が減少する場合です。 つまり、通常よりも多くの新規訪問者と少ないリピーターを獲得できます。

これは、ITPが発生すると、Cookieがその役割を果たせなくなるためです。 ITPの24時間および7日間の訪問者ターゲティングの制限により、「再訪問者」の意味が変わります。

最後の訪問から7日以内にWebサイトに戻ってきた訪問者は、「リピーター」として正確に報告されます。 サイトを繰り返し操作したものの、7日後にコンバージョンまたは購入を行ったユーザーは、誤って「新規訪問者」として分類されます。

この「リピーター」の再定義は、ITPが適切なマーケティングアトリビューション、およびマーケットセグメンテーションとリターゲティングを阻害することを意味します。

次に、GoogleAnalyticsレポートでこの潜在的な問題を見つける方法を正確に示しましょう。

「Safari」を含むブラウザで「ブラウザ」レポートをフィルタリングします。 グラフに表示される指標を「新規ユーザー」と「リピーター」に設定し、粒度を「月」に設定します。 これにより、時間の経過とともにキャプチャされるリピーターが少なくなることがわかります。

これには、ITPImpactCalculatorを使用することもできます。 円グラフは、新規ユーザーとリピーターの数が時間の経過とともにどのように変化したかを示しています。 この場合、ITP 2.1以上のユーザーの15.8％のみがリピーターとして識別される可能性があります。 他のブラウザの22.4％は、リピーターとして識別できます。

新しいセッションの割合が高い

リピーターを簡単に認識できないため、「セッション数」のディメンションが影響を受けることに気付くでしょう。

これは、単一のセッション数でSafariユーザーの割合が高くなることを意味します。

GoogleAnalyticsでこのディメンションを見てみましょう。

「ブラウザ」レポートを「Safari」を含む任意のブラウザにフィルタリングします。 グラフに視覚化されたメトリックを「％New Sessions」に設定し、粒度を「Month」に設定します。 これは、時間の経過に伴う「％NewSessions」の傾向を示しています。

また、ITP Impact Calculatorを使用して、ITP2.1が有効になった2019年3月以降に「％NewSessions」がどのように変化したかを確認することもできます。 Cookieの期間が短縮されたため、サイト全体と比較してSafariの「％New Sessions」が表示され、マクロとミクロの影響を理解できます。

誤って宣言された勝利のバリエーション

これは、テスターに​​とって最悪の恐怖です。 誰も偽りの勝者を宣言したくはありませんが、現実にはITPが原因である可能性があります。 ITPが原因で、宣言されたA/Bテストの勝者に不規則性があることに気付く場合があります。

訪問者は新規と7日間のリピーターとしてのみ正しく分類できるため、有効なデータを使用して勝者を宣言する時間は非常に短くなります。 ただし、有効期限が切れる前にサイトに十分なトラフィックがない場合は、間違った勝者が宣言されるか、勝者がまったく宣言されない可能性があります。

ConvertExperiencesアプリでこれがどのように表示されるかを確認してください。

マーケティングアトリビューションなし

マーケターにとって最大の悪夢の1つは、コンバージョンを適切に特定できないことです。 つまり、どのマーケティングキャンペーンが売り上げにつながっているかを追跡できないため、投資する価値のあるキャンペーンを特定することはできません。

現在、ほとんどのマーケターは、UTMパラメーターなどのクエリパラメーターを使用してコンバージョンを属性付けしています。

ただし、これらはITPによってフラグが立てられる可能性があり、ITPは関連するCookieを7日から1日に制限します。 これにより、コンバージョンを適切に評価するための非常に短いウィンドウが提供されます。 さらに、前に示したように、リピーターは7日を超えて確実に分類されません。 これにより、訪問者がエンゲージメントまたはトランザクションの最後のチャネルにコンバージョンしたことに対するクレジットが誤って転送されます。

まれに、ITPがURLからすべての余分な情報を削除できる場合もあります。 UTMパラメータが失われると、変換を特定のチャネルまたはソースにリンクする方法がなくなり、分析が無意味になります。

2つの例を見てみましょう。

訪問者Aは月曜日にアフィリエイトサイトからアクセスし、1週間後に戻って購入します。

• ITPの前：販売は「アフィリエイト」に起因します
• ITP後：販売は「直接」に起因します
• 理由：2回目の訪問が1回目から1日以上経過している

訪問者Bは、Facebook広告から最新のブログ投稿にクリックスルーして購入します。

• ITP以前：販売は「Facebook」に起因します
• ITP後：販売は「直接」に起因します
• 理由：ブログへのアクセスが別のドメインへのアクセスにリンクされていない

Google Analyticsダッシュボードに移動し、ドロップダウンメニューから[集客]、[すべてのトラフィック]の順に選択します。 人々があなたのサイトをどのように見つけているかのリストを見るには、Source/Mediumにアクセスしてください。

FacebookやLinkedInなどのアフィリエイトからのトラフィックに依存している場合、ITPはWeb分析プログラムをプッシュして、膨らんだユニークな訪問者を表示することがあります。 FacebookやLinkedInなどのアフィリエイトは、通常の非ITP状態で、これらのソースからの固有の訪問者トラフィックを簡単に認識できます。 あなたのサイトへの訪問者は、URLを介して一意の訪問者識別子を持ってきます。これは、アフィリエイトがその前にブラウザにドロップされたCookieと比較します。 アフィリエイトは、Cookieと訪問者IDを使用して、ドメイン全体の訪問者を監視します。

以下に、ITPの影響を受けずにFacebookとLinkedInから来たユニークな訪問者の数を示します。

ITPでは、状況は少し異なります。 ITPは現在、クロスサイト追跡が可能なドメインのブラックリストを採用しています。 ITPがアフィリエイトのサイトをブラックリストに登録し、訪問者IDのようなものを採用している場合、それらがドロップするCookieには、通常の7日間ではなく24時間の有効期限があります。 その結果、24時間以内にのみユーザーを追跡できます。

以前と同じレポートをロードしたが、ITPの影響が示されている場合は、「ユーザー」の減少に気付くでしょう。

永続的なユーザープロファイルの作成なし

ITPを使用すると、ユーザープロファイルの作成は利用できなくなります。 ユーザープロファイルもぼやけます。 ユーザープロファイルトラッカーは、ITPを使用しているときに、訪問者に永続的なユーザーIDまたは顧客IDを発行できなくなりました。 これは動的な状況です。 「リターゲティング」のメカニズムも影響を受けます。 最も適切なコンテンツと広告を提供するために、リターゲティングは主にユーザーの永続的なIDに依存します。

新規訪問者のみの意味のあるパーソナライズ

パーソナライズは、それらを支えるロジックに応じて影響を受けます。

ユーザーエクスペリエンスがその特定のセッション中のユーザーの行動によって形成されるリアルタイムのパーソナライズは、影響を受けません。 ただし、7日以内にサイトに戻ってこない限り、戻ってきたときに好みや行動を認識することはできなくなります。

Web機能の問題

ITPは、Web機能やアフィリエイトマーケティングなどの他の分野にも影響を及ぼします。 スクリプトで書き込み可能なCookieまたはその他の形式のスクリプトで書き込み可能なストレージを使用して訪問者データを保存すると、ITPの効果を実際に感じることができます。 Webサイトは、定期的にCookieの同意を要求したり、言語と通貨の設定をデフォルト設定にリセットしたりする場合があります。

エンドツーエンドのパフォーマンス

WebサイトでのファーストパーティCookieの制限により、ITPはデジタルマーケティングに影響を与え、その結果、ビジネス全体に影響を与えます。 広告および分析プラットフォームは追跡とレポート作成にこれらのCookieに依存しているため、ITPの実装は、マーケティングデータの洞察を完全に信頼できなくなることを意味します。

ITPの影響をシミュレートするためにライブA/Bテストが使用されました

Safariユーザーからトラフィックの30％を受信するWebサイトについて考えてみます。 月間ユニークビジター数は20万人で、コンバージョン率は平均3％です。

2ページのA/Bテスト（OriginalとVariant1）が実行された場合に何が起こるかについてのシミュレーションを作成しました。 理論によれば、Variant1はOriginalよりも優れています。

しかし、私たちのグラフでは、ITPが削除されていない場合、オリジナルの方がうまく機能していることが示されています。

シミュレーションは、ITPのために、実験ツールが7日後にオリジナルが勝者であることを報告することを示しています。

これは、ITPの影響を取り除いたときに得られた結果の反対であり、Variant1が実際の勝利の結果であることを示しています。

基本的に、ITPにより、A/Bテストは完全に不正確で信頼性の低い結果を生成します。 しかし、それについてあなたができることがあります。 それが何であるかを見るために読んでください。

A / Bテスト結果でITPの影響を無視するとどうなりますか？

Appleは、追跡防止ポリシーについて次のように述べています。

これは、WebサイトがAppleの組み込みのアンチトラッキング機能を回避しようとすると、マルウェアとして扱われることを意味します。

猶予期間を使用しようとすると、Analyticsレポートにすぐに影響が見られない場合がありますが、Google Analytics /実験プラットフォームと、ITPの変更を考慮した他の外部プロバイダーとの間に不整合が見られます。

ITPを回避するためのConvertのソリューション

例から始めて、ITPがConvertエクスペリエンスとレポートにどのように影響するかを理解しましょう（以下のソリューションを適用しない場合）。

たとえば、目標到達プロセスに3つのステップがあり、訪問者が8日目に最終ステップを完了した場合、訪問者がすべてのステップを完了しても、目標到達プロセスのフローは完了しません。 これは、顧客の旅を通じて収集されたデータが7日後に期限切れになる可能性があるという事実によるものです。

これを超えると、訪問者は新しい訪問者として扱われ、データ収集プロセスが新たに開始されます。

同じユーザーが何度も追跡されるため、結果は不明確になります。

これは、訪問者が7日後にWe​​bサイトに戻った場合、以前に表示されたものとは異なるバージョンの同じテストが提供されることを意味する場合もあります。

これにより、ユーザーエクスペリエンスに不整合が生じ、キャンペーンの精度に影響を与える可能性があります。

クロスドメイントラッキング機能とURL内のクエリ文字列またはフラグメント識別子を備えたドメインからサイトにアクセスした訪問者は、サイトに少し長くアクセスした場合でも、前回の訪問から24時間後に到着した場合に新しい訪問者として認識されます。それ以前は。

これは、Cookieがユーザーに表示されたバリエーションに関する情報を保持しているためです。

では、Convertのエクスペリエンスとレポートで何がうまくいかない可能性がありますか？

• 体験中に何度か戻ってくる人は、毎回異なるバリエーションを持っているかもしれません。
• ブラウザごとにプライバシー保護基準が異なるため、同じアクティビティの実行が異なる場合があります。
• コンバージョンは、長いコンバージョンウィンドウ（7日以上）で提供されたエクスペリエンスに適切に起因しない場合があります。
• 変動の影響を明確に分離することがより困難になるにつれて、最適化プログラムはより「決定的でない」または「フラットな」結果に気付くでしょう。
• リピーターは新規ビジターとして誤ってラベル付けされるため、実験は予想よりも早く事前に計算された最小サンプルサイズを超える可能性があります。
• ユーザーは、訪問全体で識別できなくなります。

幸いなことに、上記のいずれもあなたに起こる必要はありません。

上記の問題を克服するために、Cookie生成プロセスをブラウザからサーバーに再配置することを決定する前に、ITPの影響を軽減するための多数の手法を調査しました。

新しいCookieの期間制限は、ブラウザで作成されたCookieにのみ適用されるため、Cookieの発行部分をWebサーバーに移動しました。つまり、Cookieは、ユーザーのブラウザではなくサーバーによって作成されます。

ITPソリューションを適用できないユーザー向け

上記の解決策があなたの側で不可能な場合、Convertは、ブラウザを含むデフォルトのユーザーセグメントのセットによって、すぐに使用できるエクスペリエンス結果のフィルタリングを提供します。

ブラウザセグメントオプションを使用して、Safariを含む結果と除外する結果を表示し、実験結果のブラウザ間の一貫性を確認します。

方法は次のとおりです。

エクスペリエンスの[レポート]タブに移動します。

[セグメント]ドロップダウンから、[ブラウザでフィルタリング]チェックボックスを使用します。

Safariを除き、メニューにリストされているすべてのブラウザを選択します。

これにより、ITPの影響を受ける可能性のある訪問者の母集団がある場合とない場合で、すべての一般的なレポート数値と統計的有意性の計算を使用して結果を表示できます。

他のブラウザがデフォルトでこれらのプライバシーの変更を強制する可能性があることに注意してください。この回避策は、ITPが他のすべてのブラウザ（Safariと同様）に強制されるまでのみ適用されます。

まとめ

プライバシー要件が絶えず変化する中で、マーケティング活動を改善し、競争上の優位性を維持し、個別の消費者体験に対する高まる需要を満たすと同時に、企業はこの地形をどのように管理することになっていますか？

残念ながら、簡単な解決策はありません。

覚えておくべき主なことは、会社がまだ知っていない場合は、チームがプライバシーの懸念と、データ収集、結果分析、および最適化の潜在的な結果を認識していることを確認することが重要です。

Safariがトラフィックのごく一部を占める可能性があるという理由だけで、目をつぶったり、潜在的な影響を無視したりすることは重大なエラーになります。

Safariはデータ保護の強化の最前線にありますが、FirefoxとChromeもプライバシーを改善するための措置を講じています。 その結果、これらの制限は、より多くのサイトのユーザーに影響を与える可能性があります。

チームが新しいプライバシーアップデートのすべてに遅れずについていき、それらがビジネスにどのように影響するかを判断するのに苦労している場合は、私たちに一言お願いします。

Convertの3つの主要な戦略的ソリューションは、次のようなプライバシー規制の変更によって影響を受ける可能性のあるビジネスの重要な側面の更新に焦点を当てています。

• クライアントエクスペリエンスの向上
• マーケティング結果の向上
• 競争上の優位性を獲得する

現在、ITPの更新をナビゲートし、さまざまなシステム全体で重要な回避策が実施されていることを確認することで、クライアントを支援しています。 私たちがあなたのために同じことをすることができるかどうか私たちに知らせてください。