ShopifyストアでのA/Bテストに関する起業家向けガイド(+9人のShopify起業家がA/ Bテストのストーリーを結果と共有)
公開: 2022-04-13つまり、ブドウの木を介したA/Bテストについて聞いたことがあるでしょう。
たぶん、あなたの競争相手がポッドキャストでそれをさりげなく言及したか、あなたのマーケティングチームはそれが素晴らしいアイデアだと思っています。 または、話し合っている成長機関がA/Bテストを実行したいと考えています。
ビジネスの成長は簡単ではありません。 あなたはそれを知っています。 これまでのところ、ビジネス上の決定が正しいかどうかを理解するのに苦労したことが何度かあったに違いありません。
聴衆が望むと思うものを賭ける代わりに、確実に知る方法があれば素晴らしいと思いませんか?
それがA/Bテストが行うことです。
確かに、A / Bテストの利点は、データに基づく意思決定を超えていますが、その核となるのは、大規模な成長を解き放つ秘訣です。
したがって、DIYを試みる場合でも、ニーズを外部委託する場合でも、A/Bテストについて知っておくべきShopifyの起業家のすべてがここにあります。
EコマースA/Bテストとは何ですか?
A / Bテストは、オーディエンスが顧客になる前に、オーディエンスが何を求めているかを理解するためのプロセスです。
通常、A / Bテストは、召喚状(CTA)ボタンの色を変更したり、新しい見出しを追加したりするなどの微調整を行うことを目的と考えられていますが、それよりも深いものです。
ページの1つのバージョンまたは要素をバリエーションのあるページに配置して、何が機能するかを確認することで、訪問者の共感を呼ぶコピー、デザイン、機能(UX)を判断できます。
そして、私たちはまだ始まったばかりです!
A / Bテストの概念を取り入れて、使用するすべてのチャネルと視聴者とのやり取りに適用できます。
ただし、eコマースのA / Bテストは、B2BSaaSなどの他の業種とは異なることを理解することが重要です。
- 収益を実現するまでの時間が短い
A / Bテストは、従来のB2Bよりもはるかに迅速に収益への影響を明らかにすることができます。 B2Bでは、取引はマルチスレッドであり、複数の意思決定者が販売サイクルを四半期ではなくても数か月に渡って行います。
理想的には、収益の増加だけでなく、調査とリスクの軽減にA / Bテストを使用する必要がありますが、あらゆるビジネスの生命線は収益であるため、成長ミックスにA/Bテストを導入するのには十分な理由があります。 - チェックアウトプロセスは複雑です(テストの余地があります)
eコマースの購入ファネルはB2Bのように複雑ではありませんが、チェックアウトプロセスは一次元ではありません。
PsychologyofBuyingの著者であるRubenDeBoerは、支払うことは文字通り痛いことを説明しています。 人々が購入決定を行うための要素をどのように評価するかを調査する2007年の調査では、参加者に製品画像と価格が表示されました。 彼らの脳は、どの神経経路が点灯するかを確認するためにfMRIマシンによって分析されました。
予想通り、製品の画像を見ると、彼らの脳の報酬センターが明るくなりました。
しかし、価格は? 身体的および社会的痛みに関連する脳の部分は、クリスマスツリーのように光り、研究者は、利益と痛みの間のトレードオフは、消費者が財布を開けるのに理にかなっている必要があると結論付けるのに役立ちます。
価格設定は製品の品質にも影響するため、価格を下げる必要があるという意味ではありません。 小さいフォントを試したり、前払いを提供したり、大きいフォントで割引を表示したり、コピーでお金の言葉を避けたりすることができます。
したがって、購入の苦痛を軽減するということは、A / Bテストなしでは不可能な、人間の動機、欲求、欲求不満のメドレーを理解する必要があることを意味します。 メッセージング、UI要素のテスト、またはチェックアウトプロセスのオーバーホールをすべてリアルタイムで行うことができます。JourneyFurtherのコンバージョンディレクターであるJonnyLongdenは、次の1つの質問を自問することをお勧めします。場合によっては、eコマースプラットフォームが課す制限のためにカートとチェックアウトフローに大幅な変更を加えることができない場合がありますが、それは野心的なテストを放棄する理由ではありません。 小さな変更をいつでもテストして、大きな調整がもたらす可能性のある感覚を得ることができます。
これを証明し、それについて学ぶためにテストできる最小/最も単純なものは何ですか?
「小さな変更のみをテストする」という罠に陥ったり、大きな変更を加えた場合は「お金はすでに沈んでいるため、テストしません」という罠にはまらないでください。 - レビューマイニングは科学に変えることができます
定性的データに基づく変換調査は、あらゆる種類のA / Bテストの定番ですが、eコマースでは、レビューマイニングなどの定性的データを理解に役立つ科学に変えることができます。- 強調する製品USP
- コピーでテストできるメリット
- 顧客が競合他社をどのように認識するか
- 製品ストーリーのコピー角度
- あなたが対処した問題点
- カートの放棄を引き起こす未解決の問題点CROおよび実験コンサルタントのLorenzoCarreriは、探偵のように考えることを推奨しています。 探偵が犯罪の背後にある物語を明らかにしなければならないのと同じように、レビューを使用して多くの物語を明らかにすることができます。
実際、さまざまな業界に対するカレリのパルス分析は、共通のテーマを明らかにしています。人々は、現場での経験についての洞察を共有する傾向がありません。 したがって、どのような質問をするか、どのように質問するかは問題ではありません。人々はすでに購入について決定を下しており、今では出口調査やウィジェットで彼らを悩ませることなく、彼らは実際に彼らの経験を有機的に共有しています。
しかし、特にAmazonでのレビューマイニングでは、人々は洞察を共有する傾向があります。 収集する洞察が多ければ多いほど、データはより意味のあるものになり、テストのためのより良い仮説を立てるのに役立ちます。
- eコマースのトラフィックが不足することはありません
A / Bテストの重大なハードルは、十分なトラフィックがないことです。これは、結果にバイアスがかかる可能性があることを意味します。
しかし、これはeコマースストアにとっては問題ではありません。 7桁のShopifyストアは数十万人の訪問者を簡単に獲得しますが、シリーズDB2B企業はおそらくそのトラフィックの1/4を獲得します。
Shopifyの起業家が(真剣に)A / Bテストを検討する必要があるのはなぜですか?
EコマースはA/Bテストに適しています。 多数の訪問者と多くの遊び場で結果をすばやく確認できる可能性は、A/Bテストの文化を採用するのに十分な理由です。
しかし、おそらくあなたはまだそこにいません。 現在、トラフィックが増加すると、収益が増加します。
問題は、どれくらいそれを維持できるかということです。
より多くのトラフィック≠ポイントを超えるより多くの収益。 その道はあなたが割引であなたの利益率を同時に食いつぶすと同時にあなたが広告により多くを費やす必要があります。
また、Amazon、eBay、Etsyなどのeコマースの巨人を見ると、A/BテストがDNAに組み込まれていることがわかります。 それが彼らが繁栄するまさにその理由です。 言うまでもなく、これはすべての成功したShopifyストアが共有する共通のスレッドです。
A/Bテストが成長を推進する理由は簡単に理解できます。 Amazonが実行するテストがどれほどきめ細かいかを見てください。
しかし、結局のところ、A / Bテストは競争力を維持するための単なる方法ではなく、ビジネス上の良い決断です。
なんで? あなたの現在の戦略はおそらくあなたに有利に働いていないからです。
- iOS14のおかげでROASが急落しています
あなたはおそらくあなたの製品に目を向けようとする前よりも多くのお金を費やしているでしょう、しかしポストATTの世界はピクセルベースの変換が機能する方法を台無しにしました。 そして、リターゲティングと似たようなオーディエンス? それらはもはや効果的ではありません。 偶然にいくつかのコンバージョンが発生した場合は、アドマネージャーとShopifyバックエンドの間の不一致に対処する準備をしてください。
- あなたのオープンレートは歪んでいます
メール番号は正確ではなくなりました。 メールプライバシー保護(MPP)はそれを確実にしました。 また、エンゲージメントベースのリストには、疑わしいターゲティングと低いコンバージョンが含まれている可能性があります。
- あなたの方程式は保持を欠いています
冷たい交通を追いかけることは悪いビジネスの動きです。 あなたの収入の40%は忠実な顧客から来ています。 トラフィックは購入者を目標到達プロセスに導きますが、保持によりこれらの購入者の生涯価値(LTV)が増加します。
- あなたのマーケティングアトリビューションは最悪です
ツールは使用可能なデータを提供できず、チームは収益を特定の変更に帰することができません。 成長を見たいと思ってすべてのボタンを押すことはできません。 あなたは具体的にする必要がありますか、8桁のビジネスを構築することは問題外です。
A / Bテストは、古いプレイブックを裏返し、再現性があり、信頼性が高く、収益性の高い科学的に有効なアプローチを使用する機会を提供します。
DTCソーダの代替会社であるOLIPOPがA/Bテストを支持している理由は次のとおりです。
A / Bテストは、分析が容易なデータを提供しながら、コンテンツエンゲージメントを改善し、バウンス率を減らし、コンバージョン率を高め、リスクを最小限に抑えます。 A / Bテストを実行することで、どのコンテンツがターゲットオーディエンスに共鳴するかを把握できます。 次に、このデータを使用してマーケティング戦略に影響を与えることができます。 これらのテストは、ユーザーがWebサイトで問題を抱えている無関係なデータや領域を特定するのにも役立ちます。これにより、必要な変更を加えた後のバウンス率が低下します。
カスタマーエクスペリエンスを向上させるバリエーションを特定できると、ユーザーがサイトで費やす時間に増加が見られ、コンバージョン率が高くなります。 最後に、A / Bテストでは、知識に基づいた推測ではなく正確なデータに基づいて意思決定を行うため、リスクが最小限に抑えられます。 それはあなたがあなたのウェブサイト全体を損なうことなく最小限の変更を加えることを可能にします。 A/BテストでROIが向上します。
OLIPOPの新規事業開発責任者、Steven Vigilante
小さな(または大きな)変更を簡単に行う
物事をより良くする科学である最適化は、A/Bテストで簡単に行えます。 変更を導入して、より良い購入体験を生み出し、PPCトラフィックの一部を変換するバージョンを見つけることができます。
失敗のコストを削減する
失敗のコストは時には高すぎることがあり、当然のことながらイノベーションを阻害します。 ただし、A / Bテストを使用すると、何も構築または実装しなくても、制御された環境でアイデアをテストできます。
未来をのぞく
成功を保証するものはありません。 あなたの本能、代理店の提案、あるいは確固たる競争相手の研究でさえありません。 しかし、データ主導の意思決定をしたいのであれば、A/Bテストはあなたの友達です。 テストの最適なバージョンは、統計的妥当性に基づいて選択されていないため、収益の可能性を垣間見ることができます。
誤解の余地をほとんど残さない
A / Bテストでは、コンバージョン率、カートの放棄、平均注文額(AOV)、収益、利益の変化に関するデータを収集することで、オーディエンスの声に真に耳を傾けることができます。
変更の影響を推測する代わりに、結果は透過的であり、誤解の余地はほとんどありません。
ShopifyでのA/Bテストに関する問題(+ソリューション)
A / Bテストを戦略の中心にすることを検討している間、ShopifyでA/Bテストを実行するときに直面する可能性のある潜在的な問題に対処することが重要です。
問題#1: ShopifyのアンチクリックジャッキングがモバイルQAに干渉する可能性がある
クリックジャッキングは、ユーザーをだましておとりサイトの実用的なコンテンツをクリックさせます。 これを防ぐために、Shopifyはクリックジャッキング防止技術を使用しています。 ただし、A/Bテストツールが最適に機能するのを妨げます。
解決策: Google Chrome拡張機能を使用し、X-Frameヘッダーを無視します。
問題#2:テストは問題ではありませんが、実装は問題です
テストの結果を実装することは、アプリやプラグインができることではありません。カスタマイズが必要です。 自分に合ったプラグインを見つけたとしても、プラグインが多すぎるとサイトの速度が低下し、潜在的な利益が実質的に無効になる可能性があります。
解決策:有能な開発者と協力し、Convert Deployまたはこれらの最高のコンバージョン率最適化(CRO)Shopifyアプリを使用します。
問題#3:テストできるものを制限する標準のShopifyストアがあります
標準のShopifyストアはShopifyPlusのほとんどの機能にアクセスできません。つまり、テーマの分割テストなどのテストを実行することはできません。 複雑度の低いテストでは、収益への影響が少なくなります。
解決策: ShopifyPlusの春。
A/Bテストの基本に関するクイックガイド
A / Bテストに頭を悩ませたので、今度は要点を説明します。
下にスクロールして回答を表示する前に、しばらく一時停止して、これらの質問に「はい」または「いいえ」と答えてください。
- A/Bテストは分割テストと同じです
- A/Bテストと多変量テストは異なります
- A/Bテストでのみ微調整を行うことができます
- A/Bテストを実行するために統計を学ぶ必要はありません
- 他のチャネルでA/Bテストを実行することはできません
- 結果が表示されたら、A/Bテストを停止する必要があります
A/Bテストと分割テスト
A / Bテストでは、ページ上の1つ以上の要素をテストできます。 基本的に、元のページと同様のバージョンを作成して、コンバージョン率への影響を確認します。
分割URLテストは、A/Bテストとは異なります。 トラフィックは途中で分割され、2つの完全に異なるバージョンに送信されて、特定の目標を達成するのに役立つWebページを確認します。
分割テストとA/Bテストをいつ実行するか:テーマテスト
A / Bテストではなく分割テストを選択する場合の良い例は、Shopifyテーマをテストする場合です。 テーマはCXに影響を与え、最終的には収益に影響を与える可能性があるため、ConvertのスプリットURLオプションなどのツールを使用してテーマをテストすることが不可欠です。
Convertは、頻度論的推定を使用して、どのテーマが他のテーマよりも優れているかを理解します。 サイトへのトラフィックが異常に多い場合を除いて、この種のテストを少なくとも2週間実行することをお勧めします。
PS Shopify Plusユーザーの場合にのみ、テーマをテストできます。
A/Bテストと多変量テスト
A / Bテストでは、元のページとほぼ同じページをピットインしています。
A / Bテストのように、一度に1つの要素を変更するのではなく、多変量テストは、1つのテストで複数の変更をテストするプロセスです。 多変量テストの目標は、変更のどの組み合わせがより良い結果をもたらすかを見つけることです。
Shopifyストアで実行するA/Bテストの例
A / Bテストの対象をインターネットに尋ねると、別のCTAやボタンの色を試すか、見出しを変更するように言われることがよくあります。
それは重要ではないというわけではありませんが、世界はあなたの遊び場であり、あなたが自分自身を制限する場合にのみ、あなたはあなた自身の小さなサンドボックスで遊んでいます。 箱の外で考えることは、実験の精神にとって非常に重要です。
私たちは8人のShopify起業家に連絡を取り、次のように尋ねました。
どのA/Bテストを実行しましたか、なぜこの実験を行うことを選択したのですか、そして結果はどうでしたか
#1。 ブーストされたAOV、注文がわずかに減少
私たちはすべてのオンラインストアでShopifyを使用しており、AOVを向上させるために製品のバンドルまたはグループ化をテストしています。 テストは、アップセルまたはバンドルを含むカートと、最初の製品のみを含むカートです。 結果はまだ完全ではありませんが、これまでのところ、注文の総数がわずかに減少している一方で、AOVが増加しているように見えます。 完全な分析を行う前に、これをさらに数週間実行し、他の構成をテストして、AOVと変換の両方の改善を試みて生成することができます。
シルビア・カン、ミラ
#2。 CX用に最適化されたすべてのサイト要素
Shopifyビジネスとして、ライブチャット、CTA、製品画像、アップセルプレースメント、ランディングページ、ナビゲーションメニューなどの機能について、多数のA/Bテストを実行しました。 たとえば、A / Bテストは、消費者を苛立たせたり、経験に摩擦を加えたりすることなく、クロスセリングとアップセルのバランスを見つけるのに役立ちました。
数多くのテストを通じて、オーディエンスがチェックアウト時に提供されるのではなく、製品ページで直接関連性の高い提案を評価していることを発見しました。そうすることで、平均購入額を引き上げました。 A / Bテストは、最適ではない要素を実装する時間とエネルギーを無駄にすることなく、どの機能が最高のパフォーマンスを発揮し、最高のリターンを提供するかを正確に特定できるため、非常に重要です。 これらのテストは、どのデザインの選択がオーディエンスに最も適しているかに関する正確なデータを提供し、より強力なユーザーエクスペリエンスは、企業が成長と寿命を達成する方法です。
スティーブンライト、ノーラマットレス
#3。 より良い結果を得るためにビデオを含めるためにセッションリプレイを使用
コンバージョンを達成または失敗させる可能性のある最も重要な側面の1つは、ユーザーがストアをナビゲートして購入するのがいかに簡単かということです。 セッションのリプレイでのA/Bテストにより、購入を意図した実際のユーザーがストア内をどのようにナビゲートしたか、問題がどこにあるか、何が彼らを苛立たせたか、プロセス中に停止させ、購入を妨げたのかを確認できました。 プロセスのビデオを含むリストはより良い結果をもたらし、画像の品質が低いか、いくつかの画像が表示されないことがためらいにつながることに気づきました。
マイケル・ネメロフ、ラッシュオーダーティーズ
#4。 設計変更によりコンバージョンが2%増加
このA/Bテストでは、新しいレイアウトがShopifyストアのコンバージョン率にどのように影響するかを確認したいと思いました。 元のサイトは6か月間稼働していて、3%でコンバージョンを達成していたため、別のことを試す時期のようでした。 私のデザイン変更には、製品と一致するのではなく、モバイルデバイスのスクロールしなければ見えない位置に製品の推奨事項を移動することや、バナーがクリックされなかったためにトップナビゲーションからバナーを削除することが含まれていました。 これにより、コンバージョンが即座に2%増加しました。
Jar Kuznecov、軟水器ハブ
#5。 CTAボタンの色を変更することで相対クリック数が14%増加
何年にもわたって多数のA/Bテストを実行してきましたが、実行した最も効果的なテストの1つは、CTAボタンの色を変更するという最も単純なテストでもありました。 それでおしまい。 友人から、ページ上のボタンの色を切り替えることで、回答率が16%向上したと聞いていました(以前のクリック数と比較して)。 これで考えさせられ、独自のA/Bテストを実行することにしました。 実際、これは実際にはA / B / Cテストでした。これは、元の緑色とオレンジと赤の3つの異なる色を試したためです。 結果? 赤いボタンは8%高い回答率をもたらし、オレンジ色のボタンは相対クリック数に関して14%良い結果をもたらしました。 緑のボタンをオレンジ色にするのと同じくらい簡単な変更で、それだけの効果が得られるのは驚くべきことです。 したがって、私の最善のアドバイスは、誰かに商品をカートに追加してもらう場合であり、CTAボタンの色だけで簡単に操作するのではありません。 真剣に考えてください–そしてテストします。
ジョン・ロス、テスト準備インサイト
#6。 スティッキーなカートへの追加と販売後のアップセルによるCVRとAOVの向上
A/Bテストは両刃の剣です。 Shopifyストアを最適化し、コンバージョン率を上げるのはいいことだと思います。 ただし、各A / Bテストが複雑さの層を追加し、リソースを使用していることを知る必要があります。 何をテストするかは、どのようにテストするかと同じくらい重要です。
製品写真のさまざまな順序をテストしました。 毎回、最も単純な画像が常に最良の変換を行うことがわかりました。 製品ページでは、顧客は考えることなく製品が何であるかを正確に理解する必要があります。
粘着性のあるカートへの追加が勝者として知られています。 ボタンを画面上にも手の届くところに置くことで、CVRを8%簡単に向上させることができました。
販売後のアップセルを忘れないでください。 私の平均注文額を24ドルから40ドルに増やすのは簡単でした。 すでに購入している人にもっと売るのがいかに簡単であるかに驚くでしょう。
CROスペシャリストでSTEELの創設者であるMattPhelps氏。
インスピレーションを感じますか? A/Bテストの初心者がeコマースWebサイトで試すことができる20以上の要素は次のとおりです。
- 送料無料を提供する
- ヒーロー画像とカルーセル
- CTAサイズ
- CTAカラー
- CTAの配置
- CTAコピー
- 人間の画像と画像なし
- 見出しのコピー
- フォントサイズ
- 行の高さ
- パーソナライズとなし
- 入荷待ちのお知らせ
- メリット主導の製品説明
- 製品ページの専門家のヒント
- 割引とオファーを強調する
- 単一ページと複数ページのチェックアウト
- チェックアウト時のサポート
- シンプルなナビゲーションメニュー
- クイック製品ビュー
- 製品ビデオ
- アップセルとクロスセリング
- プレビュー画像のタグ
- ユーザー作成コンテンツ
A / Bテストが可能な要素のリストから、製品ページが開始するのに最適な場所であることは明らかです。
しかし、あなたのサイトの他のページもA/Bテストの完全に実行可能な候補です。
ブランドの実際の例を使用して、どのページをテストできるかを見てみましょう。
- ホームページ
- Salty Captainは、ホームページのアナウンスバーの色を変更し、クリック数を234.54%増やし、CVRを13.39%増やしました。
- Legendary Wall Artは、ヒーローセクションとCTAコピーを試し、エンゲージメントを325.39%、収益を30.07%増やしました。
- byBiehlはスライダーを追加して重要な製品を紹介し、カテゴリページへのアクセス数(5.87%)、ユーザーあたりの収益(3.25%)、CVR(19.73%)を増やしました。
- カテゴリページ
- Copycat Fragrancesは、カテゴリページにInstagramのストーリーのバージョンを追加し、エンゲージメントを4%、ユーザーあたりの収益を18%増加させました。
- Iceshakerは、カテゴリページを切り替えて、一般的な反対意見に対処する製品ストーリーを含め、コンバージョン数が15.95%増加しました。
- Oliver Cabellは、ユーザーのモバイルエクスペリエンスに焦点を当て、レイアウトの変更とデザインの改善を行いました。その結果、トラフィックが14.86%増加し、チェックアウトページのトラフィックが5.49%増加しました。
- チェックアウトページ
- Oflaraは、買い物客が[カートに追加]ボタンを使用してチェックアウトしているときに他のアイテムを推奨し、全体的な収益が大幅に向上しました。
- コンシャスアイテムは、粘着性のあるカートを使用してチェックアウトプロセスから摩擦を取り除き、ユーザーあたりの収益が10%増加し、CVRが10%増加しました。
- Homewareは、ユーザーがShopifyストアで購入したアイテムは1つだけであると述べています。 そのため、チェックアウトプロセスを簡素化して、ユーザーをチェックアウトページに直接リダイレクトし、モバイルでのCVRが47.7%増加し、訪問者1人あたりの収益が71.4%増加しました。
専門家のヒント:大きな変更に焦点を当てる
初めてA/Bテストを実施する初めての起業家への私の最善のアドバイスは、大きな変化に焦点を当てることです。 たとえば、製品ページの完全な再設計。 ボタンの色を変更するなどの小さな変更で、針が大きく動く可能性はほとんどありません。
完全なページの再設計を行い、製品の説明gifを製品ページに追加することで、コンバージョン率を40%向上させることができました。
PostPurchaseSurvey.comの創設者であり、7桁半ばのeコマースShopifyブランドであるPhilipPages。
A/Bテストを実行するときに知っておくべき統計の概念
A / Bテストは、Webサイトの2つのバージョンを比較するために使用されますが、データの統計的有意性を考慮に入れていないため、数値を確認するだけでは役に立ちません。 結果を誤って解釈し、売上を損なうことになります。
したがって、社内チームがプロジェクトの要点を実行している場合でも、CROエージェンシーを雇っている場合でも、よく耳にするA/Bテストの統計の概念に精通していることが重要です。
サンプルと母集団
サンプルはA/Bテストに参加する訪問者の数ですが、サイトにアクセスするすべての訪問者は人口と見なされます。
平均、中央値、最頻値
平均=平均
中央値=中央値
モード=繰り返し値
分散と標準偏差
分散は、データの平均変動です。 変動性が高いほど、個々のデータポイントの予測子としての平均の精度は低くなります。
標準偏差は分散の平方根であり、元の値と同じ単位で表されるため、直感的に理解しやすくなります。 一方、分散は元の単位の2乗で表されますが、A/Bテストの結果にとっては依然として重要です。
統計的有意性
A / Bテストダッシュボードに「オリジナルを破る確率が95%」または「統計的有意性の確率が90%」と表示された場合、次の質問があります。AとBの間に根本的な違いがないと仮定すると、どのくらいの頻度でたまたまデータにあるような違いがわかりますか?
Evan Miller、統計ソフトウェア開発者(出典)
有意水準は可能な限り小さくする必要があります。 1%は、99%の信頼水準に相当するため、理想的です。 また、重要でない結果は、表示されているものが実際には誤検知であることを意味する場合があるため、統計的有意性を待つことが重要ですが、それだけではありません。
選択した最小リフト(MDE –最小検出可能効果)に一致するサンプルサイズを計算する必要があります。誤検知の変化が大きくなります。
P値
p値は、帰無仮説が正しいと仮定して、統計的仮説検定の観測結果と少なくとも同じくらい極端な結果を得る確率です。
しかし、p値について本当に知っておく必要があるのは、「この結果はどれほど驚くべきことですか?」です。
Shopifyの起業家が知っておくべきことの完全なリストについては、A/Bテストの統計の概念に関するガイドをお読みください。
ShopifyストアでA/Bテストをどのくらい実行する必要がありますか?
あなたが頻繁に遭遇する2つの一般的な誤謬があります:
- 統計的有意性に達したら、A/Bテストを終了します
- p値を監視し、ターゲットに到達したらすぐに勝者を宣言します。
テストの停止は、サンプルサイズに基づく必要があります。 ただし、実験を早期に終了するべきではありませんが、実験を永久に実行するべきではありません。 3か月経ってもまだ重要性に達していない場合は、他の変更、できれば大胆な変更を試してみることをお勧めします。
ConvertとShopifyは、テストを少なくとも2ビジネスサイクルまたは14日間実行することをお勧めします。
FaruzoのCEOであるAvidFaruzは、次のことに同意します。
新しい起業家は、A/Bテストでは時間枠が非常に重要であることを知る必要があります。 A / Bテストを実行する時間が長いほど、より正確なテストが得られます。 これは、テストでより多くのデータポイントを使用して結果を導き出すためです。 経験豊富なマーケターは、2週間もテストを実行します。 私はすべてのマーケターと起業家に彼らのウェブサイトが得るトラフィックのレベルに応じて時間枠を設定するようにアドバイスします。
これが、私たちのプラットフォームが14日間の無料トライアルを提供し、仮説をテストできる理由です。
ShopifyストアでA/Bテストを実行するための4ステップのプロセス
テストを実行する準備はできましたか?
この4ステップのA/Bテストプロセスを使用して、より優れたテストを構築し、その影響を理解します。
#1。 定性的および定量的研究を実施する
コンバージョン調査は、最初の最も重要なステップです。 これにより、A/Bテストが可能な仮説を立てることができます。 検出フェーズとも呼ばれます。これは、運用上の前提を停止し、データにガイドさせる場合です。
最終的には、定量的データと定性的データの2種類のデータになります。
定量的データの収集から始めます。 これらは、Google Analytics、Amplitude、Mixpanelなどの分析エンジンが吐き出す可能性があるという議論の余地のない冷酷で難しい事実を構成しています。
たとえば、バウンス率、コンバージョンの総数、または閲覧/セッションされたページを確認したい場合があります。
定量的データを収集したら、定性的データを取得します。 これは主観的なものであるため、潜在意識の偏見が忍び寄る可能性がありますが、調査結果を解釈することが「理由」に答える唯一の方法です。
Hotjarを使用して、ヒートマップを生成し、訪問者セッションを記録します。 あなたが見つけるかもしれない答えは決定的なものではありませんが、それは全体としてより良い仮説に貢献する新しい可能性をもたらします。
しかし、それに飛び込む前に、全体的な理解を得るために、定性的データと定量的データの両方を同時に見ることが重要です。 分析は、データクエリと批判的思考に等しい。
#2。 信頼できる仮説を立てる
科学的方法に従うということは、信頼できる仮説を立てる必要があることを意味します。その妥当性には評価が必要な提案された解決策です。
CorvusCROの創設者であるMattBeischelは、仮説の3つの主要な要素である理解、応答、および結果を共有しています。
これがどのように見えるかの例です:
- 理解度:過去6か月の購入データを比較することで、複数アイテムの購入が減少していることがわかりました。
- 回答:すでにカートに入っている商品を持っているリピーター向けに、携帯電話のカートページでインラインアップセルを使用してペア商品を宣伝したいと考えています。
- 結果:これにより、単一アイテムの購入者は、平均注文額(AOV)で測定され、平均注文サイズ、複数アイテムの購入数、注文の変換、および収益でバックアップされる補完的な製品をより簡単に見つけて購入できるようになります。
仮説の作成を簡素化および標準化するために、A/Bテストの仮説ジェネレーターを用意しています。
この段階では、サンプルサイズを理解し、それに基づいてテストの停止点を計算する必要もあります。 そのために、A/Bテストの有意性計算機を使用してください。
専門家のヒント:
サンプルサイズとテストの実行期間がわかったら、テストの優先順位を設定する必要があります。 単一のページ、Webサイト全体、ポップアップ、有料広告など、プロセスのさまざまな部分をテストすることを選択できます。 一度にプロセスの一部に焦点を当てることが最善です。そうすれば、どの変更が顧客体験とコンバージョン率の向上につながるかについて明確な答えを得ることができます。
DotcomDollar.comの創設者であるAllanBorch
仮説を優先する
実験には多くの利点があります。そのため、すべてをテストすることを提唱する専門家をよく目にします。 ただし、会社の規模に関係なくリソースが限られているため、現在実行する必要のあるテストと待機できる実験に優先順位を付ける必要があります。
そのため、実験者はRICE、PIE、ICE、PXLなどの優先順位付けモデルに頼ります。 しかし、パーソナライズコンサルタントのDavid Mannheimは、これらのモデルには欠陥があると示唆しています。
彼らはビジネスのより広い文脈への整合性を欠いています。 優先順位付けはトップダウンで、最初にビジネスミッション、次にビジネス目標などに焦点を当てる必要があります。 ほとんどの優先順位付けモデルは、「実行」に焦点を当てています。つまり、三角形の階層図内の最後のもの、つまり、ベース、概念、ユーザーの問題、製品の目的、ビジネスの目的、および最上位のミッションに焦点を当てています。
これらのモデルは、スコアリング要素として「努力」も使用します。これは、複雑であるために最も影響を与える可能性のある機能の構築を実際に控えていることを意味します。 最終的に、これらのモデルには客観性が欠けています。
ProductSchoolのシニアプロダクトマーケティングマネージャーであるAndreaSaezは、次のように述べています。
正しいことに取り組んでいる場合でも、それについて誰にも話していない場合でも、適切に精査しなければ、ほとんどのことに対する到達範囲、影響、または努力を知る方法はありません。 では、どうすれば自信を持てますか?
ここでの答えは、独自の優先順位付けモデルを構築することです。
ステップ1:例に触発される
ステップ2:ビジネス目標との整合性、反復の可能性、企業固有の学習、リソースへの投資などの要因を考慮します。
ステップ3:実行するテストに重みを割り当てます
ステップ4:自分に合った頭字語が見つかるまで、すすいで繰り返します。
#3。 テストを展開する
調査を実施し、信頼できる仮説を立てました。 さあ、コウモリに行きましょう。
展開を成功させるには、適切なA / Bテストプラットフォーム、テストをコーディングする適切なチーム、QAとデバッグの3つが必要です。
最初のものから始めましょう。
Shopifyの優れたA/Bテストプラットフォームには何が必要ですか?
理想的には、テーマ、価格設定、メニュー、製品コレクション、検索ページのテスト、多変量テストの実行、および収益の追跡を可能にする単一のツールが必要です。
多くのプラグインは、これらの1つ以上を達成するのに役立ちますが、プラグインがコードの膨張を引き起こすことはすでにわかっています。これは、SEOやコンバージョンにとって良いニュースではありません。
Convert Experiencesのような専用のテストプラットフォームは、Shopifyストアとシームレスに統合され、必要なすべての種類のテストを実行できます。また、使用できるカスタムShopify A / Bテストアプリを備えているため、コードの膨張の可能性を排除できます。
次に、テストをコーディングするための適切なチームを配置する必要があります。
注:コーダーとA/Bテストチームで作業するコーダーには違いがあります。
最終的に、テストはQAとデバッグなしでは不完全です。 Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.
Here are 4 best practices for QA of A/B tests:
- Develop a QA strategy
- Identify what to QA
- Focus on page experience
- Align QA with conversion goals
Pro Tip: Avoid these rookie A/B testing mistakes:
- You only test industry best practices
- You keep peeking at your “results”
- You give up after one test
- You fail to iterate and improve on wins
- You mess up revenue tracking
#4。 Analyze & Learn From Your A/B Tests
Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.
Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.
Here's a 7 step process to learn from A/B tests –
- Make sure your data is accurate, valid, and significant
- Check your micro, macro, and guardrail metrics
- Segment your results
- Check user behavior
- Continue to improve on winners
- Create a learning repository for future tests
The last step allows you to run tests in the future that are backed by your previous experiments' learnings.
Expert Tip: Be prepared to fail.
It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .
Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch
A/B Testing in Other Realms That Can Compound Your Shopify Store Gains
Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.
A/B Testing Pop-Ups (with Privy)
Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.
Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.
A/B Testing Emails
When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.
You can test your emails in this order:
- First, the subject lines to improve the open rate
- Then the body copy to make sure it's relevant
- Finally, the CTAs to get more clicks
What else can you test in your email? Check out our complete guide to A/B testing emails.
Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing
The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.
In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .
Zach Goldstein, Public Rec
#2。 Increased email open rate by 25% with emojis in subject lines
After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.
I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .
Stephanie Venn-Watson, fatty15
A/B Testing on Social Media
Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.
When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.
Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.
Ecommerce A/B Testing Pitfalls to Avoid
Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:
Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .
There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.
Ivanco instead recommends getting the basics right:
– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time
Give Privacy a Thought
No one wants to become a lab rat inadvertently.
The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.
Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.
So what does that mean for you?
- Take data privacy seriously when collecting data
- Rule out manipulative tactics
- Store and process data securely
- Respect user consent and allow them to opt-out of experiments
Do that and you will future-proof your A/B testing and build a better relationship with your audience.