ShopifyストアでのA/Bテストに関する起業家向けガイド（+9人のShopify起業家がA/ Bテストのストーリーを結果と共有）

つまり、ブドウの木を介したA/Bテストについて聞いたことがあるでしょう。

たぶん、あなたの競争相手がポッドキャストでそれをさりげなく言及したか、あなたのマーケティングチームはそれが素晴らしいアイデアだと思っています。 または、話し合っている成長機関がA/Bテストを実行したいと考えています。

ビジネスの成長は簡単ではありません。 あなたはそれを知っています。 これまでのところ、ビジネス上の決定が正しいかどうかを理解するのに苦労したことが何度かあったに違いありません。

聴衆が望むと思うものを賭ける代わりに、確実に知る方法があれば素晴らしいと思いませんか？

それがA/Bテストが行​​うことです。

確かに、A / Bテストの利点は、データに基づく意思決定を超えていますが、その核となるのは、大規模な成長を解き放つ秘訣です。

したがって、DIYを試みる場合でも、ニーズを外部委託する場合でも、A/Bテストについて知っておくべきShopifyの起業家のすべてがここにあります。

EコマースA/Bテストとは何ですか？

A / Bテストは、オーディエンスが顧客になる前に、オーディエンスが何を求めているかを理解するためのプロセスです。

通常、A / Bテストは、召喚状（CTA）ボタンの色を変更したり、新しい見出しを追加したりするなどの微調整を行うことを目的と考えられていますが、それよりも深いものです。

ページの1つのバージョンまたは要素をバリエーションのあるページに配置して、何が機能するかを確認することで、訪問者の共感を呼ぶコピー、デザイン、機能（UX）を判断できます。

そして、私たちはまだ始まったばかりです！

A / Bテストの概念を取り入れて、使用するすべてのチャネルと視聴者とのやり取りに適用できます。

ただし、eコマースのA / Bテストは、B2BSaaSなどの他の業種とは異なることを理解することが重要です。

1. 収益を実現するまでの時間が短い
   
   A / Bテストは、従来のB2Bよりもはるかに迅速に収益への影響を明らかにすることができます。 B2Bでは、取引はマルチスレッドであり、複数の意思決定者が販売サイクルを四半期ではなくても数か月に渡って行います。
   
   理想的には、収益の増加だけでなく、調査とリスクの軽減にA / Bテストを使用する必要がありますが、あらゆるビジネスの生命線は収益であるため、成長ミックスにA/Bテストを導入するのには十分な理由があります。
2. チェックアウトプロセスは複雑です（テストの余地があります）
   
   eコマースの購入ファネルはB2Bのように複雑ではありませんが、チェックアウトプロセスは一次元ではありません。
   
   PsychologyofBuyingの著者であるRubenDeBoerは、支払うことは文字通り痛いことを説明しています。 人々が購入決定を行うための要素をどのように評価するかを調査する2007年の調査では、参加者に製品画像と価格が表示されました。 彼らの脳は、どの神経経路が点灯するかを確認するためにfMRIマシンによって分析されました。
   
   予想通り、製品の画像を見ると、彼らの脳の報酬センターが明るくなりました。
   
   しかし、価格は？ 身体的および社会的痛みに関連する脳の部分は、クリスマスツリーのように光り、研究者は、利益と痛みの間のトレードオフは、消費者が財布を開けるのに理にかなっている必要があると結論付けるのに役立ちます。
   
   価格設定は製品の品​​質にも影響するため、価格を下げる必要があるという意味ではありません。 小さいフォントを試したり、前払いを提供したり、大きいフォントで割引を表示したり、コピーでお金の言葉を避けたりすることができます。
   
   したがって、購入の苦痛を軽減するということは、A / Bテストなしでは不可能な、人間の動機、欲求、欲求不満のメドレーを理解する必要があることを意味します。 メッセージング、UI要素のテスト、またはチェックアウトプロセスのオーバーホールをすべてリアルタイムで行うことができます。

   場合によっては、eコマースプラットフォームが課す制限のためにカートとチェックアウトフローに大幅な変更を加えることができない場合がありますが、それは野心的なテストを放棄する理由ではありません。 小さな変更をいつでもテストして、大きな調整がもたらす可能性のある感覚を得ることができます。

   JourneyFurtherのコンバージョンディレクターであるJonnyLongdenは、次の1つの質問を自問することをお勧めします。
   
   これを証明し、それについて学ぶためにテストできる最小/最も単純なものは何ですか？
   
   「小さな変更のみをテストする」という罠に陥ったり、大きな変更を加えた場合は「お金はすでに沈んでいるため、テストしません」という罠にはまらないでください。
3. レビューマイニングは科学に変えることができます
   
   定性的データに基づく変換調査は、あらゆる種類のA / Bテストの定番ですが、eコマースでは、レビューマイニングなどの定性的データを理解に役立つ科学に変えることができます。
   
   
   • 強調する製品USP
   • コピーでテストできるメリット
   • 顧客が競合他社をどのように認識するか
   • 製品ストーリーのコピー角度
   • あなたが対処した問題点
   • カートの放棄を引き起こす未解決の問題点CROおよび実験コンサルタントのLorenzoCarreriは、探偵のように考えることを推奨しています。 探偵が犯罪の背後にある物語を明らかにしなければならないのと同じように、レビューを使用して多くの物語を明らかにすることができます。
     

     人々はすでに購入について決定を下しており、今では出口調査やウィジェットで彼らを悩ませることなく、彼らは実際に彼らの経験を有機的に共有しています。

     実際、さまざまな業界に対するカレリのパルス分析は、共通のテーマを明らかにしています。人々は、現場での経験についての洞察を共有する傾向がありません。 したがって、どのような質問をするか、どのように質問するかは問題ではありません。
     
     しかし、特にAmazonでのレビューマイニングでは、人々は洞察を共有する傾向があります。 収集する洞察が多ければ多いほど、データはより意味のあるものになり、テストのためのより良い仮説を立てるのに役立ちます。
4. eコマースのトラフィックが不足することはありません
   
   A / Bテストの重大なハードルは、十分なトラフィックがないことです。これは、結果にバイアスがかかる可能性があることを意味します。
   
   しかし、これはeコマースストアにとっては問題ではありません。 7桁のShopifyストアは数十万人の訪問者を簡単に獲得しますが、シリーズDB2B企業はおそらくそのトラフィックの1/4を獲得します。

Shopifyの起業家が（真剣に）A / Bテストを検討する必要があるのはなぜですか？

EコマースはA/Bテストに適しています。 多数の訪問者と多くの遊び場で結果をすばやく確認できる可能性は、A/Bテストの文化を採用するのに十分な理由です。

しかし、おそらくあなたはまだそこにいません。 現在、トラフィックが増加すると、収益が増加します。

問題は、どれくらいそれを維持できるかということです。

より多くのトラフィック≠ポイントを超えるより多くの収益。 その道はあなたが割引であなたの利益率を同時に食いつぶすと同時にあなたが広告により多くを費やす必要があります。

また、Amazon、eBay、Etsyなどのeコマースの巨人を見ると、A/BテストがDNAに組み込まれていることがわかります。 それが彼らが繁栄するまさにその理由です。 言うまでもなく、これはすべての成功したShopifyストアが共有する共通のスレッドです。

A/Bテストが成長を推進する理由は簡単に理解できます。 Amazonが実行するテストがどれほどきめ細かいかを見てください。

しかし、結局のところ、A / Bテストは競争力を維持するための単なる方法ではなく、ビジネス上の良い決断です。

なんで？ あなたの現在の戦略はおそらくあなたに有利に働いていないからです。

1. iOS14のおかげでROASが急落しています
   あなたはおそらくあなたの製品に目を向けようとする前よりも多くのお金を費やしているでしょう、しかしポストATTの世界はピクセルベースの変換が機能する方法を台無しにしました。 そして、リターゲティングと似たようなオーディエンス？ それらはもはや効果的ではありません。 偶然にいくつかのコンバージョンが発生した場合は、アドマネージャーとShopifyバックエンドの間の不一致に対処する準備をしてください。

2. あなたのオープンレートは歪んでいます
   メール番号は正確ではなくなりました。 メールプライバシー保護（MPP）はそれを確実にしました。 また、エンゲージメントベースのリストには、疑わしいターゲティングと低いコンバージョンが含まれている可能性があります。

3. あなたの方程式は保持を欠いています
   冷たい交通を追いかけることは悪いビジネスの動きです。 あなたの収入の40％は忠実な顧客から来ています。 トラフィックは購入者を目標到達プロセスに導きますが、保持によりこれらの購入者の生涯価値（LTV）が増加します。

4. あなたのマーケティングアトリビューションは最悪です
   ツールは使用可能なデータを提供できず、チームは収益を特定の変更に帰することができません。 成長を見たいと思ってすべてのボタンを押すことはできません。 あなたは具体的にする必要がありますか、8桁のビジネスを構築することは問題外です。

A / Bテストは、古いプレイブックを裏返し、再現性があり、信頼性が高く、収益性の高い科学的に有効なアプローチを使用する機会を提供します。

DTCソーダの代替会社であるOLIPOPがA/Bテストを支持している理由は次のとおりです。

A / Bテストは、分析が容易なデータを提供しながら、コンテンツエンゲージメントを改善し、バウンス率を減らし、コンバージョン率を高め、リスクを最小限に抑えます。 A / Bテストを実行することで、どのコンテンツがターゲットオーディエンスに共鳴するかを把握できます。 次に、このデータを使用してマーケティング戦略に影響を与えることができます。 これらのテストは、ユーザーがWebサイトで問題を抱えている無関係なデータや領域を特定するのにも役立ちます。これにより、必要な変更を加えた後のバウンス率が低下します。

カスタマーエクスペリエンスを向上させるバリエーションを特定できると、ユーザーがサイトで費やす時間に増加が見られ、コンバージョン率が高くなります。 最後に、A / Bテストでは、知識に基づいた推測ではなく正確なデータに基づいて意思決定を行うため、リスクが最小限に抑えられます。 それはあなたがあなたのウェブサイト全体を損なうことなく最小限の変更を加えることを可能にします。 A/BテストでROIが向上します。

OLIPOPの新規事業開発責任者、Steven Vigilante

小さな（または大きな）変更を簡単に行う

物事をより良くする科学である最適化は、A/Bテストで簡単に行えます。 変更を導入して、より良い購入体験を生み出し、PPCトラフィックの一部を変換するバージョンを見つけることができます。

失敗のコストを削減する

失敗のコストは時には高すぎることがあり、当然のことながらイノベーションを阻害します。 ただし、A / Bテストを使用すると、何も構築または実装しなくても、制御された環境でアイデアをテストできます。

未来をのぞく

成功を保証するものはありません。 あなたの本能、代理店の提案、あるいは確固たる競争相手の研究でさえありません。 しかし、データ主導の意思決定をしたいのであれば、A/Bテストはあなたの友達です。 テストの最適なバージョンは、統計的妥当性に基づいて選択されていないため、収益の可能性を垣間見ることができます。

誤解の余地をほとんど残さない

A / Bテストでは、コンバージョン率、カートの放棄、平均注文額（AOV）、収益、利益の変化に関するデータを収集することで、オーディエンスの声に真に耳を傾けることができます。
変更の影響を推測する代わりに、結果は透過的であり、誤解の余地はほとんどありません。

ShopifyでのA/Bテストに関する問題（+ソリューション）

A / Bテストを戦略の中心にすることを検討している間、ShopifyでA/Bテストを実行するときに直面する可能性のある潜在的な問題に対処することが重要です。

問題＃1： ShopifyのアンチクリックジャッキングがモバイルQAに干渉する可能性がある

クリックジャッキングは、ユーザーをだましておとりサイトの実用的なコンテンツをクリックさせます。 これを防ぐために、Shopifyはクリックジャッキング防止技術を使用しています。 ただし、A/Bテストツールが最適に機能するのを妨げます。

問題＃2：テストは問題ではありませんが、実装は問題です

テストの結果を実装することは、アプリやプラグインができることではありません。カスタマイズが必要です。 自分に合ったプラグインを見つけたとしても、プラグインが多すぎるとサイトの速度が低下し、潜在的な利益が実質的に無効になる可能性があります。

問題＃3：テストできるものを制限する標準のShopifyストアがあります

標準のShopifyストアはShopifyPlusのほとんどの機能にアクセスできません。つまり、テーマの分割テストなどのテストを実行することはできません。 複雑度の低いテストでは、収益への影響が少なくなります。

A/Bテストの基本に関するクイックガイド

A / Bテストに頭を悩ませたので、今度は要点を説明します。

下にスクロールして回答を表示する前に、しばらく一時停止して、これらの質問に「はい」または「いいえ」と答えてください。

• A/Bテストは分割テストと同じです
• A/Bテストと多変量テストは異なります
• A/Bテストでのみ微調整を行うことができます
• A/Bテストを実行するために統計を学ぶ必要はありません
• 他のチャネルでA/Bテストを実行することはできません
• 結果が表示されたら、A/Bテストを停止する必要があります

A/Bテストと分割テスト

A / Bテストでは、ページ上の1つ以上の要素をテストできます。 基本的に、元のページと同様のバージョンを作成して、コンバージョン率への影響を確認します。

分割URLテストは、A/Bテストとは異なります。 トラフィックは途中で分割され、2つの完全に異なるバージョンに送信されて、特定の目標を達成するのに役立つWebページを確認します。

分割テストとA/Bテストをいつ実行するか：テーマテスト

A / Bテストではなく分割テストを選択する場合の良い例は、Shopifyテーマをテストする場合です。 テーマはCXに影響を与え、最終的には収益に影響を与える可能性があるため、ConvertのスプリットURLオプションなどのツールを使用してテーマをテストすることが不可欠です。

Convertは、頻度論的推定を使用して、どのテーマが他のテーマよりも優れているかを理解します。 サイトへのトラフィックが異常に多い場合を除いて、この種のテストを少なくとも2週間実行することをお勧めします。

PS Shopify Plusユーザーの場合にのみ、テーマをテストできます。

A/Bテストと多変量テスト

A / Bテストでは、元のページとほぼ同じページをピットインしています。

A / Bテストのように、一度に1つの要素を変更するのではなく、多変量テストは、1つのテストで複数の変更をテストするプロセスです。 多変量テストの目標は、変更のどの組み合わせがより良い結果をもたらすかを見つけることです。

Shopifyストアで実行するA/Bテストの例

A / Bテストの対象をインターネットに尋ねると、別のCTAやボタンの色を試すか、見出しを変更するように言われることがよくあります。

それは重要ではないというわけではありませんが、世界はあなたの遊び場であり、あなたが自分自身を制限する場合にのみ、あなたはあなた自身の小さなサンドボックスで遊んでいます。 箱の外で考えることは、実験の精神にとって非常に重要です。

私たちは8人のShopify起業家に連絡を取り、次のように尋ねました。

どのA/Bテストを実行しましたか、なぜこの実験を行うことを選択したのですか、そして結果はどうでしたか

＃1。 ブーストされたAOV、注文がわずかに減少

私たちはすべてのオンラインストアでShopifyを使用しており、AOVを向上させるために製品のバンドルまたはグループ化をテストしています。 テストは、アップセルまたはバンドルを含むカートと、最初の製品のみを含むカートです。 結果はまだ完全ではありませんが、これまでのところ、注文の総数がわずかに減少している一方で、AOVが増加しているように見えます。 完全な分析を行う前に、これをさらに数週間実行し、他の構成をテストして、AOVと変換の両方の改善を試みて生成することができます。

シルビア・カン、ミラ

＃2。 CX用に最適化されたすべてのサイト要素

Shopifyビジネスとして、ライブチャット、CTA、製品画像、アップセルプレースメント、ランディングページ、ナビゲーションメニューなどの機能について、多数のA/Bテストを実行しました。 たとえば、A / Bテストは、消費者を苛立たせたり、経験に摩擦を加えたりすることなく、クロスセリングとアップセルのバランスを見つけるのに役立ちました。

数多くのテストを通じて、オーディエンスがチェックアウト時に提供されるのではなく、製品ページで直接関連性の高い提案を評価していることを発見しました。そうすることで、平均購入額を引き上げました。 A / Bテストは、最適ではない要素を実装する時間とエネルギーを無駄にすることなく、どの機能が最高のパフォーマンスを発揮し、最高のリターンを提供するかを正確に特定できるため、非常に重要です。 これらのテストは、どのデザインの選択がオーディエンスに最も適しているかに関する正確なデータを提供し、より強力なユーザーエクスペリエンスは、企業が成長と寿命を達成する方法です。

スティーブンライト、ノーラマットレス

＃3。 より良い結果を得るためにビデオを含めるためにセッションリプレイを使用

コンバージョンを達成または失敗させる可能性のある最も重要な側面の1つは、ユーザーがストアをナビゲートして購入するのがいかに簡単かということです。 セッションのリプレイでのA/Bテストにより、購入を意図した実際のユーザーがストア内をどのようにナビゲートしたか、問題がどこにあるか、何が彼らを苛立たせたか、プロセス中に停止させ、購入を妨げたのかを確認できました。 プロセスのビデオを含むリストはより良い結果をもたらし、画像の品質が低いか、いくつかの画像が表示されないことがためらいにつながることに気づきました。

マイケル・ネメロフ、ラッシュオーダーティーズ

＃4。 設計変更によりコンバージョンが2％増加

このA/Bテストでは、新しいレイアウトがShopifyストアのコンバージョン率にどのように影響するかを確認したいと思いました。 元のサイトは6か月間稼働していて、3％でコンバージョンを達成していたため、別のことを試す時期のようでした。 私のデザイン変更には、製品と一致するのではなく、モバイルデバイスのスクロールしなければ見えない位置に製品の推奨事項を移動することや、バナーがクリックされなかったためにトップナビゲーションからバナーを削除することが含まれていました。 これにより、コンバージョンが即座に2％増加しました。

Jar Kuznecov、軟水器ハブ

＃5。 CTAボタンの色を変更することで相対クリック数が14％増加

何年にもわたって多数のA/Bテストを実行してきましたが、実行した最も効果的なテストの1つは、CTAボタンの色を変更するという最も単純なテストでもありました。 それでおしまい。 友人から、ページ上のボタンの色を切り替えることで、回答率が16％向上したと聞いていました（以前のクリック数と比較して）。 これで考えさせられ、独自のA/Bテストを実行することにしました。 実際、これは実際にはA / B / Cテストでした。これは、元の緑色とオレンジと赤の3つの異なる色を試したためです。 結果？ 赤いボタンは8％高い回答率をもたらし、オレンジ色のボタンは相対クリック数に関して14％良い結果をもたらしました。 緑のボタンをオレンジ色にするのと同じくらい簡単な変更で、それだけの効果が得られるのは驚くべきことです。 したがって、私の最善のアドバイスは、誰かに商品をカートに追加してもらう場合であり、CTAボタンの色だけで簡単に操作するのではありません。 真剣に考えてください–そしてテストします。

ジョン・ロス、テスト準備インサイト

＃6。 スティッキーなカートへの追加と販売後のアップセルによるCVRとAOVの向上

A/Bテストは両刃の剣です。 Shopifyストアを最適化し、コンバージョン率を上げるのはいいことだと思います。 ただし、各A / Bテストが複雑さの層を追加し、リソースを使用していることを知る必要があります。 何をテストするかは、どのようにテストするかと同じくらい重要です。

製品写真のさまざまな順序をテストしました。 毎回、最も単純な画像が常に最良の変換を行うことがわかりました。 製品ページでは、顧客は考えることなく製品が何であるかを正確に理解する必要があります。

粘着性のあるカートへの追加が勝者として知られています。 ボタンを画面上にも手の届くところに置くことで、CVRを8％簡単に向上させることができました。

販売後のアップセルを忘れないでください。 私の平均注文額を24ドルから​​40ドルに増やすのは簡単でした。 すでに購入している人にもっと売るのがいかに簡単であるかに驚くでしょう。

CROスペシャリストでSTEELの創設者であるMattPhelps氏。

インスピレーションを感じますか？ A/Bテストの初心者がeコマースWebサイトで試すことができる20以上の要素は次のとおりです。

• 送料無料を提供する
• ヒーロー画像とカルーセル
• CTAサイズ
• CTAカラー
• CTAの配置
• CTAコピー
• 人間の画像と画像なし
• 見出しのコピー
• フォントサイズ
• 行の高さ
• パーソナライズとなし
• 入荷待ちのお知らせ
• メリット主導の製品説明
• 製品ページの専門家のヒント
• 割引とオファーを強調する
• 単一ページと複数ページのチェックアウト
• チェックアウト時のサポート
• シンプルなナビゲーションメニュー
• クイック製品ビュー
• 製品ビデオ
• アップセルとクロスセリング
• プレビュー画像のタグ
• ユーザー作成コンテンツ

A / Bテストが可能な要素のリストから、製品ページが開始するのに最適な場所であることは明らかです。

しかし、あなたのサイトの他のページもA/Bテストの完全に実行可能な候補です。

ブランドの実際の例を使用して、どのページをテストできるかを見てみましょう。

1. ホームページ
   
   
   • Salty Captainは、ホームページのアナウンスバーの色を変更し、クリック数を234.54％増やし、CVRを13.39％増やしました。
   • Legendary Wall Artは、ヒーローセクションとCTAコピーを試し、エンゲージメントを325.39％、収益を30.07％増やしました。
   • byBiehlはスライダーを追加して重要な製品を紹介し、カテゴリページへのアクセス数（5.87％）、ユーザーあたりの収益（3.25％）、CVR（19.73％）を増やしました。
2. カテゴリページ
   
   
   • Copycat Fragrancesは、カテゴリページにInstagramのストーリーのバージョンを追加し、エンゲージメントを4％、ユーザーあたりの収益を18％増加させました。
   • Iceshakerは、カテゴリページを切り替えて、一般的な反対意見に対処する製品ストーリーを含め、コンバージョン数が15.95％増加しました。
   • Oliver Cabellは、ユーザーのモバイルエクスペリエンスに焦点を当て、レイアウトの変更とデザインの改善を行いました。その結果、トラフィックが14.86％増加し、チェックアウトページのトラフィックが5.49％増加しました。
3. チェックアウトページ
   
   
   • Oflaraは、買い物客が[カートに追加]ボタンを使用してチェックアウトしているときに他のアイテムを推奨し、全体的な収益が大幅に向上しました。
   • コンシャスアイテムは、粘着性のあるカートを使用してチェックアウトプロセスから摩擦を取り除き、ユーザーあたりの収益が10％増加し、CVRが10％増加しました。
   • Homewareは、ユーザーがShopifyストアで購入したアイテムは1つだけであると述べています。 そのため、チェックアウトプロセスを簡素化して、ユーザーをチェックアウトページに直接リダイレクトし、モバイルでのCVRが47.7％増加し、訪問者1人あたりの収益が71.4％増加しました。

専門家のヒント：大きな変更に焦点を当てる

初めてA/Bテストを実施する初めての起業家への私の最善のアドバイスは、大きな変化に焦点を当てることです。 たとえば、製品ページの完全な再設計。 ボタンの色を変更するなどの小さな変更で、針が大きく動く可能性はほとんどありません。

完全なページの再設計を行い、製品の説明gifを製品ページに追加することで、コンバージョン率を40％向上させることができました。

PostPurchaseSurvey.comの創設者であり、7桁半ばのeコマースShopifyブランドであるPhilipPages。

A/Bテストを実行するときに知っておくべき統計の概念

A / Bテストは、Webサイトの2つのバージョンを比較するために使用されますが、データの統計的有意性を考慮に入れていないため、数値を確認するだけでは役に立ちません。 結果を誤って解釈し、売上を損なうことになります。

したがって、社内チームがプロジェクトの要点を実行している場合でも、CROエージェンシーを雇っている場合でも、よく耳にするA/Bテストの統計の概念に精通していることが重要です。

サンプルと母集団

サンプルはA/Bテストに参加する訪問者の数ですが、サイトにアクセスするすべての訪問者は人口と見なされます。

平均、中央値、最頻値

平均=平均

中央値=中央値

モード=繰り返し値

分散と標準偏差

分散は、データの平均変動です。 変動性が高いほど、個々のデータポイントの予測子としての平均の精度は低くなります。

標準偏差は分散の平方根であり、元の値と同じ単位で表されるため、直感的に理解しやすくなります。 一方、分散は元の単位の2乗で表されますが、A/Bテストの結果にとっては依然として重要です。

統計的有意性

A / Bテストダッシュボードに「オリジナルを破る確率が95％」または「統計的有意性の確率が90％」と表示された場合、次の質問があります。AとBの間に根本的な違いがないと仮定すると、どのくらいの頻度でたまたまデータにあるような違いがわかりますか？

Evan Miller、統計ソフトウェア開発者（出典）

有意水準は可能な限り小さくする必要があります。 1％は、99％の信頼水準に相当するため、理想的です。 また、重要でない結果は、表示されているものが実際には誤検知であることを意味する場合があるため、統計的有意性を待つことが重要ですが、それだけではありません。

選択した最小リフト（MDE –最小検出可能効果）に一致するサンプルサイズを計算する必要があります。誤検知の変化が大きくなります。

P値

p値は、帰無仮説が正しいと仮定して、統計的仮説検定の観測結果と少なくとも同じくらい極端な結果を得る確率です。

しかし、p値について本当に知っておく必要があるのは、「この結果はどれほど驚くべきことですか？」です。

ShopifyストアでA/Bテストをどのくらい実行する必要がありますか？

あなたが頻繁に遭遇する2つの一般的な誤謬があります：

• 統計的有意性に達したら、A/Bテストを終了します
• p値を監視し、ターゲットに到達したらすぐに勝者を宣言します。

テストの停止は、サンプルサイズに基づく必要があります。 ただし、実験を早期に終了するべきではありませんが、実験を永久に実行するべきではありません。 3か月経ってもまだ重要性に達していない場合は、他の変更、できれば大胆な変更を試してみることをお勧めします。

ConvertとShopifyは、テストを少なくとも2ビジネスサイクルまたは14日間実行することをお勧めします。

FaruzoのCEOであるAvidFaruzは、次のことに同意します。

新しい起業家は、A/Bテストでは時間枠が非常に重要であることを知る必要があります。 A / Bテストを実行する時間が長いほど、より正確なテストが得られます。 これは、テストでより多くのデータポイントを使用して結果を導き出すためです。 経験豊富なマーケターは、2週間もテストを実行します。 私はすべてのマーケターと起業家に彼らのウェブサイトが得るトラフィックのレベルに応じて時間枠を設定するようにアドバイスします。

これが、私たちのプラットフォームが14日間の無料トライアルを提供し、仮説をテストできる理由です。

ShopifyストアでA/Bテストを実行するための4ステップのプロセス

テストを実行する準備はできましたか？

この4ステップのA/Bテストプロセスを使用して、より優れたテストを構築し、その影響を理解します。

＃1。 定性的および定量的研究を実施する

コンバージョン調査は、最初の最も重要なステップです。 これにより、A/Bテストが可能な仮説を立てることができます。 検出フェーズとも呼ばれます。これは、運用上の前提を停止し、データにガイドさせる場合です。

最終的には、定量的データと定性的データの2種類のデータになります。

定量的データの収集から始めます。 これらは、Google Analytics、Amplitude、Mixpanelなどの分析エンジンが吐き出す可能性があるという議論の余地のない冷酷で難しい事実を構成しています。

たとえば、バウンス率、コンバージョンの総数、または閲覧/セッションされたページを確認したい場合があります。

定量的データを収集したら、定性的データを取得します。 これは主観的なものであるため、潜在意識の偏見が忍び寄る可能性がありますが、調査結果を解釈することが「理由」に答える唯一の方法です。

Hotjarを使用して、ヒートマップを生成し、訪問者セッションを記録します。 あなたが見つけるかもしれない答えは決定的なものではありませんが、それは全体としてより良い仮説に貢献する新しい可能性をもたらします。

しかし、それに飛び込む前に、全体的な理解を得るために、定性的データと定量的データの両方を同時に見ることが重要です。 分析は、データクエリと批判的思考に等しい。

＃2。 信頼できる仮説を立てる

科学的方法に従うということは、信頼できる仮説を立てる必要があることを意味します。その妥当性には評価が必要な提案された解決策です。

CorvusCROの創設者であるMattBeischelは、仮説の3つの主要な要素である理解、応答、および結果を共有しています。

これがどのように見えるかの例です：

仮説の作成を簡素化および標準化するために、A/Bテストの仮説ジェネレーターを用意しています。

この段階では、サンプルサイズを理解し、それに基づいてテストの停止点を計算する必要もあります。 そのために、A/Bテストの有意性計算機を使用してください。

専門家のヒント：

サンプルサイズとテストの実行期間がわかったら、テストの優先順位を設定する必要があります。 単一のページ、Webサイト全体、ポップアップ、有料広告など、プロセスのさまざまな部分をテストすることを選択できます。 一度にプロセスの一部に焦点を当てることが最善です。そうすれば、どの変更が顧客体験とコンバージョン率の向上につながるかについて明確な答えを得ることができます。

DotcomDollar.comの創設者であるAllanBorch

仮説を優先する

実験には多くの利点があります。そのため、すべてをテストすることを提唱する専門家をよく目にします。 ただし、会社の規模に関係なくリソースが限られているため、現在実行する必要のあるテストと待機できる実験に優先順位を付ける必要があります。

そのため、実験者はRICE、PIE、ICE、PXLなどの優先順位付けモデルに頼ります。 しかし、パーソナライズコンサルタントのDavid Mannheimは、これらのモデルには欠陥があると示唆しています。

彼らはビジネスのより広い文脈への整合性を欠いています。 優先順位付けはトップダウンで、最初にビジネスミッション、次にビジネス目標などに焦点を当てる必要があります。 ほとんどの優先順位付けモデルは、「実行」に焦点を当てています。つまり、三角形の階層図内の最後のもの、つまり、ベース、概念、ユーザーの問題、製品の目的、ビジネスの目的、および最上位のミッションに焦点を当てています。

これらのモデルは、スコアリング要素として「努力」も使用します。これは、複雑であるために最も影響を与える可能性のある機能の構築を実際に控えていることを意味します。 最終的に、これらのモデルには客観性が欠けています。

ProductSchoolのシニアプロダクトマーケティングマネージャーであるAndreaSaezは、次のように述べています。

正しいことに取り組んでいる場合でも、それについて誰にも話していない場合でも、適切に精査しなければ、ほとんどのことに対する到達範囲、影響、または努力を知る方法はありません。 では、どうすれば自信を持てますか？

ここでの答えは、独自の優先順位付けモデルを構築することです。

ステップ1：例に触発される

ステップ2：ビジネス目標との整合性、反復の可能性、企業固有の学習、リソースへの投資などの要因を考慮します。

ステップ3：実行するテストに重みを割り当てます

ステップ4：自分に合った頭字語が見つかるまで、すすいで繰り返します。

＃3。 テストを展開する

調査を実施し、信頼できる仮説を立てました。 さあ、コウモリに行きましょう。

展開を成功させるには、適切なA / Bテストプラットフォーム、テストをコーディングする適切なチーム、QAとデバッグの3つが必要です。

最初のものから始めましょう。

Shopifyの優れたA/Bテストプラットフォームには何が必要ですか？

理想的には、テーマ、価格設定、メニュー、製品コレクション、検索ページのテスト、多変量テストの実行、および収益の追跡を可能にする単一のツールが必要です。

多くのプラグインは、これらの1つ以上を達成するのに役立ちますが、プラグインがコードの膨張を引き起こすことはすでにわかっています。これは、SEOやコンバージョンにとって良いニュースではありません。

Convert Experiencesのような専用のテストプラットフォームは、Shopifyストアとシームレスに統合され、必要なすべての種類のテストを実行できます。また、使用できるカスタムShopify A / Bテストアプリを備えているため、コードの膨張の可能性を排除できます。

次に、テストをコーディングするための適切なチームを配置する必要があります。

注：コーダーとA/Bテストチームで作業するコーダーには違いがあります。

最終的に、テストはQAとデバッグなしでは不完全です。 QAがないと、変動エラーが発生し、統計エラー（誤検知または誤検知）が発生する可能性があります。 言うまでもなく、訪問者にゼロの価値をもたらす間違ったデータを収集してしまう可能性があります。

A/BテストのQAに関する4つのベストプラクティスは次のとおりです。

• QA戦略を策定する
• QAの対象を特定する
• ページエクスペリエンスに焦点を当てる
• QAをコンバージョン目標に合わせる

上級者向けのヒント：これらの新人A/Bテストの間違いを避けてください。

• 業界のベストプラクティスのみをテストします
• あなたは自分の「結果」をのぞき続けます
• あなたは1つのテストの後にあきらめます
• あなたは勝利を繰り返して改善することに失敗します
• あなたは収益追跡を台無しにします

＃4。 A/Bテストを分析して学ぶ

勝者か敗者かにかかわらず、何がうまくいったかを分析し、それから学習して将来のA/Bテストに影響を与えることが重要です。

A / Bテストは収益を増やすための戦略ですが、オーディエンスのデータを効果的に「購入」しているからです。

A /Bテストから学ぶための7つのステップのプロセスは次のとおりです–

• データが正確で、有効で、重要であることを確認してください
• マイクロ、マクロ、ガードレールの指標を確認する
• 結果をセグメント化する
• ユーザーの行動を確認する
• 勝者を改善し続ける
• 将来のテストのために学習リポジトリを作成する

最後のステップでは、以前の実験の学習に裏打ちされたテストを将来実行できます。

専門家のヒント：失敗する準備をしてください。

完璧なA/Bテストを作成したと思っていても、Webサイトのコンバージョン率を予測することは困難です。 新しい起業家として、私は最初の数か月で成功しなかったという欲求不満にほとんど屈服しました。 私は失敗に慣れておらず、多くの起業家はこのようです。 焦点は、ユーザーに最高のエクスペリエンスを提供し、予期しない事態に備えることです。

GreatPeopleSearchの創設者兼採用マネージャー、レスリー・ラドカ

Shopifyストアの利益を悪化させる可能性のある他の領域でのA/Bテスト

あなたのウェブサイトだけに固執しないでください。 A / Bテストは、カスタマーエンゲージメントが発生する他のチャネルやレルムに適用でき、適用する必要があります。

A / Bテストポップアップ（Privyを使用）

あなたがあなたのウェブサイトに持っているそれらのポップアップ？ Privyなどのツールを使用してA/Bテストを行うこともできます。 見出し、オファー、フォーム、CTA、または画像を試してみてください。

Privyの変換ツールを使用すると、ポップアップをさまざまな形式で表示し、ルールセットに基づいて訪問者をターゲットにすることができます。

A/Bテストのメール

メールマーケティングに関しては、配信、オープンレート、CTRの3つの主要な改善領域が浮かび上がります。

次の順序でメールをテストできます。

• まず、オープン率を向上させるための件名
• 次に、本文をコピーして、関連性があることを確認します
• 最後に、クリック数を増やすためのCTA

メールで他に何をテストできますか？ A/Bテストの電子メールに関する完全なガイドを確認してください。

2人のShopify起業家がA/Bテストを使用してメールマーケティングチャネルを拡大した方法は次のとおりです。 [h5]＃1。 分割テストを使用してメーリングリストを3倍に増やしました

コンテンツをテストするための最も効果的な戦略は、A/Bテストです。 A / Bテストは、顧客を電子メールにサインアップしたり、購入したりするために、1つまたは別のコンテンツベースがより効果的であるかどうかを示す、実証済みの測定可能な即時の結果を示しています。

小売業では、Webサイトへの直接トラフィックなどのバニティメトリックは、コンテンツの成功を測定するのに最も効果的ではありませんが、A / Bテスト（つまり、コンバージョン率、ユーザーエンゲージメント、電子メールファネルの追跡）が最も効果的です。 メールサブスクリプションCTAを分割テストでテストし、1つのキャンペーンでメールリストを3回以上増やしました。 ICPをよく知っているほど、ブランド戦略はより効果的に変換されます。 A / Bテストを使用して、ターゲットの人口統計をよりよく理解し、最も反応するコンテンツをスプーンでフィードします。

ザックゴールドスタイン、パブリックレック

＃2。 件名に絵文字を使用すると、メールの開封率が25％向上しました

調査を見た後、件名に絵文字を使用した場合と使用しない場合のオープン率をテストしたいと思いました。 この調査では、絵文字を使用すると開封率を高めることができると示唆されていましたが、専門家ではなくスパム行為として外れる可能性があると感じました。

私はShopifyと一緒にActiveCampaignメールプラットフォームを使用していますが、実際には2つを統合して、顧客とのコミュニケーションを最大化しています。 ActiveCampaignを使用すると、ユーザーは多くのA / Bテストを実行できるため、ターゲットオーディエンスとのジャイブを確認できます。 結果が出たとき、件名に絵文字が含まれているメールの開封率が25％高かったため、私は間違っていたことを認めなければなりませんでした。 それ以来、絵文字キーボードをかなり自由に使ってきたと言っても過言ではありません。また、コンバージョン率の急上昇にも気づきました。

ステファニー・ベン-ワトソン、fatty15

ソーシャルメディアでのA/Bテスト

有料広告と同様に、ソーシャルでオーガニックコンテンツをテストして、エンゲージメントを向上させることができます。 見出し、コピー、画像、CTAはすべてA/Bテストが可能です。

これを手動で行う場合は、投稿のリリースをずらして、意味のあるデータを収集できるようにするための適切なギャップを確保してください。

または、Later、Buffer、MeetEdgarなどのスケジュールツールを使用して、公開を自動化することもできます。

避けるべきeコマースA/Bテストの落とし穴

即時満足の必要性は、A/Bテストにも浸透しています。 Formtoroの共同創設者であるJonIvancoは、ほとんどのA/Bテストは反動的であると考えています。

ブランドは、費用対効果の高い迅速な修正を望んでいます。 彼らは長期的な見通しと利益に投資するという考えを嫌います。 彼らがこれらのことを見るのは、物事がうまくいかないときだけです。

専門家以外の「専門家」、ベストプラクティスとして提示された悪いアドバイス、そして手に負えない果物を選ぶために設計された実験があります。

代わりに、Ivancoは基本を正しく理解することをお勧めします。

–ランディングページへのすべてのテスト
–特定の対象者からのすべてのテスト
–一度に1つの変数をテストします
–明確に明確にされた仮説があり、何かがうまくいくか失敗するかから学ぶことができる場合を除いて、テストしないでください
–カスタマージャーニーの観点からすべてのテストを実行します
–小さなものは大きなチェーンの一部です。一度に一歩ずつできる限り物事を分離するようにしてください

プライバシーを考える

不注意で実験用ネズミになりたがる人はいません。

Facebook2014の感情的な伝染研究への反発は証拠です。 Appleのプライバシーアップデートでさえ、ユーザーが自分のプライバシーを気にかけていて、製品を購入するように操作されたくないことを示しています。

プライバシーに関する法律（既存および今後）は進化し続けます。 大きな変化がもたらされるたびに、ユーザーファーストで考え始め、倫理的なA / Bテストを戦略に取り入れない限り、ビジネスに悪影響を及ぼします。

それで、それはあなたにとってどういう意味ですか？

• データを収集するときは、データのプライバシーを真剣に受け止めてください
• 操作戦術を除外する
• データを安全に保存および処理する
• ユーザーの同意を尊重し、実験をオプトアウトできるようにします

そうすれば、A / Bテストの将来性を保証し、視聴者とのより良い関係を築くことができます。