A/Bテストとは

A/Bテストの定義

A/Bテストが必要なタイミングと理由

A/Bテストは継続的に動作する場合に最も利点があります。通常のテスト・フローでは、パフォーマンスを微調整する方法に関する推奨事項のストリームが提供されます。また、テストに使用できるオプションはほぼ無制限であるため、継続的なテストが可能です。

前述のように、A/Bテストは、次のようなデジタル・マーケティング・アセットに関する評価に使用できます。

• メール
• ニュースレター
• 広告
• テキスト・メッセージ
• Webサイト・ページ
• Webページ上のコンポーネント
• モバイル・アプリ

A/Bテストは、何が有効で機能していないかを判断するために役立つため、キャンペーン管理において重要な役割を果たします。オーディエンスが関心を持ち、応答している内容が示されます。A/Bテストはマーケティング戦略の最大の影響、改善が必要な要素および完全に削除する必要がある要素を確認するために役立ちます。

ここでは、A/Bテストが必要な理由について説明しました。次に、テストするタイミングの2つの基準について考えてみます。

• 最適なレベルでは対応していないデジタル・マーケティング・キャンペーンまたはエレメントがあり、そのために期待を満たしていません。A/Bテストを使用すると、パフォーマンスの問題を分離してパフォーマンスを高めることができます。
• 新規（Webページ、メール・キャンペーン）を開始しようとしていますが、どのアプローチ（メッセージングなど）が最適に実行されるかは不明です。A/Bテストをプロアクティブに使用すると、2つの異なるアプローチのパフォーマンスを比較および対比して、よりよいアプローチを特定できます。

WebサイトでA/Bテストを実行する利点

WebサイトのA/BテストはWebサイトへの訪問者に最も適した戦略を定量的に決定するための優れた方法です。顧客が予感を検証している場合もあれば、予感が誤っていることが証明される場合もあります。ただし、機能していないものには付いていないため、まだアップサイドになっています。サイトにより多くの時間を費やす訪問者を魅了し、さらにリンクをクリックしてください。

広く使用されているWebサイト・コンポーネント/セクションをテストして、テスト・ページだけでなく他の類似ページも改善する決定を行うことができます。

A/Bテストをどのように実行しますか?

A/Bテストは難しくありませんが、マーケティング担当者は明確なプロセスに従う必要があります。9つの基本的なステップは次のとおりです。

A/Bテストを計画および実行するための基本的なステップ

• 1. パフォーマンス・ベースラインの測定およびレビュー
• 2. パフォーマンス・ベースラインを使用したテスト目標の決定
• 3. テストによって、パフォーマンスがどのように向上するかに関する仮説の策定
• 4. テストのターゲットまたは場所の識別
• 5. テストするAおよびBバージョンの作成
• 6. QAツールを活用して、設定を検証
• 7. テストの実行
• 8. Webおよびテスト分析で結果を追跡および評価
• 9. 学習を適用して、カスタマー・エクスペリエンスを向上

前述の手順に従うと（明確な目標と確かな仮説を持つ）、一般的なA/Bテストのミスを回避できます。

テストはパフォーマンスを改善および強化するためのデータと経験的証拠を提供します。A/Bテストから学習した内容によって、さらに大きな影響を及ぼし、さらに魅力的なカスタマー・エクスペリエンス（CX）を設計し、さらに魅力的なコピーを作成し、さらに魅力的なビジュアルを作成できます。継続的に最適化すると、マーケティング戦略の効果が向上し、ROIが増加して収益が増加します。

A/Bテストの例

テストできるデジタル・マーケティング要素のリストには、次のアイテムの1つ以上が含まれます。

• ナビゲーション・リンク
• 行動喚起（CTA）
• 設計/レイアウト
• コピー
• コンテンツ・オファー
• 見出し
• メールの件名
• 親しみのあるメールの送信者アドレス
• イメージ
• ソーシャル・メディアのボタン（または他のボタン）
• ロゴとタグライン/スローガン

ビジネス目標、パフォーマンス目標とベースライン、および現在のマーケティング・キャンペーン・ミックスは、テストに最適な候補者を判断するために役立ちます。

分析がWebサイトのA/Bテストで果たす役割

A/Bテスト結果の解釈方法

テストを計画する間は、結果を評価し、テスト合格者を決定し、マーケティング・キャンペーンとWebサイトを更新して、成功の結果を反映できるように、目標を設定することが重要です。多くの状況では、オーディエンスは、メッセージの成功のバージョンを受信する保留グループによって、事前にセグメント化されています。

テスト結果では、次のように、測定することに決定した内容に基づいて、あるエレメントから別のエレメントの成功が示されます。

• 訪問者数
• 開封率
• クリックスルー率
• サインアップ（ニュースレターなど）
• サブスクリプション

テスト中、統計的に重要な測定が得られるまで、2つの要素が監視されます。

コンバージョン・レートは収益で測定することもできます。販売数、および実際の販売収益に対する変更の影響について検討できます。測定可能なアクションに対してコンバージョン・レートを取得でき、コマースのサイトおよび販売に制限されないことに注意してください。例:

• 営業
• 生成済みのリード数/送信済みの登録数
• ニュースレターのサインアップ数
• バナー広告のクリック数
• サイトに費やされた時間

A/Bテストについては、どのような指標に注意を払う必要がありますか?

その質問に対する答えは、仮説と目標によって異なります。ただし、オーディエンスがマーケティング・コンテンツにどのようにエンゲージメントしているかを示す指標に注力する必要があります。

Webページをテストしている場合は、個別の訪問者数、再訪問者数、ページに費やされている時間だけでなく、直帰率と離脱率も確認します。メール・マーケティングでは、誰がメールを開いてCTAをクリックスルーするかを確認します。

多変量テストとはA/Bテストとは、どのように違いますか?

多変量テストは、多くの場合、A/Bテストと手続き的に説明されるため、多変量テストとは何か、およびA/Bテストとどのように異なるかを理解することが重要です。2つは関連する分野ですが、異なる違いがあります。

多変量テストでは、1つ以上のWebサイト・ページまたはメール・マーケティング・キャンペーンにわたる複数の要素（およびA/Bテストの1つの要素）に対して異なるコンテンツをテストし、最高のコンバージョン・レートをもたらす組み合わせを識別します。

多変量テストでは、全体的な成功の体験とWebサイトの最適化につながる変更の組み合わせをテストするために、統計モデルを適用します。多変量テストの主要な特徴は次のとおりです。

iOSおよびAndroidアプリで、A/Bテストと多変量テストを実行できますか?

2020年には、モバイル・アプリはeコマース支出で2.9兆ドルを計上しました。その数は、2021年の終わりまでにさらに1兆増加すると予想されています。また、その成長は、小売およびeコマース以外の市場に広がります。多くの国では携帯電話がノートパソコンよりアクセスしやすいため、合計オンライントラフィックのモバイルシェアは、デスクトップの成長よりはるかに速く拡大し続けています。このため、iOSまたはAndroidアプリによって、顧客の購入プロセスが開始および終了する場合が、ますます増加しています。ただし、小さい画面では、モバイル・カートの放棄率がデスクトップ/ラップトップ（73%）より高くなります（87%）。

このため、モバイル・エクスペリエンスが最適化されることはかつてないほど重要ですが、iOSとAndroidアプリに制限がある場合は適切なツールが必要です。

詳細については、次の動画をご覧ください。

多変量テスト内の訪問者セグメンテーションとセグメント・クラスタリング

1つの経験がすべての訪問者/受信者に対して適切でない場合があります。多変量テストの重要な利点は、訪問者のセグメントを特定できること、および訪問者がさまざまな体験を実行/処理する方法です。たとえば、新規訪問者が繰返し訪問者とは異なるエクスペリエンスを好むと判断し、これにより全体的な結果をより良く得ることができます。より高度なシステムでは、何百もの訪問者属性に対してテスト結果を分析するために必要な時間を短縮するために、訪問者セグメンテーションを自動的に提案します。

訪問者セグメントごとに異なるエクスペリエンスをターゲティングすると、コンバージョン・レートが大幅に向上します。環境属性から行動までの豊富な訪問者属性に基づいてターゲットを設定し、CRMシステムなどの他のシステムからの顧客属性を含めます。

A/Bテストまたは多変量テストを行うタイミングは、いつですか?それが問題です。

A/Bテストは優れたツールですが、「最高の経験」を決定するためにテストする必要のあるオプションが2つ以上ある場合は、A/Bテストのかわりに多変量テストを行います。

2つ以上のオプションを使用したテストの実行には時間がかかるため、1ページの変数間の相互作用については何も表示されません。ただし、A/Bテストは非常に理解しやすく、懐疑的な知識を得るためのWebサイトおよびキャンペーン最適化の概念を導入したり、設計変更や微調整による測定可能な影響を示す良い方法となる場合があります。

多変量テストは複数の要素（イメージとわかりやすいタイトルのさまざまな組み合わせなど）を比較する必要があるアセット（Webサイト・ページまたはメール）に非常に役立ちます。ただし、多くのオプションを指定すると、トラフィックの増加が必要になります。このため、ページのすべてをテストする必要はありません。変化するページ要素が多すぎると、非常に多くの組み合わせが発生します。たとえば、10個の異なる要素でテストを実行すると、300万個を超える突然変異が発生する可能性があります。ほとんどのWebサイトやメール・キャンペーンは、それをサポートするトラフィックを見つけるのに苦労します。