ECサイトのA/Bテストとは？やり方や実例、実践メリットを解説

A/Bテストのやり方やマーケティングのエキスパートの事例などを紹介します。

A/Bテストは異なるパターンを比較し、最も効果的なものを選定するテスト手法です。自社製品やサービスの市場での立ち位置を最適化したり、ランディングページのコンバージョン率を上げたりするなど、さまざまな分野で有効ですが、ECサイト向けのコンテンツでは簡略化されすぎていることが少なくありません。

この記事では、ECサイトにおけるA/Bテストのやり方、メリット、注意点についてわかりやすく詳しくご紹介します。

A/Bテストとは

A/Bテスト（またはスプリットテストやバケットテスト）とは、商品ページのデザインやマーケティングメールなどで2つの異なるバージョンを用意し、ユーザーの行動を比較してどちらが効果的か検証する手法です。マーケティングキャンペーンの有効性やターゲットのコンバージョン率向上に役立ち、マーケティング戦略を立てる際の指標にもなります。

ECサイトでA/Bテストを行うメリット

短期間かつ低コストでコンバージョン率を向上

どちらのバージョンがより多くのコンバージョン（例えば商品購入や登録）を促すかを見極め、効果のあるバージョンを採用することでさらなるコンバージョン率の向上につなげることができます。

ユーザーエンゲージメントの改善

ユーザーが反応するデザインやコンテンツを特定し、エンゲージメント対策を練ることができます。

意思決定のためのデータ基盤の強化

推測に頼らずに、A/Bテストで得られたデータに基づいて意思決定を行うことができるようになります。

費用対効果の向上

効果の高いバージョンを採用することで、無駄な広告費用やマーケティングコストを削減できます。

簡単な設定と実施

A/Bテストは設定がシンプルで工数が少なく、結果もわかりやすいテスト手法です。また、簡単に実行できて分析もしやすいので、頻繁にサイトを改善できます。

A/Bテストの仕組み

1. 目標を定義する

コンバージョン率、クリック率、全体的な売り上げの向上など、目的を明確に設定します。

2. テストする要素を選択する

ヘッドライン、画像、メールの件名、コールトゥアクション（CTA）、価格、レイアウトなどのテストする要素を決定します。

3. バリエーションを作成する

2つのバリエーションを作成します。バリエーションAはオリジナル（コントロール）で、Bはテストしたい変更を加えた新しいバリエーション（バリアント）です。マーケティングでは、ビジターの50%にバリエーションAを、残りの50%にバリエーションBを設定します。例えば、CTAボタンの2つのバリエーションを用意し、グループごとに表示します。

4. テストを実施する

テスト期間中、ビジターグループごとに設定したバリエーションを試します。統計的に有意な結果を得るためには、2週間ほど実施するようにしましょう。

5. データを収集する

コンバージョン、クリック率、エンゲージメント、売り上げをそれぞれのバリエーションで測定・監視します。

6. 結果を分析する

AとBのパフォーマンスを比較し、どちらが目標を効果的に達成したか確認します。

7. 勝者を決定する

コンバージョン率が高い方が勝者です。バリエーションBのコンバージョン率が高い場合は、Bを正式に採用してすべてのビジターに表示されるようにします。このバリエーションBが新しいオリジナル（コントロール）になります。

A/Bテストで注意すべき点は、A/Bテストのコンバージョン率が成功の指標にならない場合も少なくないという点です。例えば、1つのページで商品を500円で販売し、もう1つのページでそれを無料にしていた場合、その結果から得られる情報にはあまり意味がなくなってしまいます。

A/Bテストの実行期間

テストを行う際は、最低でも2回のビジネスサイクル、通常2〜4週間の期間を設けましょう。これによりデータが安定し、信頼性の高い結果が得られます。ただし、必要なサンプルサイズに達するまでテスト期間を延ばしても、テストが長引くことで季節やトレンドの変化といった外部要因やサンプルの汚染リスクが高まり、結果が偏る可能性があるので避けましょう。

2〜4週間以内に必要なサンプルサイズを確保するのが難しい場合は、トラフィックが増加するまで他の手法でコンテンツ最適化の方法を検討するのが良いでしょう。

A/Bテストのやり方

A/Bテストのアイデアに優先順位を付ける

A/Bテストのアイデアに優先順位を付けることは、テストを効果的に進めるうえで重要なステップです。ここでは、よく使われるA/Bテストの優先順位付けフレームワークを紹介します。

ICEフレームワーク

影響力（Impact）、信頼性（Confidence）、容易性（Ease）について1から10のスコアを付けます。この評価は主観的になりやすいので、各項目に評価ガイドラインを設けることで、主観的な判断を減少させ、優先度の高いアイデアを見極めます。

PIEフレームワーク

潜在力（Potential）、重要性（Importance）、容易性（Ease）について1から10のスコアを付けます。この方法も評価が主観的になりやすいので、ガイドラインを設けると良いでしょう。

PXLフレームワーク

デジタルマーケティングの教育プログラムを運営するCXL（ConversionXL）が開発した優先順位付けのフレームワークです。カスタマイズ性が高く、テストの動機付けを「はい」または「いいえ」で評価するシンプルな方法で、客観的な評価ができます。

整理したアイデアを、実施、調査、テストなどにカテゴリー分けするとより効果的になります。

仮説を立てる

A/Bテストは、仮説を立て、それを検証する手法です。専門知識がなくても、以下の流れで簡単に実施できます。

まず、具体的な仮説を立てましょう。この仮説は、「もし〇〇すれば、△△の理由で□□になる」という形式で立てると、理解しやすくなります。例えば、「商品説明をシンプルな表現に変更したら、わかりやすくなって購入者が増えるかもしれない」という仮説です。このように因果関係を意識して仮説を設定することで、結果が測定しやすくなり、改善につながるデータを得ることができます。

例として、次のような流れで仮説を検証します。

• 問題：アクセスは多いのに、商品がカートに入らない。
• 事実：商品ページで多くのユーザーが離脱している。
• 仮説：商品情報がわかりにくいから、ユーザーが興味を持たないのではないか？
• テスト方法：商品説明を平易に書き換えたバージョンをA/Bテストで比較する。
• 結果：書き換えたバージョンで購入率が向上し、改善施策として採用された。

このように、A/Bテストはデータに基づいて仮説を検証する効果的な手段です。

A/Bテストツールを選ぶ

A/Bテストツールを選ぶ際は、実行できるテストの種類、分析機能、費用、サポートなどを比較して、ビジネスの規模に合ったものを選ぶようにしましょう。信頼性の高いA/Bテストツールをいくつか挙げるので参考にしてください。

• オプティマイズネクスト：多変量テストの制限はありますが無料です。また、Google Analytics A/Bテストとの連携が強力で、日本語を標準言語に採用していて、使いやすさが売りです。
• Juicer：テストしたいページの指定から成果指標の設定まで、基本機能がすべて無料です。最低限の機能搭載のため初心者でも利用しやすくなっています（有料プランあり）。
• DLPO：日本国内で実績No.1の有料ツールです。詳細な設定や分析で、マーケティング施策を効果的に最適化できます。直感的に操作できますが、無償サポート体制が充実しています。

他にもShopifyアプリストアに役立つテストツールがあるのでご利用ください。 

ツールを選んだら、登録して指示に従ってください。なお、サイトにスニペットをインストールし、目標設定する必要があるものがほとんどです。

A/Bテスト結果を分析する

正しく仮説を立てれば、失敗からも将来のテストや他のビジネス分野に役立つ洞察が得られます。何より重要なのは、ビジターをセグメント分けすることです。テスト全体が失敗しても、特定のセグメントではその仮説が正しい場合があり、それも重要な発見となります。

例えば、以下のようなセグメントを考慮に入れましょう。

• 新しいビジター
• 再訪者
• iOSやAndroidのビジター
• ChromeやSafariのビジター
• デスクトップやタブレットのビジター
• オーガニックサーチのビジター
• 有料のビジター
• ソーシャルメディアのビジター
• ログインした購入者

テスト結果を分析する際は、単にテストの勝敗を決めるだけでなく、セグメント化したデータから得られる洞察にも注目しましょう。ただ、テストツールがこの分析を自動で行うわけではないため、テストを繰り返し実施しながらそのスキルを磨いていくことが大切です。

A/Bテストをアーカイブする

テスト後に結果を適切にアーカイブすることも大切です。貴重なデータや洞察を失うことを防ぎ、同じテストの繰り返しを避けることができるからです。

データ保存に正しいやり方はありません。Effective Experiments（英語）やExcelなどのツールを使用しても良いですが、始めたばかりのときは、テストの情報を残しやすい自分に合ったツールを選ぶことが大切です。また、どのツールを使っても、以下の情報は必ず入れるようにしましょう。

• テスト済みの仮説
• コントロールとバリエーションのスクリーンショット
• 勝敗の結果
• 分析で得られた洞察

ビジネスが成長するにつれて、このアーカイブが経営者だけでなく、新規スタッフ、コンサルタント、その他利害関係者にとって価値のある情報源となります。

A/Bテストの事例

テクニカル分析などのさまざまな方法でECサイトがうまく機能しているかチェックして、コンバージョン率を改善する手段を見ていきましょう。

テクニカル分析

自分のサイトがどのブラウザやデバイスからでも、正確かつ迅速にアクセスできることを確認します。古いスマホやブラウザを使っているユーザーもいるため、これができていないとコンバージョンに悪影響がでることがあります。

オンサイトアンケート

ウェブサイトを見ているときに表示されるポップアップ形式のアンケート調査のことです。例えば、「購入を迷われている理由は何ですか？」といった質問をすることができます。

顧客インタビュー

顧客と電話や対面で話すことで、なぜ競合店ではなく自分のサイトを選んでくれたのか、どのような問題を解決したかったのかを掘り下げることができます。

顧客アンケート

顧客や顧客の持つ疑問、購入を迷う要素、自社ECサイトを描写する語句の特定を目的として、購入歴のある顧客に本格的なアンケートで多くの質問をします。

アナリティクス分析

アナリティクスツールの設定ミスで誤ったデータの追跡や報告がされていないことを確認したうえで、ビジターの行動を分析します。例えば、ファネルから離脱しやすい場所を特定することで、テストに適したポイントを見つけることができます。

ユーザーテスト

実験のために集めたユーザーに特定の作業（例えば、指定した価格帯のゲームの購入）を依頼し、その様子を観察することで、サイト上での行動や考え方を具体的に理解します。

セッション再生

顧客が実際のサイトを訪れて商品を探すときに、何に苦戦しているかをリアルタイムで観察し、問題点を洗い出します。

他にも調査方法はありますが、まずは適切なA/Bテスト手法選びから始めます。また、複数の手法を実施すれば、データに基づいた価値あるアイデアが得られるはずです。

エキスパートのA/Bテストプロセス

Krista Seiden（KS Digital）

Kristaによると、A/Bテストは、まず最適化の機会を探る分析から始まります。このプロセスの目標は、分析データやリサーチ、UXデータ、顧客インサイトをしっかりと分析することです。次に、分析から得られたアイデアをもとに、潜在的な問題とその解決策について仮説を立てます。その仮説をもとにテストを作成して実行する段階に進む際、最低でも1週間、理想的には2週間のテスト期間を設定し、テスト結果を分析して勝敗を決定します。勝者と敗者の両方を検証することで、今後の改善に必要な洞察が得られます。このデータ基盤ができたら、最後に、カスタマイズを検討します。

Alex Birkett（Omniscient Digital）

Alexが実行している、リサーチ、テスト、分析を繰り返すプロセスの詳細は以下のようになっています。

• データを収集し、分析の精度を確認する
• データを分析し、洞察を得る
• 洞察を仮説に変換する
• 影響力と容易性に基づいて優先順位を付け、リソース（特に技術的なもの）の割り当てを最大化する
• テストを実施する
• 結果を分析し、実行の是非を判断する
• 調査結果に基づいてプロセスを繰り返す

これはCTAのテストなど要素に応じて変更が可能で、あらゆる規模や種類の組織に適用できます。このプロセスを踏むことで、数値化できない顧客フィードバックと分析結果の両方のデータを集め、効果的なテストのアイデアを生成し優先順位を付けて、ECサイトへのトラフィックを増やすことができます。

Peep Laja（CXL）

Peepは、A/Bテストは、リサーチが80%、テストが20%を占めるコンバージョン最適化戦略の一環として行うものだと主張しています。テストの前にコンバージョン調査を行い、優先的に取り組むべき問題を特定することを推奨しており、このプロセスを以下のように説明しています。

1. コンバージョンリサーチを実施
   ResearchXL（ユーザーインサイト特定に有効な調査を可視化したフレームワーク）などを使用して、ウェブサイトの問題を特定します。
2. 優先度の高い問題を選ぶ
   

   多くのユーザーに影響を与えている重大な問題を選び、できるだけ多くの解決策をブレインストーミングします。それからコンバージョンリサーチの情報をもとにアイデアを考え、さらに、テストを行うデバイスを決めます（スマホとデスクトップは別々にテストします）。

3. テストするバリエーションの数を決定
   トラフィックや取引レベルに基づいて、テストするバリエーションの数を決めます。
4. ワイヤーフレームの作成
   バリエーションの詳細をワイヤーフレーム化します（デザインを変更するなど）。変更によってはデザイナーが必要な場合もあります。
5. フロントエンド開発者に実装を依頼
   テストツールにバリエーションを実装してもらい、必要な分析ツール（Google Analyticsなど）を設定し、適切な目標を策定します。
6. テストのQA（品質保証）を実施
   テストがどのブラウザや端末の組み合わせでも正しく動作することを確認します。
7. テスト開始
8. テスト後の分析を実施
9. 結果に応じて次のステップを決定
   勝者を実装する、バリエーションを改良する、または別のテストするのかを決定します。

A/Bテストでよくある間違い

複数の変数をテストすること

複数の変数を同時に比較すると、どの変更が効果をもたらしたのか特定できないことがあります。例えば、ランディングページを最適化したい場合、見出しだけではなく、コールトゥアクション（CTA）テキスト、CTAボタンの色、ヘッダー画像も一緒にテストすると、コンバージョン率が上がったとしても、どの変更がその結果をもたらしたのかわかりません。一度に1つの変数だけなら、変更点と影響の関連性が明確化なので、正確な結果を得ることができます。 

サンプルサイズが不十分

A/Bテストの結果の信頼性はサンプルサイズに大きく依存します。サンプル数が小さいと、違いが偶然によるものかバリエーションの効果なのかを判断するのが難しくなります。

適切なサンプルサイズを決定するには、CASIOが提供するサンプルサイズ計算ツールなどを使って計算しましょう。

短すぎるテスト期間

A/Bテストは、少なくとも1回、理想的には2回のビジネスサイクルで実施してください。統計的有意性に達してもテストを停止せず、あらかじめ設定したサンプルサイズに到達するまで続けることが重要です。また、テストはすべて1週間単位で実施することを忘れないでください。

2回のビジネスサイクルが必要な理由には以下のようなものがあります。

1. 考える時間が必要な購入者がいる
2. 異なるトラフィックソースがある（Facebook、メルマガ、オーガニック検索など）
3. 変則的なものが影響する可能性がある（定期配信のニュースレターなど）

このように、ターゲットのユーザー行動のインサイトを得るには、時間的に2回のビジネスサイクルが必要です。

ユーザーセグメンテーションの見落とし

異なるユーザーセグメントを考慮しないと、結果が一般化されすぎてすべての人に当てはまらない可能性があるので、年齢層、行動、その他の関連要因によるユーザーのセグメント化はとても重要です。例えば、新規ユーザーと既存ユーザーでは効果が異なるため、セグメント化を行わないと重要なユーザーグループを見落とし、テストの信頼性を損なう恐れがあります。

A/Bテストをビジネスで最適化しよう

これでA/Bテストを活用する準備が整いました。まずは、ツールを手に入れて、テストを始めましょう。これによって得られるインサイトが、売上向上につながるはずです。売れるECサイトのデザインや販売サイトの作り方が知りたい方も、ぜひこの記事を参考に、A/Bテストを実施してみてください。

よくある質問

A/Bテストの例は？

例えば、2つの少し異なる商品ページに有料トラフィックを誘導し、どちらのページのコンバージョン率が高いか比較してみましょう。ただし、価値あるインサイトを得るためのページのビジター数は、5,000人以上とされています。

ソーシャルメディアでのA/Bテストの例は？

インスタグラム広告の効果をテストする例があります。2つの異なるメディアを使用した広告バージョンを作成し、どちらがクリック数や売り上げが多いかを分析します。

文：Non Osakabe