検索連動型広告の運用経験がある程度ある方は、おそらく「A/Bテスト」という言葉を耳にしたことがあると思います。簡単に言うと、複数の広告文やリンク先を設定して、どちらの方が効果が高いのかを比較・検証してみる手法のことで、2つのパターンを比較する場合は「A/Bテスト」、3パターン以上を同時に比較する場合には「多変量解析」などと呼ばれることもあります。
ただ、「A/Bテスト」という言葉は知っていても、具体的には広告文やリンク先をどのように設定すればよいのかが分からず、戸惑っている方も多いのではないでしょうか？そこで、先日、Search Marketing Standardというサイトに、A/Bテストの「実施ガイド」ともいえる記事が掲載されていましたので、以下に簡単にご紹介したいと思います。
1. A/Bテストは最低1週間、できれば1ヶ月程度のスパンで実施すること
平日と休日で検索数やクリック率・コンバージョン率が変わることは珍しくありません。また、祝日のある週と無い週、あるいは月初と月末でも、検索ユーザーの動向や競合他社の広告の出稿状況にも変化が生じます。また、日本ならでは要素として、業種や商品によっては、3-4月の年度の変わり目や、8月のお盆休みなども、検索ユーザーの動向には大きな影響を与えることが考えられます。従って、余り短い期間では、A/Bテストを実施しても、それが広告文の違いによるものなのか、それとも、こうした短期的な変動の影響なのかを判別することは難しくなります。
2. 結論を出すまでには、最低300クリック、15コンバージョン以上のサンプル数を集めること
何の統計でもそうですが、余りにサンプル数が少ないと、異なる広告文の間に生じた「差異」が、意味のある差異なのか、単なる誤差なのかが怪しくなってしまいます。ECサイトの場合、コンバージョン率は1%〜3%程度のことが多いので、たとえば、異なる広告文間でコンバージョン率の違いを見ようと思っても、ベースとなるクリック数が300くらい無いと、そもそもコンバージョン自体が発生しない可能性もあるので検証自体が成立しません。
以上をまとめると、A/Bテストを実施するには、一定のサンプル数を集めることが、正しい判断をする上で重要であることが分かります。そうした観点から、更に検索連動型広告の運用上、気をつけるべきポイントを2点ほど追記します。
3. A/Bテストは主要なキーワードに的を絞って、メリハリをつけて実施すること
弊社にコンサルティングのご相談にこられるクライアントさんの過去の運用状況を拝見すると、あらゆる広告グループに対して、A/Bテストを実施しているケースを目にすることがあります。仮に広告グループが30あり、それぞれに2パターンの広告文を出稿した場合、管理すべき広告文は延べ60個にもなります。これだけの数になると、レポートで数値を確認したり、また、キャンペーンの開始・終了やランディングページ側の変更にあわせて、広告文を追加・修正したりするだけでも大変な労力です。
一方、経験上、インプレッションやクリックの80%は、全体の10%未満のキーワードに対してが発生しているケースが殆どですから、一定のサンプル数を効率的に集め、最小の手間と労力で効果を比較・検証するには、インプレッションやクリック数の多いキーワードが登録されている広告グループに対象をしぼってA/Bテストを実施するというのが賢い運用と言えるでしょう。
4. 比較・検証すべき項目を明確に対比させた広告文を用意する
A/Bテストとは、言ってみれば「実験」です。つまり、実験によって、何を検証するのかという「目的」を明確にした上で、AとBとの間には、はっきりとした違いをつけることが肝要です。例えば、スイーツを販売しているサイトについて、「価格の安さ」に訴求した場合と、「XXX賞の受賞歴」に訴求した場合で、クリック率やコンバージョン率の違いを見る、といったことが「A/Bテスト」の目的として考えられます。
一方、「価格の安さ」に訴求した広告文に対して、「割引セール実施中」といった広告文をぶつけた場合には、見た目の文面が違っていても、「価格的なお得感」をアピールしているという点では両者は同じになりますので、A/Bテストを実施しても、明確な差がつかない、つまり「価格的なお得感」を訴求すると、そうでない場合に比べて、クリック率やコンバージョン率の改善につながるのかどうかを検証したことにはならない、ということになってしまいます。
また、複数の広告グループにまたがってA/Bテストを実施する場合、各グループに登録されているキーワードを広告文に含めるために、タイトルや説明文の一部が変わることはやむをえませんが、それ以外の要素（「価格の安さ」vs.「XXX賞の受賞歴」）については、統一しておかないと、比較検討はできません。各グループにあわせて、広告文を「作り込み」過ぎて、比較・検証のポイントが曖昧になってしまわないよう、注意が必要です。
