リスティング広告の費用対効果を改善するためには、定期的に色々な「テスト」を行い、キーワードや広告グループ、そしてリンク先となるランディングページについて、どのような内容や組合せが、最もコンバージョンにつながりやすいのか、といったことを検証することも必要となります。
こうしたテストでは、一定の期間や範囲の中から得られた「サンプル」となるデータを分析することで、全体の動向を捉える捉えることを目的としています。例えば、あるキーワードを検索したユーザーを、一定期間、メッセージやレイアウトが異なる2つのランディングページに誘導してみて、検索ユーザーをどちらのページに誘導した方が、より購入や申し込みにつながりやすいのかを検証するといった具合です。
しかし、取り出す「サンプル」に、何か大きな偏りがあると、そこで得られた結果には、検索ユーザー全体の行動を説明するに足りる普遍性があるのか、それとも特定の条件下でしか起こらないことなのかが分からなくなってしまいます。
情報処理の世界で「GIGO」という言葉あるのをご存じでしょうか？これは”Garbage in, Garbage out.”の頭文字を取ったもので、直訳すると、「ゴミを入れれば、ゴミしか出てこない」、つまり「いくらプログラム自体に誤りが無くとも、入力するデータが誤っていれば、出力されるデータに価値は無くなる」ということを指しています。
この問題について、8月に米国で開催されたSESでLPOに関するセッションを担当していたTim Ash氏が、米国のネットマーケティングに関する情報サイト”ClickZ”に最近寄稿した記事がありますので、本ブログの読者のみなさんには、その要点を簡単にご紹介したいと思います。なお、原文（英語）をご覧になりたい方は、こちらから。
ランディングページの効果を比較・検証する際に、特に大事なことは以下の3点に要約されます。
1. 再現性のある環境下でテストを実施すること
アクセス解析のデータなどを見れば、みなさんのサイトに来訪するユーザーの属性や流入元については、一定のパターンがあることが分かるはずです。例えば、新規ユーザーとリピートユーザーの比率や、流入元となっている検索エンジン、直帰率や平均ページビュー数などは、季節や曜日によって多少の変動はあっても、1〜2週間のスパンで見れば、そのパターンには再現性があるので、事前に予測を立てることは、それほど難しくはないでしょう。
一方で、みなさんの商品やサービスについて、割引や送料無料などのキャンペーンをメルマガで大々的に告知した後には、来訪者数が急増したり、サイト内での行動パターンが大きく変わるといったことを経験された方も多いと思いますが、こうした変動は一時的で再現性がないため、この先、何が起こるのかを事前に予測することは難しくなります。こうした状態の中でテストを行い、仮にコンバージョン率が上昇あるいは低下したとしても、そうしたデータは余り参考にはなりません。
テストを行うのであれば、できるだけ、大きなセールやプロモーションが予定されている時期は避け、再現性のある環境下でデータを収集・検証することで、より普遍的なデータを取得することが可能となります。
2. 制御できる環境下のデータを中心に検証すること
一般的には、リスティング広告をはじめとする広告については、掲載の頻度や場所、使用するメッセージやリンク先などを相当程度、管理・制御することができます。一方で、自然検索からの流入については、検索エンジン側のアルゴリズムや競合環境の変化などによって、ある日突然、掲載順位やリンク先が変わったりすることも珍しくありません。
その結果、例えば、自然検索からの流入数が乱高下し、広告経由での流入数とのバランスが大きく変化した場合、全体的なコンバージョンにも大きな影響が及ぶ可能性がありますが、そうした変化が、テストによるものなのかどうかを判別することは非常に難しくなります。
従って、テストを行う場合、その対象には、リスティング広告からの流入など、ある程度、制御が可能な環境下で発生したデータを中心に検証していくことが望ましいと言えます。
3. テストが実施されたのは「平時」かどうか
仮に1と2の条件を満たしていたとしても、テストを実施されていた時期が、本当に「平時」と呼べる状態にあったかどうかを確認した上で、テスト結果を検証することが必要です。自分自身は何も変えていないつもりでも、競合他社の動きや天候・季節要素などの外部要因によって、実際には大きな影響を受けてしまっている可能性もあります。また、自社の商品やサービスがメディアで取り上げられるといったことも、もちろん「グッドニュース」ではありますが、そうした直後にテストを実施することはお薦めできません。
テスト結果の検証にあたっては、こうした外部要因の「ノイズ」が含まれていないかどうかを慎重に見極めることも必要です。
（by Rod Hiroto Izumi, Founder & Co-CEO, Le Grand）
Follow @rod_izumi
