Optimizely創業者に学ぶ、ABテストの成功を阻む3つのハードルと対応方法
最近、Optimizely、KAIZEN platform、DLPOなどのABテストツールが注目を集めています。一部の先進企業では、DMPによるセグメンテーション等のさらに高度な仕組みが注目されています。
しかし実際に様々なWebマーケティング現場で話を伺うと、一部のネットベンチャーやWebコンサル会社を除き、このツールを有効活用しきれていないケースがまだまだあるようです。なぜでしょうか？
目次
「何をテストすべきか」が一番難しい
2014年8月に、元Googleのプロダクト･マネージャーでOptimizely創業者のダン・シロカー氏の著書「A/B Testing」の和訳版が発売されました。
同氏は、オバマ大統領のネット選挙において、徹底したABテストによる改善で5700万ドルの寄付金増額に貢献したことで有名です。
この書籍内で、シロカー氏は『ABテストにおける最大の難関は、そもそもを「なにをテストすべきか」を決めること』と指摘しています。
成功のための5つのステップの定義を確認してみましょう。
- ステップ1 成功とはなにかを明確にする
- ステップ2 ボトルネックを突き止める
- ステップ3 仮説を立てる
- ステップ4 優先順位をつける
- ステップ5 テストを実施する（テストパターンを実装する）
OptimizelyやKAIZEN platform等のツールの価値は「ステップ5 テストを実施する」の簡略化にあります。
いかに簡略化のツールが広まっても、それ以外の本質的な部分は、Webマーケター（またはコンサルタント）が自らの頭で考える必要があるのです。
ABテストの実施･成功に至らない原因は、その部分の難しさにあるのではないでしょうか。
5つのステップのどこで詰まってしまうのか？
上記の5つのステップで、実際に現場レベルで難しいのはどこかを考察します。
ステップ1 成功とはなにかを明確にする：◎容易
コーポレートサイトなどの存在定義が難しいサイトを除くと、購入･会員登録などの成功は明確です。
そもそも、成功が明確でないサイトはまずはKPI策定や戦略策定を行うべきで、それを飛ばしてABテストを行うことは稀であることを考えると、このステップはそれほど困難ではないでしょう。
ステップ2 ボトルネックを突き止める：○シンプルなアクセス解析で対応可
ABテストにおけるボトルネックは、「ボリュームが大きく（※）、離脱が大きい箇所はどこか」ということです。
アクセス解析ツールで、PV･UUが多い順にページを並べ、その中で特に直帰率･離脱率が高いページを選べば良いだけです。ほとんどの場合、トップページ、商品一覧･詳細ページ、広告用ランディングページとなります。
実際の導線分析を行うと、フォームフロー内のページのように、他ページとくらべてボリュームは小さくても、コンバージョンの必須プロセスであるがゆえにボトルネックになっていうるページもありますが、ボリュームが小さいとABテストは実施できないため、除外して考えて良いでしょう（フォームは、EFOツールを入れるだけでも、それなりに改善します）。
ステップ3 仮説を立てる：△心理データがないと難しい
ページが特定できたとして、何が問題で直帰･離脱になっているのか？ 「なぜGoogleアナリティクスを使っても、改善に繋がらないのか？」でも指摘した通り、ここを捉えるにはユーザ心理･行動パターンを理解する必要があります。
ほとんどの場合は、そこまで踏み込むことが出来ていないケースが多いため、ここがABテストの課題を阻む大きな課題の1つと言えそうです。
ステップ4 優先順位をつける：△社内説得が大変
いくつかの施策アイデアがある時に、自分の主観･直感で「このアイデアでいこう」と決めるのはそれほど難しくありません。しかし現実的には、社内･クライアントに対して、どのアイデアを行うべきかを説明する責任が発生します。
ABテストを行う前に「どのアイデアが正しいか」「現行に対して本当に上がるか」を説明するのは非常に難しく、「そのパターンにして、数値下がったらどうするの？」という指摘に対し、試す前に回答するのは容易ではありません。ここも課題の1つと言えそうです。
最近のツールは、数値が悪いパターンの表示を徐々に減らし、数値が良いパターンを増やす「傾斜」機能があるため、これを活用して「悪いものが自動的に消えるので、数値は悪化しない」と提案を行うのも1つの手です。しかし冷静に考えれば、全パターンの数値が低いければ悪いものの数値を埋め合わせることができず、トータルで数値が下がることは起こりえるため、それだけで完全な納得を得ることはやや苦しいのが現状のようです。
ステップ5 テストを実施する（テストパターンを実装する）：△面倒
OptimizelyやKAIZEN platformは、ブラウザ上で画面を編集できる機能（WYGIWYG）がツールの売りの1つですが、実はツールを使いこなすのはそれほど簡単ではありません。
本来は、Webマーケター（テスト企画者）が自らの手でツールを使いこなせるのが理想ですが、テスト用のデザイン案･HTMLデザインを作るためには「マーケティングスキルがありデザインの心得があるエンジニア」という二物･三物を備えた人材が必要となってしまいます。そのため、現実的には企画者以外の人間（コーダーやエンジニア）に依頼せざるを得ないのが現状です。ここも課題の1つです。
ABテスト実施の3つのハードル
ダンシロカーの5つのステップについてざっと考察してきましたが、現在のABテスト実施の課題は、
- 仮説立案力
- 優先順位の説明力
- テストパターン実装力
の3つに集約されそうです。
ここからは、この3つのハードルに対して、実践的な改善策を提案したいと思います。
仮説立案力と説明力はリモート･ユーザテストで担保
ユーザテストを行うと、ユーザ心理レベルでの仮説を思いつくのはもちろんですが、「テスト動画」という強力な説得材料が手元に残ります。
定量性は弱いですが、動画を見せながら「この動き･不安を改善するためのパターンです」と説明することで、徒手空拳で議論するよりは遥かに説得力が増します。
大企業でのABテスト実施など、予算に余裕があり社内説得ハードルが高い場合は、説明材料として簡易的な定量アンケートを実施することもありえるでしょう。しかし、ほとんどのケースでは、定量アンケートをする程の予算はないと思いますし、そこでコストをかけるぐらいならABテストを早く回した方が費用対効果は圧倒的に高いと思います。
ユーザテストを本格的に行うと非常に手間･コストがかかりますが、リモートユーザテストなら１回数万~10万程度で実施できるので、予算感としても十分に見合うと思います。
海外のWebマーケターは、このフェーズでUsertesting.comというリモート･ユーザテストサービスをよく利用しています。また合わせて、ユーザテストよりも簡易的に仮説を得る方法として、qualarooなどのアンケートツールを実際のサイト訪問者に対してサイト上で提示し自由記述の回答を得る手法もよく使われています。
テストパターン実装はPowerPoint＆画像配置で
テストパターン実装において、私がよくやる方法は、PowerPointで改善案を作って画像化し、その画像を貼り付ける方法です。
OptimizelyしかりKAIZEN platformしかり、なまじエディタを使って本格的にHTMLを編集しにかかると、予想外にレイアウトが崩れたりエラーがでたりして面倒な思いをすることがままあります。しかし、「画像の追加」「画像の変更」は容易です。
そこで、無理にHTMLを作ることは諦め、文字･レイアウト・アイコンなど全てをPowerPointで作ってしまい、画像化して貼り付けることで、誰でも簡単にテストパターン実装できます。
「デザイン的にどうなの？」「画像で作ると重くないの？」など、気になる点もあると思いますが、テストで大事なのは「仮説が正しいか」早く検証することで、テストで成果が出たことが判明したら、その後にデザイナー・コーダーにちゃんと作り直してもらえばいいのです。
ということで、「まずはユーザテストを」といういつもの結論になりますが、ユーザテストとABテストも非常に相性が良い組み合わせです。
データアーティストの成功事例を見るまでもなく、ユーザテストとABテストは劇的に相性のよい組み合わせです。「ABテストを活用して運用改善力を高めたい」「既にABテストを使ってるが、いまいち成果が出ていない」という企業様は、ぜひぜひお気軽にご相談ください。
無料DL｜「もう打ち手がない」ときのUXリサーチ～調査手法の効果的な選び方～
「Webサイトやサービス改善したいが、効果的な打ち手がなく悩んでいる」方に、解決手段の一つとしてのUXリサーチの調査手法の選び方をお伝えします。