成果を出すためのABテストの方法～やみくもにA/Bテストを連発してはいけない3つの理由

先日、宣伝会議社より『マーケッターとデータサイエンティストが語る　売れるロジックの見つけ方』が発売されました。

書籍内では「リモートユーザテスト」がLPO、ランディングページを改善するうえでの必須ツールとして位置づけられており、そのロジックも非常に説得力、示唆に富むものでしたので、以下で関連個所を簡単に紹介させていただければと思います。
なお、大変光栄なことに、こちらの書籍では「安価でありつつ最も高品質」なリモートユーザテスト提供企業として弊社をご紹介いただいておりました。

この場を借りて本書の共著者であるデータアーティスト株式会社代表取締役社長の山本覚様に深く御礼申し上げます。
（なお、以降本記事では「山本氏」とさせていただきます。ご了承ください。）

1 LPOにマニュアルは存在しえない
2 LPO施策に仮説構築が欠かせない3つの理由
3 仮説構築とユーザテスト
4 より身近になったユーザテスト
5 リモートユーザテストで気を付けなければならないこと
6 ポップインサイトのリモートユーザテストは「最も安価で高品質」

LPOにマニュアルは存在しえない

LPを含む広告制作物は、制作者の感性に任せて「個性的、創造的」なやり方で作り上げられると思われがちです。

AさんのデザインしたLPは効果が高いようだ、Bさんのはそうでもない、のようにその成果が属人化しているケースもまだまだ散見されるといってよいでしょう。

そのような状況、認識に対し、山本氏は「否」を叩きつけます。

「効果の測定技術、ユーザの特定技術がいかに進歩したとしても、テストの対象、ターゲティングの対象となるクリエイティブがそもそも魅力的でないのであれば意味がありません。（中略）いかにして効果の上がるクリエイティブを作るのか、といったことまでを含んだLPOが求められます。ただし、それらの制作ノウハウが個人に拠ったものであれば、結局スケールする（ビジネスの規模を拡大する）ことはかないません。」(同書引用、下線強調は弊社)

しかしながら、「スケール化」はまさに言うは易し行うは難しの世界です。属人化の解消といえばまずマニュアルの策定が思い浮かびますが、この考えもNGとして退けられます。

「スケールするための方法としてまず考えられるのは、クリエイティブに関するマニュアルを作ることですが、私はそれが適切な方法だとは考えていません。（中略）実際にLPOの現場でクリエイティブを決定する際には『○○業界の○○社においては、○○のような内容を○○のようなアプローチで伝えるために○○のようなクリエイティブにすべき』というような粒度までが求められます。この粒度のノウハウをすべて事前に用意することは現実的ではありません。」(同書引用、下線強調は弊社)

ケースごとに全く異なる背景を考慮に入れなければならないLPOのプロセスにおいて、マニュアルのような画一的な手法は「圧倒的に粒度が粗い」のです。

この苦境を打開する方法として山本氏は「仮説構築のフレームワーク」が有効と説きます。

ではなぜ仮説構築が効果の高いLPO施策のスケール化を可能にするのでしょうか。逆に、なぜ仮説構築のないLPO施策はスケール化が難しいのでしょうか。

LPO施策に仮説構築が欠かせない3つの理由

山本氏はその理由を3つの角度から説明します。

１．実施期間中のパフォーマンス低下リスク
→仮説に基づかず、特定の狙いを持たない「がむしゃらに作られたクリエイティブ」はページの全体感を損ねるなど、ネガティブな影響を及ぼす可能性が低くありません。
2．効果の確認に時間がかかるリスク
→「数うちゃ当たる」の考え方では当然「多くの数を試す」必要があり、効果が出るまで時間がかかる、最悪効果が出ないことも考えられます。その間に競合に水をあけられてしまう可能性もあります。
3．知見が蓄積されないリスク
→思いつきで作られた広告制作物は「対症療法の集合体」です。仮に良い結果が出せたとしても、その原因はわからないままで、別のケースに活かせません。また、知見をメンバー間で共有できない結果、属人化を脱することも難しいままとなります。

上記の理由から、仮説構築を欠くLPO施策の弱点がはっきり浮かび上がってきます。

仮説構築とユーザテスト

山本氏によれば、仮説構築は「誰に」「何を」「どのように」の3つの大分類から成っています。この中で、特に「何を」の部分、つまり「顧客は何を考えているのか」「業界、商品への希望・不安は何か」といった顧客の心理的要素に関わる部分はユーザテストでなければ読み解けません。

山本氏の表現を借りれば「ユーザ行動調査は行動時の心理状態が実測できる現状唯一の方法」となります。

しかし、他の調査手法ではなぜ心理状態をつまびらかにすることができないのでしょうか。

「例えばネットリサーチであれば、ウェブから離れたところで何を考えているかの調査はできても、ウェブ上でも実際に同じ心理状態になっている保証はありません。またアクセス解析であれば、人がどのように行動しているかは実測できても、その際に何を考えているのかは分かりません。いずれにしても、現場の声をきちんと反映しているとはいい難い状況でした。」(同書引用)

現物を目の前にしたときのフレッシュかつリアルな心理状態を、現場で取得できるのはユーザテストだけなのです。逆に、質の高いユーザテストでユーザのインサイトを掬い上げることができれば、顧客の心に刺さる的確なメッセージの発信に限りなく近づくことができます。

「ユーザのインサイトが分かればメッセージの決定はほぼ一本道です。」(同書引用)

より身近になったユーザテスト

このように、仮説構築に欠かすことのできないユーザテストですが、少し前までは非常に値の張るものでした。しかし、日本国内でも弊社を先駆けとし、リモートユーザテストが普及してきたことで、いわゆる価格破壊が起こりつつあります。

従来型のユーザテストは専門の「モデレータ」がユーザのそばにつきっきりで調査を進めなくてはならず、また高価な専用施設、設備も必要だったのに対し、ユーザが自宅で調査を行うリモートユーザテストではそのいずれもが不要です。

結果としてリモートユーザテストは従来型ユーザテストのおよそ10分の1（以下）の価格で利用でき、いまやユーザテストの相場自体が大きくかわりつつあると言っても間違いではないでしょう。

これはLPO施策のみならず、ウェブ制作を行う企業全体にとって大きな福音です。

リモートユーザテストで気を付けなければならないこと

しかし、価格低下の裏で気を付けなければならないこともいくつかあります。その中でも最も重要なものは「リモートユーザテストを行ったが、UIレベルの表面的な発見ばかりで、心理に関わるインサイトが得られない」ことでしょう。

従来型のユーザテストでは、充実した調査環境に加え、専門の「モデレータ」が付き添いますから、ユーザの心理状態を得ることはそれほど難しくありませんでした。

リモートユーザテストでも、綿密な調査設計、適切なリクルーティング（調査に合ったユーザを選び、調査に割り当てること）、そしてユーザの行動文脈に沿った状況設定を行えばユーザの心理、インサイトを深いところまで掘り起こすことができます。

しかしながら、残念なことに、リモートユーザテストを提供するベンダーの中には「綿密な調査設計」「適切なリクルーティング」「行動文脈に沿った状況設定」を準備できないままテストを提供している企業も少なくないようです。

つい先日も弊社のお客様よりこのような声をいただきました。

「今回のポップインサイトさんのユーザテスト・レポートは、本当に喜んでもらえました。実はクライアント企業様にとっては今回が2回目のユーザテストだったのですが、前回のテストではユーザ心理、インサイトがまったく得られなかったので、正直期待していなかったんだそうです。ポップインサイトさんの調査は、期待していたレベルのインサイトを豊富に取得できていて、素晴らしいとのことでした」

このお客様の声は、「リモートユーザテストでも満足いくインサイトを引き出せる」と「リモートユーザテストはしっかり行わないと表面的な発見にしかつながらない」という表裏一体の2つの事実を表しています。

一言にリモートユーザテストといっても、その品質は従来型に比肩するレベルのものから、ただのデバッグ同然のものまで、千差万別なのです。