専門家のヒューリスティックを凌駕！ なぜ入社3日目のインターン生が、CVR2.1倍を実現できたのか？

【写真】弊社内で勤務中のインターン・北村君（慶應義塾大学大学院修士1年・取材当時）

ポップインサイトでは、大学生・大学院生のインターンがおり、それぞれ「ユーザテスト・ユーザ視点」に関連する多様なプロジェクトに取り組んでいます（※2015年当時）。
インターン生の基礎力作りのため、入社後しばらくはユーザテストの運用をお願いすることにしています。 インターンの一人である北村 太久朗君も、入社日から3日かけて簡易的なユーザテスト・レポートの作成を行いました。

彼の作成したレポートに基づいた改善は、対象サイトに「CVR2.1倍」という驚異的な結果をもたらしました。 実務経験のないインターンが、入社後たった3日で、こうした目覚ましい成果を上げられたのはなぜなのでしょうか。

対象サイトと調査背景

調査対象は、弊社の「クラウドサポーター応募窓口」サイトでした。 ポップインサイトは在宅で業務をサポートいただける方を募集しているのですが、最近の案件数増加に伴い、チーム増強を図っています。
こうした背景から、北村君に白羽の矢が立ち、窓口サイトの改善提案をしてもらうことになりました。

用いた手法

対象セグメントは「30-50代の既婚女性で、専業主婦かパート・アルバイトの方」で、人数は3名。標準的な構成の調査です。

調査ボリュームは実際の弊社サービスよりも軽量化し、1調査あたり10-20分程度で完結するよう調整しました。

成果

■改修前（1/21～2/12） ：CVR：約3％

■改修後（2/13～4/1） ：CVR：約6.2%

どのような提案を行ったのか

北村君は優秀なインターンではありますが、テストを活用した提案の経験は一切ない、「普通の優秀な学生」です。 その提案内容も決して突飛なものではありませんでした。主要な部分を以下にご紹介します。

派手≠成果

このように、弊社ユーザテストを土台にした北村君の提案は、「文言調整」レベルのシンプルなものです。 思わず拍子抜けしてしまうとすら感じられるかもしれません。しかしながら、ユーザ意見をシンプルに取り入れただけの提案が「CVR2.1倍」という目覚ましい結果をもたらしました。 ユーザテストで得られるインサイトは時にとても地味です。しかし、その多くは同時に「専門家には思いつけないような」な発見でもあります。

専門家が作ったサイト≠問題のないサイト

代表の池田はヒューリスティック評価（専門家レビュー）の経験者でもありますが、彼は常々、

「ヒューリスティック評価とユーザテストでは得られる気づきの範囲、粒度に差がある。どちらが優れていて、どちらが劣っているというものではない」

と口にします。今回ご紹介したケースも例外ではありません。 池田は事前に対象となるサイトを見ており、様々な課題があることに気付いていましたが、彼の気付きの範囲と、ユーザの気付きの範囲には「かぶらない」部分がありました。

「経験豊富な専門家が作ったページなら問題ない」「専門家に見てもらえばそれで安心」は残念ながら誤りなのです。

社内の自己満足を打ち砕く鬼コーチ、ユーザテスト

専門家が問題なしと評価しても、そのサイトが「100点満点のサイト」であるとは限りません。

例えばお客様や上司など、プロジェクト関係者全員が「OK」といったとしても、そのサイトには改善可能な余地がまだまだ残っている可能性があるのです。

その具体的な事例を取り上げた記事として、「鬼コーチとしてのユーザテストが功を奏した一例」がありますので、ぜひご覧ください。