ユーザビリティテストの基礎【導入から実践のポイントまで】実績20年のスペシャリストから学ぶ｜セミナーダイジェスト

2022年4月21日のウェビナーでは、実績20年のユーザビリティスペシャリスト、ダニエル・クーリー氏にご登壇いただきました。

本セミナーでは、Pfizer・MasterCard・Hyundaiなど名だたる世界企業においてユーザビリティのコンサルティングを提供、ノースイースタン大学プロフェッショナル学部でも教鞭をとられているクーリーさんにユーザビリティテストとは何かという基礎から実践のポイントまでご紹介いただきました。

今回はそのダイジェストをご紹介します。

1 ユーザビリティテストとはなにか
2 ユーザビリティテストを実施する前に理解すべきこと
3 ユーザビリティテストの計画
4 さいごに
5 Q&Aセッション
6 登壇者プロフィール
7 無料ダウンロード

ユーザビリティテストとはなにか

ユーザビリティテストとは、代表的なユーザーを対象にしたテストにより製品やサービスを評価することです。ここで大切なことは「ユーザー」をテストしているのではなく、「製品やサービス」をテストしているということです。

現在では、純粋にUIの操作性のみを検証するユーザビリティテストを実施するということは少なく、またテストという言葉の響きに不安になるユーザーもいるため、より幅広い意味でユーザーの体験をリサーチする「UXリサーチ」という表現を通常使用します。以下ではユーザビリティテストはUXリサーチと同じ意味を指すものとして説明します。

さて、何か目的を達成するためには、適切な調査方法を選択することが重要です。もし、あなたが以下のような質問に対する答えを求めているときは、UXリサーチは良い選択肢といえるでしょう。

参加者はある重要なタスクを達成できるか？
もし達成できる場合、どのくらい効率的にタスクを完了することができるか？
もし達成できない場合、その理由は何か？
製品を操作した後、ユーザーはどの程度満足しているか（または不満に感じているか）？

図1 UXリサーチにおける代表的なリサーチクエスチョンの例 — ▲図1：UXリサーチにおける代表的なリサーチクエスチョンの例

基本的なレベルでは、UXリサーチは非常にシンプルです。参加者は製品やプロトタイプを使用し、関係者はその様子を観察します。関係者が見たり聞いたり、メモを取っている間に参加者がなんらかのタスクを完了するというものです。

ここでの目的は、ユーザビリティの問題点を洗い出し、参観者の製品やプロトタイプへの満足度を把握することです。また、同時に定性・定量データの収集も実施します。

UXリサーチを大きく分類すると、まず「対面式」か「リモート式」に分かれます。また、対面式の場合は、モデレーター（司会進行役）が同室・別室で立ち合い、リモート式については、モデレーターがいる場合とない場合に分かれます。

現在では新型コロナウイルスの影響でよりリモート式が多く採用される傾向にあります。リモート式の場合はUserTestingやLoopといったツールを利用し実施します。こうしたツールでは、タスクが表示された後、参加者は発話しながらタスクを実行します。リサーチャーは後ほどツールによって収集された記録やデータを見ることができるという仕組みです。

UXリサーチは、問題のある領域やデザインの方向性を探る形成的な課題、製品の性能の良し悪しを評価する総括的な課題のどちらにも適用できます。また、背後にある意味や理由を理解する定性的な目的にも、作業時間やエラー率など特定の基準を測定する定量的な目的にも適用できます。

無料DL｜ユーザビリティテストの基本

数あるUXリサーチ手法の中でも最初に始めやすい「ユーザビリティテスト」の「基本的な設計・実査・分析の流れ」と「実施の進め方や注意点」を解説します。

ユーザビリティテストを実施する前に理解すべきこと

さて、こうしたユーザビリティテスト（UXリサーチ）を実施する際、留意しなければならないことがあります。それは「認知バイアス」です。

認知バイアスは非常に多くの種類がありますが、ここでは代表的な3つのバイアスについて説明します。

確証バイアス

確証バイアスとは、人々の既存の信念を確認する情報を求めたり、信じたりする傾向のことです。例えば、ある人が以前になにか悪い体験をしたため、ある会社についてひどく嫌っているという場合、ユーザビリティテストにおいて、たとえその会社の製品が優れているとしても肯定的な発話をするのは難しいでしょう。

確証バイアスを排除する完璧な方法はありませんが、こうしたバイアスがあることをリサーチャー自身が意識し「タスクが自身の仮説を指示するような言い回しになっていないか」「この観察結果には自身の意見とは逆の解釈もあるのではないか」など自問することは有効といえます。

選択バイアス

選択バイアスとは、適切な参加者グループを取得できないことで起きるバイアスです。リサーチに参加しないことを決めた人や参加できなかった人と、参加した人ではなんらかの違いがあることに留意しましょう。

例えば、対面式のリサーチを通常の勤務時間帯に実施する際、会社員などの参加者を見つけるのは難しいでしょう。

選択バイアスを防ぐ方法は、参加者のリクルーティング基準を客観的かつ厳格に設定し、リサーチの参加者が対象とするユーザー全体を代表していることを確認することです。なんらかの理由で適切な参加者を集められない場合は、分析に誤りが生じる可能性があることを念頭においておきましょう。

黙認バイアス

黙認バイアスとは、参加者が好意を得るため、報酬を得るためといった理由のために、インタビュアーが提示するものすべてに対して同意してしまうことです。

例えば、リサーチに参加し、ある製品に対してのタスク遂行に非常に時間がかかって苦労したにも関わらず、最後は報酬を気にして「すばらしい製品でした」と参加者がいう場合があります。

この黙認バイアスを最小限に押えるためには、多くの異なる方法があり、組み合わせて使用することができます。

例えば、参加者が何を言っても問題ないと思えるよう快適に過ごせる環境を提供することがあげられます。そして、セッションの開始時にはっきりと「この調査に関して正解も不正解もない」ことを伝えましょう。あわせて、モデレーターは、タスクの対象となる製品について、デザインも開発も行っておらず、率直な意見を聞きたいだけであると伝えましょう。そして、問題を発見することは、より多くの人々の役に立つことであり、率直であることがポジティブな貢献となることを説明します。セッションが始まる前に、参加者に報酬を渡すことも一つの方法です。また、モデレーターは、結果ではなくプロセスに向けた参加者の努力を褒めるようにすることも大切です。

ユーザビリティテストの計画

さて、ここでユーザービリティテストを計画する際に、便利なツールを紹介します。ユーザビリティテストプランダッシュボードと呼ばれるテストの計画表です。ユーザビリティテストプランダッシュボードは下記の構成要素からなっています。

図6 ユーザビリティテストプランダッシュボード — ▲図6：ユーザビリティテストプランダッシュボード
出典：https://www.userfocus.co.uk/articles/usability_test_plan_dashboard.html

作成者氏名、連絡先、記入日
テストするプロダクト：何をテストするのか、そのプロダクトのビジネスまたはUX上の目的は何か
ビジネスケース：なぜこのテストをするのか、テストをすることで何がベネフィットとなり、テストをしない場合なにがリスクとなるのか
テストの目的：ユーザビリティテストの目的は何か、具体的な質問や検証する仮説はなにか
参加者：何人の参加者をリクルーティングするか、彼らの特性は何か
設備：何か設備は必要か、どのようにデータを録音するか
タスク：テストするタスクはなにか
責任者：だれがテストに参加するか、各自の責任範囲はなにか
場所と日時：いつ、どこでテストをするか、どのように結果を共有するか
手順：メインとなるステップはなにか

例えば「ビジネスケース」では、ステークホルダーの理由付けを整理します。ユーザビリティテストの目的が、収益の創出なのか、コスト削減なのか、または内部効率化やビジョンとの整合性のチェックなのかを確認しておきます。

「テストの目的」では、リサーチクエスチョンを決定しておきましょう。リサーチクエスチョンの例としては、次のようなものがあげれます。

人々はある機能をどの程度理解しているか
プロセスのどの要素がわかりにくいか
ユーザーはどんな疑問を持っているのか
製品に触れて、人々はどれほどの不満を感じているか
人々は、さまざまな価格オプションを理解しているか

また「タスク」では、テストするタスクはなにか、例えば、最も頻繁に起こりそうなことなのか、企業に最も収益をもたらすこと、または戦略的に重要なことなのか、などを整理しておきます。また、具体的にテストをするタイミングや順番も決めておくとよいでしょう。さらに、タスクの言い回しにも注意が必要です。ユーザーにはテストで何を達成するのかを伝えますが、どのように達成するかは伝えないようにしてください。

またユーザビリティテストプランダッシュボードの下部には、セッションのタイムラインがあります。タイムラインでは、ユーザビリティテストの手順と所要時間、また各ステップで何をすべきかを整理しておきます。

図7 ユーザビリティテストのタイムライン — ▲図7：ユーザビリティテストのタイムライン

0～5分　歓迎の言葉・合意書（挨拶、リフレッシュメント、機密保持の説明、録画の許可）
5～10分テスト前のインタビュー（関連性のあるバックグラウンドなど親しみのあるおしゃべり）
10～45分テストタスクの実施
45～50分テスト後のアンケート（SUS、UEQ、NPSなどによる評価（注））　
50～55分テスト後のインタビュー（課題検証およびアンケート回答）
55～60分　報告・報酬支払について

（注）SUS は System Usability Scaleの略、ユーザビリティに関する評価を全体的に把握するためのシンプルな10項目の設問。UEQはUser Experience Questionnaireの略、UXを評価するための26項目または8項目（UEQ-S）の設問。NPS はNet Promoter Scoreの略、顧客ロイヤルティを測る指標。

少し細かくみますと、例えば、冒頭の「歓迎の言葉」では、下記のようなことを参加者に説明します（出典：ブリーフィングのサンプル資料）。

参加に対するお礼
サイトや製品の名称または説明
タスクを説明し考えたことを声に出してもらうようお願いする
注意事項（例：医療、個人情報、デリケートな話題など）がある場合は説明する
録音やプライバシーについて説明する
テストを受けているのではないことを伝える
リサーチャーの役割や目標を説明する
質問を促す
休憩を取ることができることを伝える
間違った答えはないことを伝える

また、進行する際は、下記の点に留意するとよいでしょう（出典：UXPA資料）。

相手を安心させる（ラポールを築く）
沈黙にならないようにする
必要に応じて質問する
- 「それについてもっと教えてください」
- 「”うーん”と話された箇所についてもっと教えてください」
- 「今、何を考えていますか」
- 「その感想はありがたいです(やりとりを褒めるのは避けましょう)」
時間管理に責任をもつ　
必要に応じて方向性を変える、再度焦点を当てる
ヒントの提供は慎重にする

このようにダッシュボードを使って文書化することでステークホルダーやチームメンバーの誰もが理解することができるようになります。

そして、最後に、このようにテスト計画を立てたあと、練習セッションを実施することが重要です。練習セッションで、プロセスやユーザーがわからない箇所がないかを確認してから本番に挑みましょう。

さいごに

テストを実施する際は、法的および倫理的な考慮事項を踏まえる必要があります。テスト参加者からのインフォームドコンセント（説明を受け納得したうえでの同意）が必要です。参加者の個人情報がどのように処理されるのか、テストの記録がどのように保存されるのか、セキュリティに関しても理解しておくことが大切です。

無料DL｜ユーザビリティテストの基本

Q&Aセッション

－－－ユーザーの使うデバイスが従来のPCやモバイルからVR（３D空間での体験）に変わった場合、ユーザビリティの設計やユーザーリサーチ手法へどのような影響が考えられますか？

A：結論から申し上げますと、あまり影響はないと思います。テストの手法は変わらず、本日申し上げたようにバイアスをできるだけ少なくするようにして、適切な参加者を選び、タスクを考えることになります。おそらく一番影響を受けるのは現地でのロジスティクスでしょう。リモートリサーチでするのか、ラボでリサーチするのかによりますが、どのようにカメラで録画するのかなど、ロジスティック上で新たに考慮すべきことが出てくるのではないかと思います。

－－－新人のプラクショナーに見られる最大のミスと、それを避けるためにすべきことは何でしょうか？

A：もっとも重要なのはモデレーターのスキルだと思います。UXリサーチを実施する際には、バイアスをどのように最小化するのかが重要です。例えば、以前モデレーターが「このリストはアルファベット順に並べていますがいいと思いますか」と質問したことがあります。これでは「はい」「いいえ」の答えしかできず、結果としてユーザーを誘導してしまうことになりました。聞き方が違えば、どこが良いのか悪いのかが聞けたり、ユーザーからアルファベット順という視点についても意見を出してもらえたかもしれません。また、先月のテストでは、モデレーターが「どのように小児科の先生を探すのか、どのように予約するのか教えてください」と具体的に実施すべきことを言ってしまいました。こうした誘導をさけるためにも、新人にとってモデレーターのスキルを磨くことは大切だと思います。

－－－ユーザーが期待したタスクを完了できないとき、それは常にアプリの使い勝手が悪いと判断してよいのでしょうか？各調査の結果について、単なるユーザーの好みなのか、アプリの問題なのか、にどのように分析しますか？

A：例えば、参加者のうち1人だけがタスクを完了できない場合はアプリの問題ではなく、2人だったらもしかしたらアプリの問題かもしれない、ほとんどの人が完了できなかったらアプリの問題にちがいないという風に判断します。ただし、1人のユーザーであっても重要だと思われる問題が発生したときは、それを考慮しなければなりません。注目すべきは、ユーザーが何を話しているのかではなく、ユーザーがどのように行動しているかです。

－－－クーリーさんは20年以上にわたってユーザビリティテストに関わっているとのことですが、20年間テストを実施される中で、変わらないポイントは何だと思いますか？

A：この20年において、AR、VR、IoTなど製品は大きな変化を遂げてきましたが、人々の行動というのは変化していません。ただ、近年では、デジタルプロダクトが増えUXが改善される中で、使い勝手の悪い製品への人々の寛容性は減ってきていると感じています。

－－－確証バイアスを防ぐ方法について質問です。先ほど、意見収集の際は、仮説を立てる際にユーザーを誘導していく方法を考えていく、とのことでしたが、その際に確証バイアスがかかってしまっているのではと思います。どのように防ぐ工夫をされていますか？

A：これは難しい課題だと思います。どのように防ぐかというよりは、バイアスが含まれていないか注視することだと思います。自分自身で、タスク設問や、プロトタイプデザイン、結果の導出について、だれが見ても結果が同じであるようになっているかを確認することが大切です。

－－－会社にユーザーテストの価値を示すことがあるのですが、高いレベルの幹部は、テストの結果に関係なく最終決定権を持つことを好むかもしれません。このような方々にテストの価値を納得させるための推奨フォーマットやヒントがあれば教えてください。

A：こうした幹部の方々にもテストに参加してもらうことが一番効果的だと思います。

－－－定性的な手法をユーザビリティテストに適用する場合、グループディスカッションと1on1インタビューでは、どちらのほうが有効なのでしょうか？

A：1on1インタビューのほうが有効です。というのも、私たちは人々の行動を見ることが目的ですが、現在は製品は1人で使う傾向が強いからです。グループで調査すると他の参加者の影響を受けてしまうため、普段使用している状況をできるかぎり再現することが効果的といえます。

登壇者プロフィール

ダニエル・クーリーDanielle Cooley

DGCooley & Co./Owner and Principal
Northeastern University/Lecturer

LinkedIn,Twitter

これまで20年以上にわたり、ハードウェア、医療機器、Windows、Web、電話、モバイルなど、さまざまな製品におけるUXリサーチとデザインテクニックの分野で活躍、ノースイースタン大学プロフェッショナル学部でも教鞭をとっています。ユーザビリティスペシャリストとしてPfizer、MasterCard International、Hyundai、Enterprise Rent-a-Car、Fidelity Investments、Gracoなど名だたる世界企業にサービスを提供してきました。また、過去には米国UXPA（ユーザー・エクスペリエンス・プロフェッショナルズ・アソシエーション）の国際会議委員長も務めました。

ヴァンダービルト大学で生物医学と電気工学の学士号を、ベントレー大学で情報デザインにおける人間工学の修士号を取得し、2009年からUXリサーチと戦略のコンサルティングを独自に実施しています。