アンケートの選択肢はどの順番に並べる?回答への影響を点検する
顧客アンケートで「最も改善してほしいこと」を尋ねるとき、選択肢の順番を何となく決めていませんか。同じ項目を示しても、最初に置くか最後に置くかで、選ばれる割合が変わる場合があります。ただし、すべての選択肢を無作為に並べ替えればよいわけでもありません。
商品やサービスへの要望のように、決まった順番がない項目は、回答者ごとに順番を変えることを検討します。一方、満足度や利用頻度など、順番が意味を持つ項目は、自然に理解できる順序を保ちます。アンケートを取る前に、この違いを確かめることが重要です。
最初に置いた選択肢が、選ばれやすくなるのはなぜか
例えば、架空のネットショップで「最も改善してほしいことを一つ選んでください」と尋ねるとします。「配送料」「配送の速さ」「商品の説明」「注文手続き」を並べ、配送料が最多になったとしても、その結果だけでは、配送料が最も大きな問題なのか、最初に見たことで選ばれやすかったのかを区別できません。これは仕組みを考えるための仮の場面です。
回答する人は、すべての候補を同じ時間だけ見て、同じ深さで比較するとは限りません。最初の候補を詳しく検討し、後の候補を十分に読まない場合もあれば、すべて読んだ後で選ぶ場合もあります。この違いは、回答者の性格だと決めつけず、質問の見せ方と合わせて確かめます。
目で読むアンケートでは、上にある候補に注意が向く場合がある
KrosnickとAlwin(1987)は、1984年の米国の社会調査で、子どもに身に付けてほしい資質などの回答候補の順番を変える実験を分析しました。先に示された候補が選ばれやすい傾向が確認され、研究で測定した認知的な処理能力に関する指標によって、その傾向の強さにも違いがありました。ただし、現代の日本の顧客アンケートで同じ大きさの影響があると示した研究ではありません。
Galesicら(2008)は、Webアンケートの回答者がどこを見ているかを視線の記録で調べました。4つの質問について、回答候補の順番を無作為に逆転した条件を比べたところ、選択肢の内容にかかわらず、上側の候補に長く目を向ける傾向が見られました。候補の上側を選ぶ回答とも関係しており、後の選択肢を読み飛ばす場合と、読んでいても上側の候補をより詳しく考える場合の両方が指摘されました。
さらに、Pew Research Center(2019)が分析した過去のオンライン調査では、人物の特徴を選ぶ質問で、選択肢の表示順は回答者ごとに異なり、最初に表示された項目を選んだ人は57%、最後に表示された項目を選んだ人は42%でした。15ポイントの違いがあったという結果ですが、これは特定の質問と回答形式についての結果です。あらゆるアンケートに同じ差が生じるわけではありません。
最初に見た情報が印象に影響する仕組みについては初頭効果の解説も参考になります。ただし、アンケートでの回答順による影響を一つの心理だけで説明できるとは限りません。
電話で順番に読み上げる場合は、後半が選ばれやすいこともある
Webや紙では回答候補を見比べられますが、電話調査では一つずつ聞いて記憶しながら選びます。Pew Research Centerの質問票作成ガイドは、電話で聞く調査では後から読み上げた選択肢が選ばれやすく、回答者自身が読む調査では最初の候補が選ばれやすい傾向を紹介しています。
いずれも必ず起こる現象ではありません。電話からWebに変更したときなどは、顧客の考えが変わったのか、質問の示し方が変わったためか、分けて確認する必要があります。
どの回答は並べ替え、どの回答は順番を保つか
判断の分かれ目は、項目そのものに、大小・強弱・時間の順序があるかです。次の例は実務上の説明用であり、実際のアンケートでは用途に合わせて調整します。
| 何を尋ねるか | 選択肢の例 | 順番の考え方 |
|---|---|---|
| 最も改善してほしい点 | 配送料/配送の速さ/商品説明/注文手続き | 決まった順番がないため、回答者ごとの並び替えを検討 |
| 最も役立った機能 | 検索/通知/履歴/データ出力 | 特定の機能が常に上側にならないようにする |
| 満足度 | とても満足/やや満足/どちらでもない/やや不満/とても不満 | 程度が分かる順序を維持する |
| 利用回数 | 0回/1〜2回/3〜5回/6回以上 | 数値が増える順など、意味が通る並びを維持する |
Pew Research Centerのガイドも、満足度のように高低がある回答は通常、無作為に並べ替えないとしています。尺度全体を逆向きに提示する版と比べる方法はありますが、「とても満足」「とても不満」「やや満足」のように順序をばらばらにすると、かえって意味を捉えにくくなります。
「その他(自由記述)」「該当しない」「分からない」は、通常の改善項目と区別して、見つけやすく意味が伝わる位置を検討します。どの項目を固定したかを記録し、選択肢の重複や不足も点検します。順序を直しても、顧客が答えたい内容が選択肢になければ、適切な回答は得られません。
また「一つ選ぶ」か「当てはまるものすべてを選ぶ」かでも、回答は変わります。Pew Research Center(2019)の米国成人4,581人への無作為化実験では、好ましくない経験について、一つずつ「ある・ない」を答える形式の方が、複数項目をまとめてチェックする形式よりも、経験ありの回答割合が平均8ポイント高くなりました。一方、どちらの形式が順序の影響を受けやすいかについては、分析結果が一様ではありませんでした。並び順の比較をしたいなら、回答形式まで同時に変えないようにします。実験と追加分析の公式報告
順番による違いを、どんな比較で確かめるか
質問文と回答内容を変えずに、順番だけを変えたA版とB版を、比較可能な回答者へ無作為に割り当てる方法があります。例えば4つの改善項目を正順と逆順にし、同じ顧客層に同じ時期に回答してもらいます。
以下はすべて説明用に作った架空の集計で、各版100人が回答したと仮定しています。実在の調査や研究で得られた数字ではありません。
| 最も改善してほしい点 | A版:位置/選択人数 | B版:位置/選択人数 |
|---|---|---|
| 配送料 | 1番目/38人 | 4番目/24人 |
| 配送の速さ | 2番目/25人 | 3番目/26人 |
| 商品の説明 | 3番目/22人 | 2番目/25人 |
| 注文手続き | 4番目/15人 | 1番目/25人 |
| 合計 | 100人 | 100人 |
配送料は最初にあるA版で38%、最後にあるB版で24%の人が選び、差は14ポイントです。この違いは順番が関係した可能性を考えるきっかけになります。ただし、この仮の100人ずつの集計だけで、順番が原因だと確定できるわけではありません。無作為割り当てができていたか、偶然のばらつきや画面の違いがないかを確認します。
また、スマートフォンでは選択肢の下側がスクロールしないと見えないことがあります。画面の大きさや配置も確認しないと、位置による見やすさと回答者の希望を混同する可能性があります。
調査前と報告時に、何を確認するか
次は研究と調査機関の方法を参考にした実務上の提案で、この手順で回答の偏りが必ず解消すると研究が直接示したわけではありません。
- まず質問の目的と回答形式を決める。 「一番困ったこと」を尋ねるのか「困ったことすべて」を尋ねるのかで、集計の意味が変わります。質問文と候補の表現も、比較する間はそろえます。
- 入れ替える候補と、順序を維持する候補を決める。 改善項目や機能名は順序変更を検討します。満足度や回数は自然な順を保ちます。「その他」や「該当なし」をどこに置くかも事前に決めます。
- 回答内容と表示位置を別々に記録する。 各項目に同じ管理用IDを付け、誰に何番目で表示したかも残します。選択肢の位置を項目名として集計すると、異なる内容を一緒に数えてしまいます。
- 回答画面で試す。 スマートフォンで最後の選択肢まで見えるか、操作しにくくないかを確認します。電話調査なら、読み上げの手順や選択肢の数も確認します。
- 結果を項目別と表示位置別に比べる。 先頭の候補が多い場合でも、回答者数、割り当て方法、内容の違いを確認し、すぐに順序の影響と断定しません。
- 過去のアンケートと比較する場合は、方法の変更を明示する。 前年は固定順、今年は無作為化という違いがあるなら、割合の変化には調査方法が関係している可能性があります。
例えば「配送料が最多の不満でした」と報告するなら、「配送料は全員に最初に見せていなかったか」「表示位置を変えても同じ傾向があるか」「問い合わせ記録などでも困りごとが見られるか」を確かめます。選択肢を並べる目的は、特定の回答を選ばせることではなく、顧客が伝えたいことをできるだけ正しく受け取ることです。
参考文献・出典
- Krosnick, J. A., & Alwin, D. F.(1987)「An Evaluation of a Cognitive Theory of Response-Order Effects in Survey Measurement」Public Opinion Quarterly, 51(2), 201–219。米国の社会調査で選択肢の順番を変えた研究。出版社・大学公開の要旨を確認。
- Galesic, M., Tourangeau, R., Couper, M. P., & Conrad, F. G.(2008)「Eye-Tracking Data: New Insights on Response Order Effects and Other Cognitive Shortcuts in Survey Responding」Public Opinion Quarterly, 72(5), 892–913。Web調査における視線の動きと回答順の実験。出版社公開の原著本文とPubMed要旨を確認。
- Lau, A., & Kennedy, C.(2019)「When Online Survey Respondents Only ‘Select Some That Apply’」Pew Research Center。回答形式の無作為化実験と選択肢の位置による回答差の分析。公式レポート本文を確認。
- Pew Research Center(公開年未確認)「Writing Survey Questions」。調査方法別の順序効果、選択肢の無作為化、順序のある尺度の扱いを説明する公式資料。公開本文を確認。