ビジネススクロール
仕事のヒントを、ひもとく。

質問の聞き方で顧客満足度の回答は変わる？アンケートを比較する前の確認

マーケティング・集客
Psychology Laws 編集部

「顧客満足度が前回より上がった」と報告する前に、アンケートの質問文と回答の選択肢が同じだったかを確認する必要があります。顧客の体験が変わらなくても、質問の言い方、選択肢の並び、直前の質問によって回答の分布が変わる場合があるからです。

比較の出発点は、前回と今回の調査票を並べることです。何を聞いたか、どう答えてもらったか、誰にいつ聞いたかを確かめ、条件が違う部分を「顧客の満足度が変化した証拠」として扱わないようにします。

質問の言い方や順番は、満足度の回答にどう影響するのか

例えば、利用後アンケートで「今回のサポート対応全体にどの程度満足しましたか」と聞く場合と、「スタッフの親切な対応にどの程度満足しましたか」と聞く場合を考えます。これは説明用の仮の例です。後者は「親切さ」に目を向ける質問で、そもそも評価の対象が前者と同じではありません。両者の回答を同じ満足度の数値として並べると、実際の評価の変化と、測っている内容の違いを区別できなくなります。

また、評価対象を変えなくても、質問の中で「満足」と「不満」をどちらから言うか、回答欄にどちらを先に並べるかによって違いが出ることがあります。回答者が質問を解釈するとき、最初に示された言葉や、直前に思い浮かべた話題が判断の手がかりになる可能性があるためです。ただし、どちらの並べ方なら必ず高い点になるという意味ではありません。

満足・不満の順序を変えた研究

Smythら（2019）は、自分で記入する形式の調査で、満足・不満を尋ねる８つの項目について、質問文に「満足」「不満」を置く順序と、回答選択肢の並び順を実験的に変えました。回答選択肢の順序が回答に影響する結果が一貫して見られ、質問文での「満足」「不満」の順序も８項目のうち４項目で回答の分布に影響しました。一方、質問文の順序が回答選択肢の順序による効果をさらに変えるという結果は確認されませんでした。

Van de WalleとVan Ryzin（2011）は、住民が地域の公共サービスを評価する調査で、質問の順序が違う調査票を比較しました。公共サービスごとの満足度と総合的な満足度の双方に質問順序の影響が見られ、個別項目の評価と総合満足度の関連の強さも順序に敏感でした。「何が総合満足度に関係しているか」という読み取りまで変わり得ることを示す結果です。

これらは、調査票の形式や公共サービスに関する研究です。特定企業の顧客満足度が同じ幅で変わると示したものではありません。仕事でのアンケート比較に当てはめるときは、質問票そのものが結果に影響する可能性を点検する根拠として使います。

前回と今回のアンケートで、何を突き合わせるか

集計された満足率だけではなく、回答に至るまでの条件を見比べます。変更があった場合は、結果の差をそのまま顧客体験の変化とは考えません。

  1. 質問文と評価対象。 「サービス全体」と「問い合わせ対応」では聞いている対象が違います。「丁寧だった」「困ったことはなかった」といった前提を付け足していないかも確認します。内容が変わったなら、同じ項目の時系列比較としては扱わず、別項目として見る必要があります。
  2. 回答選択肢と満足率の計算方法。 ５段階か４段階か、「どちらともいえない」があるか、「利用していない」「答えられない」をどう扱ったかを見ます。「満足」「やや満足」を合計した割合なのか、満点回答だけの割合なのか、分母に無回答を含めたのかも照合します。選択肢や計算が違えば、同じ「満足率」という名前でも直接比べられません。
  3. 選択肢の並びと、質問の位置。 「非常に満足」から始まるか「非常に不満」から始まるか、総合満足度の前に個別の不満や良かった点を聞いていないかを確認します。どちらも同じ尺度であっても、答えるときの文脈が変わる可能性があります。
  4. 回答者と調査の実施条件。 購入直後の人だけなのか、利用から１か月経った人も含むのか、回答した顧客層、実施時期、メール・Web画面・電話などの回答方法、回答率を確認します。質問を固定していても、答える人の構成が違えば数値は動き得ます。

Pew Research Centerの調査設計ガイドも、過去と回答を比較するときは質問文を同一にし、質問の置かれた前後関係にも注意することを勧めています。また、回答方法が電話からWebに変わるような場合も、変化の読み取りを慎重に行う必要があるとしています。

質問が変わっていたら、満足度の差をどう判断するか

次は説明用の架空の例です。ある事業者の顧客満足率が前回68％、今回76％だったとします。前回は「今回利用したサービス全体」への満足を聞き、今回は「担当スタッフの説明の分かりやすさ」への満足を聞いていました。どちらも「満足」「やや満足」を選んだ人の割合として計算していても、この８ポイントの差を「サービス全体の満足度が８ポイント改善した」とは報告できません。 評価している対象が違うためです。

調査票を照合した後は、次のように進めると比較の限界を明確にできます。これは上記研究や調査設計ガイドを参考にした実務上の提案であり、この手順が企業の業績を改善すると直接検証されたものではありません。

  1. 違いがなければ、同じ指標として比較する。 質問文、選択肢、並び、質問順序、集計式をそろえ、対象顧客や調査方法の違いも記録します。同じ条件でも標本のばらつきや顧客構成の変化は残るため、数値が動いた原因を一つに決めません。
  2. 違いがあれば、比較できない理由を記す。 「今回は質問対象と回答の並びを変更したため、前回の総合満足率との単純比較はできない」と明記し、両方の数値と設問を別々に残します。根拠なく過去の点数を換算して、同じ尺度だったように見せることは避けます。
  3. 今後の質問を変えるなら、比較の基準を作り直す。 改善したい質問文を少人数に試して、言葉の意味が伝わるかを確認します。長期的な変化を追う重要な設問は可能なら固定し、新しい聞き方は追加項目として設けます。切り替えが必要な場合は、新方式の初回を新たな基準値として記録します。
  4. 聞き方そのものの差を知りたいなら、条件をそろえて試す。 同じ時期・同じ対象集団から無作為に分けた人に、異なる質問文を一つずつ提示して回答を比べる方法があります。Pew Research Centerも質問文の影響を調べるため、このような調査票の分割実験を行っています。ただし、回答者数が少なければ偶然の差と区別しにくく、設問内容を変えた場合は単なる「言い方の効果」とは限りません。

満足率が動いたときは、アンケート以外の手がかりも見ます。例えば問い合わせ内容、解約理由、再利用の状況などが同じ時期に変わっているかを確認します。これらが一致しても原因は即断できませんが、質問票の変更だけで顧客評価の改善・悪化を説明しないための追加材料になります。

参考文献・出典