ビジネススクロール
仕事のヒントを、ひもとく。

予想外のデータをノイズと片付けない｜新しい変化の兆候を確かめる

企画・意思決定
Psychology Laws 編集部

新規事業やサービスの実績を見ていると、予測から外れた数字を「たまたま」「ノイズだろう」と片付けたくなることがあります。しかし、予想と違うことは、その数字が誤りである証拠にはなりません。まず計測や比較条件を確認し、偶然の変動なのか、新しい顧客行動などの変化を示しているのかを分けて調べることが大切です。

一つの数字だけで計画を変える必要もありません。確かな説明ができない場合は、結論を保留し、次に何を見れば判断が進むかを決めます。

予想と違うデータを「例外」にしたくなるのはなぜか

例えば、新サービスは大企業からの引き合いが中心になると考えていたのに、小規模事業者からの問い合わせが急に増えたとします。これは説明用の仮の場面です。担当者が「今月だけの偶然でしょう」とすぐに説明すると、本当に顧客層が変わり始めていたとしても、調査の機会を失いかねません。

人はすでに持っている見通しに合う情報と、合わない情報を、同じ基準で評価できるとは限りません。Lord、Ross、Lepper（1979）の実験では、死刑への賛否が異なる大学生48人に、死刑の抑止効果について賛成・反対それぞれの立場を支持するように見える二つの研究を読んでもらいました。参加者は、自分の元の立場に合う研究の結果や方法を、より説得力があると評価しました（Lordらの研究）。

これは社会問題への意見を扱った実験であり、事業データの判断が同じように偏ると直接確かめたものではありません。ただ、計画に合わない数字だけに厳しい理由を求め、計画に合う数字は簡単に受け入れていないか、点検する手がかりになります。こうした情報の扱い方は、確証バイアスの仕組みを解説した記事でも整理されています。

一方、予想外の情報への反応は「無視する」だけではありません。ChinnとBrewer（1998）は、科学の説明と食い違うデータへの対応を調べ、無視、拒否、いったん保留、説明の一部または全体の変更など、複数の反応に分類しました（ChinnとBrewerの研究）。この研究も企業の企画会議を調べたものではありません。数字に疑問を持つこと自体が悪いのではなく、疑う理由を調べずに結論を決めてしまう点に注意が必要です。

新しい変化の兆候かどうか、何を確かめるか

予想外の値には、記録の間違い、通常のばらつき、実際の変化という異なる可能性があります。米国標準技術研究所（NIST）の統計ハンドブックも、外れた値が誤ったデータか、偶然の変動か、意味のある現象かを確かめ、理由もなく削除しないよう説明しています（NIST：外れ値の検出）。仕事では、次の順に確認すると整理しやすくなります。

  1. 数字は正しく測れているか。集計期間、対象者、重複計上、計測方法、指標の定義を確かめます。計測設定の変更や入力ミスが原因なら、まず訂正した数値で判断し直します。
  2. 比べている条件はそろっているか。前年同月や過去の同じ時期、広告費、営業日数、対象顧客数などを確認します。問い合わせが増えても、サイトへの訪問者が同じ割合で増えているなら、問い合わせをする人の割合が高まったとは限りません。
  3. 変化はどこで、どの程度続いているか。一日だけか複数週にわたるか、特定の顧客層だけか、複数の経路で見えるかを分けます。母数が小さい集計は揺れやすいため、件数と割合をセットで見ます。ただし、数回続いたことだけで原因が確定するわけではありません。
  4. 別の説明でも同じ数字になるか。キャンペーン、競合の活動、価格変更、季節要因などを並べ、どの記録を見れば区別できるか考えます。顧客への聞き取りは理由の候補を探す助けになりますが、発言だけで市場全体の変化を証明したことにはなりません。

確認の結果、誤記録なら修正し、従来の変動幅と区別できないなら観測を続けます。集計条件が同じで変化が続き、別の情報とも一致するなら、事業計画に反映する価値がある仮説として扱えます。いずれも「ノイズ」「新しい需要」と先に名前を付けるより、根拠に合わせて判断を更新するための区別です。

予想外の数字を、小さな検証と企画判断につなげる

次も説明用の仮の例です。あるサービスで、小規模事業者からの資料請求が先月32件、今月58件に増えました。一見、新しい需要が伸び始めたように見えます。しかし、同じ期間に小規模事業者のサイト訪問数も400件から800件へ増えていたとします。資料請求率は先月8％（32÷400）、今月7.25％（58÷800）です。件数の増加は事実でも、訪問した人が資料を請求する割合は上がっていません。

ここで「需要は変わっていない」とも断定しません。訪問数が増えた理由が広告配信の拡大なのか、自発的な検索の増加なのかによって、考えられる説明が異なるためです。

  1. 観測した事実だけを書き出す。「小規模事業者の資料請求は32件から58件に増えた。率は8％から7.25％になった」と、見通しや解釈を混ぜずに記録します。
  2. 競合する説明と確認先を並べる。「広告の露出が増えた」「集計方法が変わった」「その顧客層の関心が高まった」のように候補を分け、広告記録、計測設定、流入元、営業メモなど照合先を決めます。
  3. 次の観測条件を決める。同じ集計方法で翌月も顧客層別の訪問数・資料請求数・率を確認します。必要なら問い合わせ内容や別経路の反応も記録します。期間は事業の意思決定期限とデータ量に合わせて決めます。
  4. 結果に応じた行動を先に決める。計測ミスなら修正、広告だけの増加なら広告の採算確認、複数期間と別経路で関心の高まりが見られるなら、その顧客層向けの小規模な提案や調査を検討します。判断に十分な材料がなければ、全体方針を変えずに観測を続ける選択もあります。

この進め方は、研究や統計資料を参考に組み立てた実務上の提案であり、この四つの手順自体の効果を実験で確かめたものではありません。大きな投資を決める前には、変化の大きさだけでなく、継続する見込み、費用、他の説明の可能性も確認します。反対に、顧客への重大な不利益が疑われる数値なら、変化が確定するのを待たずに暫定対応が必要な場合もあります。

参考文献・出典