直近の失敗だけで企画基準を変えてよい?比較する期間の考え方

企画・意思決定
Psychology Laws 編集部

新しい企画がうまくいかず、会議で「次からは審査基準をもっと厳しくしよう」という意見が出ることがあります。失敗を繰り返さない姿勢は大切ですが、直近の1件だけで全企画の基準を変えると、本当に必要な改善を見落としたり、関係のない企画まで止めてしまったりするかもしれません。

まず、その失敗にすぐ対処すべき問題があるかを確認し、恒久的な審査基準の変更は、同じ定義・同じ判断時点で記録した過去の企画と比べて考えます。 比較する期間は一律に「3か月」「1年」と決めず、企画数、結果が判明するまでの時間、季節変動、事業環境や審査方法の変化に合わせて選びます。

直近の失敗は、なぜ企画基準を変える理由になりやすいのか

例えば、新しい顧客向けサービスの企画を審査する会議で、先月公開した一つの施策に修正が発生したとします。説明用の仮の場面です。報告を受けた管理職が「次からはすべての企画に承認をもう1段階増やそう」と提案しました。しかし、修正が起きたのは特定の説明文が不足していたからなのか、審査方法全体に問題があるからなのかは、まだ分かっていません。

失敗した企画は詳細な報告を受けるため、過去の問題のなかった企画より思い出しやすい場合があります。TverskyとKahneman(1973)は、単語などの種類や出来事がどのくらい多いかを判断するとき、関連する例の思い出しやすさが頻度の判断に関わることを示しました。思い出しやすさは実際の頻度とも関係しますが、それ以外の要因にも左右されます(Tversky・Kahneman, 1973)。この仕組みは利用可能性ヒューリスティックの解説でも扱っています。

少ない事例を過信しやすい点にも注意が必要です。TverskyとKahneman(1971)は、研究判断について84人の心理学者に質問し、小さな標本でも全体の傾向をかなり正確に反映すると期待しすぎる傾向を報告しました(Tversky・Kahneman, 1971)。これは心理学の研究データに関する調査であり、職場で何件の企画を調べれば十分かという基準を直接決めたものではありません。少数の法則の解説では、小さな件数から全体を判断するときの注意点を紹介しています。

さらに、BaronとHershey(1988)は大学生を対象に、医療判断や金銭的な選択を使った5つの研究を行いました。決定時に分かっていた情報が同じでも、良い結果になった判断の方が、悪い結果になった判断より高く評価される傾向がありました(Baron・Hershey, 1988)。この結果は医療などの仮想的な判断評価についてであり、直近の失敗を受けた企画基準の変更を直接検証したものではありません。さらに、Aiyerら(2023)は医療判断を使った事前登録済みの追試を692人で行い、成功・失敗という結果によって判断の質の評価が変わる傾向を同じ方向で確認しました。これは企画の審査基準変更を直接扱った実験ではありません(Aiyerら, 2023)。それでも、失敗した事実と、当時の審査基準そのものが妥当でなかったかを分けて調べる理由になります。

なお、厳しい基準への変更が必要になる場面もあります。法令違反、重大な情報漏えい、利用者の安全への危険などが判明した場合は、過去の発生率が低くても、原因の確認や一時停止などの対応を優先します。問題の深刻さを、発生頻度だけで決めないことが大切です。

比較する期間は、何をそろえてから決めればよいか

「直近と比べる過去」を選ぶ前に、何を失敗と数えるか、どの企画を対象とするかを決めます。今回の例なら「公開後30日以内に、予定外の再修正が必要になった企画」のように定義します。結果がまだ出ていない企画を成功扱いせず、同じ30日間の観察が終わったものを比較します。

  • 結果が判明するまでの時間: 公開後1週間で問題が出る施策と、導入後半年たってから成果が分かる企画では、必要な観察期間が違います。全件の結果を公平に判定できる時点を先にそろえます。
  • 企画の件数と種類: 直近1か月の案件が数件しかなければ、前の数か月まで広げて傾向を確かめます。ただし、小さな改善と大型の新規事業など、性質の異なる企画を混ぜた平均だけで判断しません。比較対象をどこまで同じ種類にできるかも確認します。
  • 繰り返す繁忙期や季節の影響: 年末商戦の企画など季節によって案件の構成が変わる仕事では、直前月だけではなく、前年の同じ時期も参考になります。米国国立標準技術研究所(NIST)の時系列データの解説でも、周期的な変動がある場合は分析で考慮する必要があると説明しています(NIST:Seasonality)。
  • 途中で変わった業務条件: 審査項目、記録方法、顧客層、担当部署、法令、提供する商品が途中で変わっていないでしょうか。条件が大きく異なる場合、長期間のデータでも同じ集団として単純に平均しない方がよいことがあります。

例えば月ごとの案件数が少なく、季節性もほぼない業務なら、直近1か月だけでなく数か月分の記録を見る意味があります。一方、審査制度を先月変えたばかりなら、それ以前の実績はそのままの比較相手にはなりません。期間を長くすれば必ず正確になるのではなく、同じ条件で比較できるかを先に確かめます。

時系列で推移を見ることも役立ちます。NISTの管理図の説明では、品質特性の値を時間または測定順に沿って並べ、平均的な水準や変動を見る方法を示しています(NIST:What are Control Charts?)。その専門的な管理図の統計手法を、企画審査にそのまま当てはめる必要はありませんが、各月の件数と割合を並べて推移を確かめる発想は参考になります。

直近1か月と過去6か月を比べると、何が分かるか

次は、比較方法を説明するための仮の数値です。実際の企業の記録や研究結果ではありません。対象は同じ種類の小規模施策で、いずれも公開から30日間の観察を終え、予定外の再修正が生じた場合に同じ基準で記録したと仮定します。

比較する期間 観察済みの企画 再修正が必要だった企画 割合
直近の評価確定1か月 10件 2件 20%(2÷10)
その前の6か月 60件 6件 10%(6÷60)

この数字なら、直近は20%、以前は10%で、差は10ポイントです。しかし、この2つの割合だけでは、再修正が起きやすくなったと確定できません。 10件という少ない対象では割合が変動しやすく、たまたま複雑な企画が多かった可能性もあります。また、以前の6か月間の毎月の変動や、再修正が発生した条件も分かりません。

判断のためには、6か月の合計を1行で終わらせず、各月の企画数と再修正件数を時系列に並べます。そのうえで、直近の2件と過去の6件について、同じ種類の問題だったか、審査の時点で見つけられる兆候があったかを調べます。例えば特定の外部サービスとの連携だけで問題が起きていたなら、すべての企画で承認段階を増やすより、連携に関する確認項目を見直す方が目的に合うかもしれません。

反対に、重大な情報の漏えいなど、1件でも放置できない問題なら、発生率の違いを統計的に確かめるまで対策を待つ必要はありません。ただし、その場合でも原因を確かめて、必要な対象へ適切な対策を広げることが重要です。

比較結果を、企画基準の変更につなげる進め方

以下は先ほどの心理学研究とデータの比較方法を参考に考えた実務上の提案です。この順番で行えば失敗を減らせると、研究で直接確かめられたものではありません。

  1. 今回の失敗に必要な対応を先に分ける。 顧客への訂正、公開停止、情報の保全、法令・安全上の確認など、すぐに対応する必要があることを整理します。ここでの暫定措置と、今後すべての企画に適用する恒久ルールの変更を混同しません。
  2. 比較の起点と期間を決める。 何を失敗と数えるか、どの時点まで観察するか、対象とする企画の種類を決めます。直近の結果を確認するために、まず過去の複数の月を並べ、季節変動が疑われるなら前年同期も見ます。必要な記録がない場合は、推測の数字で埋めず「未確認」と残します。
  3. 失敗した企画と、同じ基準を通過した問題のなかった企画を比べる。 失敗した案件にだけ共通する条件があるか、審査時点の資料から問題を予見できたかを確かめます。「結果が悪かったから審査が甘かった」と後付けで決めず、当時判断に使えた情報と後から分かった情報を分けます。
  4. 変更するなら対象と負担を限定する。 例えば連携の不備が複数確認されたなら、すべての承認段階を増やす代わりに、外部連携を含む企画だけで事前確認の項目を増やす案を比べます。追加チェックに必要な時間、見逃しを減らせる見込み、新しい企画の審査遅延を確かめます。
  5. 次に見直す日と条件を決める。 どんな結果が続けばルールを維持するか、どの問題が解消すれば元に戻すか、誰が再評価するかを記録します。比較対象が少ないなら、原因の調査と暫定措置を続けながら、記録を増やして再検討する選択もあります。

会議では「先月失敗したから全件の承認を厳しくする」ではなく、「同じ問題は、いつから何件のうち何件に起きていますか」「今回の失敗は審査時に分かっていた情報で防げましたか」「追加する基準は、どの企画のどんな問題に対応しますか」と問い直せます。直近の失敗を無視せず、そこから得られた情報を、必要な範囲の基準変更へつなげることが目的です。

参考文献・出典