成果報告で都合のよい数字だけ選んでいない？データの除外条件と比較期間を先に決める
成果報告をまとめるとき、調子がよかった週だけを示したり、数字が悪かった記録を「例外」として取り除いたりすると、同じ施策でも成功したように見えることがあります。結果を見てから数字を選ぶのではなく、成果の指標・比較期間・データの除外条件を先に決めておくことが重要です。
一方、計測ミスや重複した記録は、修正や除外が必要な場合があります。問題は除外そのものではなく、結論に都合のよい条件だけを選び、その理由や除外前の数字を示さないことです。読み手が判断できるよう、何を対象にしたかを明確にします。
結果を見た後で数字を選ぶと、何が起こるのか
例えば架空のネット通販で、新しい商品案内の成果を報告するとします。月全体で購入率が下がったとしても、初めの2週間だけ好調だったなら、その期間の数字を先に見せたくなるかもしれません。これは心理を説明するための仮の場面で、実在企業の実績ではありません。
こうした場面では、最初の期待に合う情報へ注意が向きやすい傾向が関係する可能性があります。Hartら（2009）は、自分の考えを支持する情報と反対する情報のどちらを読むかという選択を扱った研究を統合しました。全体として支持する情報への選好が見られましたが、正確に判断する目的のため反対情報が役立つ場合には、反対情報を好む条件も報告されています。
この研究は実際の企業でデータを除外する行為を直接調べたものではありません。担当者の性格や動機を決めつけず、期待に合わない記録も同じ基準で確認できているかを点検する材料として使います。関連する心理は確証バイアスの解説でも紹介されています。
分析の条件を後から変える危険は研究でも検討されている
Simmons・Nelson・Simonsohn（2011）は、心理学の実験について、調べる指標、比較する条件、データ収集を終える時期などを結果に応じて柔軟に選べることの影響を検討しました。コンピューターによる模擬分析と2つの実験で、本当は存在しない効果についても、選んだ分析条件によって統計的に確かな結果のように示せることを報告しています。
これは統計的な検定の誤判定に関する研究であり、業務の報告で同じ割合の誤りが起きるとは言えません。しかし著者らは、データを除外した結果だけではなく、除外しなかった場合の結果も示すことなどを提案しています。除外が正当かどうかと、除外によって結論が変わるかどうかの両方を見られるようにする考え方です。
成果報告の前に、どの条件を決めておくか
「商品案内を変えた後、サイトを訪れた人が購入に至る割合は前月より改善したか」を確認するなら、次の項目を、集計結果を見る前に整理します。
- 主要な指標を決める。 今回は「購入した訪問数÷対象の訪問数」を購入率と定義します。クリック数や閲覧数も参考になりますが、結果がよかった指標だけを後から主要な成果に置き換えません。
- 比較期間を固定する。 例えば前月1日から末日と今月1日から末日を比べます。途中の一週間だけを見る場合は、全期間の報告と区別し、比較できる同じ条件の過去の期間があるかを確認します。
- 対象を明確にする。 集計するサイト、商品、顧客、流入経路を決めます。新規顧客を含む数字と既存顧客だけの数字は、分母となる対象が違うため、同じ結果として入れ替えません。
- 除外条件と判定方法を記録する。 社内テストのアクセス、重複記録、確認できた計測障害による誤記録など、何をどの証拠で除くかを決めます。「買わなかった」「成績が悪い日だった」は、それだけでは除外の理由になりません。
- 計算方法をそろえる。 訪問数と購入した訪問数を同じ定義で数えます。注文件数と購入した訪問数を混ぜたり、片方の月だけキャンセルを反映したりしないようにします。
集計後に計測の問題が見つかることもあります。その場合は新しく分かった事情、修正した日時、影響する件数を残し、前月にも同じ基準を適用できるか確認します。数字に重要な差があるなら、修正前と修正後を両方示します。
比較期間と除外によって、数字がどう変わるか
次の表はすべて説明用に作った仮の数値です。サイトの訪問のうち購入に至った割合を比較します。実際の企業の販売記録や研究データではありません。
| 集計した範囲 | 訪問数 | 購入した訪問数 | 購入率 |
|---|---|---|---|
| 前月の全期間 | 2,000 | 100 | 5.0％ |
| 今月の全期間 | 2,000 | 80 | 4.0％ |
| 今月の前半15日間 | 1,000 | 70 | 7.0％ |
| 今月から購入なしの400訪問を後から除いた場合 | 1,600 | 80 | 5.0％ |
全期間で比較すると、購入率は5.0％から4.0％へ1.0ポイント低下しています。ところが、今月の前半15日間だけを示せば7.0％です。この例では、残る後半の1,000訪問では10訪問しか購入に至っていません。前月全期間と今月前半だけを比べ、「購入率が2ポイント上がった」と言うのは条件がそろっていません。
さらに、購入につながらなかった400訪問を結果を見てから除くと、80÷1,600で5.0％となり、月全体の低下が見えなくなります。購入しなかったこと自体は、データを除外する正当な理由になりません。もし社内テストなどと客観的に確認できた記録であれば、除く理由を記録し、前月にも同じ基準を適用して比較します。
この例から施策が購入率を下げたと断定することもできません。顧客層、価格、広告、季節の違いなどが変化に関係しているかもしれません。まずは同じ条件の実績を示し、その後で原因を確かめる必要があります。
後から見つけた数字を、どう報告と行動に結び付けるか
集計後に「前半だけ好調だった理由を調べたい」という新しい疑問が出ることはあります。新しい分析自体は役立ちます。ただし、最初に決めた評価と、結果を見た後で追加した調査は区別します。
Nosekら（2018）は、研究の結果を見る前に問いと分析方針を記録する「事前登録」を論じ、事前の予測を検証する分析と、データを見てから新しい仮説を探す分析を分ける意義を示しました。これは研究方法についての提案であり、企業の成果報告で売上が改善すると直接検証した実験ではありません。
仕事への応用として、月次報告の冒頭に短い集計条件メモを置く方法が考えられます。以下は研究を参考にした実務上の提案です。
- 最初に決めた条件と結果を示す。 「両月の全期間・同じ対象・同じ除外条件で購入率5.0％→4.0％」と明記します。
- 除外した記録の理由と件数を添える。 計測ミスを除いた場合は、その根拠に加え、除外前と除外後の数字を可能な範囲で示します。比較する両月で基準が異なるなら、その理由も伝えます。
- 追加分析であることを隠さない。 「前半だけの7.0％は全期間の結果を見た後で着目した数字」と記載します。この数字が次の検証の手掛かりになることと、月全体の評価とは別であることを説明します。
- 必要な次の確認を決める。 月全体の悪化を踏まえ施策を見直すのか、前半の好調が別の期間でも再現するかを確認するのかを分けます。結果に応じて決めた範囲だけで成功を宣言しません。
上司への報告なら、例えば次のように伝えられます。これは仮の会話例で、実験で検証された伝え方ではありません。
「当初決めた全期間の比較では、購入率は5.0％から4.0％に低下しました。前半だけなら7.0％ですが、後から注目した期間です。集計から除く記録は計測上の理由が確認できるものに限定し、前月も同じ条件で比べます。前半の好調は追加の調査対象として扱います」
成果報告は、よい数字を隠す作業でも、悪く見える数字を探す作業でもありません。どの条件でどの結果が出たのかを示し、次に何を確かめるか決められる資料にすることが目的です。
参考文献・出典
- Hart, W., Albarracín, D., Eagly, A. H., Brechan, I., Lindberg, M. J., & Merrill, L.（2009）「Feeling Validated Versus Being Correct: A Meta-Analysis of Selective Exposure to Information」Psychological Bulletin, 135(4), 555–588。自分の考えと合う情報・反する情報の選び方と、正確さを求める条件の違い。原著の要旨で確認。
- Simmons, J. P., Nelson, L. D., & Simonsohn, U.（2011）「False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant」Psychological Science, 22(11), 1359–1366。分析条件の柔軟な選択と誤判定、データ除外前後を開示する提案。出版社の原著本文で確認。
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T.（2018）「The Preregistration Revolution」Proceedings of the National Academy of Sciences, 115(11), 2600–2606。事前に計画した分析と、結果を見て行う追加分析を分ける提案。出版社・PubMedの要旨で確認。