ビジネススクロール
仕事のヒントを、ひもとく。

選んだツールの良い点ばかり探していない？導入後の評価方法

企画・意思決定
Psychology Laws 編集部

自分が選んだ業務ツールを導入した後、利用者から「検索が速くなった」「画面が使いやすい」といった声が届くと、選定が正しかったと感じられます。もちろん良い変化は大切な成果です。しかし、便利になった機能ばかり報告し、入力の手直しや追加の管理作業を集計していなければ、導入目的を達成したかはまだ分かりません。

導入後の評価では、当初解決したかった業務上の問題に立ち返り、良い変化と悪い変化を同じ対象・期間・単位で確かめます。 導入を決めた理由の説明と、使い続ける価値があるかの判断は分けます。この記事では、選んだツールを公平に見直すための心理的な注意点と、継続・改善・見直しを決める具体的な方法を紹介します。

選んだツールの良い点ばかり見つけてしまうのはなぜか

説明用の仮の場面です。企画担当者が、部門の申請処理を速くするために新しい申請管理ツールを選びました。導入報告では「入力画面がすっきりした」「検索が便利」という感想と、入力時間が短くなった記録が集まっています。一方、差し戻しが増えたという相談や、管理者が設定を直すために使った時間は、報告資料に載っていません。

これは担当者が意図的に情報を隠したとは限りません。選んだものを役立てたいと考えれば、改善した部分を探しやすくなるかもしれません。一方、差し戻し件数の記録先が別だったり、利用者の困りごとが担当者まで届いていなかったりする実務上の理由も考えられます。まず、情報を集めた経路と、見ていない記録がないかを確かめることが大切です。

決定後は自分の選択を支える情報が選ばれやすい場合がある

Jonas、Schulz-Hardt、Frey、Thelen（2001）は、いったん判断をした人が、その後に自分の判断を支持する情報と反する情報をどう選ぶかを4つの実験で調べました。第1実験では、情報をまとめて示す場合より、順番に示す場合に、自分の選択を支持する情報への偏りが強くなりました。後続の実験では、その差が情報を順に読むことだけではなく、提示のされ方や、すでに下した判断への意識と関係することが示されました（Jonasら（2001）の大学掲載要旨）。

Hartら（2009）は、91研究・約8,000人の参加者を含む研究結果を統合しました。平均すると、もともとの態度や信念、行動に合う情報を選ぶ傾向が見られました。ただし、その強さは条件によって変わり、反対の情報が目の前の目標の達成に役立つ場合には、反対の情報が選ばれる傾向も確認されています（Hartら（2009）の原著）。

これらは情報の選択についての研究で、企業が導入した業務ツールの成果を直接測ったものではありません。選定担当者が必ず誤った報告をするという意味でもありません。それでも、導入後の確認項目を「便利になった証拠」だけにしないための参考になります。こうした情報の選び方の偏りは、確証バイアスの解説記事でも扱われています。

導入後の評価で、何をそろえて確認すればよいか

まず、ツールを選ぶ前に解決したかった問題を、選定資料や現場の記録から確認します。「新しい機能を使えているか」と「実際の仕事が改善したか」は、別の問いです。利用回数が増えていても、作業時間や品質が改善したとは限りません。

  • 導入目的と、測る結果： 「申請を速くする」が目的なら、単なるログイン数ではなく、同じ種類の申請1件当たりの処理時間、完了までの日数、差し戻し率などを見ます。何を最も重視するかを明らかにします。
  • 利点だけでなく増えた負担： 入力や検索の短縮と同時に、修正作業、問い合わせ、管理者による設定、研修、追加の確認などを数えます。発生していない費用を想像で足さず、記録できるものと未確認のものを分けます。
  • 同じ対象と期間か： 導入前の簡単な案件と導入後の複雑な案件を、そのまま比べないようにします。部署、案件の種類、件数、測定方法、繁忙期かどうかを確認します。利用者の慣れ具合が違う場合も、結果に関係する条件として記録します。
  • 誰の意見を集めたか： 日常的に使っている人だけでなく、途中から使わなくなった人、管理者、後工程の担当者からも事実を聞きます。「不満が少ない」と判断する前に、回答していない人や報告されにくい問題がないかを確認します。
  • 比較の相手と費用： 今のツールを使い続ける場合、運用を改善する場合、以前の方法に戻す場合の、これからの費用と便益を比べます。購入済みだからという理由だけで継続を決めません。

導入前の記録が残っていない場合は、後から正確な数字を作ることはできません。取得できる記録の範囲を示し、必要であれば今後の一定期間で測定を始めます。比較できる担当業務や部署があるときは、ツールを使っていない側でも同じ指標を記録すると、全社共通の繁忙や業務変更の影響を検討しやすくなります。ただし、導入前後の数字が変わっただけでは、その変化の原因がツールだったと証明できません。

英国財務省の『Magenta Book（2026年版）』は、公的施策の評価を、実施状況、成果への影響、費用に対する価値という観点から分けて捉えています。また、評価手法の補足指針では、導入前後だけの比較は、ほかの要因でも結果が変わり得るため、導入しなかった場合に近い比較対象がある方が影響を確かめやすいと説明しています。これらは行政施策向けの資料ですが、業務ツールを評価するときに使う情報の整理にも参考になります。

良い変化と悪い変化を同じ表にすると、何が見えるか

先ほどの申請管理ツールを、同じ種類・同程度の難しさの申請について、導入前と導入後の同じ長さの期間でそれぞれ100件処理したとします。以下の数値は説明用に置いた仮の例であり、実在する企業の成果や研究結果ではありません。「基本処理時間」は手直しと管理作業を含まない時間とし、差し戻し1件の修正に15分かかるという仮定で計算します。

測ること 導入前（100件） 導入後（100件）
基本処理 1件12分 × 100件 ＝ 1,200分 1件9分 × 100件 ＝ 900分
差し戻し・修正 4件 × 15分 ＝ 60分 9件 × 15分 ＝ 135分
この業務に追加で必要な管理作業 0分 80分
合計作業時間 1,260分（21時間） 1,115分（18時間35分）

基本処理だけなら300分短縮したように見えます。しかし、修正時間と追加の管理作業も含めると、合計の差は1,260−1,115＝145分（2時間25分）の短縮です。一方、差し戻しは100件中4件から9件へ増えています。時間の改善が見られたとしても、差し戻し増加の理由や、重大な誤処理が起きていないかは別に確認する必要があります。

この表には、月額利用料、研修費、契約期間、個人情報の管理に関わる費用などを含めていません。また、案件の難しさや同時期の業務変更が完全にはそろわない現実の職場で、この数字どおりの差が出るとは限りません。「ツールのおかげで145分減った」と因果関係まで確かめた結果でもありません。

もし導入前後で申請の内容や繁忙度が違っていたら、同じ種類の案件に絞り直す必要があります。逆に、時間の短縮が小さくても、必要な情報を探しやすくなり、重大な見落としを防ぐ効果が確認できるなら、時間以外の価値を評価する理由になります。自分が選んだツールに都合のよい指標だけでも、不利な指標だけでも結論を出さないことが重要です。

評価結果から、継続・改善・見直しをどう決めるか

以下は情報探索に関する心理学研究と公的な評価資料を参考に考えた実務上の提案です。この手順で企業のツール導入効果が高まると、研究で直接確認されたわけではありません。

  1. 評価する問いと条件を先に固定する。 これから測る期間を決める前に、目的に直結する指標（処理時間など）、悪化させたくない指標（差し戻しや重大な誤処理など）、負担と費用を記録します。導入前に決めた基準が残っていれば、それを参照します。後から目標を決める場合は、もともとの導入基準だったかのように書き換えません。
  2. 良い報告と困った報告を同じ経路で集める。 利用記録、差し戻し履歴、問い合わせ、管理作業、利用をやめた人の事情を、対象期間をそろえて集めます。「便利だった点」に加えて「従来より増えた作業は何か」「使わない場面はなぜか」を聞き、事実と意見を分けます。回答が少ない部署の結果は、全員を代表するものとして扱いません。
  3. 結果の理由を分けて確かめる。 時間が短くなっても、業務そのものが簡単になった可能性があります。差し戻しが増えた場合も、入力項目の不足なのか、初期設定なのか、使い方の未習得なのかで対応が違います。可能なら同じ条件の部署や業務とも比べ、追加調査の必要性を判断します。
  4. 次の選択に必要な条件を示す。 時間・品質・費用が目的に合い、深刻な問題もなければ継続の候補にします。設定や研修で改善できそうな負担が大きい場合は、改善する範囲と再評価日を決めます。重要な機能を満たさない、顧客情報の扱いに重大な問題があるなどの場合は、平均の成果を待たず、利用停止や代替手段を検討します。継続費用に見合う便益が確認できないなら、縮小・契約更新の見送りも候補です。

会議では、「自分たちが選んだツールは良かったか」と問うより、「最初に減らしたかった作業は減ったか」「代わりに増えた負担は何か」「結果を変えそうな未確認の条件は何か」「今後この費用で使い続ける価値はあるか」と確かめる方が、結論を仕事の条件に結び付けられます。期待した成果がまだ確認できなかったとしても、選定者を責めるのではなく、改善と次の判断に必要な情報として扱います。

参考文献・出典