AI研修の効果をどう測るか ── 満足度アンケートでは分からないこと

研修の満足度は5点満点で4.6。自由記述にも「分かりやすかった」「明日から使ってみます」が並んでいる。それなのに、役員から「それで、効果はどうだったの」と聞かれると答えに詰まる。

よく聞かれます。「AI研修の効果は、どうやって測ればいいんですか」と。正直に言うと、満足度が高い研修ほど、この質問には答えにくくなります。点数が高いぶん、社内の報告が「よかったです」で終わってしまうからです。

満足度アンケートが無駄だとは思いません。ただ、あれが測っているのは研修そのものの感想です。研修のあとに仕事が変わったかどうかは、別の物差しで測ることになります。そしてその物差しは、研修が終わってから用意しても間に合いません。

この記事は、測り方だけに絞って書きます。なぜ定着しないのかという原因の話には立ち入りません。

満足度アンケートで分かるのは、研修の出来まで

設問を思い出してください。「内容は分かりやすかったですか」「講師の説明はどうでしたか」。どれも、その1日か2日の出来事についての質問です。答えている受講者も、まだ自分の机に戻っていません。研修中の高揚感がそのまま点数になります。

ここが厄介で、点数が高いと社内の関係者が安心します。安心すると、次の確認をしなくなります。「前回の研修は評判がよかったんですが、その後のことは誰も追っていなくて」という相談を、当社でも何度か受けています。

定着するかどうかは研修前の設計でほぼ決まる、というのが当社の見方です。その中身は受けっぱなしで終わる理由に書きました。以下は、原因ではなく測り方の話に絞ります。

測るのは3種類だけ

測定項目を10個ほど並べた表を渡すと、3か月後に埋まっているのはだいたい2項目です。10項目を毎月埋められる会社が、そもそも少ない。いま当社がおすすめしているのは次の3種類だけです。

順番にも意味があります。使われていなければ時間は減りませんし、使う人が数人のうちに品質のばらつきを測っても、見えているのは個人差です。上から順に見ていきます。

使われているか

会社としてツールを契約しているなら、管理画面に月ごとの利用者数が出ます。Microsoft 365 Copilot でも ChatGPT の法人向けプランでも同じです。研修を受けた15名のうち先月使ったのが何人か。これなら10秒で分かります。

管理画面を見られる人が限られている場合は、聞けば済みます。月末の部内定例で「先月、業務で使った人」と挙手してもらい、人数だけメモしておく。集計表はいりません。

気をつけたいのは、回数を追わないことです。「1人あたり月何回」を目標にすると、使う必要のない場面でも使う人が出ます。見るのは人数、つまり広がりのほうです。

時間が減ったか

時間は、業務を1つだけ選んで測ります。全部測ろうとすると、誰も測りません。

選ぶのは、研修でテーマにした業務そのものです。月次報告の差異コメント、商談メモから提案骨子を出す作業、ヒヤリハット報告の仕分け。研修で型を作った業務が1つはあるはずです。

測り方は、担当者に「この作業、今回は何分かかりましたか」と聞くだけです。ストップウォッチはいりません。5分刻みの自己申告で十分で、3人が3回ずつ答えれば9件になり、傾向を見るには足ります。

ただ、平均だけを見ないでください。90分が60分になったとしても、内訳が「20分の人と100分の人」なら、時間が減ったのではなく、うまい人が1人いるだけです。最短と最長も一緒に書き留めます。

品質がそろったか

3つめが、いちばん見落とされます。そして現場の管理職がいちばん喜ぶ変化でもあります。測り方は素朴で、同じ種類の文書を5人分並べて読み、項目の抜け（金額・期限・担当者・次の行動）、書き出しと結びの形、そして確認者が手を入れた箇所の数を見ます。

最後のひとつは、そのまま確認する側の負担です。研修前は1本あたり8か所直していたのが3か所になったなら、減ったのは受講者の時間ではなく上司の時間です。点数化が難しいときは、書き直しを求めた割合、つまり差し戻し率で代えても構いません。

研修前に1回測っておかないと、差は出ない

先に書いておきます。この記事でいちばん伝えたいのは、ここです。

「研修が終わったので効果を測りたい」という相談は本当に多いです。ただ、研修後の数字だけを見ても、その60分が速いのか遅いのかは分かりません。比べる相手がいないからです。

研修前の測定は、大がかりにする必要はありません。必要なのは次の3つで、どれも30分あれば終わります。

• 対象業務を1つ決め、直近3回分の所要時間を担当者に聞く
• 同じ業務の成果物を5本集め、確認者が直した箇所を数える
• 受講予定者のうち、いまツールを業務で使っている人数を数える

研修の2週間前までにやっておきます。当日の朝でも構いません。紙1枚に書いて、人事の引き出しに入れておくだけです。専用のツールもデータベースもいりません。

研修前の数字がないまま3か月後を迎えると、報告は「たぶん速くなっていると思います」になります。それは測定ではなく、印象です。印象では、次の部署への展開は決まりません。

前・直後・3か月後の3点で測る

測るタイミングは3回です。2回でも4回でもなく、3回。それぞれ見ているものが違います。

2回目と3回目の差に、いちばん情報があります。直後は高く、3か月後に落ちるのが普通です。落ち幅が小さければ運用が回っています。大きければ、確認する人が不在になっているか、対象業務がそもそも月1回しか発生しない業務だったか、どちらかであることが多いです。

3か月後に落ちたこと自体は、失敗ではありません。どこで落ちたかが分かれば、次の手が打てます。なお3回目を半年後にすると、人事異動や組織変更が混ざって原因が読めなくなります。

想定例：測った会社と、測らなかった会社

架空の想定例です。実際の顧客事例ではありませんし、効果を保証するものでもありません。

C社は営業部12名に研修を実施し、測ったのは直後のアンケートだけでした。満足度は4.5。3か月後の経営会議で「あの研修はどうだった」と聞かれ、人事は「評判は良かったです」と答えます。他部署への展開は、判断材料がないという理由で見送りになりました。

D社は同じ研修の2週間前に、営業部の3名へ「提案骨子の初稿に何分かかっていますか」と聞きました。答えは110分、130分、90分。部長が直近5本で直した箇所は41か所。3か月後の答えは50分、65分、45分、直した箇所は5本で14か所でした。

違いは研修の中身ではありません。2週間前に、3名へ1問ずつ聞いたかどうかです。所要時間にして、30分もかかっていません。

数字が出ない業務は、広がりで見る

そもそも件数を数えられない業務もあります。年に2回しかない業務。担当者が1人しかいない業務。所要時間が毎回まったく違う業務。そういう業務では、時間を測るのをやめて「誰が使っているか」の広がりを見ます。

• 研修を受けた人のうち、実業務で使った人数
• 研修を受けていないのに、同じ部署で使い始めた人数
• 研修で作ったテンプレートを、他の部署が引き取った件数
• 部内の勉強会や朝礼で、使い方が話題になった回数

3つめと4つめは、地味ですが強い指標です。研修を受けていない人が使い始めたということは、社内で誰かが誰かに教えたということ。そこまで来ると、効果は受講人数分を超えます。

数え方は、月に一度、管理職が書き留める程度で構いません。ただし分母は固定してください。「部署の20名のうち何名」と決めておかないと、人数だけが独り歩きします。

経営に報告するときの1枚

数字がそろったら、報告の形に落とします。ここで長い資料を作ると、たいてい読まれません。当社が相談の場でおすすめしているのは、次の4行です。

1. 対象：どの部署の、どの業務を測ったか（例：営業部／商談メモから提案骨子の初稿を出す作業）
2. 前後：研修前と3か月後の数字を並べる（例：1件あたり110分 → 50分、直した箇所41 → 14）
3. 広がり：使っている人数（例：受講者12名中8名、受講していない同僚2名）
4. 次の判断：次にどうするか（例：同じ型を第二営業部に展開する／テーマを見積書に変える）

4行目があるかどうかで、報告の意味が変わります。数字だけ出すと「へえ」で終わりますが、次の判断まで書いてあると、それは稟議の材料になります。

数字は盛らないでください。落ちたなら落ちたと書き、理由の仮説を1行添えるほうが次の予算は通りやすい、というのが実感です。金額に換算した数字は突っ込まれやすいので、出すなら元の所要時間も併記します。費用そのものの見方はAI研修の費用相場と料金の見方に整理しています。

測定そのものを重くしない

測定が続かない理由は、ほぼ一つです。測る作業が面倒だから。フォームを作り、リマインドを送り、集計してグラフにする。これを人事が毎月やるのは無理があります。軽くするための工夫を並べます。

• 設問は3つまで。所要時間、直した箇所、先月使ったか。それ以上は聞かない
• すでにある会議に乗せる。月次の部内定例の最後5分を使い、新しい会議を作らない
• 集計は管理職が口頭で聞いて、その場でメモする。フォームを作らない
• 全員に聞かない。同じ業務の担当者3人に絞る。全数調査にしない
• 測る期間を先に区切る。3か月後の回で終わりにすると、最初に宣言しておく

5つめが効きます。「当面ずっと測ります」と言われると現場は身構えますが、「3回で終わりです」と最初に伝えておけば協力してもらいやすい。測定は研修の付属品です。現場の手が止まるような測り方なら、やめたほうがましです。

よくある質問

受講者へのアンケートは、もう取らなくてよいのですか？

取って構いません。ただし、満足度の点数は研修の出来を見る指標として扱い、業務が変わったかを見る指標とは分けてください。アンケートに1問だけ足すなら「明日、この型を使う業務が具体的にありますか」が有効です。ここに具体的な業務名を書けない受講者が多い場合、3か月後の数字も伸びにくい傾向があります。

研修前の測定を飛ばしてしまいました。いまからでも測れますか？

測れますが、比較の精度は落ちます。次善の策として、研修を受けていない同じ職種の担当者の所要時間を基準にする方法があります。あるいは受講者本人に「研修前は何分くらいでしたか」と思い出してもらう形でも、傾向は見えます。いずれも申告値なので、報告の際はその旨を添えてください。

効果が出ていなかった場合、どう報告すればよいですか？

数字をそのまま出したうえで、どの段階で止まったかを1行添えてください。使われていないのか、使われているが時間が減っていないのか、時間は減ったが品質がそろっていないのか。止まった段階が分かれば、次に打つ手は変わります。効果が出なかったこと自体より、原因が特定できていないことのほうが、次の判断を難しくします。

測るのは、次の1回を決めるため

効果測定は、終わった研修を採点するためのものではありません。次にどの部署で、どの業務をテーマにするかを決めるための材料です。

3種類を3回。研修前の1回を忘れない。報告は4行。これだけなら、人事の負担は1回あたり30分程度に収まります。

どの業務を測る対象にするかで迷う場合は、研修テーマの決め方から逆算すると早いです。手順は30分で研修テーマを1つに絞る手順にまとめました。当社へのご相談は、測る対象が決まっていない段階からで構いません。