研修の効果測定の進め方｜カークパトリックの4段階と、測る前に決めること

研修の効果測定とは

研修の効果測定とは、研修が受講者や組織にどんな変化をもたらしたのかを、決めた方法で確かめることです(研修の効果測定)。研修の担当者にとっては、「研修をやった」ことではなく、「研修で何が変わったか」を示すための仕事です。

効果を測る目的は、大きく 3 つあります。

研修を良くする

どこが分かりにくかったのか、どの内容が職場で使われていないのかが分かれば、次の研修の内容や進め方を直せます。効果測定のいちばん身近な使い道です。

投資を説明する

研修には、講師や教材の費用だけでなく、受講者が仕事を離れる時間という費用もかかります。経営や事業部門に対して、研修に使ったお金と時間に見合う変化があったことを説明する材料になります。

学びを定着させる

測ることそのものが、学びを定着させる働きをします。研修のあとに確認テストや振り返りがあると分かっていれば、受講者は内容を思い出し、職場で使おうとします(想起練習(テスト効果))。

カークパトリックの 4 段階

研修の効果測定で最もよく使われるのが、カークパトリックの 4 段階(4 レベル)の考え方です。研修の効果を、受講者の反応から組織の成果まで、4 つの段階に分けて捉えます。

上の段階に行くほど、組織にとって意味のある変化を捉えられます。一方で、測るのに手間と時間がかかり、研修以外の要因も混ざりやすくなります。すべての研修で 4 段階すべてを測る必要はありません。

レベル 4 の成果をお金に換算し、研修の費用と比べて投資の回収を見る「レベル 5(ROI)」を加える考え方もあります。費用が大きい研修や、継続するかどうかを判断したい研修で使われます。

段階は順につながっている

4 つの段階は、下から順につながっています。研修に納得していなければ(レベル 1)、身に付きにくく(レベル 2)、身に付いていなければ職場では使えず(レベル 3)、職場で使われなければ成果にはつながりません(レベル 4)。上の段階で思うような変化が出ないときは、下の段階のどこで止まっているのかを見ると、原因を探しやすくなります。

測る前に決めること

効果測定でよくある失敗は、研修が終わってから「何を測ろうか」と考え始めることです。研修の前に、次の 3 つを決めておきます。

研修の目的

「何ができるようになってほしいのか」を、行動の形で書きます。「コンプライアンスの意識を高める」ではなく、「判断に迷う取引を見つけたら、決められた窓口に相談できる」のように書くと、測る指標が決めやすくなります(学習目標)。

測る指標

目的に合わせて、どの段階を、どの指標で測るかを決めます。たとえば次のように決めます。

• レベル 1: 研修後アンケートの「職場で使えそうか」の回答
• レベル 2: 確認テストの点数と、事前テストからの伸び
• レベル 3: 研修から 3 か月後の、上司による行動の評価
• レベル 4: 相談窓口への相談の件数、問題になった取引の件数

測る時期

いつ測るかも、先に決めておきます。レベル 1・2 は研修の直後、レベル 3 は職場で試す時間をおいてから(数か月後)、レベル 4 は成果が数字に表れるまで(数か月〜1 年後)が目安です。あとから測ろうとしても、研修の前の状態が分からなければ比べられません。研修の前の状態も、この時点で測っておきます。

レベル 1 反応の測り方

研修の直後に、受講者へアンケートで尋ねます(受講後アンケート)。最も手軽で、ほぼすべての研修で行われている測り方です。

尋ねること

満足度だけを尋ねると、「楽しかった研修」が高く評価され、「役に立つ研修」との違いが見えにくくなります。次の 3 つを分けて尋ねるのがおすすめです。

• 満足度 — 研修全体にどのくらい満足したか
• わかりやすさ — 内容や説明は分かりやすかったか、時間や進め方は適切だったか
• 職場で使えそうか — 学んだことを職場で使えそうか、どの場面で使えそうか

最後の「職場で使えそうか」は、レベル 3 の行動の変化をある程度予測する手がかりになります。

アンケートを作るときのコツ

• 5 段階などの選択式と、自由記述を組み合わせる。点数だけでは理由が分かりません
• 設問は 10 問程度までに絞る。多すぎると回答率が下がり、最後のほうは雑に答えられます
• 研修の直後、その場で答えてもらう。時間がたつと回答率が下がります
• 本音を書きやすいように、無記名で答えられるようにすることも考える

レベル 2 学習の測り方

知識や技能が身に付いたかは、確認テストで測ります(理解度テスト)。

事前テストと事後テストで伸びを見る

研修の後だけテストをしても、もともと知っていた人が高い点を取っているだけかもしれません。研修の前と後に、同じ範囲・同じ難しさのテストを行い、点数の伸びを見ると、研修で身に付いた分が分かります(事前テスト・事後テスト)。

この例で事後テストだけを見ると、B さんの方が成績がよく見えます。伸びで見ると、研修で多くを身に付けたのは A さんです。B さんには、研修の内容がやさしすぎた可能性があります。

設問ごとの正答率を見る

点数の合計だけでなく、設問ごとの正答率も見ます。多くの人が間違えた設問は、研修の説明が足りなかったところか、問題の作り方に無理があるところです。正解した人と間違えた人で、テスト全体の点数に差があるかを見る「識別度」も、問題の質を見る手がかりになります(設問別統計(項目分析))。

実技はルーブリックで評価する

接客や面談のような実技は、テストの点数では測れません。評価の観点と段階をあらかじめ表にしたルーブリックを作り、評価する人による差を小さくします(ルーブリック)。

レベル 3 行動の測り方

職場で行動が変わったかは、研修から時間をおいて確かめます。研修の直後は意欲が高くても、職場に戻ると元のやり方に戻ってしまうことは少なくありません(研修転移)。

本人の振り返り

研修から 1〜3 か月後に、受講者へアンケートで尋ねます。「研修で学んだことを、この 3 か月で何回使ったか」「使ったときにうまくいったか」「使えなかった理由は何か」を尋ねると、行動の変化と、職場で使うときの壁が分かります。

上司の評価

本人の振り返りだけでは、自己評価が甘くなったり厳しくなったりします。直属の上司に、研修で目指した行動ができているかを評価してもらうと、より確かな材料になります。研修の前にも同じ観点で評価しておくと、変化を比べられます。

実践の報告

研修で学んだことを職場で試し、その結果を課題として提出してもらう方法もあります。提出された報告を、ルーブリックで評価します。受講者にとっては実践のきっかけになり、担当者にとっては行動の変化の具体的な材料になります。

行動の変化には、上司の関わりと職場の環境が大きく影響します。研修の前に上司へ研修の目的を伝え、研修の後に部下と話す時間を取ってもらうと、学んだことが職場で使われやすくなります。

レベル 4 成果の測り方

研修が組織の成果につながったかを測るのは、4 つの段階でいちばん難しいところです。業績は研修だけで決まらないからです。次の 3 つの手順で考えます。

業績の指標を決める

研修の目的とつながる指標を選びます。営業研修なら成約率や売上、安全研修なら事故やヒヤリハットの件数、新入社員研修なら早期の離職率や独り立ちまでの期間、といった具合です。研修の前に、指標と、その時点の値を確かめておきます(研修のKPI)。

比べる相手を決める

研修を受けた人だけの数字を見ても、研修のおかげなのか、市場や季節の影響なのか分かりません。研修を受けていない部署や、研修の前の同じ時期と比べます。全員が受ける研修では、受講の時期をずらした部署と比べる方法もあります。

ほかの要因を分ける

同じ時期に、制度の変更や新しい商品の発売など、業績に影響するほかの出来事がなかったかを確かめます。完全に分けることは難しいので、「研修以外にどんな要因が考えられるか」を報告に書き添えるだけでも、数字の受け止め方が変わります。

成果まで測るのは手間がかかるので、費用が大きい研修、経営が関心を持つ研修、継続するかどうかを判断したい研修に絞るのが現実的です。

研修の種類ごとの測り方の例

研修の目的によって、どの段階まで測るべきかが変わります。代表的な研修の例を挙げます。

新入社員研修

基礎知識が身に付いたかを確認テストで測り(レベル 2)、配属後に上司が仕事ぶりを評価します(レベル 3)。独り立ちまでの期間や、早期の離職率を長い目で追うと、成果(レベル 4)の手がかりになります(新入社員研修)。

コンプライアンス研修

全員が受けて、内容を理解していることが第一です。修了率と確認テストの合格を確かめ、多くの人が間違えた設問を翌年の研修で重点的に扱います(法定研修・コンプライアンス研修)。

管理職研修

管理職の行動の変化は、部下にいちばんよく見えています。部下・上司・同僚から行動を評価してもらう方法がよく使われます。部署の離職率や従業員の満足度の変化も、成果の手がかりになります(管理職研修)。

アンケートとテストの作り方の例

ここでは、研修の後に使うアンケートと、事前・事後テストを作るときの例を挙げます。そのまま使うのではなく、研修の目的に合わせて言葉を直してください。

研修後アンケートの設問の例

最後の「同僚に勧めたいか」は、満足度より厳しめの評価になりやすく、研修の質を比べる指標として使われることがあります。

事前・事後テストを作るときの決まり

• 同じ範囲・同じ難しさにする — 事前と事後で問題の難しさが違うと、伸びが正しく測れません。問題バンクから、同じ分野・同じ難しさの問題を選んで、別々の問題で組むと、事前テストで問題を覚えてしまう心配も減ります(問題バンク)
• 研修の目的の行動に近い問題にする — 用語を覚えているかだけでなく、「この場面ではどうするか」を選ぶ問題を入れると、職場で使える知識かを確かめられます(シナリオ型学習)
• 問題の数を絞る — 事前テストは受講者の負担になるので、10〜20 問程度に絞ります
• 合格点を決めておく — 事後テストに合格点を設けると、「全員が一定の水準に達したか」を確かめられます(合格基準)

上司による行動の評価の例

研修の前と、研修から 3 か月後に、同じ観点で上司に評価してもらいます。

観点は、研修で目指した行動をそのまま書きます。「リーダーシップがある」のような抽象的な観点にすると、評価する人によってばらつきます。

ROI(投資対効果)を計算する

研修の費用が大きく、続けるかどうかを判断したいときは、成果をお金に換算して、研修の費用と比べます。計算の式は次のとおりです。

ROI(%)= (研修で得られた利益 − 研修の費用)÷ 研修の費用 × 100

研修の費用に入れるもの

• 講師・外部の研修会社への支払い
• 教材の制作・購入の費用、LMS などの仕組みの費用
• 会場・移動・宿泊の費用
• 受講者が仕事を離れた時間の人件費(受講時間 × 時間あたりの人件費 × 人数)

見落とされやすいのが、最後の受講者の時間です。多くの研修で、これが費用のいちばん大きな部分になります。

得られた利益の見積もり方

得られた利益は、成果の指標の変化を、お金に換算して見積もります。たとえば、

• 営業研修で成約率が上がった → 増えた成約の数 × 1 件あたりの粗利
• 安全研修で事故が減った → 減った事故の数 × 1 件あたりにかかっていた費用
• 新入社員研修で早期の離職が減った → 減った離職の数 × 1 人を採用・育成し直す費用

研修以外の要因も混ざるので、変化のうち研修のおかげと考えられる割合を、控えめに見積もります。たとえば「成約率の伸びのうち、半分は研修のおかげと考える」と決めて、その考え方を報告に書き添えます。ROI は、正確な値を出すことよりも、研修の費用と効果を同じものさしで比べ、続けるかを判断する材料にすることに意味があります(研修予算の立て方)。

効果測定を年間の計画に組み込む

効果測定は、研修のたびに思い出して行うのではなく、年間の研修計画に組み込むと続けやすくなります(年間研修計画)。

研修の担当者が少ない場合は、すべての研修ではなく、年に 2〜3 の重点の研修に絞って、レベル 3・4 まで測るとよいでしょう。

効果測定でよくある失敗

研修の後に指標を決める

研修が終わってから「何を測ろうか」と考えると、研修の前の状態が分からず、変化を比べられません。指標は研修の前に決め、研修の前の値も測っておきます。

満足度だけで判断する

アンケートの満足度が高いことは、研修が役に立ったことを意味しません。満足度は、講師の話のうまさや、研修が楽だったかにも左右されます。学習と行動の段階とあわせて見ます。

測るだけで使わない

アンケートやテストの結果を集めても、誰も見ていない、次の研修に反映されていない、ということがあります。結果を見て研修を直す担当と時期を、年間の計画に入れておきます。

受講者の負担が大きすぎる

アンケートの設問が多すぎる、テストが長すぎる、何度も振り返りを求める、といったことが続くと、回答が雑になり、回答率も下がります。測ることは、研修の目的に照らして必要なものに絞ります。

結果を報告し、次に生かす

測った結果は、報告して次の研修に生かして初めて意味を持ちます。

• 数字と声を合わせる — 点数や回答の割合だけでなく、受講者の自由記述や上司のコメントを添えると、数字の意味が伝わります
• 目的と比べる — 研修の前に決めた目的と指標に対して、どこまで達したのかを示します
• うまくいかなかったことも書く — 職場で使われていない内容、伸びが小さかった分野を正直に書き、次の研修でどう直すかを示します
• 継続して追う — 同じ指標を毎年測ると、研修を直した効果も見えるようになります

パレットLMS でできること

パレットLMS では、主にレベル 1・2 の測定と、レベル 3 を確かめるための材料集めに使えます。

• レベル 1 — アンケートをコースの教材として、またはコースの外で配信できます。星評価・スケール・選択・自由記述の設問に対応し、無記名にもできます。回答率と設問ごとの集計を確認でき、結果は CSV で出力できます
• レベル 2 — 確認テストの結果を、テストの分析(設問ごとの正答率・識別度など)で確認できます。受講者カルテでは、タグごとの得意・不得意も見られます
• レベル 3 — 研修から時間をおいて、コースの外のアンケートで職場での変化を受講者に尋ねる、課題で実践の報告を提出してもらいルーブリックで評価する、といった使い方ができます

レベル 4 の業績データとの突き合わせは LMS の外で行うことになります。受講者別・組織別のレポートを CSV で出力し、社内のデータと合わせてご活用ください。