よい試験かを確かめる｜信頼性と妥当性・設問の分析・合格点の決め方

よい試験の 4 つの条件

社内の理解度テスト、昇格の試験、社内検定、資格の試験。どの試験でも、作った人は「この試験で、本当に力が分かるのだろうか」と気になるものです。試験の質は、次の 4 つの条件で考えると整理しやすくなります。

このうち、試験の質の中心になるのが信頼性と妥当性です(信頼性と妥当性)。体重計にたとえると、乗るたびに数字が大きく変わるなら信頼性が低く、毎回同じ数字が出ても身長を測っているなら妥当性がありません。

信頼性は妥当性の前提

点数がぶれていれば、何を測っても意味を持ちません。ただし、点数が安定していても、測っている中身が目的とずれていれば役に立ちません。たとえば、営業の判断力を確かめたい試験で、用語の暗記を問う問題ばかりを出すと、点数は安定していても、判断力は分かりません。信頼性は妥当性の前提ですが、信頼性が高くても妥当とは限りません。

妥当性は「点数の使い方」で考える

妥当性は、試験そのものの性質というより、点数をどう読み、何に使うかに根拠があるかで考えるのが一般的です。同じ試験でも、「研修の理解を確かめる」には使えて、「昇格を決める」には根拠が足りない、ということがあります。試験の目的と点数の使い道を、最初に言葉にしておきます。

公平さと実用性

受験者の端末や回線、受ける場所の違い、障害のある受験者への配慮も、試験の質の一部です(だれもが受けやすい試験にする)。また、どれほど精密な試験でも、作るのに何か月もかかり、採点が追いつかないなら続けられません。4 つの条件のつり合いを取ることが大切です。

信頼性を下げる原因

点数には、その日の調子や、たまたま知っている問題が出たかといった偶然のぶれが混じります。このぶれを大きくする原因は、主に次の 4 つです。

設問が少ない

設問が少ないと、1 問の当たり外れで点数が大きく動きます。10 問の試験で 1 問を落とすのと、50 問の試験で 1 問を落とすのとでは、点数への響き方がまったく違います。合否を決める試験ほど、測りたい範囲を十分な数の設問でカバーします。

採点がぶれる

記述式やレポート、話す力の試験では、採点者によって点が変わります。同じ採点者でも、1 枚目と 100 枚目で基準がずれます。観点と段階を表にまとめた採点の基準を先に作り、採点者で目を合わせてから採点します。

紛らわしい設問

問題文があいまいで、二通りに読める設問は、力のある人ほど迷います。正解が一つに決まらない設問は、点数の意味をぼやかします。作問の段階で、別の人に確かめてもらいます(作問のレビュー)。

受ける条件の違い

制限時間が足りない、画面の操作がわかりにくい、音が聞こえにくい、といった条件の違いも、点数のぶれになります。測りたい力とは関係のないところで点が落ちないように、受験の環境と案内を整えます。

信頼性を高める工夫

信頼性を数字で表す方法(信頼性係数)もあります。テスト全体として点数がどれくらい安定しているかを表すもので、受験者ごと・設問ごとの正誤のデータがあれば、表計算ソフトや統計ソフトで計算できます。

設問ごとの分析(正答率と識別度)

試験の後に、結果を設問ごとに見ると、問題そのものの出来が分かります(設問別統計)。まず見るのは、次の 2 つの数字です。

• 正答率 — その設問に正解した受験者の割合です。低いほど難しい設問です
• 識別度 — 試験全体の成績が良い人ほど、その設問に正解しているかを表します。成績の上位の人たちと下位の人たちの正答率の差で表すのが分かりやすい方法です

見直しの候補になる 4 つの型

易しすぎる ほとんど全員が正解する設問です。受験者の間に差がつかないので、力を見分けるのには役立ちません。ただし、「全員に必ず知っていてほしいこと」を確かめる設問なら、易しくても残す意味があります。

難しすぎる ほとんど誰も正解できない設問です。教えていない範囲から出ている、問題文が分かりにくい、正解の登録が誤っている、といった原因が考えられます。

差がつかない 成績の良い人も悪い人も、同じくらいの割合で正解している設問です。識別度が低い設問で、勘で当たる、問われていることが試験の目的と違う、といった原因が考えられます。

上位の人が落とす 成績の良い人ほど間違え、成績の低い人ほど正解している設問です。識別度がマイナスになります。設問そのものに問題がある強いサインです。読み方によっては別の選択肢も正しい、正解の登録が誤っている、といった原因をまず疑います。

数字の読み方の注意

• 受験者が少ないと、偶然の影響が大きい — 数人の結果から識別度を読んでも、たまたまの結果かもしれません。ある程度の人数が集まってから判断します
• 数字だけで差し替えを決めない — 数字は「見直す候補」を教えてくれるだけです。最後は問題文と選択肢を読み、分野に詳しい人が判断します
• 教える側の課題も疑う — 特定の分野の設問がそろって難しいなら、問題ではなく研修や教材に課題があるかもしれません

選択肢の働きを見る

選択式の問題では、正解と並べる誤答の選択肢の出来が、問題の質を大きく左右します(誤答の選択肢)。誤答が明らかに的外れだと、知識が無くても消去法で正解に届きます。4 つの選択肢のうち 2 つがすぐに外せるなら、その問題は実質 2 択です。

試験の後に選択肢ごとに何人が選んだかを見ると、誤答の働きが分かります。

選ばれ方の 4 つの型

正解の誤りが見つかったら

試験の後に正解の誤りや、正解が二つある設問が見つかることがあります。そのときは、新しい正答で採点し直す、その設問を全員正解にする、採点から外す、のどれかを選んで直します(正答の訂正)。どれを選ぶかで合否が変わる人が出ることもあるので、影響を確かめ、理由を記録してから直します。結果を公開した後なら、受験者への知らせ方も決めます(試験結果の返し方)。

選択肢の位置にも気をつける

正解がいつも同じ位置にある、長い選択肢が正解になりやすい、といった癖があると、内容を知らなくても見当がつきます。選択肢の並びを受験者ごとに入れ替えると、位置による偏りを抑えられます。誤答の作り方そのものは、試験問題の作り方 で詳しく解説しています。

合格点の決め方の考え方

合格点は、試験の質を決める大事な要素です。「なんとなく 60 点」「毎回 7 割が受かるように」と決めると、合格した人が本当に必要な力を持っているかを説明できません。

基準で決めるか、集団の中の位置で決めるか

試験の結果の読み方には、大きく 2 つの考え方があります(集団準拠評価と目標準拠評価)。

資格や社内の認定は、「この資格を持つ人は、ここまでできる」と示すのが目的なので、基準で決めるのが基本です。受けた回の顔ぶれで合格の水準が変わってはいけません。選抜の試験でも、最低限の水準は基準で決め、その上で順位を使うと説明しやすくなります。

根拠のある合格点の決め方

合格点を、根拠を説明できる手順で決めることを、スタンダード・セッティングと呼びます(合格点の決め方)。多くの方法に共通する流れは次の 4 つです。

1. ぎりぎりの人を描く — 業務をよく知る人が集まり、「合格の水準にちょうど届く人は、最低限何ができるか」を言葉にしてそろえます
2. 設問ごとに見積もる — 設問を 1 問ずつ見て、「ぎりぎりの人がこの設問に正解する見込み」を見積もります。複数の人の見積もりを比べ、話し合って調整します
3. 合格点の案を作る — 見積もりを全部の設問で合わせたものを、合格点の案にします
4. 実施後に見直す — 実施した後の得点の分布、設問ごとの正答率、合格率を見て、合格点が水準に合っていたかを確かめます

社内試験での現実的な進め方

本格的な方法は、専門家の時間とデータが要ります。社内試験では、研修や業務の担当者が設問ごとに「必ず正解してほしいか」を確かめて案を作り、初回はその案で実施して、結果を見て直していく進め方が現実的です。分野ごとに最低限の水準を求めたいなら、合計点とは別に、分野ごとの基準点を設けます。社内検定の立ち上げの段取りは 社内検定の立ち上げ方 にまとめています。

合格点を変えるときの注意

結果を見てから合格点を変えると、受験者には不公平に映ります。誰の判断で、どんな根拠があれば見直すのかを、前もって規程に書いておきます。変えたときは、変えた理由と、合否が変わった人数を記録します。

回をまたいで難しさをそろえる

毎回問題を入れ替える試験では、回ごとに難しさが少しずつ変わります。同じ「70 点で合格」でも、難しい回の受験者は不利になります。回をまたいで得点の意味をそろえる統計の手続きを等化と呼びます(得点の等化)。厳密な等化には、統計の専門知識と多くの受験者が要りますが、規模の小さい試験でも、次の 4 つの工夫で回ごとのぶれを小さくできます。

共通の問題

各回に同じ問題を一部入れておくと、その問題の出来を回ごとに比べられます。共通の問題の正答率が大きく違えば、受験者の集団が違うのか、ほかの問題の難しさが違うのかを考える手がかりになります。ただし、同じ問題を使い続けると問題が外へ漏れる心配も増えるので、入れ替えの周期を決めておきます(オンライン試験の不正対策)。

配分をそろえる

問題を蓄えておき、それぞれに分野と難易度を付けておきます。毎回「この分野から、この難易度で何問」と同じ配分で出題すると、回ごとの難しさがそろいやすくなります。配分は出題設計表で決めます。

極端な問題を外す

設問ごとの分析で、易しすぎる・難しすぎる・上位の人が落とす設問を見つけたら、次の回から外すか直します。極端な問題が混ざらなくなると、回ごとのぶれが小さくなります。

回ごとに記録する

回ごとの受験者数、平均点、合格率、得点の分布を記録しておきます。ある回だけ平均点や合格率が大きくずれたら、問題の難しさが変わったのか、受験者の集団が変わったのか、運営に何か起きたのかを確かめます。

これらは等化の代わりではなく、ぶれを抑えるための工夫です。合否が資格や処遇に大きく関わり、受験者の数も多い試験では、テスト理論の専門家に相談することも考えてください。

古典的テスト理論と IRT の違い

試験の採点と分析の考え方には、大きく 2 つがあります。

古典的テスト理論

正解した問題の配点を合計した点数をもとに、試験と設問の質を評価する考え方です(古典的テスト理論)。社内試験から資格試験まで、多くの試験はこの考え方の上に成り立っています。ここまでに出てきた正答率・識別度・選択肢の選ばれ方・信頼性係数は、どれもこの考え方の指標です。

• 長所 — 点数は正解の合計なので、受験者に説明しやすく、特別な道具が無くても計算できます。受験者が比較的少ない試験でも使えます
• 限界 — 指標が受験者の集団に左右されます。同じ設問でも、力のある集団が受ければ正答率は高く出ます。また、違う問題を解いた人どうしは比べにくくなります

IRT(項目反応理論)

受験者の能力と、設問ごとの難しさなどの性質を、同じものさしの上で推定する考え方です(IRT)。設問ごとの性質をあらかじめ推定しておき、受験者が「どの設問に正解し、どれを間違えたか」から能力を推定します。解いた問題の組み合わせが違っても、同じものさしで比べられるのが特徴です。大規模な語学試験や資格試験で使われ、回をまたいで水準をそろえる等化や、解答に応じて出題を変える適応型のテストの土台にもなります。

• 長所 — 違う問題を解いた人どうしを比べられます。回をまたいで水準をそろえやすくなります
• 限界 — 設問の性質を推定するのに、多くの受験者の解答データが要ります。モデルの選び方や確かめ方に専門知識が要ります。「正解の数が同じでも結果が違う」ことが起こりうるため、受験者への説明に工夫が要ります

どちらを選ぶか

社内試験や中小規模の検定では、古典的テスト理論の指標で設問を見直していく運用で十分なことが多くあります。まずは正答率・識別度・選択肢の選ばれ方を回ごとに見ることから始め、受験者が大きく増え、回をまたいだ比較が強く求められるようになったら、IRT を検討します。

見直しの段取り

試験の後の見直しは、次の順に進めます。記憶が新しいうちに、試験の担当者と分野に詳しい人で行います。

1. 全体の数字を見る — 受験者数、平均点、合格率、得点の分布を見ます。前の回と比べて大きく変わっていないかを確かめます
2. 設問ごとの数字を見る — 正答率と識別度を見て、易しすぎる・難しすぎる・差がつかない・上位の人が落とす設問に印を付けます
3. 選択肢の選ばれ方を見る — 印を付けた設問の選択肢ごとの選ばれ方を見て、原因の見当を付けます
4. 問題文と選択肢を読む — 数字で見当を付けた設問を、分野に詳しい人が読みます。正解の誤りがあれば、採点を直します
5. 直し方を決める — 残す・直す・外す・差し替える、を設問ごとに決めます
6. 合格点を確かめる — 合格率と得点の分布から、合格点が水準に合っていたかを確かめます。変えるなら、決めておいた手続きに沿います
7. 記録して次の回へ — 決めたことと理由を記録し、問題の蓄えと出題設計表に反映します

見直しの会議で使う表の例

受験者が少ない試験での進め方

受験者が数十人までの社内試験では、統計の数字は偶然の影響を大きく受けます。それでも、次の工夫で質を確かめられます。

• 数回分を合わせて見る — 同じ設問を数回使っているなら、回をまたいで結果を合わせてから判断します
• 数字より、目立つ外れ値を見る — 「上位の人がそろって落としている」「誰も選ばない誤答がある」のような、はっきりした型だけを拾います
• 受験者の声を集める — 試験の後のアンケートで、分かりにくかった設問を聞きます。数字で見えない紛らわしさが見つかります
• 作問のレビューを厚くする — 試験の後の数字に頼れない分、作る段階で別の人に確かめてもらいます
• 試しに受けてもらう — 本番の前に、業務に詳しい人や、前に合格した人に試しに受けてもらい、時間や難しさを確かめます

試験の質を確かめるチェックリスト

記録に残しておくこと

試験の質は、記録があってはじめて説明できます。合否が資格や処遇に関わる試験ほど、次のことを残しておきます(合格基準)。

• 試験の目的と点数の使い道 — 何のための試験か、合否を何に使うか
• 出題設計表 — 分野・比重・難易度の配分と、そう決めた理由
• 作問とレビューの経過 — 誰が作り、誰が確かめたか
• 合格点の決め方 — 誰が、どの手順で、どんな理由で決めたか
• 試験の後の分析と直したこと — 設問ごとに何を見て、どう直したか
• 正解の訂正と合格点の見直し — 何を、なぜ、いつ直し、合否が変わった人は何人か

記録は、受験者から結果について問われたとき、担当者が替わったとき、試験の水準を社内で説明するときの拠り所になります。

パレットCBT でできること

パレットCBT の採点は、正解した問題の配点を合計する方式(部分点を含む)で、古典的テスト理論にもとづいています。試験の質を確かめる材料として、次のものを使えます。

• 結果の画面で、受験者数・平均点・合格率・最高点・最低点と得点分布を確認できます。グループなどで絞り込むと、全体と絞り込み中の数字を並べて比べられます
• 設問ごとの正答率と識別度(上位群と下位群の正答率の差)、無解答率を確認できます
• 単一選択・複数選択・正誤の問題では、選択肢ごとの選ばれた人数と選択率を、正解の選択肢と区別して確認できます。設問別統計は CSV で書き出せます
• 結果の CSV に、受験者ごとの設問別の解答・正誤・得点を含めて書き出せるので、信頼性係数などを表計算ソフトや統計ソフトで計算できます(信頼性係数は自動では計算しません)

作る段階と見直しの段階では、次の機能を使えます。

• カテゴリ×難易度を指定したランダム抽出で、毎回同じ配分で出題を組み立てられます。問題には難易度を付けられます
• 問題レビューワークフローを有効にすると、承認した問題だけをテストに置けます
• 選択肢の並びを、セクションごとや問題ごとにシャッフルできます
• 合格基準を点数または割合で試験ごとに設定でき、セクションごとの基準点も設けられます。合格基準を見直したときは「合格基準で再判定」で影響を確かめてから判定をやり直せ、理由は記録に残ります
• 正解を直すときは、新しい正答で再採点・全員正解・採点から除外から選べ、適用の前に結果が変わる受験の数と合否が変わる人数を確認できます。訂正の理由は操作履歴(監査ログ)に残ります

機能の一覧は パレットCBT の機能、料金は 料金プラン をご覧ください。試験のシステムを比べるときの観点は オンライン試験システムの選び方 にまとめています。