信頼性と妥当性(テストの質)

信頼性と妥当性は、テストの質を考えるときの2つの柱です。 信頼性は「測定が安定しているか」、**妥当性は「測りたいものを測れているか」**を指します。

体重計にたとえると、乗るたびに数字が大きく変わるなら信頼性が低く、 毎回同じ数字が出ても身長を測っているなら妥当性がありません。

信頼性(測定の安定性)

同じ力の人が受ければ、同じような点数になるかどうかです。 点数には、その日の調子や、たまたま知っている問題が出たかといった偶然のぶれが混じります。 このぶれが小さいほど、信頼性が高いテストです。

信頼性を下げる主な原因には、次のようなものがあります。

• 設問の数が少ない — 1問の当たり外れで点数が大きく動きます
• 採点者によって点が変わる — 記述式ではルーブリックで基準をそろえます
• 紛らわしい設問がある — 力のある人ほど迷う設問は、点数の意味をぼやかします

数値で表す方法(信頼性係数)は古典的テスト理論で扱われます。

妥当性(測りたいものを測れているか)

点数が、テストの目的に照らして意味のあるものになっているかどうかです。 たとえば次のような問いで確かめます。

• 出題範囲を偏りなく代表しているか — 一部の分野ばかり出ていないか
• 問いたい力を問うているか — 業務の判断力を見たいのに、用語の暗記だけを問うていないか
• 点数の使い方に合っているか — 合否の判定に使えるだけの根拠があるか

近年は、妥当性をテストそのものの性質ではなく、 点数をどう解釈し、何に使うかが根拠で支えられているかとして考えるのが一般的です。

2つの関係

信頼性は妥当性の前提ですが、信頼性が高くても妥当とは限りません。 点数がぶれていれば何を測っても意味を持ちませんが、 安定して測れていても、測っている中身が目的とずれていれば役に立ちません。

質を高める工夫

• 出題の設計を先に決める — 出題設計表で分野と比重を決めてから作問します
• 作問を別の人が確かめる — 作問のレビューで紛らわしさや誤りを除きます
• 実施後に設問を見直す — 設問別統計で、機能していない設問を差し替えます
• 合格点の決め方を記録する — 合格点の決め方を説明できるようにしておきます

合否が資格や処遇に関わるハイステークス試験ほど、 これらの根拠を記録として残しておくことが大切です。

パレットCBTでの扱い

パレットCBTでは、質を確かめる材料として、結果画面で得点分布と、設問ごとの正答率・識別度・選択肢ごとの選択率を確認できます。 結果のCSVには、受験者ごとに設問別の解答・正誤・得点の列を含めて書き出せるため、 表計算ソフトや統計ソフトで信頼性係数などを計算することもできます。

出題の偏りを抑えるには、カテゴリ×難易度を指定したランダム抽出を、 作問の誤りを減らすには問題レビューワークフローを使えます。