IRT(項目反応理論)

IRT(項目反応理論)は、受験者の能力と、問題ごとの難しさなどの性質を、同じものさしの上で推定するテスト理論です。 大規模な語学試験や資格試験などで使われています。

従来の採点との違い

一般的な試験は、正解した問題の配点を足した素点で評価します。 この考え方は古典的テスト理論と呼ばれ、設問別統計の正答率や識別度も、 この考え方にもとづく指標です。

素点には、どの問題を解いたかで点数の意味が変わるという弱点があります。 易しい回の60点と、難しい回の60点は、同じ実力を示しません。

IRTでは、問題ごとの性質(難しさや、実力の差を見分ける力)をあらかじめ推定しておき、 受験者が「どの問題に正解し、どれを間違えたか」から能力を推定します。 解いた問題の組み合わせが違っても、同じものさしで結果を比べられるのが特徴です。

IRTでできること

• 違う問題を解いた人どうしを比べる — 回ごと・受験者ごとに問題が違っても、能力を比べられます
• 回をまたいで水準をそろえる — 得点の等化の土台になります
• 解答に応じて出題を変える — CAT(適応型テスト)は、IRTを前提にするのが一般的です

導入に必要な条件

IRTは強力ですが、どの試験にも向くわけではありません。

多くの受験データが要る 問題ごとの性質を推定するには、多くの受験者の解答データが必要です。 受験者が少ない試験では、推定が安定しません。

専門家の関与が要る モデルの選び方、前提が成り立つかの確認、問題の性質の推定と見直しには、 テスト理論の専門知識が必要です。

受験者への説明が難しい 「正解の数が同じでも結果が違う」ことが起こりうるため、 結果の説明に工夫が要ります。

社内試験や中小規模の検定では、素点と設問別統計による運用で十分なことが多くあります。