GLOSSARYランダム出題(問題の抽出)

ランダム出題は、問題バンクにためた問題から 毎回異なる組み合わせを自動で選んで出題する仕組みです。

何のために使うのか

受験者ごとに違う問題を出すため 全員が同じ問題を解く形式では、解答の共有が成立してしまいます。 出題が受験者ごとに違えば、共有の効果が大きく下がります。 不正対策として、システムによる監視よりも 先に検討したい手段です。

再受験のたびに違う問題を出すため 再受験を認める試験で毎回同じ問題を出すと、 2回目以降は「答えを覚えたかどうか」を測ることになります。

同じ問題セットを何度も作らなくて済む 月次の確認テストのように繰り返す試験では、 毎回の作問が不要になります。

設計の注意点

難易度が偏らないようにする 単純にプール全体からランダムに選ぶと、 たまたま難しい問題ばかり当たる受験者が出ます。 これは受験者間の公平性を損ないます。

対策として、難易度やカテゴリごとに何問ずつ抽出するかを 指定できる仕組みを使います。 「易から3問・中から5問・難から2問」のように条件を決めれば、 組み合わせは変わっても難易度の水準は揃います。

プールの数を十分に用意する 出題数10問に対してプールが12問では、ほとんど同じ問題が出ます。 最低でも出題数の3倍程度は用意したいところです。

合格基準との関係を考える 問題が毎回変わる以上、得点の比較は厳密には同条件になりません。 合否が重い試験では、設問別の統計を見て 極端に難しい/易しい問題を調整していく運用が必要です。

パレットCBTでの扱い

パレットCBTは難易度×カテゴリを指定したランダム抽出に対応しています。 「このカテゴリから、この難易度で何問」という条件で出題を組み立てられます。

出題内容は受験開始の時点で固定されるため、 受験中に問題が入れ替わることはなく、 後から「その受験者が何を解いたか」を再現できます。