作問のレビュー(問題の品質確認)

作問のレビューは、作った試験問題を本番で使う前に、作問者以外の人が確かめることです。 作問者は正解を知っているため、問題文の紛らわしさや別の正解に気づきにくくなります。 別の目を通すことで、出題ミスを本番の前に防ぎます。

見るべき観点

正しさ

• 正解が本当に正しいか。根拠となる規程や資料が最新か
• 正解が1つに定まるか。別の選択肢も正解と読めないか

分かりやすさ

• 問題文だけで何を問われているか分かるか
• 二重否定や、紛らわしい言い回しが無いか

公平さ

• 選択肢の長さや言い回しで、正解の見当が付いてしまわないか
• 問いたいことと関係のない知識(特定の部署だけが知っている言葉など)を前提にしていないか
• 特定の人を傷つける表現や、偏った例が無いか

出題の設計との整合

• 出題設計表の分野・難しさに合っているか
• 同じ試験の別の問題が、この問題のヒントになっていないか

入力式の設問では、正解として認める書き方の洗い出しも確認します(表記ゆれの許容を参照)。

承認の流れを作る

レビューを「やったつもり」で終わらせないために、 承認された問題だけを本番で使える流れにしておくと確実です。

• 作問者が問題をレビューに出す
• レビュー担当者が承認するか、理由を添えて差し戻す
• 差し戻された問題は直して、もう一度レビューに出す

作った本人が承認しないことが基本です。 また、承認した問題を後から直したときは、もう一度承認を受ける扱いにします。

実施後のレビュー

本番で使った問題は、設問別統計で振り返ります。 正答率が極端な問題や、成績上位者ほど間違えている問題は、 事前のレビューで見落とした不備のサインです。 問題が見つかった場合の採点の扱いは、正答の訂正を参照してください。

パレットCBTでの扱い

パレットCBTでは、組織の設定で問題レビューワークフローを有効にすると、 承認した問題だけをテストに置けるようになります。

• 問題の状態は「下書き」「レビュー待ち」「承認済み」「差し戻し」で管理します
• 承認と差し戻しはオーナーと管理者が行い、差し戻しには理由が必要です。レビューの履歴が残ります
• 自分が作った問題は、オーナー以外は自分で承認できません
• レビュー待ちの問題は、一覧で選んでまとめて承認できます
• 公開中の試験で使っている承認済みの問題は直接は直せず、複製を直して承認を受けてから差し替えます

問題には任意の管理番号(組織内で重複しない番号)を付けられ、検索やCSVでの取り込みに使えます。 問題の一覧は台帳としてCSVで書き出せます(問題文と選択肢は含みません)。

問題そのものの作成を外部に依頼したい場合は、制作・支援サービスもご覧ください。