試験問題の作り方｜出題の設計図・形式の選び方・選択肢の作り方と見直し

出題の設計図をつくる

問題を書き始める前に、試験全体の設計図をつくります。分野ごとに何問を、どの難しさで、どの形式で出すかを 1 枚の表にしたものです。出題設計表やテストブループリントとも呼ばれます(出題設計表)。

設計図がないまま問題を書くと、書きやすい分野の問題ばかりが増えます。知識を問う問題は書きやすく、判断を問う問題は書きにくいので、放っておくと「覚えていれば解ける試験」になりがちです。設計図は、この偏りを防ぐための道具です。

測りたい力

まず、試験に合格した人が「何をできる人」なのかを書き出します。研修の確認テストなら研修の目標、資格の試験なら資格を持つ人に求める仕事の中身が出発点です。

書き出すときは、「知っている」「使える」「判断できる」のように、力の深さも分けておきます。同じ分野でも、用語を知っているかを問う問題と、場面に当てはめて判断できるかを問う問題では、作り方が違うからです。

分野と出題数

測りたい力を、いくつかの分野にまとめます。分野ごとの出題数は、その力が仕事や学習の中でどれだけ大事かで決めます。大事な分野ほど問題を多くし、点数への重みを大きくします。

難しさの配分

分野ごとに、やさしい問題・ふつうの問題・むずかしい問題を何問ずつにするかを決めます。合否を分ける試験なら、合格の線の近くの人を見分けられる「ふつう」の問題を多めにします。研修の理解度の確認なら、やさしい問題を多めにして、全員が押さえるべきことを確かめます。

出題形式

分野と力の深さに合わせて、選択式か、入力で答えるか、文章で書くかを決めます(次の節)。採点にかかる手間も、ここで見積もっておきます。

設計図の例

設計図は、作問を担当する人全員に配ります。問題を書く人は、自分が「どの分野の、どの難しさの問題を何問」担当するのかが分かるので、重なりや抜けが減ります。社内検定で合格点まで含めて決める段取りは、社内検定の立ち上げ方にまとめています。

出題形式の選び方

出題形式は、測りたい力に合うものを選びます。採点のしやすさだけで選ぶと、測りたい力とずれます。形式は大きく 4 つに分けると考えやすくなります(設問の形式)。

選択式

単一選択・複数選択・正誤など、用意した答えから選ぶ形式です。自動で採点でき、短い時間で広い範囲を確かめられます。知識の確認に向いていますが、誤答の選択肢の出来で問題の質が大きく変わります(4 つ目の節)。

記述・入力

穴埋めや数値の入力、文章で答える記述の形式です。選択肢がないので、当て推量で正解しにくくなります。穴埋めや数値は自動で採点できますが、認める答えの書き方(全角と半角、単位の有無など)を決めておく必要があります(表記ゆれの許容)。文章で書く記述は、人が採点します。

操作型

並べ替え・組み合わせ(マッチング)・ドロップダウン・スライダーなど、画面の上で操作して答える形式です。手順の順番や、言葉と意味の対応を問うのに向いています。紙の試験では採点が手間だった形も、オンラインなら自動で採点できます。

提出型

ファイルを出す、声を録音するといった形式です。作った資料や話し方のように、成果物そのものを見たい力を確かめます。人が採点するので、採点の基準を先に決めておきます。

形式を選ぶ目安

長い事例の文や図表に複数の設問を付けるときは、共通の素材と設問をひとまとまりにしたセット問題にします(セット問題)。聞く力を確かめる試験なら、音声を聞いて答える問題も使えます。

問題文の書き方

問題文の目的は、受験者に「何を答えればよいか」を迷わず伝えることです。読み取りに力を使わせると、測りたい力とは別の「読む力」を測ってしまいます。

問いを一つにする

1 つの問題で問うことは 1 つにします。「A の手順と、B のときの対応として正しいものはどれか」のように 2 つを問うと、片方だけ分かる人が正しく測れません。問いが 2 つあるなら、問題を 2 つに分けます。

短く言い切る

場面の説明は、答えに要ることだけに絞ります。前置きが長いと、時間が足りなくなる受験者が出ます。問いの文は「〜として正しいものはどれか」「〜にあてはまる数を答えなさい」のように言い切り、何を選ぶのか、何を書くのかをはっきりさせます。

否定の問いを避ける

「誤っているものはどれか」「〜でないものはどれか」という問いは、読み落としによる失点を生みます。どうしても使うときは、「誤っているもの」の部分を太字にするなど、目立たせます。「〜でないものではない」のような否定の重ねは使いません。

手がかりを消す

問題文や、ほかの問題の中に、答えの手がかりが書かれていないかを確かめます。たとえば、問 3 の場面の説明に、問 5 の答えがそのまま書かれていることがあります。正解の選択肢にだけ問題文と同じ言葉が入っているのも、手がかりになります。

書くときに気をつけること

• 社内や業界でしか通じない略語は、正式な言い方に直すか、説明を添えます
• 「ときどき」「多くの場合」のような、人によって受け取り方の違う言葉は使いません
• 図や表を使うときは、画面で読める大きさかを確かめ、画像には説明の文(代替テキスト)を付けます
• 紙の試験から移した問題の「右の図」「次のページ」のような位置を指す言葉は、画面では位置が変わるので直します(紙の試験からオンライン試験へ)

よい選択肢と誤答の選択肢の作り方

選択式の問題の質は、誤答の選択肢で決まります。誤答がすぐに外せるものばかりだと、知識がなくても消去法で正解に届きます。4 択のうち 2 つがすぐ外せるなら、その問題は実際には 2 択です(誤答の選択肢)。

正解は一つに

単一選択の問題では、正解がはっきり 1 つに決まることを確かめます。誤答のつもりの選択肢が、読み方によっては正しいと言える場合は、専門の人でも意見が分かれ、後で出題ミスになります。「最も適切なものを選べ」という問いでも、ほかの選択肢がはっきり劣ることを言えるようにします。

よくある誤りから

よい誤答は、理解が足りない人が選びたくなり、理解している人は選ばない選択肢です。次のようなところから作ります。

• 研修や講習で受講者からよく出る質問
• 記述式で出したときの、よくある間違った答え
• 職場で実際に起きている勘違いや、手順の飛ばし方
• 一般論としては正しいが、問われている場面には当てはまらないこと

よくある誤りから作った誤答は、出題の後に「どの誤りが多いか」を教えてくれます。研修の見直しにも使えます。

長さと形をそろえる

正解だけが長い、正解だけが詳しい、正解だけ語尾が違う、という選択肢は、内容を知らなくても見当がつきます。選択肢の長さ・言い回し・具体さをそろえます。数を答える選択肢は、小さい順か大きい順に並べると、読み比べやすくなります。

正解の位置を散らす

作る人には、正解を 2 番目や 3 番目に置きたくなる癖があります。試験全体で、正解の位置が偏っていないかを確かめます。出題のたびに選択肢の並びを入れ替える仕組み(シャッフル)を使うと、位置の偏りと、隣の人の答えを見る不正の両方を防げます(出題順・選択肢のシャッフル)。ただし、数の順や「上のすべて」のように並びに意味がある選択肢は、入れ替えると困るので、その問題だけ入れ替えない設定にします。

避けたい選択肢

• 「上のすべて」「いずれも誤り」を何度も使う(1 つが正しいと分かるだけで答えが絞れる)
• 「必ず」「決して」のような言い切りの言葉が誤答にだけ入っている
• 正解と同じ言葉を誤答に入れて引っかけるだけの選択肢
• 冗談のような、明らかにありえない選択肢

問題のレビュー

問題は、作った人とは別の人が確かめてから試験に置きます(作問のレビュー)。作った人は答えを知っているので、問題文のあいまいさや手がかりに気づきにくいからです。出題ミスを減らすいちばんの近道がレビューです。

レビューの流れ

1. 下書き — 作る人が問題を書きます。設計図のどのマスの問題かを書き添えます
2. レビュー待ち — 作る人がレビューを頼みます。レビューする人は、受験者と同じように問題を解いてから中身を確かめます
3. 承認済み — 問題がなければ承認します。直すところがあれば、理由を書いて作る人に差し戻します
4. 試験に置く — 承認した問題だけを試験に組み込みます

レビューで確かめること

レビューのつまずきを防ぐ

• 自分の問題を自分で承認しない — 作る人とレビューする人を分ける決まりにします
• 差し戻しには理由を書く — 「分かりにくい」だけでは直せません。どこを、どう直すとよいかを書きます
• 公開中の問題を直接直さない — 試験で使っている問題を書き換えると、受けた人と後の人で問題が変わります。複製して直し、レビューを受けてから差し替えます

問題の蓄え方と使い回し

作った問題は、試験ごとに捨てずに蓄えて使い回します。問題を 1 か所にため、試験はそこから選んで組む仕組みを問題バンクと呼びます(問題バンク)。問題が増えるほど、毎回の作問の手間が減り、試験の質も安定します。

分野でフォルダを分ける

フォルダは、設計図の分野で切ります。「今年度用」「第 3 回用」のように時期で切ると、翌年に使い回すときに探せません。時期や用途は、次のタグで分けます。

難易度を付ける

問題には、作るときに「やさしい・ふつう・むずかしい」の目印を付けます。最初は作る人の見立てで付け、出題の後に正答率を見て付け直します(次の節)。

タグを付ける

分野と難易度のほかに、「どの研修の範囲か」「どの決まりにもとづくか」「作った年」などの切り口で探したいときは、タグを付けます。決まりが変わったとき、その決まりのタグが付いた問題をまとめて見直せます。

使っている試験を見る

問題を直すときは、その問題がどの試験で使われているかを先に確かめます。使っている試験が公開中なら、前の節のとおり複製して差し替えます。問題ごとに管理番号を付けておくと、問い合わせや見直しのときに問題を特定しやすくなります。

ランダムに選んで出す

問題が十分にたまったら、分野と難易度ごとに決めた数をランダムに選んで出せます(ランダム出題)。受験者ごとに出る問題が変わるので、問題が外に出たときの影響を小さくできます。設計図のマスを「分野 × 難易度」で作っておけば、そのまま抽出の条件になります。

ランダムに出すときは、同じマスの問題の難しさがそろっていることが前提です。むずかしさに差があると、運によって点数が変わります。抽出する数の 2〜3 倍の問題をマスごとに用意しておくと、組み合わせに幅が出ます。受験期間の長い試験や、何度も受け直せる試験では、特に多めに用意します。不正への備えは、オンライン試験の不正対策もあわせてご覧ください。

出題後の分析で直す

問題は、出題して終わりではありません。受験者の答えを集計すると、働いていない問題が見えてきます(設問別統計)。

正答率

その問題に正解した人の割合です。ほとんど全員が正解する問題、ほとんど誰も正解できない問題は、受験者の力の差を見分けていません。全員が押さえるべきことを確かめる問題なら、正答率が高くても構いません。設計図で決めた難しさと、実際の正答率がずれていないかを見ます。

識別度

試験全体の成績が良い人ほど、その問題に正解しているかを表す数字です。成績の上の人たちと下の人たちの正答率の差で見ます。差が小さい問題は力の差を見分けられず、差がマイナス(成績の良い人ほど間違える)の問題は、正解の登録ミスや、問題文のあいまいさを疑います。

選択肢の選ばれ方

選択式の問題では、選択肢ごとに何人が選んだかを見ます。

無解答率

答えなかった人の割合です。試験の後半の問題で高いなら、制限時間が足りていない可能性があります。前半の問題で高いなら、問題文が分かりにくい、入力のしかたが分からない、といった原因を疑います。

見つけたらどうするか

• 正解の誤りが分かった — 新しい正解で採点し直すか、全員を正解にするか、その問題を採点から外すかを決めます。合否が変わる人の数を確かめてから直します(正答の訂正と受験の無効化)
• 働いていない問題 — 次の回までに問題文か選択肢を直し、もう一度レビューを受けます
• 難しさの目印がずれていた — 正答率に合わせて、問題バンクの難易度を付け直します

受験者が少ない試験では、数字に偶然の影響が大きく出ます。少ない人数で判断を急がず、何回分かの結果を合わせて見ます。

よくある悪い問題と直し方

作問でよく見かける悪い問題と、直し方の例です。

問いが二つ入っている

• 直す前 — 「申請の締切と、締切を過ぎたときの扱いとして正しいものはどれか」
• 直した後 — 「申請の締切として正しいものはどれか」と「締切を過ぎた申請の扱いとして正しいものはどれか」の 2 問に分ける

正解だけが詳しい

• 直す前 — 誤答は「上司に報告する」「記録しない」のように短く、正解だけ「その日のうちに所定の様式で上司に報告し、記録を残す」と長い
• 直した後 — 誤答も「翌週の会議で口頭で報告し、記録は残さない」のように、正解と同じくらいの長さと具体さにそろえる

否定の問いが読み落とされる

• 直す前 — 「次のうち、正しくないものはどれか」
• 直した後 — 「正しいものはどれか」に直す。直せないときは「正しくないもの」を太字にする

覚えているかだけを問うている

• 直す前 — 「個人情報の定義として正しいものはどれか」
• 直した後 — 「次の場面で、個人情報にあたるものはどれか」として、場面の説明を付け、判断を問う

「上のすべて」で答えが絞れる

• 直す前 — 4 つ目の選択肢が「上のすべて」で、ほかの 2 つが正しいと分かれば答えが決まる
• 直した後 — 複数選択の形式に変え、あてはまるものを全部選んでもらう

作問のチェックリスト

問題を書き終えたら、レビューを頼む前に、作る人が自分で確かめます。

作問を分担するときの段取り

問題の数が多い試験では、複数の人で作問を分担します。分担のしかたを決めておかないと、問題の書き方や難しさがばらばらになります。

1. 作問の手引きを配る — 設計図・この記事のような書き方の決まり・チェックリスト・問題の例をまとめて、作る人に配ります
2. 担当のマスを決める — 設計図の「分野 × 難しさ」のマスごとに、担当と問題の数を決めます。得意な分野を持つ人に割り振ります
3. 最初に数問だけ書いてもらう — いきなり全部を書いてもらわず、最初の数問をレビューして、書き方のずれを早めに直します
4. レビューの担当を決める — 作る人とレビューする人を組にします。同じ分野に詳しい人が望ましいですが、作った人とは必ず別の人にします
5. 締切を 2 段にする — 下書きの締切と、レビューを終えた問題の締切を分けます。差し戻しと直しの時間を見込みます
6. 全体を通して見る — 問題がそろったら、試験の形に組んで、1 人が全体を通して解きます。問題どうしの手がかり、同じことを問う問題の重なり、かかる時間を確かめます

外部の専門の人に作問を頼むときも、設計図と書き方の決まりを渡し、レビューは自分たちの側で行います。仕事の現場の今のやり方と合っているかは、内側の人でないと確かめにくいからです。

パレットCBT でできること

パレットCBT では、作問から出題後の分析まで、次のことができます。

• 13 種類の出題形式 — 新しい問題を作るときに、選択式・記述・入力・操作型・提出型の 4 つの分類から選べます。部分点や、画像・音声・動画の添付にも対応しています
• セット問題 — 共通の素材と複数の設問をまとめ、素材と設問を左右に並べて表示できます
• 問題のレビュー — 組織の設定で有効にすると、承認した問題だけを試験に置けます。状態は「下書き」「レビュー待ち」「承認済み」「差し戻し」で、差し戻しには理由が要ります。自分が作った問題は、オーナー以外は自分で承認できません
• 問題の蓄え方 — 多階層の問題フォルダ、難易度、問題タグ、問題ごとの管理番号で整理し、その問題がどの試験で使われているかを確かめられます。CSV や QTI で取り込めます
• ランダム出題 — セクションごとに、N 問のランダム抽出、難易度別の抽出、カテゴリ(問題フォルダ)× 難易度の抽出を選べます。出題の内容は受験を始めた時点で固定されます
• シャッフル — セクションごと・問題ごとに、問題と選択肢の並びを入れ替えられます
• 出題後の分析 — 設問ごとの正答率・識別度・無解答率と、選択肢ごとの選ばれた人数と選択率を確認でき、CSV で書き出せます
• 正答の訂正 — 正解を直すとき、新しい正答で再採点・全員正解・採点から除外を選べ、合否が変わる人数を適用の前に確認できます