CBTの可能性と教育的エビデンス －全国学力・学習状況調査と入学者選抜の挑戦－【vol.1】
■ 公平で信頼性・予測精度の高いCBTを作るために
先ほどIRTの話も出てきましたが、なぜ素点でも判定できるのかというお話です。私の専門はCBTですが、2000年頃に、異なる問題であっても、全部等質になるようなテストを作るアルゴリズムを開発したことがあります。これを使うことで、同じ人が問題内容の全く異なるテストを受けても、同一尺度上で評価できるようになります（ほぼ同じ点数になる）。これは、ただIRTを使っただけでは、保証することはできないものです。
IRTは、異なるテストでも同一尺度上で評価が可能ですが、その信頼性の担保のためには、誤差を小さくする必要があります。この「誤差を小さくする」ために、全ての組み合わせを見ていく、という仕組みを作りました。今述べたような技術は、情報処理技術者試験や、医学部の国家試験である医療系大学間共用試験をはじめとして、様々な試験に導入されています。
また、従来の入試は、出題者が考えた問題を集めた問題セットで、受験生が試験のその場でどのくらいできるかを測るものであり、入学後の成績予測ということについてはあまり考えていませんでした。他方、我々が開発したテストの仕組みで算出されるスコアは予測精度が非常に高いので、９月の入試を受験した人についても、入学後の成績を予測することができます。
さらに、問題は非公開、かつ、先ほどの世界標準に従う問題フォーマットに則して作られているので、今後、他の大学や機関で使用したり、共同で作問したりすることが可能です。
IRTで、問題のデータベースを作るというのは非常にたいへんなことですが、とにかく問題をたくさん作って、アイテムバンクと呼ばれる項目データベースに入れます。この中からIRTのパラメータを推定します。
また、実際の入試で使う前には誰かに問題を解いてもらい、成績データをとることが欠かせませんが、これがまた大変な工程です。ここはIRTで実施する必要はありませんが、予測精度を高めるためには不可欠な作業です。
そして、アイテムバンクの全てのテストが等価になり、誤差が等しくなるようAIで最適化し、予測しながら組み合わせて、問題セットを多数自動生成していきます。これを「平行テスト」と呼んでいます。アルゴリズムがものすごい数になりますが、これを作ったことで、同一人物が異なるテストを受けてもほぼ同じスコアを返すことができるようになりました（これを「テストの信頼性」と呼びます）。
下のスライド2.2は、あるハイステークスな公的試験における、２万人ほどのスコアの測定誤差です。これを見ると、合否のライン（40点）付近では大体誤差が２点以内と小さくなっています。高得点になるとやや誤差が大きくなりますが、この辺りは合否とは関係ないグループです。
そして、毎回テストが終わった後にパラメータをチェックします。IRTをただ使うだけでは、スコアの誤差が10点、20点と大きくなってしまい、「あなたの点数は60点です。±20点の誤差があります」というデータが出てしまうので、テストの信頼性が担保できません。
IRTに基づくあるテストを受け、その後一生懸命勉強して力をつけ、翌年にもう一度同じテストを受けた際、評価が下がってしまうということは本来あまりないはずです。仮にそうなってしまう場合は、おそらくテスト自体の誤差が大きいのだと思います。けれども、今説明したようなアルゴリズムで作られているテストであれば、IRTスコアでなく、素点のまま結果を返すことが可能です。
そして、先ほども申し上げたように、高校の先生方への説明会では、「受験のためだけの勉強は必要ありません。学校の勉強を一生懸命やって、自分の興味・関心に基づいて面白いことに取り組んだ、技術のある生徒、特にプログラミングやデータサイエンスを頑張っている人を紹介してください」とお願いをし、高校側からそういう人に本学の受験を勧めていただいています。その意味では、説明会が大事だと言えます。
また、CBTは試験監督が非常に大変でしたが、昨今は無人のレジシステムのように、不審な動きを感知したらすぐに報告するカメラのシステムがあります。実際の試験会場には天井からカメラを設置して上から撮影しています。監督者としては、技術支援員として学生を何人か配置し、教員は各会場に１人か２人だけとして、監督の負担を減らすことに努めています。
そして、実際に入試で使う前に成績データをとる工程については、本学が新入生に対して実施する「UEC検定」という基礎学力調査を活用しています。新入生は真面目に問題に取り組んでくれるので、そのデータを使ってアイテムバンクでデータベースを作り、そのデータベースを用いた入試を実施しています。
次ページ▶ 入学後の指導にCBTの結果を活用する
