CBTの可能性と教育的エビデンス －全国学力・学習状況調査と入学者選抜の挑戦－【vol.1】

■ AIに負けない能力をCBTで測るために

CBTで本当にプログラミングや大量のデータの分析ができるのか、という点については、先ほど説明のあった、DNCが作ったTAOを用いた出題の仕組みを引き継いで実施しました。

このシステムで実際に問題を解いてみると、けっこう時間がかかります。特にプログラミングは、実行しながら何度もデバッグすることになります。そこで、この解答の途中プロセスのログを全て残すようにシステムを改良し、正解する以外にも、そのログのパターンに対して、IRTで段階的・自動的に得点が与えられる仕組みにしました。

解答プロセスを組み込んだIRTは、取得できる情報量が２～３倍になります。そして、IRTのスコアを「１／（情報量）」にしたものが誤差になりますが、この誤差が非常に小さくなるのです。したがって、例えば１問解くのに10分かかったとしても、１問２、３分で解ける問いを３～４問解いたのと同じ情報量になり、十分に思考力を問うことが可能となります。

本学ではこれによって、入試で重視されている思考力を問いたいと考えています。IRTが進んでいる欧米では、どうしても知識型の問題が多いのですが、我々は日本型の、思考力を問える試験を目指しました。

また、CBTを用いれば、数学についても解答のプロセスを問えるのではないかということで、Casio様のご協力をいただき、途中式を書かせる形式を作ってみました。Casio様の採点システムでは、簡略化された数式や、見た目は違っても数学的に等価である数式が判定できるので、解答に一番近いところを見つけて部分点を与える方式にしました。

これを2026年４月入学の学生に対して試してみたところ、やはり約３倍の情報量が取得できることがわかりました。これは、必ずしも正解しなくても点数が与えられるようになるという点で、暗記では解けない、思考力を問えるタイプの問題を作ることができるようになったことを意味します。AIに頼り切らない思考プロセスを測ることができたと言えるでしょう。

次ページ▶ 公平で信頼性・予測精度の高いCBTを作るために

---