グループ１「典型的な問による評価手法の開発」

日本大学文理学部情報科学科　谷 聖一教授

グループ1は、先ほど植原先生からお話しがあったように、これまで「情報」の共通テストや各大学の個別入試で出題されてきたような、大問・中問形式の「典型的な問題」による評価手法の開発や、問題を作成するための手順書の作成を目標にしています。なお、本研究プロジェクト申請時には「典型的な問題」と呼んでいましたが、今は「一般的な問題」と呼んでいます。

---

■「一般的な問題」による模試でも、プログラミングの得点は低かった

この大問/中問による評価手法については、今回実施しているものまで３回の模試を実施して、ある程度見えてきたところがある、と思っています。
昨年実施した「EMIU情報模試2024夏」では、評価手法の妥当性や、IRTを想定した多肢選択問題と、従来の一般的な問題との相関関係や、作問マニュアルのヒントを収集することを目標としました。
問題は、「コンピュータとプログラミング」(P001、P002)と「データ活用」(M001、M002)を2問ずつ用意して、受験者にはプログラミング1問とデータ活用1問を解いてもらいました。

問題は、EMIUのサイトで公開しています。多肢選択の問題はIRTで次回以降も使うため、一部を除いて公開できませんが、「一般的な問題」は、毎回公開しています。

この模試で、プログラミングの問題の成績はあまりよくありませんでした。後述するように、2025年度の大学入学共通テスト（以降:共通テスト）でも、プログラミングの進んだ内容の部分は、平均点が明らかに低くなっていました。

「EMIU情報模試2024夏」の結果については、2025年１月の「第66回プログラミングシンポジウム」で詳しく発表しています。EMIUのサイトで講演スライドを公開していますので、ご覧いただければと思います。

---

■「情報Ⅰ」で学んだプログラミングの力を試すためにはどのような問題がよいか

「EMIU情報模試2025春」は、基本的には「2024夏」の内容を踏襲していますが、プログラミングの問題については、我々の中に「情報Ⅰ」としての適切な出題方法やレベルを探りたい、という問いが出てきました。

エンジニアを目指す人やプログラミングが得意な人は、どんな問題が出されても解いてしまうでしょうが、「情報Ⅰ」は全ての高校生が学ぶものです。しかもプログラミングは、2単位の「情報Ⅰ」で学ぶ4領域の中の１つにすぎないので、「情報」の授業はプログラミングだけやっていればいい、というわけではありません。
そうしたときに、「情報Ⅰ」という科目の範囲の中で、「こんなことができれば、プログラミングが理解できたことになる」と言うことができるためには、どのような問題を出題すればよいのか、というのが１つの問いになりました。また、「2024夏」では、前回出せなかった「情報デザイン」の問題も出題しました。

まず、プログラミングで何を問えばよいか、ということについて、こちらは2025年度の共通テストの各問題の正答率を示した、大学入試センターの公開データです。

青枠がプログラミングの問題です。その中で、赤枠で囲われていない部分は、状況設定を確認したり、配列を考えたりする、いわばプログラミングがわかっていなくても、問題文を読めば解けるものです。一方、実際のプログラムを問うているのが赤枠の部分ですが、ご覧のように、明らかに正答率が下がっています。
こういったことを踏まえて、「情報Ⅰ」としてプログラミングの理解度を測るためには、どのような問いをすればよいのか、ということを探りたいと考えています。

実際に出題した問題は、EMIUのサイトをご覧ください。

---

■「情報Ⅰ」の範囲でプログラミングの力を測ることができる問題とは

下のスライドは、「EMIU情報模試2025春」のプログラミングの問題（第１問 問１）です。同じ課題に対して、組み立ての異なる「その１」と「その２」の２つのプログラムを作って、空欄に当てはまるコードを答える問題です。このセットには約110人が取り組んでいますが、解答欄アからエの解答者数が、表のようにそれぞれ99、98、97、93人とだんだん減っています。
第２問以降も解答者数が大体93人前後となっており、途中で取り組まなくなってしまった人が十数人いたことになります。
取り組んだ人の中では、７割程度が正答できていますが、下の「その２」の正答数は落ちています。

プログラミングができる人にとっては、プログラムの「その１」と「その２」で、やっていることに差がないことはすぐわかりますが、「情報Ⅰ」でプログラミングを学んだだけの人にとっては、見た目が少し違うだけで、一気に正答率が下がってしまうことがわかります。

我々は、プログラミングの出題にはどのような形がよいのかを探るために出題しているので、プログラムの見た目を変えても解けるようになった方がよい、と言いたいわけではなく、「見た目を少し変えただけで解けなくなるようでは、『情報Ⅰ』の問題としては適当ではないのでないか」ということを見極めたいのですね。

まだ私たちも「これがダメだ」とは言い切れませんが、出題の仕方を変えるだけでこれだけ正答率が変わる、いうことはわかりました。ですから、今後は「情報Ⅰ」の範囲をしっかり学んだ人が解けるようなプログラムの出題とはどのようなものか、ということを解明するのが課題になると考えます。

---

■CBTならではのプログラミングの問題のあり方との違いも考える

これまでのEMIU模試はCBTで実施していましたが、基本的に共通テストと同様の、マークシートでもできるような問題をコンピュータ上で解答する形でした。今後はCBTならではの出題方法として、実際のプログラミングと同様に問題の中でプログラムを行い、実行後のフィードバックが与えられる、このような環境で問題をどのように解くか、ということが課題になると思います。
実際のプログラミングでは、データを入れて実行して、デバッグやテストをして修正を繰り返す、ということが重要です。個人的には、これまでPBTでフィードバックがない環境で試験をしていたものを、フィードバックがある環境(CBT)で行うことになると、プログラミングの能力の測り方が違ってくるのではないか、と考えています。

先ほどの植原先生のお話にもあったように、一般的な問題とIRTによる問題の正答率には、ある程度の相関があると分かりました。また、我々の一般的な問題を、TAOの標準機能を使った多肢選択形式と、グループ3(CBTシステムの開発チーム)が開発した実行環境付きのモジュールとの両方で本質的に同じ問題を出題しているので、その間の比較もできると期待しています。そこからさらに、IRTの結果を見て、IRTの成績の相関についても解析していきたいと思っています。

詳しくは、こちらの動画をご覧ください。
https://www.youtube.com/watch?v=s8aGbepyCoQ

グループ１の目標の再掲です。今回の模擬試験の結果については、今年度末に公開する予定です。今後は「情報Ⅰ」の範囲でプログラミングを出題するためには、どのようなことをどのように問えばよいのか、ということにフォーカスしていきたいと考えています。