生成AIによる大福帳の学習者向けコメント生成の試み
論文ID: 2024-020
この記事には本公開記事があります。
詳細
論文ID: 2024-020
大学の授業で，教員が学習者の学習状況や進捗を記録ための教育ツールに「大福帳」がある1)。「大福帳」では，教員のコメントが重要な役割を果たしており，学習者の学習意欲やモチベーションを向上させ，学習成果の改善に役立っている。しかし，「大福帳」の学習者向けの返事の記入が教員にとって負担であり，15コマまでの継続はおおきな負担である。そこで，生成AI:Artificial Intelligence技術（以下，AI）を用いて「大福帳」のコメントを教員の代理として自動生成する試みを行った。教員の代理としてAIがコメントを生成すれば，教員がコメントを考え入力する負担が軽減される。また，AIが自動生成したコメントは，客観的でゆらぎの少ないフィードバックが可能になるのではないかと考えた。
本研究では大福帳システムに入力された学習者のコメントからAIに対してコメントを生成する指示であるプロンプトを作成し，学習者への学習アドバイスを生成を試みた。AIによるコメントの利点としては，大規模言語モデル（LLM）より自動生成したAIのコメントが人間によりも客観的でゆらぎが少なく，大規模な授業や多くの学習者へのフィードバック作業が効率的に行えることが考えられたからである。
大福帳は学生と教員とでコメントの双方向のコミュニケーションがあることでその効果を発揮する。教員からのコメントを希望する学生は95%に上る2)。これらの学生は「毎回の返事はできなくても構わないので，教員からの返事を希望する」と回答した。また，教員からの返事があっても，「ひとことだけ」「そっけない返事」，「あいづち」では，かえって逆効果になる可能性が指摘された。
スマートフォンを媒体とするデジタル大福帳は，学習者のコメントが充実し分析が容易である。さらに，毎回の授業で大福帳のカードを配布・回収する教員の負担が軽減される。旧来の大福帳は，授業終了間際の時間や休憩時間で記入する必要があった。デジタル大福帳は，記入する時間制限がないため，学習者は納得できる内容と十分な記入時間が確保できる。デジタル化によって入力された文字数が多く，内容も充実する傾向が認められた。
デジタル大福帳に蓄積された学習者コメントから任意に90件を抽出し，教員とAIとでどう異なるか10点満点で評価実験を行った。AIは2023年9月時点のGPT-4を使用した。その結果，教員よりもAIの方が評価が高い。この結果を考察すると，次のこと推察される。教員はコメントの内容が充実しておりや表現方法を評価する傾向があると考えられ，AIはコメントから学習内容の理解度や興味関心に対して評価する傾向がある。ただし，AIは4件で評価不能となり，評価得点とアドバイスを出力することができなかった。その一例を表2に示す。
受講者は授業の進行について理解したと述べているが，具体的な学習内容や得られた知見について述べていない。そのため，AIは学習内容や得られた知識に基づいて評価を行おうとしたが，学習者のコメントからはその情報が不足していると判断したため，評価できなかったのだと考えられる。
教員は長年の教育経験から，受講者のコメントの質や個性を判断する総合的な評価基準を身につけている。そのため，受講者のコメントの内容や表現方法だけでなく，その個性や背景，言わんとする意図をくみ取って評価することができる。それに対してAIは文章の解析結果に従ってコメントの評価を行うため，教員よりも評価得点が高くなったものと推察される。したがって，学生のコメントの内容や表現方法を評価することは得意であるが，その背景や意図までは正確に理解することは難しいと言える。さらにAIは，まだ発展途上にあり，アドリブ的なコメントには臨機応変に対応できないという限界があることも明らかになった。今回の実験により，学生のコメントの背景や意図を推測するためのアルゴリズムが必要であることが明らかになった。
現時点ではAIが自動生成したコメントを教員が内容を確認し適切な修正や補足を追加する。この作業をAIと教員とで連携することが重要であり，必要となる。その結果，より学習者向けのコメント作業の負荷を軽減しつつ内容の質を高めることができる。
