人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 3Xin4-25
会議情報

結晶性知能の測定課題における採点自動化の予備的検討
*岡 隆之介楠見 孝内海 彰
著者情報
会議録・要旨集 フリー

詳細
抄録

結晶性知能とは、文化・教育・そのほかの体験を通して獲得される知識のことを指す。結晶性知能はWAISと呼ばれる標準化された知能検査によって評価されることが多い。WAISは類似などの、言語理解に関する質問に対する回答を通して評価される。結晶性知能の検査の採点は、事前に検査で用意された採点基準に照らして、臨床的なトレーニングを受けた人間が行ってきたが、機械による代替が可能である可能性がある。本研究では、結晶性知能の一側面である類似に注目して、類似を測定する検査として開発中の日本語版Semantic Similarity Testにおいて自動採点が可能であるかに関する予備的検討を行う。参加者の回答を3種類のラベル(2: 2つの単語の関係性を完全に捉えている,1: 2つの単語の関係性を部分的に捉えている,0: 不正確な回答)に分類するBERTをベースとしたモデルを、2種類のアプローチ(参加者の回答をデータとする、採点基準表をデータとする)で学習し、正解率とF1値を評価した。結果、採点基準表に基づくアプローチの方が性能が高かった。結果に対する文の質と擬似ラベルの数による影響を議論した。

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top