主催: 一般社団法人 人工知能学会
会議名: 2023年度人工知能学会全国大会(第37回)
回次: 37
開催地: 熊本城ホール+オンライン
開催日: 2023/06/06 - 2023/06/09
結晶性知能とは、文化・教育・そのほかの体験を通して獲得される知識のことを指す。結晶性知能はWAISと呼ばれる標準化された知能検査によって評価されることが多い。WAISは類似などの、言語理解に関する質問に対する回答を通して評価される。結晶性知能の検査の採点は、事前に検査で用意された採点基準に照らして、臨床的なトレーニングを受けた人間が行ってきたが、機械による代替が可能である可能性がある。本研究では、結晶性知能の一側面である類似に注目して、類似を測定する検査として開発中の日本語版Semantic Similarity Testにおいて自動採点が可能であるかに関する予備的検討を行う。参加者の回答を3種類のラベル(2: 2つの単語の関係性を完全に捉えている,1: 2つの単語の関係性を部分的に捉えている,0: 不正確な回答)に分類するBERTをベースとしたモデルを、2種類のアプローチ(参加者の回答をデータとする、採点基準表をデータとする)で学習し、正解率とF1値を評価した。結果、採点基準表に基づくアプローチの方が性能が高かった。結果に対する文の質と擬似ラベルの数による影響を議論した。