ChatGPTによる意味分類の予測について

生成AIは語の抽象的な属性が理解できるか

抄録

本研究ではChatGPT 4.0に対して，「日本語教育語彙表」から抽出した基本語名詞の意味分類を予測するタスクを行った．正解データは「分類語彙表 増補改訂版データベース（ver.1.0.1）」に基づいて作成し，予測の精度や信頼性について統計分析を行った．分析の結果，ChatGPTの予測と「分類語彙表」の「部門」の意味分類は実質的に一致しているが（一致率の平均：κ=.706），「主体」と「活動」に関する名詞には誤分類の傾向が顕著であることが明らかになった．これらの結果を踏まえた場合，ChatGPTに代表される生成AIは留意しながら使えば，計量研究にとって重要な研究ツールの一つになりうると考えられる．