大規模言語モデルによるデータ拡張を利用した文章タグ付けタスクの距離学習への転換

抄録

文章のタグ付けタスクは自然言語処理のおける最も基本的なタスクの一つである．言語処理技術の産業応用という面でも重要なタスクであり，ビジネス情報インフラを提供するユーザベース株式会社においては，経済記事のタグ付けタスクが頻繁に発生している．特に、同社が運営するFlash Opinionサービスでは、専門分野を表すタグを付けることによって、ユーザーの質問と専門家をマッチングしている。ここで，質問のタグ付けを行うオペレーターの作業負荷を軽減する必要があり，本研究では，この課題に対して機械学習技術を用いたタグの推薦を考える．タグの推薦問題を従来のマルチラベル分類問題として定式化する場合、タグが追加または削除されるたびにモデルを再学習する必要がある．したがって，本研究では、大規模言語モデルを用いたタグ名によるデータ拡張を利用して、タグと質問テキスト間の距離学習の問題へと変換する方法を示す．実際の業務で得られたデータセットに提案法を適用し、マルチラベル分類モデルより精度良く紐づくタグを推薦できることを検証した．