対話データに基づく重複文負例の作成と重複を抑制する言語モデルの提案

抄録

近年、Transformer構造に基づく大規模な生成型言語モデルが急速に進化しており、人間に匹敵する対話生成能力を有している。しかしながら、生成された文の品質を適切に評価することは依然として難題であり、特に文の重複や不正確な出力が顕著な課題となっている。本研究では、生成と分類の両方のタスクに適用可能な言語モデルを利用し、正例と?例を同時に訓練する新しい手法を提案する。具体的には、既存の学習データ中の対話データを基に、部分的に文をランダムに抽出し、これを?例として元の文に接続する。この方法により、重複文を含む新しい学習データを生成し、言語モデルの訓練に利用する。実験結果では、この方法で訓練された言語モデルが、従来の方法に比べて重複率が明らかに低いことが確認された。