人工知能学会全国大会論文集
Online ISSN : 2758-7347
第38回 (2024)
セッションID: 1B3-GS-2-05
会議情報

プロンプト学習を用いた複数ドメイン適応画像言語モデルの精度向上法
*高 振宇山極 綾子後藤 正幸
著者情報
会議録・要旨集 フリー

詳細
抄録

言語情報と紐づけられた画像データの分析手法が近年注目されているが,画像のドメインによってデータ数に大きな差異があるという課題がある.この問題に対処するために,LADSが提案された.LADSは画像言語モデルにおける画像とテキストの埋め込み空間を活用することで,データが不足しているドメインの画像データを用いることなく学習が可能なモデルである.ここで,LADSにてドメインの説明文として用いられるテキストは単純であることが多い.しかし画像言語モデルでは,テキストが画像を適切に説明できていない場合,モデルの性能が低下する可能性がある.そこで本研究では,CoOpと呼ばれる,画像の説明文を最適化する手法を援用し,LADSにおいて使用されるドメインを表現するテキストを最適化させることで精度を向上させるモデルを提案する.CoOpはプロンプトの学習により画像言語モデルの精度を向上させる手法であり,得られたプロンプトはLADSにおいて適切に異なるドメインを表現できるようになると期待できる.最後に,実際のデータに提案手法を適用し,その有効性を示す.

著者関連情報
© 2024 人工知能学会
前の記事 次の記事
feedback
Top