ファッションアイテム推薦のための大規模言語モデルを用いたコメント生成

抄録

パーソナルスタイリングにおいて、スタイリストは顧客の特徴、利用目的、季節などの様々な状を考慮して、ファッションアイテムを選択する。その際、その選択理由について注意深くコメントし、 推薦するファッションアイテムとともに顧客に送る。 これに対し我々は、アダプタベースのファインチューニングによって言語モデルをマルチモーダル入力に対応させた手法であるMAGMAを利用し、アイテム画像の組み合わせとプロンプトから、コメント案を生成するモデルを構築する。 提案モデルに対して定量・定性評価を行なった結果、MAGMAを利用したモデルが従来手法よりも優れていることを確認した。