MAGMAを利用したファッションコーディネートのためのコメント生成

抄録

本研究ではパーソナルスタイリングにおいて、2つのファッションアイテムをコーディネートして推薦する際の、コメントを生成するモデルを構築する。 コーディネート推薦においては、それらのアイテムの相性や、アクセサリー等との組み合わせについてもアドバイスする。具体的にはAdapterを用いることで言語モデルをマルチモーダルな入力に対応させた手法であるMAGMAを利用し、2枚の服画像を結合した画像とプロンプトを入力として、コーディネートコメント文を生成する。 人手によって作成されたコメントや、機械学習をベースとした従来手法との定量・定性比較を行ない、提案モデルが十分な能力を持つことを確認した。