大規模マルチモーダルモデルを用いたグラフィックレイアウトの自動生成に向けて

抄録

グラフィックデザインにおけるレイアウトは、近年の生成モデルの発展によって、人に代わってAIが生成することが可能となってきている。既存のレイアウト生成手法のうち、各要素の情報に加え、要素間の関係などの制約条件も考慮しながらレイアウトを生成する手法が存在する。しかし、既存手法では入力として制約条件を人が指定することが求められており、これは人の負担になる。また、既存手法では、レイアウトの要素となる画像や文章に対し、まさに「画像」、「テキスト」、「タイトル」などといった要素のカテゴリ情報しか考慮できておらず、画像や文章の中身といった詳細な内容は考慮できていないという限界がある。以上を踏まえ、本研究では、要素の詳細な内容を活用して制約条件を自動で生成させる手法の設計を行う。要素は画像あるいはテキストであることから、大規模マルチモーダルモデルを用いて詳細な内容を抽出することを考える。この手法によって、より人手を必要としない、グラフィックレイアウトの自動生成につながる。