日常タスクにおける将来イベントのクロスモーダル説明文生成

抄録

ロボットと障害物の衝突を予測し危険性を言語化してユーザにフィードバックできれば安全性と説明性を向上できる．一方で，未来予測には不確実性が含まれるので、正確な説明文生成は難しい．実際に，既存週報では実世界データにおいて生成文の品質が低いため，実用化が難しい．そこで本論文ではfuture captioningのための新しい手法を提案した．提案手法の新規性はRelational Self-Attention（RSA，[Kim+ NeurIPS21]）を注意機構として用いたRSA Encoderの導入，及びaction lossの導入である．本論文ではBERT，METOR，ROUGE，CIDErの4つの評価尺度を用いて評価した．実験では各データセットにおいて，主要尺度で提案手法が既存手法を上回る性能を示した．