シンプルな視覚環境に視線移動を用いて接地する言語モデル

抄録

AGI研究の一つとしての言語獲得の意味的側面のモデル化においては環境との接地を考慮する必要がある。本報告では、比較的単純な環境として画面に１個または２個の図形が動き回り、その状況をテキストで記述するものを用い、エージェントとして環境からのテキスト実況を含む入力を観察することで図形の動きをテキストで記述する言語モデルを学習するものを作成した。エージェントの視覚はヒトに倣い、図形の属性を視線移動により取得するものとした。単語の予測は前単語の統計的属性、図形の属性、エージェント内で計算される図形の動きや配置の属性に基づき行われる。