Vision & LanguageとAIロボット駆動科学

抄録

Vision and Languageのカテゴリーには，ビジュアルとテキストから認識結果を出力するマルチモーダル理解，ビジュアルからテキストを出力するImage2Text，テキストからビジュアルを出力するText2Imageなどがある．現在はさらに派生研究が加速している．例えば筆者らの研究の一つに，人と融和して知の創造・越境をするAIロボットの開発がある．そこで必要とされるのが，科学的文献を学習し，自ら実験を行い，研究者と議論しながら賢くなる科学用基盤モデルの構築である．その他の研究事例としては，実験作業を自動でマニュアル化する研究，データから科学法則を見出し科学的発見をするAIの研究，新たな材料の発見をする研究などがある．新材料発見にあたっては，2つのアプローチがあり，そのうち結晶構造の生成にあたっては精度の高いデコーダを活用した生成AIをつくろうとしている．