言語・非言語情報の融合に基づく重要発言の推定

抄録

グループ議論は意思決定や新規アイデアの創出に役立つ．しかしながら，議論で上がった意見を共有するため，また議論を振り返るためには，議論の重要な点を議事録として要約する必要がある．そこで本研究では議論要約を自動生成することをめざし，マルチモーダル情報に基づき，議論要約に含めるべき重要発言を推定するモデルを提案する．提案モデルは言語情報，音声情報，映像情報，そしてセンサから得られる動作情報を，畳み込みニューラルネットワークを用いてフュージョンしたものである．提案する言語情報と非言語情報をフュージョンさせたモデルはF値で0.827という高性能なものである．加えて言語情報モデルと非言語情報モデルそれぞれの特徴を議論し，さらに分析の結果，言語情報と非言語情報をフュージョンさせることで，誤推定が減少する効果があることが示唆された．