複数の日本語データセットによる音声活動予測モデルの学習とその評価

抄録

対話の音声活動予測は，対話システムにおいてターンテイキングを自然にするために重要である．現在，音声対話において音声活動を予測するモデルや音声以外のマルチモーダル情報を取り入れたモデルが報告されている．しかし，これらのモデルは主に英語の音声データを扱っており，日本語を含むその他の言語への対応や言語間の違いに関する研究は少ない．本研究では，Ekstedtらが提案したTransformerベースの音声活動予測モデルを用い，複数の日本語データセットによる学習を行った．また，英語モデルを元に，日本語のデータセットを用いたファインチューニングを行った．そして，英語モデルとの比較やデータセットによる性能の比較を行った．その結果，日本語のデータから学習したモデルが日本語の音声活動予測に有用であること，および，英語モデルをベースとしてファインチューニングすることが性能の向上に貢献することが確認された．