音声対話システムの客観的な評価方法について述べる。従来研究における被験者実験では主観評価が用いられることが多かった。しかし、研究の比較および再現性という観点では、客観的な評価も必要となる。そこで、対話中のユーザのマルチモーダルなふるまいに基づき、システムを間接的だが客観的に評価する枠組みを提案する。本報告では、傾聴、面接、初対面会話という異なる対話タスクのそれぞれにおいて、主観評価と関係するユーザのふるまいについて明らかにする。

Respiration is closely related to speech, so respiratory information is useful for improving multimodal spoken dialogue systems from various perspectives. A machine-learning task is presented for multimodal spoken dialogue systems to improve the compatibility of the systems and promote smooth interaction with them. This task consists of two subtasks: waveform amplitude estimation and waveform gradient estimation. A dataset consisting of respiratory data for 30 participants was created for this task, and a strong baseline method based on 3DCNN-ConvLSTM was evaluated on the dataset. Finally, our task was shown to be effective in predicting user voice activity after 200 ms. These results suggest that our task is effective for improving multimodal spoken dialogue systems.

対話システムが人間社会で活用されるには、高い信頼性と長期的な関係性を築くための記憶・学習能力が必要である。具体的には、過去の対話セッションを記憶し、その内容に関連する経験を通して知識を更新し、その後の対話で活用する機能が必要である。本研究ではまず、このような対話システム開発の初期段階として、過去の対話セッションと経験を通して深化された知識を考慮した雑談対話コーパスを収集し、分析を行った。結果、発話の話題選択において、知識の内容や情報量を考慮する必要があることが示唆された。この知見を考慮して、情報量を考慮した話題選択モデルの構築と、過去の対話セッションと外部知識を考慮するGPT-4ベースの対話システムの開発を行った。そして過去の対話セッションから数日後という設定で対話実験を行い、既存の話題選択モデルに対する情報量を考慮した話題選択モデルの利点を実験的に確認した。

近年、Transformer構造に基づく大規模な生成型言語モデルが急速に進化しており、人間に匹敵する対話生成能力を有している。しかしながら、生成された文の品質を適切に評価することは依然として難題であり、特に文の重複や不正確な出力が顕著な課題となっている。本研究では、生成と分類の両方のタスクに適用可能な言語モデルを利用し、正例と?例を同時に訓練する新しい手法を提案する。具体的には、既存の学習データ中の対話データを基に、部分的に文をランダムに抽出し、これを?例として元の文に接続する。この方法により、重複文を含む新しい学習データを生成し、言語モデルの訓練に利用する。実験結果では、この方法で訓練された言語モデルが、従来の方法に比べて重複率が明らかに低いことが確認された。

大規模言語モデルの発展により，対話システムの応答の自然性は飛躍的に向上した．しかしながら，適切なタイミングでの相槌の生成やターンテイキングなど，自然なインタラクションが可能な対話システムの実現にはまだ多くの課題がある．本稿では，リアルタイム処理によるマルチモーダル対話システムの研究開発を加速する目的で，Incremental Units (IUs)と呼ばれる情報単位を導入した逐次対話処理フレームワークとそのツールキットを提案する．提案するフレームワークは，マルチモーダル入出力，認識，合成，対話制御のモジュールを有し，各モジュールの処理と情報のやり取りをインクリメンタルに実行する．応答の生成にはChatGPTを採用し，MMDAgent-EXと連携したマルチモーダル出力にも対応する．

業務の効率化やノウハウの蓄積などを目的として様々な場面で作業記録が実施されている．作業終了後の記録では，紙媒体やPCを用いて記録することが多く，記録のための時間確保や記録忘れの問題がある．また，作業から記録までの時間が長くなると記憶が曖昧になる問題も生じる．そのため，作業中に記録するのが望ましいが，記録作業によって本来の作業が阻害されたり，効率が低下する問題があり実施が難しいことが多い．そこで，本研究では，作業中に対話システムからの音声による質問に回答することで記録できる手法を提案する．提案手法では，対話のフラストレーション軽減や継続性向上に効果があるとされる共感をシステムに行わせることで，ユーザの心理的な抵抗感を軽減し，作業に関する発話を促進し，ハンズフリーかつアイズフリーな作業記録システムを実現する．

一般的な音声合成システムが生成する音声は対話音声として聞くとやや不自然に感じる．これは，音声合成モデルが読み上げ音声から学習されていることがひとつの原因であるが，特定の話者の対話音声を音素バランスを考慮して大量に収集するのは容易ではない．この問題に対して、私たちは声質変換を用いて特定話者の対話音声を生成し，対話音声合成に利用する手法を提案する．読み上げ音声合成用に整備されたコーパスの話者を声質変換の目標話者とすることで，音素バランスの取れた音声と対話らしい音声の両方を学習データとして確保できる．加えて，この方法では対話音声を大量に生成できる利点もある．本稿では，生成された対話音声データと音声合成用コーパスの発話を用いて学習された音声合成モデルが，対話として自然な音声の生成に有用であることを示す．

キャラクタ対話システムの発話の品質を維持するためには，そのキャラクタ性にそぐわない発話をフィルタリングすることが重要である．既存研究ではシステム発話単体が評価対象であるため，発話の口調などにキャラクタ性が表出されているかを評価することは可能であるが，ユーザ発話に対する応答として適切か否かを評価できないという問題がある．そこで本研究では，文脈を考慮したシステム発話のキャラクタ性を評価するモデルを提案する．しかし，モデルの学習に必要なキャラクタ対話収集のコストは極めて大きい．そこで本研究では，比較的収集が容易な，対話形式となっていないキャラクタ発話集合をもとに，大規模言語モデルを用いて文脈・応答ペアからなる学習データを構築する手法を提案する．

ニュース記事などを含む非対話形式のデータはしばしば長く，前提知識を要するため理解に時間，労力を要することがある．一方，対話形式データは，情報が質問とそれに対する応答の形で整理され，論理の構造が明確になるため，非対話形式に比べ理解が容易である．そこで本研究では，ニュース記事を対話形式で解説するインターフェースを構築する．本インタフェースでは，対話の状態に応じて適切な質問を複数生成し，ユーザは質問を選択することで対話を進める．その際，ユーザが選択した質問に基づき，ユーザのニュース記事に対する理解度を予測し，次に生成する質問の難易度を調整する．これにより，個々のユーザに適した対話を行うことができる．また，単一ではなく複数の記事を情報源とすることで，ユーザの多面的な理解の促進を目指す．

近年では、誤った情報が拡散しやすくなり、Fact Verificationが重要になる。Fact Verificationとは、意味的・文法的に正しいClaimが誤った情報を含んでいるかを、外部リソースを活用して判定するタスクである。一般的には、Retriever-Readerの形式を取り、両方にLLMを活用しているが、ReaderにLLMを用いる場合、外部リソースから、どのような推論過程を経て、最終判定を行ったかが不明瞭で、説明性に欠ける。本論文では、知識グラフの構造を活用し、Readerを事前作成したルールによって代替する方法を提案する。FACTKGにおける知識グラフに基づくClaimの分類に着目し、分類別のルールを人手作成した。これにより、エンティティやリレーションに依存しないルールが作成できた。FACTKGによる実験では、ルールベースの判定でも十分な精度が得られることが分かった。

In this study, we focused on the challenges faced in Japanese job-hunting activities, particularly on the issue of job-seeking students tending to have a short-term perspective. To address this problem, we developed an interactive self-analysis support system. The proposed system aims to help students consider a long-term career perspective by incorporating reflections on the future.Results from our experiments confirmed that the proposed system was effective in enhancing students' career awareness and self-understanding. This demonstrates that by integrating sections about the future, the system aids users in clarifying their long-term career perspectives and directions.The contribution of this research lies in offering a fresh perspective on traditional job-hunting methods and mindsets. Through our unique interactive self-analysis support system, we could show a new path for job-seeking students to think more deeply about their careers and approach them with greater awareness.However, due to the affiliation of the university to which the author belongs, the experiments were mainly conducted with students aspiring to be engineers from the engineering department, and the number of participants was limited. Recognizing the importance of testing the system's effectiveness on students with diverse backgrounds is crucial for the direction of future research.

近年，自然言語を用いた対話システムが盛んに利用されている．特にChatGPTを代表とした大規模言語モデルの登場により，ユーザーは様々な自然言語処理タスクを高い精度で実行できるようになった．また，単なるテキスト生成に留まらず，デバイスの操作や情報取得などのタスク指向対話システムへの関心が高まっている．しかし，大規模言語モデルにはHallucinationという課題がある．これは事実とは異なる内容，意図しない内容を生成してしまうことを指す．これにより誤ったデバイスの操作や情報取得が行われる可能性があり，実世界において重大な問題となり得る．そこで本研究ではタスク指向対話における，言語モデルによるHallucinationを抑制する制御手法を提案する．具体的には制約付きデコーディングを使用してAPIスキーマの名称を誤って生成しないようにする．この制約の導入により，精度の向上が確認された．

大規模言語モデルは、テキスト対話処理や文書処理の性能の高さから世間一般からの注目度も高い技術である。人同士のインタラクションを支援するシステムや、人とインタラクションするロボットといった、人のインタラクションを扱う研究分野にも多大な影響力をもたらしている。本講演では、大規模言語モデルの対話処理がインタラクション研究にもたらすものは、人とコンピュータやロボットの対話の実現だけに限らないことを紹介する。

近年,音声認識技術や自然言語処理技術の発展に伴い，人間らしい振る舞いをする音声対話システムの研究および開発が盛んに行われている．人間らしい振る舞いが求められる対話タスクの一つとして，傾聴が挙げられる．しかし，現在の対話システムはリアルタイムかつ高度な意味理解を伴う応答が困難であり，特に共感の面で，未だ人間の聴き手のレベルには達していない．そこで我々は，同時並列傾聴システムという枠組みを提案している．このフレームワークは，自律システムによる傾聴対話に適宜人間が介入することで，人間とシステムが協調する半自律対話を実現し，人的資源と時間効率の双方を向上させる．本稿では，改良された同時並列傾聴システムの被験者実験による評価結果を報告する．

従来の音声対話システムでは、ロボットやCGエージェントなどとの対話が多く、機械や人工物との対話を苦手としているユーザもいると考えられる。また、ユーザはあらかじめ開発されたシステムとの対話を余儀なくされ、話し相手を選択することはできない。例えば、人間同士の対話であれば、高齢者であればお孫さん、若者であれば好きな有名人と話がしたいといったことが考えられる。そこで、話したい人と話せる音声対話システムの開発を目指して、本研究ではFaceSwapと声質変換の技術を用いて、ユーザが知っている人物の顔と声に変換することで、話したい人と話せる音声対話の手法を提案する。実際に、ユーザが知っている人物と知らない人物で同じテーマで音声の聞き取り実験を行ったので、その結果を報告する。

精神科デイケア（精神科リハビリテーション外来）における傾聴ロボットの「きくロボ」の有用性について検討する。利用者が発した言葉を繰り返すなどのカウンセリング技法に基づいて開発された傾聴ロボットが、精神科デイケアの環境でが効果的な活動を提供できるかどうかを評価するために、会話実験を行った。ロボットは、18名のデイケア利用者が最近印象に残った出来事について話すのを最長3分間傾聴を実施した。その結果、会話によって自己評価の覚醒度が高まることが示された。また対話システムの応答の分析により、きくロボの評価応答や相槌の頻度が頻度が高かった対話のほど協力者が対話後に気分が改善したことが分かった。

本稿では，第6回対話システムライブコンペティションの概要を述べる．本コンペティションではマルチモーダル対話システムを対象とし，特定のシチュエーションにおいて人間らしく対話を行うシチュエーショントラックについてコンペティションが実施された．本稿ではシチュエーショントラックの仕様を述べるとともに，予選の結果について述べる．

本稿では対話システムライブコンペティション6のシチュエーショントラックに提出した対話システムについて紹介する．システムはユーザと歓迎会に関する相談を行うというシチュエーションにおいて，マルチモーダルな対話をすることが求められる．本システムでは応答生成およびモーション決定のためにChatGPT用いており，そのためのプロンプトを設計した．このプロンプトには対話に参加しない第三者である小林先生のペルソナを含めている．これによって歓迎会の主賓である小林先生に関して一貫性のある議論を可能にする．また，発話とともに対話行為タグを生成するようにプロンプトを設計することで，システムが状況によって適切なモーションを再生することを可能にした.さらに，ネガティブな対話行為タグが付いた発話が生成された際にフィラーを挿入することで，システムがユーザとの信念のギャップに対して妥協や苦悩していることを表現した．

本発表は，シチュエーショントラックにおいて，OpenAI社が提供する大規模言語モデルであるGPT-4を利用し，発話内容に沿った表情・ジェスチャー生成を行うマルチモーダル対話システムについて報告する．本発表の対話システムは，発話生成と，表情・動作生成によって構成されている．発話生成では，プロンプトエンジニアリングによって，シチュエーションと実際の対話例を与えた．また，システムの表情・動作生成は，GPT-4を用いて，システム発話の感情と対話行為を特定し，適切な反応を生成する仕組みを導入した．これにより，特定のシチュエーションで，システムが自身の立場を考慮し，ユーザと意見を交換し議論を行う対話システムを実現した．従来のマルチモーダルシステムが専用のモデルを必要とした感情・対話行為分析を，単一の言語モデルで実現することは，対話システム開発における新しいアプローチを示唆する．

本稿では，対話システムライブコンペティション6に提出したシステムについて述べる．本システムは，応答生成機構とアバター制御機構を組み合わせたタスク指向型マルチモーダル対話システムである．応答生成機構では，対話履歴と話し合うべき議題を考慮しつつ，GPT-4を用いて発話内容と感情・動作ラベルを生成する．具体的には，スロットフィリングにより対話状態を監視し，状況に応じてプロンプトを変更し続けることで，自然な対話展開を実現している．アバター制御機構では，応答生成機構で生成された発話内容や感情・動作ラベルに応じた音声・表情・姿勢を，ラッセルの感情円環モデルなどを参考に著者らが事前に設計したルールに基づいて制御することで，人間らしい自然な振る舞いを実現する．これら2つの機構を組み合わせることで，対話の状況に応じた議論の展開と発話内容や感情に基づいた自然な話し方を実現した．本システムは予選一位で通過した．

仮想空間での身体的共同行為における調整のための会話を分析した。本分析では、行動計画に関する動的な信念の共有と、共同運動主体感の説明モデルによる数理的特徴に基づいて、発話のタイミングと意味の客観的な表現を探求した。２者による会話調整を伴う机運搬をタスクとし、約100回分のデータを収集して分析を行った。心理と物理と言語の相互関係について、興味深い数理的な知見が得られた。

Visual Question Answering (VQA)のように画像を参照する質問応答や対話では,しばしば指示語の利用により質問に曖昧さが生じる.また日本語のように,言語によってはしばしば項の省略が行われ,問題はさらに複雑になる.こうした質問の曖昧さは,実際にはユーザとの共同注視やユーザの視線といった情報で補完されていることが多い.本研究ではこうした視線情報の参照による質問の曖昧性解消に着目し,視線情報を用いることで質問の曖昧さが解消されるような視線情報付きVQAデータセット(GazeVQA)を提案する.さらに,このGazeVQAの質問に対する回答の精度を高めるため,視線元からの注視対象推定を活用する手法を提案した.GazeVQAを用いた実験では,提案手法のパフォーマンスが注視対象推定を用いない既存モデルよりも上回ることを確認した.

Validation, a key communication technique that entails recognizing, understanding, and accepting others' emotional states, thoughts, and actions, plays a vital role in fostering strong interpersonal relationships. This work introduces a pioneering system for generating validating responses to foster empathetic dialogue. Utilizing the TUT Emotional Storytelling Corpus (TESC) - a Japanese multi-turn corpus detailing 8 emotional categories from Plutchik's wheel of emotions - our Task Adaptive Pre-Training (TAPT) BERT-based approach achieves 56.5% precision and accuracy in pinpointing validating response generation moments, and 88.6% precision and accuracy in emotion classification during validating response generation. For practical evaluation, we compared our system against Seq2Seq and ChatGPT empathetic responses through human assessment.

「高齢女性二者間初対面会話テキストコーパス (TDU-Kao)」は，高齢者が新たに友人関係を構築するための支援方法を研究することを目的として作成された．初対面の女性高齢者らによるテーマを定めない二人会話を収録し，その発話を書き起こしたテキストコーパスである．会話はリアル環境と，Zoomを用いたリモート環境で収録された．1回の会話は，10分間で初対面の状態から，親疎関係を調整しながら会話が進められる様子がとらえられている．筆者らはこのコーパスを用いてコミュニケーション，言語の立場から研究成果を報告してきた．しかし、本コーパスは，作成した研究グループだけにとどまらず，広く研究者に提供されて，学術的な貢献がなされるべきと考え，現在，国立情報学研究所NII）リポジトリサイトにアーカイブされ，研究者向けに広く提供されている．本稿では，コーパス収録方法，アノテーション方法について詳細に説明する．

ChatGPTのような大規模言語モデル(LLM)を用いた対話システムは，テキストベースの対話において大きな進歩を遂げた．しかし，LLMを用いて音声対話システムを構築する場合，いくつか問題が生じる．まず，ほとんどの LLMがテキスト情報しか扱えず，ユーザの非言語情報(音声感情，表情感情，動作)を扱うことができない点が挙げられる．また，LLMによる応答生成は時間がかかるため，ユーザの発話終了からシステムの発話開始までに時間を要したり，自然な話者交代が困難になるという問題がある．そこで本研究ではユーザの対話中の非言語情報を音声および画像から取得し，プロンプトに追加することで非言語情報を考慮した応答を生成する手法を提案する．また，ユーザ発話が途中の段階で応答生成を開始することで，応答遅延を低減する手法を提案する．その際にも非言語情報を活用し，ユーザ発話の一部分からだけでも適切な応答を生成する．

創造的な発想を生み出すための会議方式として，ブレインストーミングがしばしば用いられる. ブレインストーミングにおいて，グループメンバーの性格特性の組み合わせが，創造性に影響を与えることが知られている. そこで本研究では，ブレインストーミングにおいて，ユーザの特性に応じた対話を行うシステムの実現を目的とする. 提案システムの実現のため，まず人間同士のブレインストーミングデータを収集し，個人の特性と対話相手への評価の関係や，個人の特性ごとの対話内容について分析を行った.その結果を基に，対話戦略を立て，ユーザの特性ごとに適した対話戦略を選択する対話システムを構築する.

対話を円滑に進行するためには適切な交替潜時で発話を開始する必要がある．会話観察により、適切な交替潜時はそれまでの対話のテンポに依存して変化すると考える．そこで，それまでの発話の話速などから主観的な対話テンポを5段階で推定することを試みた．

本研究では、マルチモーダル対話システムと利用者のエンゲージメントおよびラポール（親密度）の観点から、対話体験品質（QoE）向上のための評価手法を検討する。特に学習者の自己学習を目的とした対話においては，エンゲージメントとラポールがそれぞれ、学習者の学習意欲とシステム利用意欲を引き出す上で重要であるとされている．よって本研究では、英語学習を目的に設計されたロールプレイおよび議論タスクとして取り上げ，人のチューターと音声対話エージェントとの対話をそれぞれエンゲージメントおよびラポールの観点から比較する．実験の結果，予想どおり人のチューターによる会話の方が対話エージェントとの会話よりも有意に高いスコアを示したが，さらにどのような対話特徴がそれらに寄与しているかを分析することで，今後の対話システムの対話体験品質の改善方法を議論する．

現実世界のプレイヤーの不意な笑いに対してゲームイベントを返すことで現実世界と仮想世界の自然なインタラクションを目指している．笑った際にイベント呈示した笑い条件と笑っていない時にイベント呈示した非笑い条件で比較し，仮想世界がリアクションすることでプレイヤーの仮想体験を操作できる可能性を示した．しかし，笑い条件では笑った直後を分析区間にしているため，笑いの生理反応が結果に影響した可能性がある．本研究では，実験条件に笑った際にイベント呈示しない条件を追加し，発汗，皺眉筋・大頬骨筋を用いて笑った際にイベントを呈示する効果を調査する．その結果，笑った際にイベントを呈示することで発汗の増大，皺眉筋の非活性化がみられ，プレイヤーを興奮や緊張状態にし，不快感情を抑制することを示した．プレイヤーが笑った際にイベントを呈示することは，単に笑った時やイベントを呈示した時とは異なる感情を誘発することがわかった．

商品販売などの達成目標を持つ対話システムにおいて、(1)ユーザの対話離脱防止、(2)推薦や説得に必要なユーザ情報の獲得、(3)商品購入といった対話目標への受容度向上が、目標達成率向上のために重要である。本研究では、(1)-(3)に関連するユーザの反応（エンゲージメント）を獲得しつつ対話目標を達成する対話をエンゲージメント駆動タスク指向対話（Engagement-driven Task-Oriented Dialogue; ETOD）と定義し、セールストークを対象としたETODコーパスの構築を目指す。対話収集実験では、ユーザ役と、Botに扮したセールス役（セールス経験者）の人間同士のテキスト対話を収集し、対話前後での購買意欲の変化や、エンゲージメントに寄与した発話をユーザに評価してもらった。さらに、エンゲージメントの諸要素と購買意欲に与える影響の関連性について分析、議論する。

日本における10～39歳の死因順位の１位は自殺であり，現在の日本社会におけるメンタルヘルスケアの問題は深刻である．世界的にも，うつ病・不安障害により年間1兆ドルの生産性が失われているという報告がある．そこで，情報技術を用いてメンタルヘルスに関する問題解決を目指した研究が活発に行われており，カウンセリングを行う対話システムの研究開発も行われている．カウンセリング対話システムの多くは大規模言語モデル(LLM)を活用して構築されている．しかし，LLMを用いたカウンセリング対話システムの性能の定量的な評価が十分に行われているとは言い難い．本研究では，現職のカウンセラーがカウンセリング対話を模したロールプレイを行ったデータを収集し，そのデータ中のカウンセラー役の応答をGPT-4が生成した場合の適切さを別の複数名のカウンセラーが評価した結果について報告する．

対話システム技術を様々な社会課題の解決に役立てるためには、社会課題解決の専門家と対話システムの専門家による異分野連携が必要である。この連携を容易にするためには、プログラミング経験のない社会課題解決の専門家でも対話システムが構築できるようにすること有効である。本発表では、プログラムを書かずにマルチモーダル対話システムを構築することを可能にするツール、D4ACについて述べる。D4ACをxAIML-SUNABAのようなテキスト対話システム構築ツールと共に用いることで、ユーザの顔画像から得られる年齢・性別・感情・対話参加度の情報を用いて対話フローを変更できるマルチモーダル対話システムを構築できる。D4ACは、技術知識なしでインストール・起動・設定の変更が可能である。本発表では、D4ACを名古屋大学のTMIプログラムの学生プロジェクトで利用してもらった結果に関しても述べる。

Kasanareの生み出す新しいコミュニケーションスタイルは、「顧客データ × 生成AI」により、デジタルサービス利用時のユーザー体験を革新します。回答の質（正確性）が重視されるクライアント様に特化した、オンリーワンのアシスタンス機能が充実しています。既存データの正しい活用により、ビジネスの常識を覆します。

弊社では、大量のマニュアルを活用するために、マニュアル検索技術の開発を行っている。この技術は、ユーザの質問に対して、マニュアルから必要な情報を抽出し、LLM技術で簡潔に回答することができる。しかし、マニュアルは検索に適した章構成になっていないことが多いため、章や節だけで検索すると、質問に適切に答えられない場合がある。この課題を解決するために、我々は章や節を部分的に組み合わせて、検索単位を再構成する方法を開発した。本発表では、マニュアルから章抽出、再統合によって検索単位を生成し、LLMを使って回答文を生成する方法の概要と評価実験の結果を紹介する。

カスタマーサポート分野では大規模言語モデル（LLM）の発展により、よくある質問集に基づいて回答するRetrieval Augmented Generation （RAG）をベースとした対話システムの開発がされている。しかし、LLMの生成結果を直接ユーザーに提示することはHallucinationをはじめとした課題があるため、事前に十分な動作検証を実施する必要がある。そこで、ユーザーを模したLLMとRAGベースの対話システムを対話させ、その対話データをLLMを用いて評価する方法について紹介する。さらに、対話システムの事業活用に向けて作成したデモとPromptの改善に向けた取り組みについて紹介する。

弊社で開発しているRAG（Retrieval Augmented Generation）に基づいた対話ボットシステムについて発表を行う。特に対話ボットシステムのビジネスにおける背景から、開発にあたっての技術的制限、技術的制限の中での試行錯誤で見えてきた現状の技術の課題を中心に発表を行う。

フェアリーデバイセズは「まるで妖精が動かしているような、温かみのある機械を作る」というビジョンを掲げ、音声対話システムを構成する技術の研究開発を行っている。これらの成果に基づいて、音声収録のためのマイクアレイから、エッジデバイス上の音声処理ライブラリ、ウェブAPI経由で提供されるサービスまで、音声対話システムの要素技術をフルスタックで提供している。機械と人との円滑な音声対話を実現するためには、音声に含まれる情報をもれなく捉えるための技術が欠かせない。そこで本発表では、我々の研究開発の取り組みのうち、音声認識・感情認識・パラ言語態度認識・ターンテイキング予測・ウェイクワード検知・話者認識などの音声処理技術について、実用上の観点も交えて紹介する。

実空間での音声対話では，言語情報のやりとりだけでなく，ユーザやシステムの非言語の振る舞いを正確に対話に反映させることが重要である．しかし，人間同士の会話における非言語情報のやりとりは数十ミリ秒単位で高速に処理されており，単一の応答制御モデルで正確性と速度を両立することは難しい．また，対話タスクごとに必要な非言語情報は異なり，場面に応じてセンサーや認識モデル，出力デバイス等を切り替えられることが望ましい．そこで我々は，ROS2の分散処理構造の上で，各種マルチモーダル入力の認識器と対話応答制御，出力制御を分散的に並列実行できる音声対話基盤の開発を進めている．本セッションでは，簡易な対話デモを用意し参加者に体験いただくとともに，開発している基盤について説明する．

効率的な英会話学習を実現するためには習熟度の測定が重要なステップとされているが、従来は専門家による面接しか選択肢がなく、高価であるために高頻度で利用することは難しかった。人間の専門家と同等に面接ができる対話システムがあれば、安価かつ手軽に到達度を測ることが可能になり、より効率的な学習が期待できる。本発表では、英語学習者と会話エージェントとのインタビューを通じて英語のスピーキング能力を診断するLANGX Speaking（ラングエックス・スピーキング）システムを紹介する。ユーザーは対話エージェントと約15分間のビデオ会話を行い、英語のスピーキング能力を自動評価を受けることができる。現在複数の大学や高校で実施されてフィールド実験（約1万人規模）の結果についても合わせて報告し、来場者には実機デモを紹介する。

Artificial Emotional Intelligence "Saya" is an autonomous dialogue system that integrates the latest image recognition, speech recognition, speech synthesis, LLM, agent behavior control based on psychological knowledge, and character expression by CG artists. One of our goals is to bring out human true feeling and intention in words. Since our last exhibit at SLUD, our system has improved in many ways. For example, the turn taking became much smoother, it became possible to express empathy with humans in a multimodal manner, and it is possible to respond with a more natural smile and engage in task dialogue.