人間と協調するフィジカル対話エージェントの基礎的なサーベイを行い、初期的検討を行った結果を報告する。

LLMの発展により対話システムは高度化したが，観測と行動を伴い人間と同一環境で対話する身体性エージェントの研究は確立されていない．本研究では，この種のエージェントをフィジカル対話エージェントと定義し，その開発・評価を支援する研究プラットフォームを提案する．本プラットフォームは，人間とのリアルタイムインタラクションを扱うとともに，行動計画の結果を実行前に検証できる機構を提供する．Minecraft環境上で，人間参加者と環境を共有しつつ非同期に動作するLLMエージェントの開発と実験を可能にする．

日常的な環境において人間と共存する協調型フィジカル対話エージェントの開発が強く求められている．本研究では，協調型フィジカル対話エージェント($\phi$-Dial）を構築するためのキーテクノロジーである，モジュラーエージェントの統合技術 -- RADIX (Realtime Asynchronous Dynamic Integration of eXperts) -- を提案する．新しく開発した研究プラットフォーム($\phi$-Dial Lab)上に実装して動作を検証した．

本研究では、パーソナリティ特性、役割、表現の三要素が、LLMベースの対話エージェントの発話生成において相互にどのような影響を及ぼすのかを分析した。パーソナリティ特性に加えて役割を明確に設定することで、対話エージェントの表現をより精緻に制御可能であることを明らかにした。

本研究では、心の理論とマルチターン予測に基づき、LLMエージェントの発話タイミングを制御するフロアテイキング手法を提案する。

本研究では雑談を中心とした対話ロボットが，中山間地域における独居高齢者にどのように受容されるか評価するため，筆者の所属する研究グループで開発した対話ロボットを，独居高齢者の自宅にて日常生活の中で一定期間使用してもらう実環境調査を実施した．その結果，高齢者はロボットが「かわいい」や対話が「楽しい」といった肯定的な印象を持つことが分かった．一方で，声かけの頻度やタイミング，話題の遷移などの要因から不快感を覚える場合があることも明らかになったものの，これらの問題点は，肯定的な関係性の構築には影響しないことが分かった．これらの結果から，雑談を用いた対話ロボットは独居高齢者との日常的な生活に受け入れられる可能性が高く，長期間の設置によって対話ロボットに対する好意的な印象が形成される可能性が示唆される．

対話における聞き手の相槌と頭部運動の機能的な関係性を分析する枠組みを提案する．本研究では，相槌と頭部運動を対象に相乗機能スペクトラム解析（sFSA）を用いる．sFSAは，複数の非言語行動が担うコミュニケーション上の機能がどのようなパターンで現れるかを明らかにする手法である．このsFSAを相槌と頭部運動に適用し，両者における機能の表出パターンを表す相乗機能基底と，その出現強度を表す相乗機能スペクトラムを抽出した．相乗機能基底として「相槌を伴わない頷きによる傾聴」や「相槌と頷きによる同意・肯定」などと解釈できる基底が得られた．さらに，音声信号のスカログラムと頭部姿勢角速度を用いて相乗機能スペクトラムを推定するCNN回帰モデルを構築し，自動推定の可能性を確認した．以上より，本枠組みが聞き手行動の分析に有望であることが示唆された．

発話に伴うジェスチャーのホールド(保持)によって、その発話や、それによる活動が維持されていることを示し、コミュニケーション上の課題に対処する実践を記述する。具体的には、１．発話のオーバーラップに対して、話者は発話自体を中断するが、その発話と共起するジェスチャーを引っ込めずにホールドすることによって、オーバーラップを解消する一方で話者性を表示し続ける。２．オーバーラップのない状況でジェスチャーをホールドすることによって、その発話による活動を終了させずに維持し、たとえば想起といった偶発的なタスクに対処する。

本発表は、Zoomを利用したマルチモーダルな相互ケア的対話の実践のあり方を検討する。分析対象は、Zoomによる読書会形式の相互ケア対話の録画データと逐語記録であり、言語発話に加えて、沈黙、視線方向、姿勢、応答遅延、韻律等のマルチモーダル資源に注目した。相互ケアとは、助言や問題解決を目的とする一方向的支援ではなく、参加者が互いの語りに応答し合い、語り続ける条件を支え合う関係的実践を指す。分析の結果、意味が即時に確定されない状態が、語り手に経験を語り直す余地を与え、聞き手に応答を急がない姿勢を可能にすることで、オンライン環境においても相互ケア的関係の形成と維持を支えていることが示された。Zoomでの対話には、相手の反応の微細な変化や関係的距離感の調整が難しいという制約がある一方で、情報共有にとどまらず、マルチモーダルな相互行為を通じて対話の理解と支援を支える場として機能しうる可能性を示唆する。

孤独といった社会的課題に取り組むためには、対話において共感を育むことが重要である。共感は、会話中にポジティブな表情が同期することで示される可能性がある。本研究の目的は、このような同期を促進することで、対話における共感を高めることである。私たちは、幸せな表情が同時に現れた際に香りを提示するデバイスを開発し、その香りが表情の出現頻度を高めるかどうかを検証した。その結果、香りによるフィードバックは、個々の幸せな表情の出現頻度およびそれらの同時出現の両方を有意に増加させることが明らかになった。本研究の知見は、香りが共感を育み、消費者の孤独感を軽減する可能性を持つことを示している。

本研究は、聞き手反応「そうなんだ」が会話促進およびコミュニケーション能力の向上にどのように関与しているかを、非言語的要素の観点から検討することを目的とする。分析対象は、視線の向き、うなずき、発話タイミングである。聞き手反応や相槌に関する研究は多く見られるが、発話タイミングや非言語的特徴に焦点を当てた研究は少ない。そこで本研究では、『日本語日常会話コーパス(CEJC)』を用い、「そうなんだ」生起時の視線、うなずきの有無、発話タイミングを集計し、同時に生起する感動詞についても分析した。その結果、話題に対する驚きや気づきを示す反応は、たとえ話し手の発話と重複していても、感動詞や身体動作によって調整されることで妨げとはならず、むしろ会話促進につながることが明らかになった。その調整能力こそがコミュニケーションを円滑にするために重要であることを示唆している。

本研究は、クラシックバレエの指導場面において、指導者が身体によって生成する音声的資源（手拍子、足踏み、指鳴らしなど）に注目し、それらが学習者や伴奏者に向けて求められる拍やタイミングを外化する相互行為資源としてどのように機能しているのかを検討する。バレエ指導は、音楽や拍による時間的制約の下で、動きの質やタイミングといった身体的・感覚的な情報の即時的な共有を要する実践であり、言語的説明のみによる指導には限界がある。本研究では拍を分析上の枠組みとして用い、指導者の発話に先行・同期・追随して生成される身体音と身体動作の時間的配置に着目する。これらの資源が拍を刻む基準にとどまらず、注意喚起や動作開始の先取り、踊りの速さや重みの差異化を通じて踊り方に関わる身体知を外化し、相互行為を組織している過程を明らかにする。

我々は，人間どうしの対話における「心情」理解の高度化を目的として，対話の直後に当事者どうしが自身の対話映像を視聴しながら心情を自然に語り合うという，メタ対話の枠組みを構築している．対話において，受け手は話し手による発話の組み立てを意外性のあるものとして受け取りうるが，そうした意外性は必ずしも受け手による次の行為において表出されるわけではない．そのような，対話のなかでは明示的に表出されなかった，発話に対する意外性が，メタ対話において当該発話の受け手によって表出・言及され，それに対して当該発話の話し手が同調したり反駁したりする様子がみられる．本発表では，そのように表出される互いの発話に対する意外性を一つの「心情」の表れと捉え，メタ対話における発話の意外性をめぐる交渉の過程を会話分析の観点から分析する．それにより，メタ対話という機会が生み出す「心情」表出の特徴の一端を明らかにする．

近年のRPLAsに関する研究では、言語スタイルや性格といったキャラクター個体の再現に重点が置かれる一方で、キャラクターが生きる架空世界の価値観や常識を前提とした発話を再現する視点は十分に取り入れられていない。本研究では、この課題を解決するために、人間が世界をどのように理解しているかを示す枠組みであるWorldviewに着目し、Worldviewがユーザーが感じる架空世界の実在感を高めるか、検証を行った。具体的には、キャラクターのWorldviewおよび性格特性をプロンプトとして与えるか否かを操作した複数条件のチャットボットシステムを構築し、それらの条件間で応答の違いを比較した。評価実験の結果、Worldviewを与えた場合、キャラクターの日常生活や文化に関する発言がより自然で説得力のあるものとして評価され、その世界に本当に生きていると感じられる度合いが高まることが確認された。

本研究では、最新のマルチモーダル大規模言語モデル（MLLM）が、多人数会話における次話者をどのように予測するかを分析した。実験および定性的分析の結果、MLLMは言語的文脈とモデル内部に内在化された知識に基づいて「次に話し始める参与者」を推論できる一方で、現在の話し手によって次話者が選択されておらず、次話者が一意に定まらない場合であっても、特定の一人の参加者を次話者として過剰に予測するバイアスを示すことが明らかになった。しかし、このバイアスは、順番交代規則に関する知識をプロンプトで明示的に与えることで軽減できることが示された。また、順番末における参与者の画像情報は、予測精度の向上に寄与する場合もあれば、誤った判断を引き起こす場合もあり、全体としては明確な効果は確認されなかった。

音声対話における「沈黙」は、思考、ターン調整、ためらいなど多様な意図を含んでいるが、従来の音声対話処理では主に「無音区間の長さ」という物理量として扱われてきた。本研究では沈黙の分類体系を構築することを目的とする。まず、クラウドソーシングを用い、対話音声中の沈黙に対して聴取者が抱いた「その理由」と「印象」を自由記述で収集した。次に、大規模言語モデル（LLM）を用いた質的コーディングを適用し、記述データの概念化と構造化を行った。このボトムアップなアプローチにより、沈黙の「理由」で10種類、「印象」で12種類の分類ラベルを構築した。また、構築したラベルの自動認識実験を通じて、現在のLLMでは対人関係や感情に関わる沈黙の認識には課題があることがわかった。

英語非母語話者（日中）の英語発話を、英語能力基準であるところのCEFRランクや、明瞭度や理解可能度などの印象基準を用いた母語話者による主観評価値と、英語音声認識モデルでの認識結果を比較し、その相関関係を分析するとともに、一般的に言われる非母語話者の発音特徴がそれらと密接に結びついているのかどうかを確認をする。

本研究は、自閉スペクトラム症（ASD）の社会的コミュニケーションに関わる特性がいかに相互行為に具現化されるかを、ASD者のコミュニケーション検査であるADOS-2の会話分析・マルチモーダル分析を通じて検討した。分析の結果、検査者の課題提示に対する受諾の遅れ、沈黙、フィラーは、教示から遂行開始までに生じたトラブルを示唆するとともに、「どのように（how）振る舞うべきか」という自らの疑問を言語化し相手に提示することの困難さとして顕在化することが明らかとなった。また、検査者による明示的遂行の要請やインクリメントと、それに対する被検査者の応答は、その状況における両者の適合的な振る舞いであり、制度的制約を越えた「間主観的な調整」として機能している。本研究からは、検査者側の視点のみに基づく評価に留まらず、検査中のやりとりにおける調整過程そのものを質的に評価する視点の重要性が示唆される。

本研究は、語りにおける身体空間を用いた表現が、言語モダリティによってどのように異なるかを検討することを目的とする。日本手話話者と日本語音声話者に同一アニメーションを視聴させ、内容を想起しながら説明させた発話データを分析した。各表現について、使用語彙、手の縦方向配置、身体参照点などをアノテーションした。分析の結果、「双眼鏡を覗く」場面では、日本手話話者は目の位置にジェスチャーを配置したのに対し、日本語音声話者では配置位置にばらつきが見られた。一方、「シーソー」などの場面では、どちらの言語においても形状提示型と動作提示型の表現戦略の違いが確認された。これらの結果は、手話では身体空間の使用が比較的標準化されやすいのに対し、音声言語話者のジェスチャー空間は柔軟である可能性を示唆する。

日本手話は自然言語としての音韻体系を備えており、その基本単位は「位置」「動き」「手型」という3種類の音韻的カテゴリーによって構成されていると考えられている。本研究では、これら抽象的なカテゴリーが物理的にどのように具現化（realize）されるかを明らかにすることを目的とし、高精度モーションキャプチャによる計測データを用いて定量的分析を行った。具体的には、「手を開いた手型」に属する単位に着目し、その物理的実現における定型的特徴について報告する。

本研究は漫才対話における発話中の視線切り替えを参与役割と談話類型の観点から分析した。漫才は相方と観客への二重の指向性を持つ「オープンコミュニケーション(岡本ら, 2008)」である。本稿では漫才師の視線切り替えが観客の「傍参与的協同(坂井田, 2017）」すなわち笑いを促進する意図的動作だと仮説した。5組の漫才を対象に類型別に分析した結果、全類型に発話中の視線切り替えが見られた。一発話中に複数回の視線切り替えが生じる事例も存在した。特にツッコミ役が相方へ発話する際、最初は相方に視線を向け、途中で一瞬観客へ視線を向け、最後に再び相方に視線を向けるパターンが頻繁に観察された。発話の途中に一瞬観客へ視線を向けることで、閉じた対話を「開かれた対話」へと転換させている。この視線行動は、笑いへの反応のみならず、観客に笑うタイミングを暗示し、その参加を促す意図的な戦略として機能していることが示された。

本研究は、人々が相互行為において、なぜ・どのように相手の知識状態を確認するのかを明らかにすることを目的とする。会話分析におけるrecipient designの観点から、話し手がこれから言及する人物や出来事について、聞き手が知識を有しているかを「～知ってる？」と質問することで、事前に確認してから本題行為に入るというような実践に焦点を当てた。本研究が扱うのは、言及対象について聞き手がすでに一定の知識を有すると推測可能であるにもかかわらず、その知識の有無が事後的に確認される事例である。分析の結果、このような知識確認は、聞き手に対するからかいや話題の切り替えなど、相互行為上の働きを担っていることが示された。さらに、受け手の応答形式（例えば「知ってるよ」）は、先行発話が相互行為上いかなる行為として理解されているのかを遡及的に明らかにする手がかりとなることが示唆される。

本研究は、理由疑問文という言語形式が、実際の会話の中でどのようなプラクティスに用いられているのかを、会話分析・相互行為言語学の枠組みに基づいて検討するものである。理由疑問文が産出される相互行為環境、受け手による理解、話し手のさらなる反応を詳細に分析した結果、理由疑問文が話題管理に関わる二つのプラクティスに用いられていることが明らかになった。一つ目は、新たに提示された話題の詳細な展開を促すプラクティスであり、二つ目は、直前のやりとりに残された相互行為上の積み残しを回避しつつ話題を移行させるプラクティスである。さらに、この二つのプラクティスに応じて、理由疑問文の異なる発話フォーマットが体系的に使い分けられていることが示された。これらの結果は、発話形式の機能が、抽象的な言語知識ではなく、相互行為の中で、会話参加者が直面する課題への対処として立ち上がるものであることを示唆している。

声優は日本のアニメ産業を支える代表的な職業である。声優に関する過去の研究では，声優の特徴的な音響が音響分析により明らかにされてきた。一方，音響特性は身体動作や表情の変化と密接な関わりを持つことが明らかにされているにも拘らず，現時点の声優研究では統制された条件下で声優の音響と表情を同時に調べた研究はないという限界点がある。そこで本研究では，録音条件を実験参加者間で統制して実験を実施し，声優と演技未経験者（ノービス）による指標の変化を比較しながら，声優の音響特性，及び表情変化についての特徴を捉えることを目的とした実験を行った。分析の結果，声優はノービスと比べて，ピッチの最大と最小ピッチの差分が大きく，また，大きな声で発声していることがわかった。これは声優がノービスと比較して特徴的な音響の発話をしていることを示す。また，表情変化では，プロ声優が感情に即した表情でアフレコをしていることが示された。

本研究は、『日本語日常会話コーパス』を調査資料とし、日常会話で「ありえない」という語がどのように使われているかを類義表現である「信じられない」と比較しながら明らかにすることを目的とする。「ありえない」は、あるはずがないといった可能性がないことを表すが、現在ではそのような意味だけではなく、驚きの気持ちを表したり、人を非難あるいは賞賛したりするのに用いられている。一方の「信じられない」も本当だと思えないという意味を表すだけではなく、驚きの気持ちを表したり、人を非難したりする際に用いられている。このように、「ありえない」と「信じられない」の用法には共通点があるが、相手を直接非難する際に、「信じられない」は用いられているが、強い非難を表す「ありえない」は用いられていないといった違いがあることなどがわかった。

本研究では、演者と観客との相互行為に着目し、オープンコミュニケーションとしての「客いじり」が笑いを導く構造を、日本の漫談とアメリカのスタンダップコメディの比較から明らかにする。綾小路きみまろおよびジョー・コイのライブでの客いじり場面を分析対象とし、いじりのユーモアスタイルを分類した上で、遊戯性を示すコンテクスト化の合図や演者の視線配分、発話アドレスの指示性に着目した質的分析を行った。その結果、両者に共通して特定の観客への内部指向的発話と視線移行による外部指向性が確認された。一方、漫談では包括的アドレスやフォローにより笑いやすい環境が実現しているのに対し、スタンダップコメディでは特定の観客への継続的ないじりから全体の笑いを誘う傾向にあった。以上より、オープンコミュニケーションとしての客いじりの様式は共通するが、アプローチの手法や笑いを生起させる過程に文化的差異が現れることが示唆された。

ドイツ語のすべての名詞は, 男性・女性・中性という文法性を持つが, このような文法上の体系がどのような合理性を持つのかは定かではない. 本研究は, この文法性が言語における情報量の時系列構造の平滑化に寄与している可能性を検討する. 具体的には, 本来のドイツ語データ(real)と, 性に関する情報を除去して構成された反実仮想的なドイツ語データ(mascularized)を用意し, 各々から同一構造の自己回帰型言語モデルを事前学習した. そして, 学習後のモデルによって推定された, 対応するテストデータに含まれる文内部の情報量の時系列構造を両条件間で分析・比較した. その結果, real条件は, mascularized条件と比して, 文内部における情報量の分散等が有意に小さいことが示された. この結果は, 文法性が言語における情報量の平滑化に寄与している可能性を示すものである.

LLMの進展により対話システムの応答精度の向上も著しいが，誤情報を含む発話や常識の欠如した応答など，システムがユーザを混乱させる発話をする対話破綻の問題が未だに生じている．対話破綻は対話システムへの印象を低下させる恐れがあるため，対話の流れを適切に修復する必要があるが，種々の破綻に対応可能な修復手法は存在しない．本研究では，様々な種類の対話破綻事例を作成し，破綻した後にシステムが発話すべき修復文に関するデータをクラウドワーカーから収集した．具体的には，ワーカーに対して対話破綻が生じた破綻事例を提示し，システムがどのように修復発話を行うべきかを回答してもらった．そして，収集したコーパスを用いてLLMをFine-tuningすることで，既存モデルより高精度で修復発話を生成できることを示した．

対話参加者が相互に共有されていると了解している前提や知識・信念の集合は，対話における「共通基盤」と呼ばれ，対話を通じて更新されながら，理解および行動の調整を可能にする基盤である．共通理解を効率的に深めるためには，参加者間で何がどの程度共有されているのかを相互行為の中で推定し，その推定に基づいて発話や行為を調整することが不可欠である．本研究では，人間が対話の中で共通基盤を効果的かつ効率的に構築・利用している実践に着目する．そのために，タングラム命名課題における人間同士の対話をモデルとし，その手順と表現様式をシミュレートするLLM対話システムを構築し，共通基盤を通した課題達成に要する認知的コストを分析した．その結果，Holistic表現とAnalytic表現の出現頻度が人間同士の対話と整合する条件下では，認知的コストが低くなる傾向が示された．

本研究は，大規模言語モデル（LLM）を音声対話システムに組み込むにあたって課題となる応答速度の改善を目的としている．音声入出力による対話システムでは，音声認識技術を利用してユーザの完全な発話テキストを取得したタイミングで初めてLLMによる応答文の生成を開始できる．そのため，システムがユーザへ応答するまでに遅延が発生する．そこで本研究では，VAPによるユーザ発話終了予測を利用しユーザの発話終了を待たずに取得した発話テキストに対する応答文を生成する先取り応答により，対話システムの応答を早めることを考える．文末の欠損による意味変化に対応するため，ユーザの末尾欠損発話文と完全発話文の類似度を比較し，応答文の再生成判定を行う．実験では先取り応答と再生成判定を比較条件とし，ユーザ評価を行った．本稿ではシステム間の応答速度の差異とアンケートを評価した結果を示す．