意味フレーム推定において，文脈化単語埋め込みを用いる手法が高い性能を達成することが報告されている．しかし，汎用的な埋め込み空間は，意味的に類似したフレームの事例が近くに位置しているという人間の直観と必ずしも一致しているわけではないため，事前学習のみに基づく文脈化単語埋め込みを用いる手法の性能には限界がある．そこで，本研究では，意味フレーム推定をコーパス内の一部の動詞についてのラベル付きデータの存在を仮定した教師ありタスクとして取り組み，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高精度な意味フレーム推定を実現する手法を提案する．FrameNet を用いた実験を通し，深層距離学習を適用することで 8 ポイント以上スコアが向上することを示す．さらに，教師データが極めて少量である場合でも，提案手法が有効であることを示す．

数値を処理できる言語モデルは実用的，科学的のどちらの観点から見ても興味深いものである．そのような言語モデルのより深い理解のためには，「どのような問題が解けるのか」ということだけでなく，「モデル内部でどのような処理が行われているか」という観点も重要である．本研究は単純な数式とその途中結果に着目することで，Transformer モデルが数学的能力を獲得し，複数ステップに及ぶ処理を行っているかを検証する．途中結果の情報が符号化されている箇所を追跡 (Tracing) し，符号化されている箇所の状態を操作 (Manipulation) してモデルに対して因果的介入を行うという二つの実験を行った結果，内部表現の特定の方向が線形に近い形で途中結果を符号化していること，そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す．本手法は数学的な問題に対するモデルの解釈可能性を高めることにも繋がる．

本研究では，単一の人物の大規模な対話データを大規模言語モデルと組み合わせることで，対象人物を再現するチャットボット（なりきりAI）を構築した．さらに，構築したチャットボットの公開実験とそのエラー分析を行うことで，現状の到達点と問題を調査した．その結果，構築されたチャットボットは高い自然さとキャラクタらしさを持つことが明らかになった．さらに，対象人物を再現するチャットボットのエラーは，属性に関するエラーと関係に関するエラーに分けられ，また，自己に関するエラーと他者に関するエラーに分けられることが明らかになった．

本研究では，基本イベントに基づく常識推論データセットの構築手法を提案する．具体的には，テキストから「お腹が空いたので，ご飯を食べる」といった蓋然的関係を持つ基本的なイベント表現の組を自動抽出し，クラウドソーシングによる確認を行った後，基本イベント間の蓋然的関係を問う多肢選択式問題を自動生成する．提案手法に従って 10 万問規模の常識推論データセットを構築し，計算機による解答実験を行った結果，高性能な汎用言語モデルと人間の間に解答精度の開きがあることを示した．また，提案手法の拡張性の高さを利用して疑似問題を大規模に自動生成し，このデータ拡張による常識推論タスクおよび関連タスクでの効果を検証した．実験の結果，蓋然的関係に関する知識を広範に学習させることで，常識推論タスクおよび関連タスクにおいて一定の効果があることを示した．これは，蓋然的関係を推論する能力が自然言語理解において重要であることを示唆している．