大規模言語モデルにおける潜在表現の複雑性と階層性の分析

抄録

大規模言語モデル（LLM）は急速に発展し，さまざまな実用分野で活用されている．一方で，その動作原理には未解明の部分が多く残されている．本研究では，LLMの推論過程をより深く理解するために，LLMの潜在表現の分布を分析した．分析手法として，分布の本質的な次元であるIntrinsic Dimensionと，分布の階層構造を測る指標であるδ-hyperbolicityを用いた．実験結果から，LLMの推論過程における複雑性と階層性を考察し，LLMが内部で自然言語の意味をどのように扱っているかについて示唆を得た．本研究は，LLMの解釈可能性の向上に加え，アーキテクチャの改善に貢献する．