大規模言語モデル(LLM)はlong-tailの知識に対して精度が低く，その解決策としてRetrieval-Augmented Generation(RAG)やFine tuningなどがある．一方評価タスクの違いなどの要因から，実用に値しないという報告もある．実用上はより複雑なタスクを解くことがあり，いかに文脈を捉えるかが必要となる．しかし，long-tailにあたる土木分野などの専門ドメインにおいて，LLMが内部でどのようにテキストを処理し，文脈を捉えられているかは明らかになっていない．専門ドメインにおいてLLMがどのように文脈を捉えるかを明らかにすることで，long-tailの知識に対する性能改善にも貢献できると考える．本研究では一般ドメインと専門ドメインの二つを対象に，まず両者の回答生成における不確実性を確認し，さらにLLMの各層の中間表現のエントロピーの変動を分析することで，専門ドメインのLLM内部処理過程の特徴を明らかにした．
