特集／生成AIを始める前の基盤数理技術
生成AIを支えるSelf-Attentionの基礎
2025 年 43 巻 2 号 p. 35-39
詳細
2025 年 43 巻 2 号 p. 35-39
近年，生成AIの発展に伴い，Self-Attentionを中核とするTransformerアーキテクチャーが，自然言語処理や画像生成をはじめとする多くの分野で重要な基盤技術として注目されている．本稿では，Self-Attentionの数理的基盤に焦点を当て，Query・Key・Valueの導出と役割，類似度スコアの算出とSoftmaxによる正規化，さらに加重平均による出力生成の過程について段階的に解説する．あわせて，TransformerにおけるAttention機構の設計思想と構造的特徴を整理し，生成AIにおけるSelf-Attentionの意義を明確にすることを目的とする．数式や図を交えて直観的理解を促すことで，医用画像分野における今後の応用展開の基盤形成に資することを期待する．
