普遍論理としてのTransformer理解

抄録

トランスフォーマーアーキテクチャは、言語処理や様々なコンテンツ生成領域で大きな成果を上げていると評価されているが、数値演算が苦手であることも指摘されている。そこで、ニューラルネットワークの内部演算を調べることにより、その弱点の理由を分析し、課題を克服し、数値データ処理も含めた生成AIの汎用性を高めるための基本的な事項を議論する。