神経回路の学習に普遍的な性質が成立するか，という問いは，現象の理解やその数理における大きな問いである．ますますモデルが大規模化していく深層学習は，実験だけでなく理論としてもこの問いの検証を進める足場を提供している．本解説ではまず，幅に関する普遍則の一端として，μPと呼ばれる特徴学習を促すパラメータスケールを紹介する．幅無限極限で学習が安定して進むためには，実は訓練パラメータ初期値や学習率といった量が幅に対して満たすべき普遍的なスケールがある．μPは，我々が普段使っている設定が必ずしも大規模化の先で適切とは限らないことを示唆する．また，2次最適化のような，より設定が込み入ったアルゴリズムにおいても，大規模モデルに望ましいスケールを定量的に与え，応用上も興味深い．最後に，もうひとつの話題として，MLP-Mixerと幅が大きいスパースMLPの等価性を紹介する．すなわち，MLP-Mixerが実効的に幅の大きなMLPを実装し，さらにスパース性を陰にバイアスとして利用することで，高い性能を発揮していることを議論する．

2022年の暮れにChatGPTが登場し，機械が本格的に言語を操るようになった．AI技術はかつての工業化学や内燃機関，半導体などと同様に，社会全体を巻き込んで巨大産業化していくものと予想される．これら先行する“先輩”産業には盤石な基礎理論が整備されいる．AI産業においても今後，様々な基礎理論が整備されていくものと期待される．本稿では，そのような基礎理論の一つとしてニューラルネットの表現力解析を取り上げ，機械学習理論における立ち位置と筆者らの最近の結果（群表現論に基づく深層リッジレット変換）について解説する．

Generative Adversarial Network（GAN）は，ミニマックス最適化問題に基づき，生成器と識別器を交互に最適化することで，目標とする確率分布を学習する．本論文では，そのような最適化によって得られる識別器が，生成器が実現する確率分布を目標分布に近づけることができるのかという根本的な問題に取り組む．GANの定式化をSliced Wasserstein距離と関連付けることで，識別器が分布間の距離を適切に評価するための十分条件であるmetrizable条件を導出する．さらに，この理論的結果を基に，新しいGANの学習手法であるSlicing Adversarial Network（SAN）を提案する．識別器に簡単な変更を加えるだけで，既存のGANをSANに変換できるため，非常に汎用性の高い手法である．トイデータを用いた実験では，理論的結果の妥当性を確認し，また，画像生成タスクへの適用を通じて，GANに対するSANの優位性を確認する．本稿は，著者らの論文（Takida et al. (2024): SAN: Inducing metrizability of GAN with discriminative normalized linear layer, International Conference on Learning Representation (ICLR)）を和訳し，わかりやすく解説したものである．

ニューラルネットワークは現在様々な分野でその能力を遺憾なく発揮している一方，動作の背後にあるメカニズムはまだ十分に解明されていない．この根本的な課題に取り組むため，いくつかの特性を制限・操作することで安全性・制御性・解釈可能性の改良と新しい知見の獲得が試みられてきた．特に最近は「感度」の概念が多くの分野で有益な帰納的バイアスとして認識されてきている．そこで本稿では，前半で変分自己符号化器のデコーダーの最小感度が事後確率分布崩壊を制御できることを紹介し，後半で最小・最大感度を同時に扱えるBi-Lipschitz Neural Networkに関する研究を説明する．最近の研究の解説を通して，特定の性質の制御の恩恵と実装方法を理論的に保証するアプローチの意義や有用性について取り上げる．