Physics-Informed Neural Networkにおける学習ダイナミクスの解析 — 2D鍋対流問題を題材として
本研究は、2次元鍋自然対流問題を解くPhysics-Informed Neural Network（PINN）の内部表現の学習ダイナミクスを、Centered Kernel Alignment（CKA）による相転移解析およびフィルタ正規化損失ランドスケープの可視化によって分析したものである。Picard反復による段階的学習（熱→流体→結合）の過程で、ネットワーク内部の表現がどのように変化し収束するかを定量的に明らかにした。
主要な結果
- 深い層が物理を学ぶ: 浅い層（L1-L3）は早期に安定した入力変換を獲得し、深い層（L5-L6）がPDE制約や浮力結合などの物理的関係の符号化を担う。特にFluidNetの最終層（Layer 6）で劇的な表現の相転移が観測された。
- Picard反復の収束を確認: 反復が進むにつれ表現変化速度のピークが減少し、累積ドリフトも安定化。CKAヒートマップのブロック構造からも収束が視覚的に確認された。
- PDE損失面は鋭い針状の最小値を持つ: Li et al. (2018) の手法による損失ランドスケープ解析で、PDE損失がBC損失と比較して極めて鋭い最小値を持つことが判明。段階的学習とコサインアニーリングの重要性を示唆する。
