5. 結論
5.1 知見の要約
- PINNの学習には明確な階層構造がある: 浅い層は入力座標の汎用的変換を早期に固定し、深い層がPDE制約に応じた物理的関係を符号化する。特にFluidNetのLayer 6では、Navier-Stokes方程式の学習に伴い初期表現と最終表現のCKAが0.1以下まで低下する「相転移」が観測された。
- Picard反復は表現空間の段階的収束を実現する: CKA変化速度のピークは反復ごとに減少し、第3回以降は全層でCKAドリフトが0.1以内に収まる。「大域的探索→微調整→収束」の3段階構造が確認された。
- PDE損失は鋭い針状の最小値を持つ: BC損失のフラットなランドスケープとは対照的に、PDE損失は最小値から±0.5の範囲で3桁以上増加する急峻な谷を形成する。段階的学習・学習率減衰・勾配クリッピングといった安定化技法の必要性を損失面の幾何学から裏付けた。
5.2 今後の課題
- Ra数スケーリング: $Ra = 10^3 \sim 10^5$ の範囲で同一の解析を繰り返し、表現の相転移がRa数にどう依存するかを調べる。乱流遷移に伴い学習ダイナミクスが質的に変化するかが重要な問いとなる。
- 空間的学習順序の解析: 線形プロービングやactivation mappingにより、ネットワークが物理領域のどの空間領域から先に学習するか（境界→内部? 高温部→低温部?）を解明する。
- SAMオプティマイザの検証: 損失ランドスケープの鋭さに対抗するため、SAMを導入し、汎化性能・リサンプリング耐性・Picard収束速度への影響を定量評価する。
- ネットワーク枝刈り解析: CKAが示す「浅い層の安定性」がネットワークの冗長性と関連するか、枝刈りによって検証する。浅い層の圧縮可能性と深い層の不可侵性を定量化する。
付録
A. 実行環境
- 言語: Python 3.x
- 主要ライブラリ: PyTorch (CUDA), NumPy, Matplotlib
B. PDE残差正規化（knowhow 27）
運動量方程式を $Ra \cdot Pr$ で除することで、全残差項を $O(1)$ に揃えている。正規化しない場合、浮力項 $Ra \cdot Pr \cdot \theta \sim 36700$ が支配し学習が失敗する。
正規化後の形: $$\frac{1}{Ra \cdot Pr} [\text{対流項} + \text{圧力項}] - \frac{1}{Ra} [\text{粘性項}] - \theta = 0$$
C. 用語集
| 用語 | 説明 |
|---|---|
| PINN | Physics-Informed Neural Network。偏微分方程式の残差を損失関数に組み込むニューラルネットワーク |
| CKA | Centered Kernel Alignment。ニューラルネットワーク中間層の表現類似度指標 |
| Picard反復 | 連成方程式系を交互に解く反復解法。各サブ問題を独立に解き、結果をフィードバックする |
| Ra (Rayleigh数) | 浮力と粘性・熱拡散の比を表す無次元数。自然対流の強さを特徴づける |
| Pr (Prandtl数) | 運動量拡散と熱拡散の比。流体の物性値で決まる |
| Bi (Biot数) | 対流熱伝達と固体内（流体内）熱伝導の比。Robin境界条件のパラメータ |
| フィルタ正規化 | Li et al. (2018) の手法。ランダム方向をモデル重みと同一のノルムにスケーリングし、損失ランドスケープの可視化をスケール不変にする |
| Boussinesq近似 | 密度変化を浮力項のみで考慮する近似。温度差が小さい場合に有効 |
本解析結果は再現可能であり、チェックポイントデータから再生成できる。