4. 考察

4.1 PINNにおける特徴学習の階層性

CKA解析が明らかにした「浅い層は安定、深い層は変化する」というパターンは、画像分類ネットワークで知られている特徴学習の階層性（Zeiler & Fergus, 2014; Yosinski et al., 2014）と構造的に類似している。しかし、PINNの場合はより明確な解釈が可能である：

  • 浅い層（L1-L3）: 無次元座標 $(x^, y^)$ から物理的に意味のある基底関数（例えば三角関数的な周期構造やエッジに沿った特徴）への写像を学習。この写像は方程式の形（Laplace vs NS）によらずほぼ共通であるため、早期に固定される。
  • 深い層（L5-L6）: 基底関数の線形結合係数や、場の量同士の非線形結合関係（浮力項 $Ra \cdot Pr \cdot \theta$ による $v$ への影響など）を符号化。方程式が変わるたびに再編が必要。

この知見は、転移学習や事前学習の設計に直接的な示唆を与える。異なるRa数や境界条件の問題に対して、浅い層を凍結して深い層のみを微調整するfine-tuning戦略が有効である可能性が高い。

4.2 Picard反復の収束メカニズム

CKA変化速度の時間発展から、Picard反復の収束メカニズムについて以下の仮説を立てることができる：

  1. 第1回反復: FluidNetが「ゼロからNS方程式を学ぶ」段階。HeatNetの温度場を受けて、流体場の表現を根本的に構築する必要があり、Layer 5-6で劇的な相転移が発生する。
  2. 第2-3回反復: FluidNetの出力（$u, v$）がHeatNetにフィードバックされ、エネルギー方程式の対流項が改善される。両ネットワークの表現が相互に微調整される段階。変化速度は初回の1/10以下。
  3. 第4-5回反復: 収束領域。表現変化は微小で、主に数値精度の向上に貢献。

この「大域的探索 → 局所的微調整 → 収束」の3段階構造は、学習率の $0.5^{iter}$ 減衰と好相性であり、Picard反復と学習率スケジューリングの相乗効果が示唆される。

4.3 損失ランドスケープの鋭さが示唆する課題

PDE損失の針状の最小値は、以下の実践的課題を示唆する：

  1. 汎化リスク: 鋭い最小値は訓練点分布の変更（リサンプリング）に対して脆弱である可能性がある。本研究では500エポックごとのリサンプリングを採用しているが、鋭い最小値の周辺でリサンプリングが摂動として作用し得る。
  2. 学習率感度: 学習率が大きすぎると鋭い谷を飛び越えてしまう。CosineAnnealingLRによる漸進的な学習率減衰がこの問題を緩和していると考えられる。
  3. BC損失との競合: BC損失のランドスケープが比較的フラットであるため、Total Lossの勾配はPDE損失が支配する。損失の重み付けバランスが最適化経路に大きく影響する。

4.4 限界と制約

  1. Ra数の制限: 本研究では $Ra = 10^4$（物理値 $\sim 4 \times 10^9$ の約 $10^5$ 分の1）で解析を行った。より高Raでの学習ダイナミクスは質的に異なる可能性がある（乱流遷移に伴うスペクトルバイアスの増大など）。
  2. ランダム方向の代表性: 損失ランドスケープの2D可視化は高次元パラメータ空間のランダムな2D断面であり、全体像の一部のみを捕捉する。異なるランダムシードで定性的に異なるランドスケープが得られる可能性がある。
  3. 単一実験: 本解析は1回の学習結果に基づく。初期値依存性やハイパーパラメータ感度の評価には複数回実行が必要。
  4. CKAの限界: Linear CKAは表現の線形的な類似性のみを捕捉する。非線形的な表現変化（例：表現多様体のトポロジー変化）は検出できない。

4.5 実用的な示唆

  • Phase 2の初回反復を重点的に: FluidNetの表現が最も大きく変化する初回Phase 2に対して、エポック数を増やすか学習率を上げることで、後続の反復回数を削減できる可能性がある。
  • Sharpness-Aware Minimization (SAM): PDE損失面の鋭さを考慮すると、SAMオプティマイザの導入によりフラットな最小値を探索し、リサンプリング耐性と汎化性能の向上が期待できる。
  • 浅い層の凍結戦略: 学習の中盤以降、L1-L3を凍結して計算コストを削減する適応的凍結が可能。