3. 結果
3.1 勾配感度解析: FluidNet
FluidNetの勾配感度に、PDE項の物理的性質に対応した明確な層分担が観測された。
表1: FluidNet 行正規化勾配感度（各行の合計 = 1.0）
| PDE項 | L1 | L2 | L3 | L4 | L5 | L6 | Out | ピーク層 |
|---|---|---|---|---|---|---|---|---|
| Viscous (x) | 0.38 | 0.21 | 0.18 | 0.12 | 0.07 | 0.03 | 0.01 | L1 |
| Viscous (y) | 0.30 | 0.17 | 0.19 | 0.17 | 0.11 | 0.05 | 0.02 | L1 |
| Convection (x) | 0.16 | 0.10 | 0.15 | 0.23 | 0.20 | 0.09 | 0.08 | L4 |
| Convection (y) | 0.14 | 0.09 | 0.16 | 0.23 | 0.20 | 0.10 | 0.09 | L4 |
| Continuity | 0.10 | 0.09 | 0.18 | 0.30 | 0.25 | 0.07 | 0.01 | L4 |
| Advection (T) | 0.15 | 0.12 | 0.20 | 0.27 | 0.22 | 0.05 | 0.01 | L4 |
| Pressure (x) | 0.12 | 0.07 | 0.06 | 0.05 | 0.04 | 0.05 | 0.62 | Out |
| Pressure (y) | 0.07 | 0.05 | 0.05 | 0.07 | 0.07 | 0.08 | 0.61 | Out |
3つの明確なグループに分離する：
- 粘性項 = 浅い層支配（L1-L2）: Laplacian（2階空間微分）は入力座標の初期変換で構成される。L1単独で粘性(x)の38%を担う。
- 対流項・連続の式・移流 = 中間層支配（L3-L5）: 場の非線形積（$u \cdot \nabla u$ 等）は、より深い層での特徴合成を必要とする。L4にピーク。
- 圧力勾配 = 出力層支配（Out: 61-62%）: 圧力は速度場から間接的に決まる量であり、最終段階で決定される。
なお、buoyancy とdiffusion_T のFluidNet勾配はゼロである（HeatNetのみに依存するため）。
3.2 勾配感度解析: HeatNet
HeatNetではFluidNetとは対照的に、全ての項が深い層に集中する：
表2: HeatNet 行正規化勾配感度
| PDE項 | L1 | L2 | L3 | L4 | L5 | L6 | Out | ピーク層 |
|---|---|---|---|---|---|---|---|---|
| Buoyancy | 0.03 | 0.02 | 0.02 | 0.08 | 0.21 | 0.30 | 0.34 | Out |
| Advection (T) | 0.13 | 0.06 | 0.06 | 0.15 | 0.23 | 0.22 | 0.15 | L5 |
| Diffusion (T) | 0.10 | 0.07 | 0.07 | 0.14 | 0.22 | 0.24 | 0.16 | L6 |
注目すべきは、同じLaplacian演算でもFluidNetとHeatNetで支配層が異なる点である：
- FluidNet の粘性（$\nabla^2 u$, $\nabla^2 v$）: L1が支配（38%, 30%）
- HeatNet の拡散（$\nabla^2 \theta$）: L5-L6が支配（22-24%）
この非対称性は、2つのネットワークの出力構造の違いに起因すると考えられる。FluidNetは3成分（$u, v, p$）を出力するため浅い層で共通の空間微分基底を構成し、HeatNetは1成分（$\theta$）のみを出力するため全層が一体的にend-to-endの計算パイプラインとして機能する。
3.3 線形プロービング: FluidNet
FluidNetの各隠れ層から各PDE項を線形予測した結果、項ごとに明瞭な「デコード可能深度」の違いが観測された。
表3: FluidNet 線形プロービング R²（テスト集合）
| PDE項 | L1 | L2 | L3 | L4 | L5 | L6 | 傾向 |
|---|---|---|---|---|---|---|---|
| Pressure (x) | 0.76 | 0.81 | 0.89 | 0.92 | 0.95 | 0.96 | 単調増加 |
| Pressure (y) | 0.66 | 0.76 | 0.86 | 0.89 | 0.94 | 0.96 | 単調増加 |
| Convection (x) | 0.65 | 0.73 | 0.76 | 0.82 | 0.88 | 0.94 | 単調増加 |
| Convection (y) | 0.72 | 0.84 | 0.90 | 0.91 | 0.92 | 0.93 | 単調増加 |
| Viscous (x) | 0.44 | 0.55 | 0.58 | 0.64 | 0.66 | 0.74 | 緩やかに増加 |
| Viscous (y) | 0.26 | 0.36 | 0.46 | 0.49 | 0.72 | 0.81 | 緩やかに増加 |
| Buoyancy | 0.97 | 0.99 | 0.99 | 0.99 | 0.99 | 0.95 | 全層で高い |
| Continuity | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 常にゼロ |
| Advection (T) | 0.83 | 0.91 | 0.89 | 0.90 | 0.88 | 0.86 | L2でピーク |
| Diffusion (T) | 0.83 | 0.91 | 0.89 | 0.90 | 0.88 | 0.86 | L2でピーク |
3つの重要な発見：
発見1: 粘性項は勾配感度とR²が乖離する。 勾配感度ではL1が最大だが、線形プロービングではL1のR²が全項中最低（viscous_y: 0.26）。これは、浅い層がLaplacianを高度に非線形な変換で計算していることを意味する。線形デコーダでは読み取れない暗黙的な符号化である。
発見2: Buoyancy（theta）がFluidNet全層でR² >= 0.95。 FluidNetは温度を出力しないにもかかわらず、全層でthetaの空間パターンを完全に符号化している。これはNavier-Stokes方程式の浮力項 $-\theta$ を通じた結合学習の結果、FluidNetが温度場を「発見」し記憶したことを示す。
発見3: Continuity R² = 0.00。 連続の式の残差（$\nabla \cdot \mathbf{u}$）がゼロに極めて近いため、予測すべき信号が存在しない。これは質量保存が高精度で達成されていることの間接的な定量確認である。
3.4 線形プロービング: HeatNet
表4: HeatNet 線形プロービング R²（テスト集合）
| PDE項 | L1 | L2 | L3 | L4 | L5 | L6 | 傾向 |
|---|---|---|---|---|---|---|---|
| Buoyancy | 0.96 | 0.98 | 0.99 | 1.00 | 1.00 | 1.00 | 単調増加 → 飽和 |
| Advection (T) | 0.81 | 0.88 | 0.92 | 0.94 | 0.95 | 0.97 | 単調増加 |
| Diffusion (T) | 0.81 | 0.88 | 0.92 | 0.94 | 0.95 | 0.97 | 単調増加 |
| Convection (x) | 0.52 | 0.71 | 0.74 | 0.78 | 0.77 | 0.78 | L4で飽和 |
| Viscous (y) | 0.27 | 0.27 | 0.42 | 0.51 | 0.55 | 0.54 | L5で飽和 |
HeatNetにおいてもFluidNet依存の項（convection, pressure, viscous）を中程度のR²で予測可能である。ただしFluidNet自身ほど高くはなく、deep layers でも0.55-0.88に留まる。結合学習により速度場情報の一部がHeatNetに転写されているが、FluidNetほど完全ではない。
AdvectionとDiffusionのR²が全層で小数点2桁まで一致する。定常エネルギー方程式 $\text{advection} + \text{diffusion} = 0$ が高精度で成立しているため、両項は情報としてidenticalである。
3.5 勾配感度の時間発展
学習過程での層分担の形成を追跡した結果、階層構造が自発的に出現・強化される過程が観測された。
表5: 粘性(x)と圧力(x)のL1およびOut比率の時間発展
| チェックポイント | 粘性(x) L1 | 粘性(x) Out | 圧力(x) Out |
|---|---|---|---|
| P1: Heat Only | 0.13 | 0.08 | 0.13 |
| Pic1-P2: Fluid | 0.19 | 0.11 | 0.36 |
| Pic1-P3: Coupled | 0.29 | 0.04 | 0.55 |
| Pic3-P3: Coupled | 0.36 | 0.01 | 0.62 |
| Pic5-P3: Final | 0.38 | 0.01 | 0.62 |
初期状態（P1）では全項が均等に分布（各層 0.10-0.18）。Picard反復を通じて： - 粘性のL1集中: 0.13 → 0.38（2.9倍に鮮明化） - 圧力のOut集中: 0.13 → 0.62（4.8倍に鮮明化） - 対流のL4集中: 0.16 → 0.30（1.9倍に鮮明化）
この分化はPicard反復の前半（Pic1-P3まで）で大部分が完了し、以降は微調整。第1報のCKA変化速度の「大域的探索→微調整→収束」という3段階構造と整合する。
3.6 線形プロービングの時間発展
FluidNetの線形プロービングR²の時間発展から、各PDE項の情報がいつ符号化されるかが明らかになった。
表6: FluidNetにおけるbuoyancyとdiffusion_TのR²時間発展
| チェックポイント | Buoyancy L1 | Buoyancy L6 | Diffusion L1 | Diffusion L6 |
|---|---|---|---|---|
| P1: Heat Only | 0.93 | 0.93 | 0.01 | 0.10 |
| Pic1-P2: Fluid | 1.00 | 1.00 | 0.04 | 0.27 |
| Pic1-P3: Coupled | 1.00 | 0.99 | 0.92 | 0.97 |
| Pic5-P3: Final | 0.97 | 0.95 | 0.83 | 0.86 |
- Buoyancy: Phase 2（初回流体学習）で即座にR² = 1.00に到達。FluidNetがNS方程式の浮力項を学習する過程で温度場を即座に記憶する。
- Diffusion: Phase 2ではR² < 0.27。Phase 3（結合学習）で突然R² > 0.92に跳ね上がる。エネルギー方程式が損失に加わって初めて、FluidNetが拡散の情報を獲得する。
- Viscous: Picard反復が進むにつれR²が漸減（Pic1-P3: 0.92 → Pic5: 0.74）。表現がより非線形的・分散的になる。
3.7 第1報の知見との対照
第1報のCKAおよび損失ランドスケープの知見と、本研究の結果を対照する。
表7: 第1報と第2報の知見の対照
| 第1報 (CKA・損失ランドスケープ) | 第2報 (PDE項別解析) | 統合解釈 |
|---|---|---|
| 深い層（L5-L6）が大きく変化 | 対流項・圧力項の勾配がL4-L6・Outに集中 | 深い層の「相転移」は対流項と圧力項の学習が主因 |
| 浅い層（L1-L3）は安定 | 粘性項の勾配がL1-L2に集中 | 浅い層は安定だが 不活性ではない — Laplacianの計算を担う |
| PDE損失面が鋭い針状の最小値 | 粘性はL1感度が高く、圧力はOut感度が高い | 鋭さの原因は浅い層の粘性計算と出力層の圧力決定にある |
| HeatNetは全反復で安定 | HeatNetの全項が深い層に集中 | HeatNetの安定性は1出力のend-to-end構造に起因 |
| FluidNet L6でCKA < 0.1の相転移 | 圧力の62%がOut、対流のピークがL4 | L6-Outの大変動は圧力場の構築過程を反映 |
特に重要な統合知見: 第1報では「浅い層は安定した入力変換を保持」と解釈されていたが、本研究は浅い層が安定であるのは「粘性計算が早期に確立・固定されるから」であることを明らかにした。安定性は不活性の証拠ではなく、確立された計算機能の証拠である。
3.8 結果のまとめ
- PDE項ごとの計算層が物理的性質に対応して分離する: 微分階数が低い項（粘性: 2階微分）は浅い層、非線形性の高い項（対流: 場の積）は中間層、間接的に決まる項（圧力: Poisson方程式の解）は出力層。
- 計算依存性（勾配感度）と情報符号化（線形プロービング）は一致しない場合がある: 粘性項はL1が計算を担うが、L1の活性化から線形デコードするのは困難。非線形な暗黙的計算の証拠。
- 結合学習がクロスネットワーク情報転写を引き起こす: FluidNetがthetaを全層で符号化（R² >= 0.95）。HeatNetも速度関連項を部分的に符号化（R² = 0.5-0.9）。
- 階層構造は初期状態には存在せず、学習過程で自発的に形成される: 形成はPicard反復の前半で大部分が完了。
- advection_T と diffusion_T のR²が完全に一致: PDE制約の充足が線形プロービングの観点からも定量的に確認された。