1. 背景と問題意識

1.1 第1報の知見と残された問い

前報(第1報)では、2次元鍋自然対流PINNの内部表現をCKA相転移解析および損失ランドスケープ可視化によって分析し、以下の3つの主要な知見を得た:

  1. 深い層が物理を学ぶ: 浅い層(L1-L3)は早期に安定した入力変換を獲得し、深い層(L5-L6)がPDE制約の学習を担う。特にFluidNetのLayer 6では、初期表現と最終表現のCKAが0.1以下まで低下する「相転移」が観測された。
  2. Picard反復が表現空間の段階的収束を実現: CKA変化速度のピークは反復ごとに減少し、「大域的探索→微調整→収束」の3段階構造が確認された。
  3. PDE損失面は鋭い針状の最小値を持つ: BC損失のフラットなランドスケープとは対照的に、PDE損失は最小値から$\pm 0.5$の範囲で3桁以上増加する。

第1報: FluidNet レイヤー別CKAヒートマップ — Layer 6 で劇的な相転移(紫色領域 = CKA < 0.1)

これらの知見は「どの層が変化するか」を明らかにしたが、「なぜその層が変化するのか」「各層は具体的にどのPDE項を計算しているのか」という問いには答えていない。CKAは表現全体の類似度を測る指標であり、個々のPDE項の寄与を分離できないためである。

1.2 研究目的

本研究の目的は、第1報のマクロな知見をPDE項レベルに分解し、以下の問いに答えることである:

  1. PDE項別の層分担: 対流項・粘性項・圧力項・浮力項など、各PDE項の計算はネットワークのどの層で行われているか?
  2. 計算と符号化の対応: 各層が「計算を担っている」(勾配感度)ことと「情報を保持している」(線形プロービング)ことは一致するか、それとも乖離するか?
  3. クロスネットワーク情報: 分離設計のHeatNetとFluidNetは、結合学習を通じて互いの物理量をどの程度内部的に符号化するか?
  4. 階層構造の形成過程: PDE項別の層分担は学習過程でどのように自発的に形成されるか?

1.3 関連研究との位置づけ

  • 深層学習の線形プロービング(Alain & Bengio, 2017; Belinkov, 2022): NLPや画像認識で広く用いられる解釈性手法。各層の活性化から特定の情報を線形回帰で予測し、「どの層がどの情報を符号化しているか」を測定する。PINNへの適用はほとんど前例がない。
  • 勾配ベースの特徴帰属(Sundararajan et al., 2017): 入力特徴に対する勾配帰属は広く研究されているが、「ネットワークの層に対する勾配帰属」としてPDE項を分析する本アプローチは新規である。
  • CKA相転移解析(第1報; Kornblith et al., 2019): 本研究はCKAの「どの層が変化するか」という知見を前提として、「何が変化の原因か」をPDE項レベルで特定する位置づけにある。