Research Articles
Exploring the intersections of computational science, AI, and culture
OpenMythos 研究報告 — 容量×ループ×LIE の3軸インタラクション
dim × loops の 3×3 sweep で、ループ数は容量閾値以下でのみ幅を代替することを実証。FLOPs-matched 比較でも幅が常に優位(2.1-2.4×)で、memorization は幅のみに依存することを示した。
-
00
再帰深さ型 Transformer における「幅」と「ループ数」の交換可能性 — モジュラー算術 Grokking による容量閾値の実証 論文1: 幅とループ数の交換可能性→
-
01
Loop-Index Embedding は homogeneous タスクの Grokking を遅延させる — OpenMythos RecurrentBlock の Ablation 実験 論文2: LIE Ablation→
-
02
Loop-Index Embedding は深さ外挿と浅ループ解を Trade-off する — OpenMythos における Inference-time Scaling の 2 つのレジーム 論文3: 深さ外挿→
世界モデル vs 強化学習 — 離散タブから連続状態空間への「世界モデル優位性」の崩れ方
離散GridWorldから連続制御タスクまで、世界モデルが強化学習のサンプル効率に与える効果を段階的に検証。優位性は約4.4倍からほぼ消失まで、タスクの性質で大きく変動する
分布外入力テストによるワールドモデルの「理解 vs 暗記」判別
Transformer世界モデルが遷移規則を「理解」しているか「暗記」しているかを分布外入力テストで定量的に判別。暗記度≈1.1で汎化を確認、過学習が暗記の最大駆動因と判明
世界モデル4アーキテクチャの比較 — 離散GridWorldから連続制御タスクへ
世界モデルの代表的な4アーキテクチャ(RNN/Transformer/Latent Diffusion/VQ-VAE+Transformer)を、離散GridWorldから連続制御タスクまで5環境で公平比較した結果
世界モデルの内部表現の解剖 — Transformer は環境の「地図」を獲得するか
小規模Transformer世界モデルの内部表現をMechanistic Interpretabilityの手法群で網羅的に解剖し、空間構造の内部再現・遷移ルールの段階的獲得・機能特化ニューロンの因果的寄与を実証
自律AIエージェントのツール使用行動と道徳的意思決定の分析 — Trickster God条件下の単一ランケーススタディ
自律AIエージェントのツール使用行動と道徳的意思決定を動的人生シミュレーションで分析したケーススタディ
PINNにおけるPDE項別の層別計算分担の解明 — 2D鍋対流問題 第2報
PDE項別の層別計算分担を勾配感度解析と線形プロービングで解明 — 第2報
Physics-Informed Neural Networkにおける学習ダイナミクスの解析 — 2D鍋対流問題
PINNの内部表現学習ダイナミクスをCKA相転移解析と損失ランドスケープ可視化で分析
AI文化形成論:ローカルLLMエージェント群による集合的文化創造の実験的研究
複数のローカルLLMエージェントによる集合的文化創造の実験的研究の全体概要