Transformer 权重中观视角：行与列尺度场研究

研究提出行与列尺度场概念，通过中观层面的 log-RMS 剖面刻画权重矩阵的通道分布，结合全局尺度与平衡核心精确表示矩阵。在 Pythia 四个规模检查点与三组初始化控制实验中，平衡后核心幅度剖面相似；混合桥预测池化形状偏离，字段在共享功能通道的对齐投影间一致，query/key 剖面遵循重分配的 RoPE 频率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。