arXiv · Machine Learning· Tiexin Ding·· 5 小时前AI 评分33
通过行与列尺度场观察 Transformer 权重的中观视角
A Mesoscopic View of Transformer Weights Through Row and Column Scale Fields
AI 导读
研究提出行与列尺度场概念，通过中观层面的 log-RMS 剖面刻画权重矩阵的通道分布，结合全局尺度与平衡核心精确表示矩阵。在 Pythia 四个规模检查点与三组初始化控制实验中，平衡后核心幅度剖面相似；混合桥预测池化形状偏离，字段在共享功能通道的对齐投影间一致，query/key 剖面遵循重分配的 RoPE 频率。
来源：arXiv · Machine Learning · arxiv.org