arXiv · Machine Learning Theory· Alina Sudakov, Guy Bar-Shalom, Fabrizio Frasca, Haggai Maron·· 4 hr agoAI score34
MATCHA：用显式多对多层映射学习跨模型激活对齐
Learning Cross-Model Activation Alignments with Explicit Many-to-Many Layer Maps
AI brief
论文提出 MATCHA 方法，把跨模型激活对齐分解为可提取检查的目标-源层映射矩阵与层共享特征映射，并从提示词中联合学习两个因子。在覆盖三个模型族的 7 个模型共 42 对组合上，MATCHA 比此前方法更忠实重建目标激活并显著提升检索指标，恢复的映射在深度上大体单调但呈多对多结构。
Source: arXiv · Machine Learning Theory · arxiv.org