arXiv · Machine Learning Theory· Ran Li, Lei Chen·· 3 小时前AI 评分47
Learning to Decide, Not to Reason:基于低秩激活引导的参数高效决策算子
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
AI 导读
论文提出 \method{},一种通过行为克隆训练的 System-1 决策算子,将注入技能的成本降低约两个数量级。默认算子仅用 330K 参数即可匹配 1.33M 参数的强化学习算子,并把 3,685 token 的推演压缩为 6 token 决策且精度无损;rank-4 变体仅 23K 参数,为最强已发表技能算子的 1/58。
来源:arXiv · Machine Learning Theory · arxiv.org