语言模型自我保护研究:Qwen持续学习与回放数据
Get the story
2026年10月12日,arXiv《Computation and Language》发表关于语言模型自我保护的研究(持续指令微调场景)。研究以Qwen不同规模模型为对象,将任务描述与样例组织成Task Banks,由冻结模型选择并组合条目生成回放数据。结果显示,生成回放减少了库外任务的遗忘;合并部分库在全部测试规模上提升已答对样本的平均保持率;新任务引导的回放目标选择在4B规模优于随机选择,但小模型未见相应优势。固定样例预算下,用回放替换新任务样例可增强保护,但降低新任务收益。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and Language语言模型中的自我保护:Qwen 持续学习与回放数据研究
研究以 Qwen 不同规模模型做持续指令微调,把任务描述与样例组织成 Task Banks,由冻结模型选择并组合条目生成回放数据。生成回放减少了库外任务的遗忘,合并部分库在全部测试规模上提升已答对样本的平均保持率;新任务引导的回放目标选择在 4B 规模优于随机选择,小模型未见相应优势。固定样例预算下,用回放替换新任务样例可增强保护但降低新任务收益。
Heat trend
Current heat 9·Comparable peak 10(Oct 12)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.