TensorChain：链式LMO优化LLM预训练
Get the story
2026年10月9日，arXiv机器学习理论方向发布论文，提出链式线性最小化预言机（chained LMO），将多矩阵归一化优化器统一为LMO组合，并指出许多链式方法在光滑凸目标上可能发散。理论分析基于线性联想记忆，表明链式结构在各向异性嵌入下可优于Muon。论文同时给出新优化器TensorChain，在Qwen3 0.6B与1.7B预训练中平均token效率领先所有链式基线，在相同验证损失下较Muon平均节省9.6% token。目前报道仅涉及该论文内容，尚无后续独立验证或应用进展。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning Theory用链式 LMO 优化大语言模型
论文提出链式线性最小化预言机（chained LMO），把多矩阵归一化优化器统一为 LMO 组合，并指出许多链式方法在光滑凸目标上可能发散。理论分析基于线性联想记忆，表明链式结构在各向异性嵌入下可优于 Muon。新优化器 TensorChain 在 Qwen3 0.6B 与 1.7B 预训练中平均 token 效率领先所有链式基线，在相同验证损失下较 Muon 平均节省 9.6% token。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.