Phase-HDC：用梯度阈值替代优化器历史状态
Get the story
2026年10月9日，arXiv 机器学习理论方向发布一手报道，提出 Phase-HDC 方法：一种只保存模型参数、不保存优化器历史状态的训练方式。其更新规则为每次最多将低比特角度参数移动一步，且仅当梯度足够大时才触发更新。报道指出，该规则是“每个被改动参数支付固定代价”的一阶损失模型的精确解；在其余条件不变的情况下，其精度与使用 6-bit moments 的 Adam 相当，而存储开销减少 3 倍。目前该报道为事件唯一来源，尚未出现后续验证、复现或相互矛盾的信息。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheoryPhase-HDC：用梯度阈值替代优化器历史状态的离散相位学习
Phase-HDC 提出一种只存模型、不存优化器历史状态的训练方法：每次更新最多把低比特角度参数移动一步，且仅当梯度足够大时触发。该规则是“每个被改参数支付固定代价”的一阶损失模型的精确解；在其余条件不变时，其精度与使用 6-bit moments 的 Adam 相当，存储少 3 倍。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.