arXiv · Machine Learning Theory· Ahmed Nebli·· 4 hr agoAI score28
Phase-HDC：用梯度阈值替代优化器历史状态的离散相位学习
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
AI brief
Phase-HDC 提出一种只存模型、不存优化器历史状态的训练方法：每次更新最多把低比特角度参数移动一步，且仅当梯度足够大时触发。该规则是“每个被改参数支付固定代价”的一阶损失模型的精确解；在其余条件不变时，其精度与使用 6-bit moments 的 Adam 相当，存储少 3 倍。
Source: arXiv · Machine Learning Theory · arxiv.org