arXiv · Machine Learning Theory· Robert Hu·· 5 小时前AI 评分34
Fast Polynomial Transcendentals for LLMs
Fast Polynomial Transcendentals for LLMs
AI 导读
summary_zh: 研究用短多项式程序替代 LLM 中的 sigmoid、tanh、SiLU 等 SFU 操作,在 FP16 和 BF16 下测试 L2 与 HBM 工作集。
来源:arXiv · Machine Learning Theory · arxiv.org