arXiv · Computation and Language· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·· 3 小时前AI 评分38
APEX：更聪明地投机，而非更深的投机
APEX: Speculate smarter, not deeper
AI 导读
APEX 是一种学习型控制器，通过请求级专家选择与块级深度自适应，在保持目标模型验证流程不变的前提下平衡解码速度与草稿 token 浪费。APEX-Router 在 EAGLE-3、n-gram 与草稿模型投机之间按请求选择，APEX-Depth 依据因果解码信号与近期验证反馈调整草稿长度。
来源：arXiv · Computation and Language · arxiv.org