Skip to content
arXiv · Computation and Language· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·· 4 hr agoAI score38

APEX:更聪明地投机,而非更深的投机

APEX: Speculate smarter, not deeper

AI brief

APEX 是一种学习型控制器,通过请求级专家选择与块级深度自适应,在保持目标模型验证流程不变的前提下平衡解码速度与草稿 token 浪费。APEX-Router 在 EAGLE-3、n-gram 与草稿模型投机之间按请求选择,APEX-Depth 依据因果解码信号与近期验证反馈调整草稿长度。

Source: arXiv · Computation and Language · arxiv.org