Skip to content
Hot eventLive

HAWK提出多模态草稿策略改进推测解码

1 reports1 sources3 hr ago updated

Get the story

AI overview

HAWK针对大视觉语言模型的推测解码提出改进策略，通过表示相似度选择目标层并组合隐藏状态，同时将压缩后的视觉隐藏状态直接提供给浅层草稿模型。该方法在SmolVLM-256M上进行了实验验证，在10个多模态基准中将平均接受长度从3.32提升至4.08，贪婪解码速度从2.19x提高到2.60x，采样模式下从1.92x提升至2.19x。

Generated from reports · updated 2 hr ago

LatestOct 2
HAWK方法在SmolVLM-256M上显著提升多模态推测解码效率，平均接受长度与解码速度均有所提高。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Computer Vision
    HAWK：重新思考多模态草稿预测以加速推测解码

    HAWK 针对大视觉语言模型（LVLMs）的推测解码提出改进，通过表示相似度选择目标层并组合隐藏状态，同时将压缩后的视觉隐藏状态直接提供给浅层草稿模型。实验显示，在 SmolVLM-256M 上，HAWK 在 10 个多模态基准中将平均接受长度从 3.32 提升至 4.08，贪婪解码下速度从 2.19x 提高到 2.60x，采样模式下从 1.92x 提升至 2.19x。

Heat trend

There is not enough continuous observation data to draw a trend yet.