arXiv · Audio and Speech· Hugo Malard, Michel Olvera, Sanjeel Parekh, Ga\"el Richard, Slim Essid, St\'ephane Lathuili\`ere·· 7 小时前AI 评分28
大型音视频检索模型中的空间定位解锁:LAIP 框架通过音频感知池化实现细粒度声源定位
Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
AI 导读
LAIP(Localization via Audio-Informed Pooling)框架用轻量级 Audio-informed Spatial Pooling(AiSP)替换标准全局聚合模块,通过帧级对齐的音频查询中间视觉令牌来恢复被丢弃的空间信息。
来源:arXiv · Audio and Speech · arxiv.org