SALM：结构感知潜掩码建模提升CLIP细粒度感知

1. 12:00
   arXiv · Computer Vision

   SALM：通过结构感知潜掩码建模解锁 CLIP 的细粒度感知能力

   研究者提出无监督嵌入对齐框架 SALM，通过双矩阵对齐与潜掩码建模，在不使用任何图像-文本对的情况下协同局部与全局对齐，提升 CLIP 的细粒度感知。基于 CLIP 浅层特征具备强空间观测能力的观察，进一步扩展出自蒸馏范式 SALM-Self，无需外部模型即可释放其内在潜力。实验显示 SALM 显著改善密集预测任务与零样本准确率，并增强多模态大语言模型的细粒度理解。

Current heat 9·Comparable peak 10（Oct 7）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.