SALM：通过结构感知潜掩码建模解锁 CLIP 的细粒度感知能力

研究者提出无监督嵌入对齐框架 SALM，通过双矩阵对齐与潜掩码建模，在不使用任何图像-文本对的情况下协同局部与全局对齐，提升 CLIP 的细粒度感知。基于 CLIP 浅层特征具备强空间观测能力的观察，进一步扩展出自蒸馏范式 SALM-Self，无需外部模型即可释放其内在潜力。实验显示 SALM 显著改善密集预测任务与零样本准确率，并增强多模态大语言模型的细粒度理解。