跳到正文
原文
arXiv · Computer Vision· Alex Junho Lee·· 3 小时前AI 评分20

ROSETTA:用于免训练跨模态对齐的旋转子空间估计

ROSETTA: Rotation Subspace Estimation for Training-free Transmodal Alignment

AI 导读

ROSETTA 是一种免训练校准层,通过期望最大化过程估计白化特征空间中的局部旋转,实现跨模态对齐,查询时无需共观测。该方法基于任意两个独立训练编码器之间的相对变换是空间保持旋转、且其角速度呈白噪声特性的发现,而编码器输出的互协方差具有低有效秩,使局部对齐可行。

来源:arXiv · Computer Vision · arxiv.org