arXiv · Information Retrieval· Youngtaek Oh, Qiyu Wu, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji·· 4 hr agoAI score27
Syn-Omni:面向全模态嵌入的结构化专精与渐进协作
Syn-Omni: Structured Specialization and Progressive Collaboration for Omnimodal Embeddings
AI brief
Syn-Omni 提出统一的全模态适配框架,用 OME-LoRA 将适配拆分为共享 LoRA 路径与模态专家 LoRA 路径,并以 PSR 让专家先建立模态先验再逐步跨模态协作。在涵盖图像、视频、音频和视听模态的 81 个任务上,Syn-Omni 一致优于全模态基线;论文已被 EMNLP 2026(Long, Findings)接收,代码已开源。
Source: arXiv · Information Retrieval · arxiv.org