arXiv · Computer Vision· Shuyang Jiang, Fucheng Deng, Yuchuan Luo, Zhenyu Wu·· 3 小时前AI 评分37
统一多模态模型中的位置解析梯度冲突与位置感知调制
Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models
AI 导读
统一多模态模型(UMM)的图像理解与自回归生成共享参数并相互干扰,现有方法以层或专家为单位诊断冲突。研究提出位置解析干扰图谱,发现生成梯度在序列前1/4位置与理解的余弦相似度低至-0.18,位置解释冲突方差的31%-35%。
来源:arXiv · Computer Vision · arxiv.org