arXiv · Computer Vision· Payam Abdisarabshali, Fardis Nadimi, Kasra Borazjani, Naji Khosravan, Richeng Jin, Seyyedali Hosseinalipour·· 2 小时前AI 评分20
BLEND:平衡联邦视觉语言模型中的个性化与泛化
BLEND: Balancing Personalization vs. Generalization in Federated Vision-Language Models
AI 导读
BLEND 是一个面向联邦视觉语言模型(FedVLMs)的新框架,旨在同时提升个性化与泛化能力。它提出选择性 VLM 参数微调与聚合策略,包含跨客户端共享的全局视觉与文本适配器,以及为每个客户端定制的个性化视觉投影适配器。BLEND 还引入新的损失函数,融合全局与个性化适配器输出,并通过 zero-shot VLM 投影头的锚点设计促进泛化;实验显示其在多种系统设置下持续优于 SOTA 基线。
来源:arXiv · Computer Vision · arxiv.org