跳到正文
原文
arXiv · Machine Learning Theory· Wang Wei, Harry Yang, Tiankai Yang, Samyadeep Basu, Hongjie Chen, Andy Zhao, Franck Dernoncourt, Ryan A. Rossi, Hoda Eldardiry·· 3 小时前AI 评分34

FlexRouter:学习互补模型集实现灵活的 LLM 路由

FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing

AI 导读

FlexRouter 将 LLM 路由建模为覆盖导向的子集选择问题,利用 DPP 捕捉模型能力与冗余性,最大化至少一个模型给出正确答案的概率。训练目标基于对失败集的边缘化,推理时采用基于边际对数行列式增益的贪心策略,无需预设计算预算即可自适应确定子集大小。在 RouterEval 基准上,FlexRouter 在域内和域外任务上均比强基线实现更高覆盖、更低冗余,同时保持灵活的推理成本。

来源:arXiv · Machine Learning Theory · arxiv.org