动态 LLM 路由器常常被误导

论文分析了六款商业动态 LLM 路由器在覆盖八类任务的基准上的表现，发现没有一款优于在匹配成本下随机选择两个合适模型的路由器，部分差距超过 10 个百分点。作者将原因归结为难度盲视、长度反转、语义匹配和名单次优四种模式，并提出不奖励这些模式的替代评估方法，设计了一个避开全部四种模式的双模型路由器作为概念验证。