arXiv · Information Retrieval· Chuting Yu, Guido Zuccon, Teerapong Leelanupab·· 4 hr agoAI score41
骨干模型演进对 LLM 相关性评估的影响
The Impact of Backbone Evolution on LLM-Based Relevance Assessments
AI brief
研究在固定提示词下，用 UMBRELA 与 EXAM 两类提示评估 Gemini、GPT、Qwen、Llama 连续版本的相关性判断表现。未发现新版本必然更贴近人类判断的一致证据，聚合分数相近或提升也不代表判断稳定，早期版本的正确判断可能在后续版本丢失。研究提醒，为某一骨干版本设计验证的提示词，不能假定在同族新模型上等效或更优。
Source: arXiv · Information Retrieval · arxiv.org