arXiv · Software Engineering· Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo·· 3 hr agoSelectedAI score62
研究称 API 基准分数不能可靠迁移到聊天机器人界面
API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
AI brief
研究审计 ChatGPT、Claude 和 Gemini 在七个系统与九项基准上的表现，发现 API 与界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点、重测一致性高 2.1 个百分点；ChatGPT 的 API 与界面差距接近 GPT 5.3 与 GPT 5.4 的 API 差距。调整系统提示词、采样参数和推理设置只能部分改变行为，无法可靠消除差距。
Why it matters
论文提示评测分数与真实聊天界面表现存在差距，读者可据此校准对模型能力的判断。
Source: arXiv · Software Engineering · arxiv.org