研究：API 基准分数不能可靠迁移到聊天界面
先了解这件事
2026年10月12日，arXiv 软件工程方向发布一手研究，审计 ChatGPT、Claude 与 Gemini 在七个系统和九项基准上的表现，发现 API 与聊天机器人界面在准确率和一致性上存在系统性差异：API 评测平均准确率高 3.4 个百分点、重测一致性高 2.1 个百分点；ChatGPT 的 API 与界面差距接近 GPT 5.3 与 GPT 5.4 的 API 差距。研究还称，调整系统提示词、采样参数和推理设置只能部分改变行为，无法可靠消除差距。同日，arXiv 人机交互方向发布另一项一手研究，关注现有 AI 评测遗漏的模态、搜索、引用及其对安全评估的影响，比较 ChatGPT 聊天界面与 OpenAI API 两种模态，并开启或关闭 web search，基于 BBQ 和 SafetyBench 的 401 条提示、每条重复 3 次，共 4,812 条响应。两篇研究同日发布，主题相关但基准与指标不同。
AI 根据报道生成 · 1 小时前更新
事件进展
- 10月12日 12:00 · 1 篇报道研究称 API 基准分数不能可靠迁移到聊天机器人界面arXiv · Software Engineering：研究称 API 基准分数不能可靠迁移到聊天机器人界面
- 10月12日 12:00 · 1 篇报道论文审计ChatGPT两种访问模态与搜索条件下的安全评测差异arXiv · Human-Computer Interaction：现有 AI 评测遗漏了什么：模态、搜索、引用及其对安全评估的影响
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · Human-Computer Interaction现有 AI 评测遗漏了什么：模态、搜索、引用及其对安全评估的影响
一项针对广泛使用的大语言模型的审计比较了 ChatGPT 聊天界面与 OpenAI API 两种模态，并开启或关闭 web search，基于 BBQ 和 SafetyBench 的 401 条提示、每条重复 3 次共 4,812 条响应。
- arXiv · Software Engineering精选研究称 API 基准分数不能可靠迁移到聊天机器人界面
研究审计 ChatGPT、Claude 和 Gemini 在七个系统与九项基准上的表现，发现 API 与界面在准确率和一致性上存在系统性差异。API 评测平均准确率高 3.4 个百分点、重测一致性高 2.1 个百分点；ChatGPT 的 API 与界面差距接近 GPT 5.3 与 GPT 5.4 的 API 差距。调整系统提示词、采样参数和推理设置只能部分改变行为，无法可靠消除差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。