Mercor APEX-Agents 1.1

Name: Mercor APEX-Agents 1.1
Creator: Mercor

Mercor / 专业办公 · 投行、咨询和法律里的长任务，看模型当助手能不能把一件完整的工作做完。

Official evaluation

On HOTAIRanked

Evidence budget4%

Upstream data09/08 08:00

Last successful sync10/01 20:05

What and how it measures

固定 1.1 数据集和官方 Loop 环境，采用 Pass@1 及其对应误差，按预先固定的推理档位选配置。Mean Score 是评分项平均完成度，不混作任务完成率。

How this evidence is used

固定 1.1 版官方 Loop 的 Pass@1，独占工具与办公预算中的 4%；另 2% 用于统一环境的银行业务任务。

Evaluation results

按固定规则，每个公开模型采用一套代表配置。匿名测试型号不展示，保留原榜名次，每项最多 30 个。

Source rank	Source model	Raw score	Representative configuration
1	gemini-4-argonGoogle	82.2%	High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
2	claude-sonnet-5-5—	75.5%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
3	claude-opus-5-5Anthropic	73.5%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
4	claude-fable-5.1Anthropic	68.6%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
5	gemini-3.7-flashGoogle	67.8%	High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
6	claude-opus-5Anthropic	65.8%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
7	grok-4-6-xhighxAI	65.3%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
8	gpt-6-astra-maxOpenAI	64.7%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
9	gemini-3.8-flashGoogle	64.3%	High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
10	claude-fable-5Anthropic	63.6%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
11	qwen-3-8-max-xhighAlibaba	63.3%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
12	gpt-6-1-solOpenAI	60.0%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
14	muse-spark-1-3Meta	58.6%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
15	gpt-5.6-terra-maxOpenAI	58.2%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
16	glm-5-3Z.ai	56.6%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
17	grok-4-5xAI	56.2%	High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
18	deepseek-v4-flashDeepSeek	55.3%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
19	gpt-5.5-xhighOpenAI	55.1%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
20	grok-4.7xAI	54.6%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
21	claude-sonnet-5-maxAnthropic	54.5%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
22	gpt-6-solOpenAI	54.3%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
23	glm-5-3-flashZ.ai	52.8%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
25	responses/gpt-5.4OpenAI	52.4%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
26	gpt-5-6-sol-max-proOpenAI	51.4%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
27	kimi-k3Moonshot AI	50.6%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
28	claude-opus-4-7Anthropic	49.2%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
29	claude-opus-4-8Anthropic	48.9%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
30	qwen-3-8-27bAlibaba	47.5%	xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
31	deepseek-v4-pro-08-13DeepSeek	47.3%	Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
32	gemini-3.6-flashGoogle	46.9%	High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent

Evaluation limits and attribution

限投行、咨询、法律任务；原页未提供逐型号评测日期，少量运行缺失的原因尚未公开。不能将此分数解释为所有办公工作的可靠性。

Data license: 官方公开结果；数据与代码许可不等于榜单再分发授权

成绩由 Mercor 发布，原始分数与 HOTAI 共识分使用不同尺度，不能直接相加。