JetBrains · AI· Denis Shiryaev·· 2026-07-06精选AI 评分67
Caveman 技能真的能省 65% Token 吗？JetBrains 配对基准测试
Does Speaking to Agents Like Cavemen Really Save 65% of Tokens? We Test
AI 导读
JetBrains 在 SkillsBench 上对 Claude Code 的 Caveman 技能做配对 A/B 基准，强制激活后输出 Token 节省约 8.5%，成本约降 10%，质量无显著差异（p=0.82）。广告宣称的 65% 节省仅适用于聊天式问答，不适用于以代码和工具调用为主的智能体任务。
推荐理由
用配对 A/B 基准实测 Caveman 技能，真实节省远低于宣传，读者可据此判断是否值得在日常智能体任务中启用。
来源：JetBrains · AI · blog.jetbrains.com