CABRA：代码理解是编码智能体的瓶颈
Get the story
2026年10月9日，arXiv Software Engineering 频道发表研究，提出 CABRA 评测框架。该框架通过调用图变换生成任务，并沿函数遍历、搜索、运行时解析、指令遵循四个维度扩展难度。研究在 6,840 个任务上测试了八个 LLM 与六个 coding agents。结果显示，LLM 的准确率随任务规模增大而下降；而 agents 借助 grep 等工具保持近乎完美的表现。此外，在 SWE-bench Verified 上，工具调用次数比编辑代码行数更能预测准确率。该研究据此论证代码理解已成为编码智能体的瓶颈。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Software EngineeringCABRA：代码理解为何成为 Coding Agents 的瓶颈
研究提出 CABRA 评测框架，通过调用图变换生成任务，并沿函数遍历、搜索、运行时解析、指令遵循四轴扩展难度。在 6,840 个任务上测试八个 LLM 与六个 coding agents，发现 LLM 准确率随任务规模下降，而 agents 借助 grep 等工具保持近乎完美；SWE-bench Verified 上工具调用次数比编辑代码行数更能预测准确率。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.