Apple Machine Learning Research·· 18 hr agoSelectedAI score68
强智能体需要多少 harness 才能自主完成机器学习工程？
How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?
AI brief
Apple 与 EPFL 研究发现，在等时预算和相同前沿 LLM backbone 下，开源先进 harness 并不优于单会话极简编码智能体基线，大规模消融实验表明多层 machinery 在编码智能体场景下冗余，当前 MLE 基准上精心设计的 harness 投入回报率低。
Why it matters
在等时和同 backbone 条件下，复杂 harness 并未超越极简编码智能体，提示当前 MLE 基准上模型本体才是性能主因。
Source: Apple Machine Learning Research · machinelearning.apple.com