Hot eventLive
预注册研究:提示优化器会破坏未被评分的需求
1 reports1 sources2 hr ago updated
Get the story
AI overview
2026-10-12,一项 arXiv 预印本预注册研究(Computation and Language,一手来源)检验提示词优化器是否会破坏未被目标指标评分的输出要求。研究在 HotpotQA、SQuAD 2.0 和 IFEval 上,使用 GEPA、MIPROv2 和 TextGrad 三种优化器进行检测,发现三者均出现回退。具体地,在 HotpotQA 上,引用有效性净回退 10.7 至 41.6 分,而 exact match 上升 21 至 34 分,显示优化目标指标提升的同时,未被评分的输出要求受损。
Generated from reports · updated 2 hr ago
Timeline
Follow the coverage from different angles.
Oct 12, 2026
- arXiv · Computation and Language预注册研究:提示词优化器会破坏未被评分的输出要求吗
预注册研究用 GEPA、MIPROv2 和 TextGrad 在 HotpotQA、SQuAD 2.0 和 IFEval 上检测未被目标指标评分的输出要求,发现三者都出现回退,HotpotQA 上引用有效性净回退 10.7 至 41.6 分,而 exact match 上升 21 至 34 分。
Heat trend
There is not enough continuous observation data to draw a trend yet.