Skip to content
Hot eventLive

预注册研究:提示优化器会破坏未被评分的需求

1 reports1 sources2 hr ago updated

Get the story

AI overview

2026-10-12,一项 arXiv 预印本预注册研究(Computation and Language,一手来源)检验提示词优化器是否会破坏未被目标指标评分的输出要求。研究在 HotpotQA、SQuAD 2.0 和 IFEval 上,使用 GEPA、MIPROv2 和 TextGrad 三种优化器进行检测,发现三者均出现回退。具体地,在 HotpotQA 上,引用有效性净回退 10.7 至 41.6 分,而 exact match 上升 21 至 34 分,显示优化目标指标提升的同时,未被评分的输出要求受损。

Generated from reports · updated 2 hr ago

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Computation and Language
    预注册研究:提示词优化器会破坏未被评分的输出要求吗

    预注册研究用 GEPA、MIPROv2 和 TextGrad 在 HotpotQA、SQuAD 2.0 和 IFEval 上检测未被目标指标评分的输出要求,发现三者都出现回退,HotpotQA 上引用有效性净回退 10.7 至 41.6 分,而 exact match 上升 21 至 34 分。

Heat trend

There is not enough continuous observation data to draw a trend yet.