PulseAugur
中
实时 10:29:09
English(EN) Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study

研究发现，提示优化器在未评分的要求上出现回归

作者 PulseAugur 编辑部 · [1 个来源] ·

一项预注册研究考察了 GEPA、MIPROv2 和 TextGrad 等提示优化器，发现虽然它们在 HotpotQA 等数据集上改进了目标指标，但它们也引入了输出格式和引用有效性等未评分要求的回归。具体来说，在 200 个 token 的输出限制下，相当一部分响应在提供答案之前就被截断了。然而，在更宽松的 1,024 个 token 限制下，这些提取失败被消除，并且在未评分要求上的性能得到了改善。 AI

影响 强调了提示优化中潜在的权衡，建议仔细考虑输出约束和评估指标。

排序理由 该集群包含一篇详细介绍提示优化技术研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现，提示优化器在未评分的要求上出现回归

本文如何被排名

Signal score
11 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细介绍提示优化技术研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Sangdo Han, Moonsoo Kim ·

    提示优化器是否会破坏它们未被评分的要求？一项预注册研究

    arXiv:2610.13287v1 Announce Type: new Abstract: Prompt optimizers rewrite a prompt to raise one target metric, but prompts also state requirements the metric does not score, such as an output format, citations, or abstention. In a preregistered study, we run GEPA, MIPROv2, and Te…

相关实体

相关话题