PulseAugur
中
实时 20:10:44
实体 BenchDrift

BenchDrift

PulseAugur coverage of BenchDrift — every cluster mentioning BenchDrift across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_202207 ·

    IBM 研究揭示 AI 模型对问题措辞的惊人敏感性

    IBM 研究人员推出 BenchDrift，一种评估 AI 模型对问题重述敏感度的方法。该技术在保持答案不变的情况下，在语言、语用和结构轴线上生成基准问题的变体，然后测量正确率的变化。研究结果表明，即使是先进的模型也存在措辞敏感性，在 GSM8K、MMLU 和 MATH-Hard 等基准测试中表现最佳的模型对特定措辞的依赖性最大。