PulseAugur
中
实时 11:04:22
English(EN) Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics

新方法从验证集统计数据预测LLM扩展收益

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种方法，可以在无需完全执行的情况下预测使用“最佳N项”（best-of-N）推理策略的准确性提升。通过分析模型在标记验证集上的采样输出统计数据，他们确定了三个关键特征，可以可靠地预测这些收益。这种方法已在各种模型和任务中进行了测试，有助于在产生奖励模型评分的全部计算成本之前有效地筛选配置。 AI

影响 能够更有效地选择最佳LLM配置，可能降低推理成本并加速研究。

排序理由 该集群包含一篇详细介绍LLM新研究方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Luyang Zhang, Jingyan Li ·

    从标记验证集输出统计数据预测推理时间缩放增益

    arXiv:2606.02981v1 Announce Type: new Abstract: Best-of-$N$ inference scaling (drawing $N$ candidate answers from a language model and returning the one a reward model ranks highest) improves accuracy by an amount that varies across models, but predicting that amount in advance c…

相关实体

相关话题