PulseAugur
中
实时 08:35:21
English(EN) ROC-n-reroll: How verifier imperfection affects test-time scaling

新理论解释了验证器不完美如何影响LLM的测试时扩展

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇题为“ROC-n-reroll：验证器不完美如何影响测试时扩展”的新论文探讨了通过在推理过程中增加计算量来提高语言模型性能的理论基础。研究证明，像Best-of-N和Rejection Sampling这样的方法的准确性直接关系到验证器ROC曲线的几何形状。使用Qwen和Llama模型在GSM8K和MATH500数据集上进行的实验证实，在固定计算量的情况下，Rejection Sampling比Best-of-N更有效，尽管两种方法在计算量无限的情况下都能达到相似的准确性。该研究还强调，低计算量下的性能并不能可靠地预测这些扩展技术在高计算量下的结果。 AI

影响 为测试时扩展技术提供了理论基础，可能指导未来对更高效LLM推理的研究。

排序理由 学术论文，详细介绍了LLM扩展技术的理论发现和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论解释了验证器不完美如何影响LLM的测试时扩展

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Florian E. Dorner, Yatong Chen, Andr\'e F. Cruz, Fanny Yang ·

    ROC-n-reroll：验证器不完美如何影响测试时缩放

    arXiv:2507.12399v3 Announce Type: replace-cross Abstract: Test-time scaling aims to improve language model performance by leveraging additional compute during inference. Many works have empirically studied techniques such as Best-of-N (BoN) and Rejection Sampling (RS) that make u…

相关实体

相关话题