一篇新的研究论文探讨了在预算有限的情况下，为大型语言模型（LLM）处理多个输入时的计算资源分配的最佳策略。该研究发表在 arXiv 上，表明计算分配的有效性更多地取决于关于输入可解性的先验信息，而不是策略本身。通过利用验证器和从相关模型过去运行中获得的先验信息，Thompson Sampling 可以显著提高处理困难工作负载的成功率，优于轮询分配等简单策略。 AI
影响 优化计算分配可以提高 LLM 的使用效率，并改善在挑战性任务上的性能。
排序理由 发表在 arXiv 上的研究论文，讨论 LLM 计算分配策略。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
