新框架衡量LLM推理阶段的成本效益

研究人员引入了约束路径推理（Constrained Path Reasoning, CPR），一个旨在衡量大型语言模型（LLM）推理流水线中中间阶段成本效益的新框架。CPR将源感知路径假设与阶段级核算相结合，允许生成临时状态，然后通过可信不变式进行约束，或将其保留为软性且可修改的状态。该形式化旨在通过分解转换、集中候选质量和诱导规律性来提高效率，从而在收益大于这些因素时降低错误和执行成本。在生成的QCQPs和多项式实例上的实验表明，与其它方法相比，CPR能够以极少量的尝试恢复大部分可行产出。 AI

影响 引入了一种优化LLM推理效率的新颖方法，有望降低计算成本并提高输出质量。

排序理由 该集群包含一篇详细介绍LLM推理新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• arXivLabs
• CatalyzeX Code Finder for Papers
• Constrained Path Reasoning
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Large Language Model
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →