一篇新发表在arXiv上的研究探讨了开源语言模型在代码生成中出现的“推理轨迹溢出”现象。研究人员发现，这些模型有时会将其输出预算的很大一部分用于推理过程，导致生成的代码不完整或无法使用。该研究分析了六个代码基准测试中的七个模型，结果显示，在复杂任务和某些模型家族中，溢出现象更为普遍，一些生成甚至耗尽了32k的token预算但仍在进行推理。虽然禁用推理可能对易发生溢出的模型有益，但对于在具有挑战性的算法任务上表现更强的模型来说，推理仍然是有价值的。该研究表明，显式推理应被视为一种可控资源进行管理，而提示引导和预算转换等技术在缓解溢出和提高效率方面显示出潜力。 AI
影响 强调了当前代码生成显式推理方法的潜在低效率，表明需要对LLM进行更好的资源管理。
排序理由 学术论文，详细介绍了对特定AI模型行为的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
