arXiv上的一篇新论文探讨了大型语言模型中约束解码的分解，特别关注工具调用时的弃权。研究人员发现，解码器对格式约束的贡献很小，并警告不要将这些发现推断到函数调用等正确性要求上。该研究在英语和韩语数据集上评估了从0.6B到4B参数的开源模型，结果显示，分离修复生成停止和控制发出标记的工作对性能有显著影响。虽然干预措施对需要工具的项目产生了积极结果，但它却恶化了弃权任务的表现，表明输出的形式对于可读性和正确性至关重要。 AI
影响 这项研究可能带来更可靠、更可控的LLM输出，特别是在需要精确使用工具的应用中。
排序理由 该集群包含一篇详细介绍LLM解码机制新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Computation and Language
- Hugging Face
- Repair, Not Improvement: Decomposing Constrained Decoding in Tool-Call Abstention
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
