PulseAugur
中
实时 07:55:36

LLM repetition penalty flaw corrupts structured output, paper finds

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新论文发现，在LLM推理中广泛使用的乘法重复惩罚存在一个关键缺陷，该惩罚基于原始logit的符号进行分支。这个任意的分支点导致惩罚定义不当，因为logit重新居中不应影响惩罚为1.0时的输出，但它却改变了相当大比例的token。此外，这种惩罚会破坏结构化输出，将有效JSON schema输出的比例从97%大幅降低到23%。该论文提出并证明，将惩罚应用于归一化的对数概率而不是原始logit可以解决这两个问题，HuggingFace已在 shipping 此算子。 AI

影响 修复此重复惩罚缺陷可以提高LLM生成结构化数据的可靠性。

排序理由 学术论文，详细介绍了LLM推理基础设施中的技术缺陷。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM repetition penalty flaw corrupts structured output, paper finds

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Peter Hollows ·

    Gauge dependence and structured-output corruption in sign-branched repetition penalties: measurements across models, inference stacks, and alternative repetition controls

    arXiv:2607.09791v1 Announce Type: cross Abstract: The multiplicative repetition penalty shipped across the LLM inference ecosystem (HuggingFace, vLLM, llama.cpp, and a dozen further engines) branches on the sign of each raw logit (divide positives by theta, multiply negatives). B…

相关实体

相关话题