English(EN) Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding

新的VCM技术可解决LLM重复和呆板问题

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-21 14:04

研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。 AI

影响这项技术可以提高LLM生成文本的质量和多样性，使其在创意写作和复杂推理任务中更加有用。

排序理由介绍LLM解码新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv stat.ML TIER_1 English(EN) · Chongsheng Zhang · 2026-06-21 14:04

打破似然陷阱：用于大型语言模型解码的方差校准调制

In open-ended generation, LLMs frequently fall into the "likelihood trap", marked by repetitive degeneration and vocabulary dullness, creating a discrepancy between machine-generated and human-written text. While post-hoc tail truncation (e.g., Top-$p$, Min-$p$) avoids sampling f…

报道来源 [1]

打破似然陷阱：用于大型语言模型解码的方差校准调制

相关实体

相关话题