研究人员推出了一种名为 Speculative Refinement (SpecRef) 的新型无需训练的方法，该方法结合了自回归和扩散解码策略来处理语言模型。这种混合方法使用自回归草稿来预热掩码扩散语言模型，并采用熵引导的选择性掩码。在包括代码和推理任务在内的六个基准测试中的评估显示，代码基准测试经常将结构正确性与逻辑准确性混淆，并且多阶段校正有时会因基准测试饱和而降低性能。该研究还强调了模型排名中对数似然和生成评估之间的差异，并指出标准的 Python 后处理可能会无意中影响非自回归生成器。 AI
影响 强调了当前评估基准测试的潜在缺陷，并为生成模型提出了更具诊断性的实践方法。
排序理由 学术论文，详细介绍了语言模型的新解码策略。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
