Greedy decoding
PulseAugur coverage of Greedy decoding — every cluster mentioning Greedy decoding across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LLM 幻觉软件包，构成供应链风险；评估防御措施
研究人员正在调查大型语言模型（LLM）在生成代码时幻觉出不存在的软件包的问题。此问题通过制造可利用的漏洞，对软件供应链构成风险。研究评估了各种防御机制，包括引导解码策略、自我完善和检索增强生成（RAG），以减轻这些幻觉。研究结果表明，虽然 RAG 可以降低幻觉率，但其在不同模型和语言上的有效性各不相同，并且必须将其与生成代码的效用进行权衡。此外，对抗性提示会显著增加幻觉率，这凸显了需要强大的防御措施来应对积极敌对的输入。
-
新的攻击方法结合代码和搜索技术绕过AI越狱防御
研究人员已经证明，代码补全编码和N选一搜索的结合可以有效地绕过AI模型中的自我检查越狱防御，在某些目标上成功率高达67%。这些依赖目标模型评估请求的防御措施之所以脆弱，是因为攻击利用了模型自身的评估过程。攻击的有效性因防御类型而异，代码编码在对抗转换防御方面表现更好，而字符搜索在对抗门控防御方面表现更好。该研究还识别并修复了其自身在贪婪解码下确定性攻击相关的缺陷。
-
新的解码方法在高温采样下保留了LLM的拒绝行为
研究人员开发了一种名为“拒绝门控解码”（Refusal-Gated Decoding）的新解码方法，旨在在高温度采样时保持LLM的安全护栏。该技术旨在提高输出多样性，同时不牺牲模型拒绝有害提示的能力。实验表明，该方法在基准数据集上保留了91-99%的拒绝行为，同时为安全提示保持了高温响应，且延迟增加极少。
-
LLM语法纠错通过编辑级多数投票得到改进
研究人员开发了一种新方法来解决用于语法纠错的大型语言模型中的过度纠正问题。他们的无训练推理技术包括从单个模型生成多个纠正候选，然后应用编辑级多数投票。与标准的解码方法相比，该方法在九个不同的语言基准测试中表现出优越的性能，同时无论输入提示如何都能保持一致的质量。