实体
Autoregressive LLMs
Autoregressive LLMs
PulseAugur coverage of Autoregressive LLMs — every cluster mentioning Autoregressive LLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的LS-AR架构通过双通道设计增强自回归大语言模型
研究人员开发了一种名为潜在引导自回归（LS-AR）的新型双通道架构，以提高自回归大语言模型的性能。该架构将连续目标引导与离散令牌解码分离，能够更好地保留宏观目标并减少上下文噪声。LS-AR在长时任务中表现出显著的改进，在基线模型失败的情况下实现了100%的目标召回率，同时还提高了吞吐量并减少了VRAM使用量。然而，该模型在零样本实体缩放方面存在局限性，并引入了新的潜在向量攻击面。
-
用于图到文本生成的扩散模型优先处理实体
研究人员分析了用于图到文本生成的掩码扩散语言模型（MDLM）的生成过程，发现它们在关系词和结构化标记之前优先处理实体。开发了一种新方法——lambda-缩放结构化解码，通过在推理过程中调整标记置信度来提高输出质量，实现了+9.4 BLEU-4分数。该研究还引入了Graph-LLaDA，通过整合图结构来增强LLaDA，以实现更好的泛化。
-
新的微调方法可在不改写的情况下增强LLM知识注入
研究人员开发了一种名为扩散启发式掩码微调（DMT）的新型微调方法，用于自回归大型语言模型（LLM）。该技术旨在改进事实知识向LLM的注入，解决了对计算成本高昂的改写和逆转诅咒的依赖等问题。实验表明，DMT显著提高了知识注入的效率，在无需改写的情况下即可达到扩散LLM的性能，并展示了其在包括数学在内的各种任务中的广泛适用性。