Ls Archimede

新的LS-AR架构通过双通道设计增强自回归大语言模型

研究人员开发了一种名为潜在引导自回归（LS-AR）的新型双通道架构，以提高自回归大语言模型的性能。该架构将连续目标引导与离散令牌解码分离，能够更好地保留宏观目标并减少上下文噪声。LS-AR在长时任务中表现出显著的改进，在基线模型失败的情况下实现了100%的目标召回率，同时还提高了吞吐量并减少了VRAM使用量。然而，该模型在零样本实体缩放方面存在局限性，并引入了新的潜在向量攻击面。