两篇新的研究论文介绍了一种改进大型语言模型自回归解码效率和结构感知能力的新方法，特别适用于处理长上下文和基于图的数据。CommunityKV将稀疏注意力构建为令牌图上的社区检测问题，在Qwen3和Llama-3.1模型上实现了比密集注意力高达1.71倍的生成吞吐量。GraphVQ通过使用VQ-VAE量化节点上下文和一种以对特征为条件的结构感知解码器来解决将图表示为离散令牌的挑战，提高了图生成的保真度，并在多个数据集上优于其他方法。 AI
影响 这些新颖的解码技术有望为涉及长序列和结构化数据的任务带来更高效、更强大的大型语言模型。
排序理由 两篇在arXiv上发表的学术论文，提出了用于大型语言模型解码的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.00418v1 Announce Type: new Abstract: Scaling Transformers to long contexts is constrained by the quadratic cost of self-attention and the linear growth of key-value cache memory transfer. Sparse attention mitigates this by retrieving only relevant tokens, but current a…
arXiv:2609.37604v1 Announce Type: new Abstract: Graph foundation models need a discrete token representation, but casting a graph as a generatable token sequence faces a structural obstacle: edges spanning beyond the serialization window cannot be emitted in one pass--so one-pass…