研究人员推出了一种名为 Jet-Long 的新方法，可以在无需重新训练的情况下扩展大型语言模型的上下文窗口。这种无需微调、零样本的方法可以动态调整重缩放因子，以平衡短上下文的保真度和长上下文的外插性。Jet-Long 集成了包含-排除注意力合并和即时 RoPE 校正，从而在 NVIDIA H100 等硬件上实现了最小的推理开销和更高的吞吐量。 AI
影响 能够更高效、更有效地在 RAG 和编码等长上下文应用中部署 LLM。
排序理由 该集群包含一篇详细介绍扩展 LLM 上下文窗口新方法的论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.07740v1 Announce Type: cross Abstract: Modern LLMs are increasingly deployed in long-context applications such as retrieval-augmented generation, repository-level coding, and agentic workflows whose accumulated reasoning and tool traces routinely push the input an orde…
A novel zero-shot method called Jet-Long enables efficient long-context processing for large language models by dynamically adapting rescaling factors and utilizing a bifocal attention mechanism that maintains high performance across varying sequence lengths.