Dynamic Bifocal RoPE

Jet-Long 方法在无需重新训练的情况下提升了 LLM 的长上下文性能

研究人员推出了一种名为 Jet-Long 的新方法，可以在无需重新训练的情况下扩展大型语言模型的上下文窗口。这种无需微调、零样本的方法可以动态调整重缩放因子，以平衡短上下文的保真度和长上下文的外插性。Jet-Long 集成了包含-排除注意力合并和即时 RoPE 校正，从而在 NVIDIA H100 等硬件上实现了最小的推理开销和更高的吞吐量。