Smol AI 推出 Ring Attention 技术，实现超百万 token 上下文窗口

作者 PulseAugur 编辑部 · [1 个来源] · 2024-02-23 00:51

研究人员开发了一种名为 Ring Attention 的新颖方法，该方法将大型语言模型的上下文窗口显著扩展到一百万 token 以上。这项技术使模型能够处理和保留比以往更大的输入信息。这一进步可能带来更强大的 AI 系统，能够处理复杂的文档和扩展的对话。 AI

排序理由发布了一种扩展 LLM 上下文窗口的新颖方法。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Smol AINews TIER_1 English(EN) · 2024-02-23 00:51

Ring Attention 实现 >1M 上下文

**Google Gemini Pro** has sparked renewed interest in long context capabilities. The CUDA MODE Discord is actively working on implementing the **RingAttention** paper by Liu, Zaharia, and Abbeel, including extensions from the World Model RingAttention paper, with available PyTorc…