一位用户已成功将 Muse Glimmer 30B 模型的上下文窗口扩展到一百万个 token，大大超过了其训练的 131K 上下文长度。这是使用 YaRN 上下文扩展方法实现的，并通过了“海中捞针”测试的验证，该测试证实即使在 832K token 时也能完美检索。该模型独特的架构，仅在滑动窗口层上进行位置编码，而在全局层上不进行位置编码，被认为是其在没有性能下降的情况下处理如此扩展上下文的关键。 AI
影响 展示了扩展现有模型上下文窗口的潜力，能够执行更复杂的任务和生成长篇内容。
排序理由 用户驱动的研究，展示了现有模型的扩展上下文窗口能力。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
