Meta于2025年4月发布的Llama 4 Scout 17B模型，声称拥有1000万token的上下文窗口，但在一年后，其实际应用面临局限。尽管该模型的配置在技术上支持这一长度，但其训练数据仅限于256,000 token，且大多数层运行的上下文窗口为8,192 token。实际性能受硬件和特定任务质量的影响，上下文窗口接近100万至200万token，即使达到这一水平也伴随着显著的成本。 AI
影响 凸显了长上下文窗口模型在营销宣传与实际性能之间存在的差距。
排序理由 对已发布模型的性能和局限性进行分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
