一家名为 Subquadratic 的迈阿密初创公司悄然发布,声称已开发出首个不使用二次注意力机制的大型语言模型 (LLM)。据报道,这项架构创新能够以显著低于现有前沿模型的成本处理 1200 万 token 的上下文窗口。 AI
影响 有可能大幅降低具有极长上下文窗口的 LLM 的推理成本。
排序理由 初创公司发布具有大上下文窗口和降低成本的新型 LLM 架构。[lever_c_demoted from significant: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →