一家名为 Subquadratic 的迈阿密初创公司悄然发布，声称已开发出首个不使用二次注意力机制的大型语言模型 (LLM)。据报道，这项架构创新能够以显著低于现有前沿模型的成本处理 1200 万 token 的上下文窗口。 AI
影响 有可能大幅降低具有极长上下文窗口的 LLM 的推理成本。
排序理由 初创公司发布具有大上下文窗口和降低成本的新型 LLM 架构。[lever_c_demoted from significant: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
A Miami-based startup called Subquadratic came out of stealth last week with a single claim that’s either the most important architectural shift since the 2017 transformer paper or the most sophisticated AI hype in recent memory. They say they’ve built the first LLM that doesn’t …