一位独立研究员开发了一种新颖的注意力机制，称为“波场 LLM”，它显著提高了上下文长度和推理速度。这种新架构利用 FFT 波卷积，将训练的计算复杂度从 O(N²) 降低到 O(N log N)，并将推理的每 token 复杂度降低到 O(1)。基准测试表明，在标准注意力模型会内存不足的情况下，它可以处理 128K 上下文，在笔记本 CPU 上达到每秒 80 多个 token 的速度，并在多项零样本任务上超越 GPT-2。 AI
影响 这种新的注意力机制可以大大降低运行长上下文模型的硬件要求，从而使先进的 AI 更易于访问。
排序理由 研究帖子中描述了新颖的注意力机制，并附有基准测试和代码。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
