研究人员发现长上下文模型中存在根本性的权衡，证明没有单一架构能够同时实现效率、紧凑性和召回率。该研究使用在线序列处理器（Online Sequence Processor）抽象形式化了这一“不可能性三角”，该抽象统一了各种现有模型，如Transformers和状态空间模型。数学不等式表明，优先考虑效率和紧凑性的模型在回忆历史信息的能力方面受到限制，这一发现已通过在合成召回任务上的实验得到验证。 AI
影响 强调了当前长上下文AI架构的固有局限性，可能指导未来研究朝着新颖的设计方向发展。
排序理由 在arXiv上发表的学术论文，详细介绍了AI模型架构的理论局限性。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.05066v1 Announce Type: cross Abstract: We identify and prove a fundamental trade-off governing long-sequence models: no model can simultaneously achieve (i) per-step computation independent of sequence length (Efficiency), (ii) state size independent of sequence length…
We identify and prove a fundamental trade-off governing long-sequence models: no model can simultaneously achieve (i) per-step computation independent of sequence length (Efficiency), (ii) state size independent of sequence length (Compactness), and (iii) the ability to recall a …