linear recurrent networks

新论文证明AI模型面临“不可能性三角”权衡

研究人员发现长上下文模型中存在根本性的权衡，证明没有单一架构能够同时实现效率、紧凑性和召回率。该研究使用在线序列处理器（Online Sequence Processor）抽象形式化了这一“不可能性三角”，该抽象统一了各种现有模型，如Transformers和状态空间模型。数学不等式表明，优先考虑效率和紧凑性的模型在回忆历史信息的能力方面受到限制，这一发现已通过在合成召回任务上的实验得到验证。