constant-recursive sequence

线性递归 vs. Transformer：决策模型的效率提升

一位研究人员训练了两个1500万参数的“仅决策”模型，一个使用线性递归，另一个使用Transformer注意力，以比较它们在长上下文检索任务上的性能。虽然两个模型的准确率相似，Transformer表现略好，但线性递归模型在延迟和训练成本方面显著更低，尤其是在更长的上下文长度下。该研究表明，对于较小的、专注于决策的模型，架构的选择比准确率对效率的影响更大，特别是在处理不需要复杂生成能力的任务时。