Shota Takashiro

新型循环AI模型在流式任务上展现出改进的泛化能力

研究人员探索了一种新颖的快慢潜在循环（fast-slow latent recurrence）方法，旨在改进流式任务中的分布外泛化能力。该方法在观察之间维护和精炼一个紧凑的状态，而不是在每一步重置它，从而使模型能够在具有有限内存的未知长周期上运行。在符号序列预测、监督导航和强化学习任务上的评估表明，这种持续潜在循环（persistent latent recurrence）的性能优于标准的循环、状态空间和Transformer基线。导…