spatial-memory Transformer

新基准测试 Transformer 的世界建模能力

研究人员推出了 AGI Maze Prediction Datasets and Benchmark，这是一个新的、轻量级的测试平台，旨在评估 transformer 模型的世界建模能力。该基准侧重于通过各种预测任务学习可转移的、受动作条件影响的动力学，包括逐步转换和顺序文本观察。对不同 transformer 架构的实验表明，包含结构化、任务对齐的记忆单元的模型，例如伪视频空间记忆 transformer，在特定预测任务上的表现明显…