S3 x S3

新方法改进了长序列模型的状态跟踪

研究人员开发了一种用于序列模型状态跟踪的新颖方法，解决了在处理长序列、非阿贝尔变换方面的局限性。他们的方法，即一种“held-out transition-pair falsifier”（暂译：预留转移对伪造器），可以训练模型即使在长达 1,048,576 个 token 的序列中也能准确预测最终状态。该技术在受控基准测试中显著优于 GRU 和 SSM 等标准基线，证明了投影非交换状态组合作为归纳偏置对于复杂、长距离依赖性的价值。