State Stream Transformer

State Stream Transformer V2 通过并行训练和潜状态流增强 LLM 推理能力

研究人员开发了 State Stream Transformer (SST) V2，这是一种旨在增强语言模型潜空间推理能力的架构创新。与在每一步重置上下文的标准 Transformer 不同，SST V2 采用非线性递归机制，在整个序列中维护和演化连续的潜状态。这使得参数使用更有效，并在生成 token 前进行更深入的思考，从而在推理任务上取得显著改进。