PulseAugur
实时 08:31:21
实体 Bidirectional and autoregressive Transformers

Bidirectional and autoregressive Transformers

PulseAugur coverage of Bidirectional and autoregressive Transformers — every cluster mentioning Bidirectional and autoregressive Transformers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_229571 ·

    研究发现视频世界模型难以追踪隐藏状态

    研究人员调查了视频世界模型在追踪未观察到的状态时的局限性,即使它们表现出很高的视觉保真度。使用“猜杯游戏”任务,他们发现像双向和自回归Transformer、Mamba和线性注意力模型在超过一定数量的交换后难以进行外推,这表明它们没有维持世界的隐藏状态。研究表明,基于像素的扩散目标并不能监督看不见的隐藏状态,迫使模型从历史中重新推导排列。然而,研究确定了两种可以进行外推的机制:具有负转移特征值的线性注意力以及TTT中的非线性快速权重机…