sequence models
PulseAugur coverage of sequence models — every cluster mentioning sequence models across labs, papers, and developer communities, ranked by signal.
-
探索上下文学习在人工智能内在好奇心方面的应用
研究人员探讨了序列模型的上下文学习（ICL）能力是否能够支持机器学习中的内在好奇心。虽然传统的自动数据选择方法或“内在好奇心”由于需要梯度下降更新而计算成本高昂，但这项工作研究了使用ICL作为一种无需更新的替代方案。该研究证明，在一般的马尔可夫决策过程中，这种方法不是无偏的，但在非时间性设置（如主动学习和贝叶斯实验设计）中取得了积极成果，在这些设置中，ICL产生的奖励可以界定并收敛到真实的学习进展。在各种环境中的实验证实，这种由ICL…
-
新方法改进了长序列模型的状态跟踪
研究人员开发了一种用于序列模型状态跟踪的新颖方法，解决了在处理长序列、非阿贝尔变换方面的局限性。他们的方法，即一种“held-out transition-pair falsifier”（暂译：预留转移对伪造器），可以训练模型即使在长达 1,048,576 个 token 的序列中也能准确预测最终状态。该技术在受控基准测试中显著优于 GRU 和 SSM 等标准基线，证明了投影非交换状态组合作为归纳偏置对于复杂、长距离依赖性的价值。
-
新的SHARP框架增强了AI的长程时间模式识别能力
研究人员推出了一种新颖的SHARP框架，旨在改进序列模型在流数据中学习长程时间模式的方式。SHARP将记忆积累与模式识别分离，能够在不进行广泛反向传播的情况下有效适应动态变化。该框架受啮齿动物睡眠的启发，在离线阶段使用加速回放记忆痕迹来增强长期上下文保留和预测性能。
-
新论文形式化序列模型中的充分性差距
一项新的研究论文引入了一个正式的数学框架来解决序列模型中的“充分性差距”，特别是关于它们处理未观察到的潜在状态的能力。该论文提出了一种外部观察者机制，该机制使用辅助二进制信号来改善上下文基础和工具使用。当信号的保真度超过误导性状态的权重时，该机制可以逆转由文本历史引起的后验概率，尽管如果没有潜在状态的完美揭示，它可能无法完全弥合充分性差距。