实体
Zero-order hold
Zero-order hold
PulseAugur coverage of Zero-order hold — every cluster mentioning Zero-order hold across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究揭示混合Transformer-SSM模型中的学习率迁移
一篇新研究论文探讨了混合架构的学习率(LR)缩放问题,该架构结合了Transformer和状态空间模型(SSM)模块,这些模块越来越多地用于生产语言模型中。研究发现,这些混合模型的实际实现,即使使用了简化的SSM,在各种宽度和深度下(高达十亿参数规模)也表现出接近零的学习率迁移差距。这种不变性归因于$\mu$P的初始化和学习率缩放,以及AdamW的逐参数归一化,它们共同维持了全局更新到权重的 Invariance 和局部组件的平衡。
-
新的世界模型方法处理异步传感器数据
研究人员开发了一种新的世界模型方法,可以处理异步传感器观测,这是物理系统中传感器以不同速率运行的常见挑战。所提出的方法包括为模型提供指示传感器数据陈旧性和刷新时间的特征。在各种因果耦合机制下使用基于 Transformer 的世界模型进行的实验表明,这种刷新时间信息的效果取决于其在系统中的因果作用,特别是当刷新事件主动影响系统状态而不是仅仅报告它时。这项工作为处理异步物理观测的预测世界模型提供了采样计划的有价值见解的条件。