实体
encoder-decoder
encoder-decoder
PulseAugur coverage of encoder-decoder — every cluster mentioning encoder-decoder across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究发现 Transformer 的 grokking 延迟与解码器瓶颈有关
一篇新的研究论文探讨了 Transformer 中的“grokking”现象，即模型在算法任务训练过程中，经过长时间延迟后会突然泛化。研究表明，这种延迟源于对学习到的结构的访问受限，而不是无法获取它们。通过分析一步科拉兹预测，研究人员发现，虽然编码器能快速学习到相关结构，但解码器瓶颈延长了泛化阶段。移植训练好的编码器或冻结编码器并重新训练解码器等干预措施显著加速了学习并提高了准确性，数字表征也起着至关重要的作用。
-
New Transformer Model Accelerates Molecular Dynamics Simulations
Researchers have developed ASTEROID, a novel framework that utilizes a Spatiotemporal Information Transformer to forecast multi-step time series in molecular dynamics simulations. This data-driven approach reformulates …