实体
encoder-decoder
encoder-decoder
PulseAugur coverage of encoder-decoder — every cluster mentioning encoder-decoder across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的ASR基准测试方法突显了非典型语音识别的差异
一篇新发表在arXiv上的研究论文介绍了一种用于自动语音识别（ASR）系统的双参考基准测试方法，特别解决了非典型语音的挑战。研究强调，大多数ASR评估将逐字转录和意图转录参考混淆，可能错误地表示模型性能。通过在口吃语音上使用逐字和意图参考对11个ASR模型进行基准测试，研究表明模型排名根据所选参考风格的不同存在显著差异。这突显了为准确的模型评估选择适当的转录参考的至关重要性，尤其是在涉及非典型语音的用例中。
-
研究发现 Transformer 的 grokking 延迟与解码器瓶颈有关
一篇新的研究论文探讨了 Transformer 中的“grokking”现象，即模型在算法任务训练过程中，经过长时间延迟后会突然泛化。研究表明，这种延迟源于对学习到的结构的访问受限，而不是无法获取它们。通过分析一步科拉兹预测，研究人员发现，虽然编码器能快速学习到相关结构，但解码器瓶颈延长了泛化阶段。移植训练好的编码器或冻结编码器并重新训练解码器等干预措施显著加速了学习并提高了准确性，数字表征也起着至关重要的作用。
-
新型Transformer模型加速分子动力学模拟
研究人员开发了ASTEROID，一个利用时空信息Transformer预测分子动力学模拟中多步时间序列的新框架。这种数据驱动的方法将MD轨迹重新构建为时空序列，将时空信息（STI）变换方程整合到具有自注意力机制的Transformer架构中，以处理空间和时间依赖性。与现有方法相比，ASTEROID在准确性和计算成本方面均表现出优越性，为加速分子动力学模拟树立了新范例。