实体
Lan Truong
Lan Truong
PulseAugur coverage of Lan Truong — every cluster mentioning Lan Truong across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
两篇论文探讨 Transformer 泛化和位置编码
两篇最新的 arXiv 论文深入探讨了 Transformer 模型的能力。第一篇论文研究了 RoPE 和 ALiBi 等不同的位置编码方案如何影响 Transformer 处理不同 token 间距离的能力，这一概念被称为距离泛化。第二篇论文则侧重于为单层 Transformer 建立泛化误差的理论界限，并提出了一些改进措施，这些措施独立于输入序列长度，并且在样本量增加时能提供更好的衰减率。
-
新研究论文为注意力机制提供理论基础
一篇新研究论文发布在arXiv上，探讨了机器学习模型中注意力机制的理论基础。该研究聚焦于一个简化的softmax注意力模型，使用随机梯度上升从信息性标记和干扰性标记中学习查询向量。研究人员推导了总体目标函数，并表征了学习动态，建立了随机算法与其确定性极限之间的联系。研究结果表明，在特定的高维缩放条件下，学习到的查询向量会收敛到信号子空间，有效恢复潜在信号，并为注意力在信号提取中的作用提供了理论依据。