研究人员引入了 OAttention 和 O-Closure，这两种新颖的机制旨在增强 Transformer 模型中的标记动态。这些方法利用从标记隐藏载体派生的主动存在系数来控制信息流和计算参与。OAttention 机制专门对接收器输出进行门控并加权源贡献，确保了精确的空接收器插入和空支持等属性。对克隆的 TabPFN v3 回归器的评估显示，平均 RMSE 有小幅提高，而 OTransformer 路径证明了 OAttention 在保留 NULL 状态方面的必要性。 AI
影响 引入了控制 Transformer 中标记动态的新颖机制，有可能提高效率和状态保持能力。
排序理由 该集群包含一篇详细介绍 Transformer 模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
