Feed-Forward Layer

新研究探索具有刚体力学和权重分析的 Transformer 架构 · 跟踪 5 个来源

研究人员正在探索通过整合刚体力学和分析权重结构来增强 Transformer 架构的新方法。一篇论文介绍了“Screw Attention”，这是一种 Transformer 层，它使用刚体代数对物体之间的空间关系进行建模，在操作任务和几何变化鲁棒性方面表现出改进的性能。另一项研究“JET: Justification Evaluation in Transformer”专注于提高 Transformer 在 MMLU 等任务中的决策…