研究人员开发了SEWN，一种新颖的双流Transformer架构，旨在通过选择性地处理令牌来提高效率。该模型使用学习到的门控机制，通过轻量级或全容量处理路径来路由令牌。实验表明，与参数匹配的基线相比，这种路由机制在准确性方面几乎没有变化，而令牌重要性信号的有效性高度依赖于学习方法。 AI
影响 这项研究探索了提高Transformer效率的方法，有可能带来计算上更可行的大型语言模型。
排序理由 该集群包含一篇详细介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
