研究人员推出了一种名为“onóna”的新型 Transformer 语言模型双表参数化技术，该技术在保持输入输出权重共享的同时，增强了输出的表达能力。该方法通过平均两个嵌入表并将它们的 softmax 分布与 token 条件门结合起来，在各种架构和规模上都显示出验证损失和困惑度的改进。评估表明，onóna 在 12 次比较中有 11 次降低了损失，在 12 次比较中有 10 次提高了下游任务的准确性，并且参数成本略有增加。 AI
影响 这项技术可能带来更高效、更具表达力的语言模型，从而有可能提高各种下游自然语言处理任务的性能。
排序理由 该集群描述了一篇研究论文中提出的一项新技术。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Attention Residual Learning for Skin Lesion Classification
- Dense
- Gated DeltaNet
- Innu-aimun
- mixture of experts
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
