研究人员推出了一种名为“onóna”的新型语言模型参数化技术,该技术在保持输入-输出权重共享的同时,增强了输出的表现力。该方法利用两个嵌入表和一个门控输出头,能够增加词汇投影,并提高各种模型架构和规模下的性能。评估表明,与具有匹配令牌预算的标准模型相比,onóna 持续降低了验证损失和困惑度,同时提高了下游任务的准确性。 AI
影响 引入了一种新颖的参数化技术,有望提高未来语言模型的效率和性能。
排序理由 该集群包含一篇详细介绍语言模型新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Attention Residual Learning for Skin Lesion Classification
- Cheng Luo
- Dense
- Gated DeltaNet
- Hugging Face
- mixture of experts
- transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →