研究人员开发了TriPLU，一种用于小型语言模型的新型前馈网络（FFN）架构。TriPLU用直接三线性乘积单元取代了标准门控FFN，该单元将三个学习到的特征投影相乘。在TinyStories数据集上的实验中，TriPLU与其他FFN变体相比，验证损失更低。研究表明，在特定的低计算条件下，直接乘积FFN可以提高小型模型的性能，但优化敏感性和缩放行为需要进一步研究。 AI
影响 引入了一种新颖的FFN架构，可能提高小型语言模型的效率。
排序理由 详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
