研究人员推出了一种新颖的循环模型架构CARVE，旨在提高大型语言模型的效率和性能。CARVE通过在键轴而非值轴上实现内容感知的擦除机制，解决了现有delta-rule架构中的三个关键缺陷。这一改变使得训练过程更有效率，并减少了参数数量，同时在常识推理和检索任务上保持或提高了性能。 AI
影响 CARVE的效率提升可能会加速更大、更强大的循环语言模型的开发和部署。
排序理由 该集群包含一篇详细介绍新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
