研究人员正在探索在不增加体量的情况下增强小型语言模型推理能力的方法。一种技术涉及循环Transformer,它对每个token重复处理一个共享的层块。NVIDIA的4B Dory模型通过将96层通过一个20层的核心运行四次来展示这一点,保持权重不变但每次传递都会改变隐藏状态。这种方法以延迟为代价增加了计算深度。 AI
影响 这种方法可以实现更强大的小型模型,从而减少对海量计算资源的需求。
排序理由 该项目描述了一种新颖的语言模型架构方法,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →