NVIDIA 发布了 Dory 1.0 4B,一个拥有 40 亿参数的开放权重语言模型。该模型采用了‘循环层设计’(Looped Layer Design),允许它通过重复的层来处理 token,而不是单一的线性堆叠。这种架构使得 Dory 1.0 4B 尽管规模较小,但在编码和推理等计算任务上取得了与更大模型相当的性能,尽管其在事实回忆方面的表现不那么令人印象深刻。 AI
影响 该模型的循环层设计为实现计算任务的效率提供了一种新颖的方法,可能影响未来的 LLM 架构。
排序理由 NVIDIA 发布了具有系统卡的 Frontier-lab 模型。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →