一款名为 DWARF-55M-Base 的新开源模型已发布，该模型采用新颖的稀疏注意力架构。这种名为动态稀疏查询-收集 (DSQG) 的架构旨在通过采样 token 而非关注每个之前的 token 来降低计算成本。该模型在 100 亿个 token 上进行了训练，并根据 Apache 2.0 许可提供，同时提供用于进一步探索的实验性代码。 AI
影响 引入了一种新的稀疏注意力机制，可能导致更高效的 LLM 架构。
排序理由 发布一款采用新颖架构的新开源模型。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
