实体
Falcon-H1-0.5B
Falcon-H1-0.5B
PulseAugur coverage of Falcon-H1-0.5B — every cluster mentioning Falcon-H1-0.5B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
发布新的开源阿拉伯语大语言模型 'RightNow-Arabic-0.5B-Turbo'
研究人员开发了RightNow-Arabic-0.5B-Turbo，一个拥有5.18亿参数的新型开源阿拉伯语语言模型。该模型基于Qwen2.5-0.5B构建，并通过词汇注入整合了专门的阿拉伯语词汇。开发过程包括广泛的预训练、监督微调和直接偏好优化，最终通过多个检查点进行权重融合。所得模型在阿拉伯语基准测试中表现出竞争力，在同等规模的开放模型中表现更优，并以极少的参数实现了远大于其规模模型的显著性能。它专为边缘部署而设计，量化后文件体积…
-
研究人员探讨混合语言模型中 LoRA 的最佳放置位置
一篇新论文探讨了 LoRA 适配器在混合语言模型中的最佳放置位置，该模型结合了注意力机制和循环组件。研究表明，调整注意力路径比全模型调整更有效，所需的参数也少得多。至关重要的是，研究发现调整循环骨干网络在顺序混合模型中可能是有害的，但在并行模型中有益，这凸显了拓扑感知调整策略的重要性。