实体
OpenHermes
OpenHermes
PulseAugur coverage of OpenHermes — every cluster mentioning OpenHermes across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Qwen模型在效率方面引领开源AI，预示着更稀疏的未来
据报道，Qwen模型在总参数量和活跃参数量方面均处于开源模型的前沿，达到了帕累托最优。这表明未来可能出现更稀疏、更强大、更快的AI模型，这可能由n-gram等技术进步驱动。讨论还触及了对更经济实惠的硬件和运行这些日益高效模型的改进软件的期望。
-
用户花费200美元从头开始训练了一个11亿参数的LLM，并分享了代码和模型
一位用户仅花费约200美元就从头开始成功训练了一个拥有11亿参数的大型语言模型。该模型名为'gemmeh'，在fineweb-edu数据集的200亿个token上进行了预训练，然后使用LoRA在openhermes数据集上进行了微调，以创建一个能够进行聊天的模型。该用户分享了该项目的代码、模型权重和一个演示网站，并详细介绍了架构选择和训练过程。
-
开源大语言模型有效前沿由参数效率绘制
一位Reddit用户整理了一张图表，说明了开源大语言模型的有效前沿，将效率定义为模型得分与其活跃参数的比率。该图表侧重于代表性能和大小之间最佳权衡的模型，排除了效率较低的模型。用户承认所使用的聚合基准可能不完美，但认为它是整体性能的可靠指标。