Sapient Intelligence开发了HRM-Text模型，这是一个拥有10亿参数的AI模型，仅花费了1500美元进行训练。尽管模型规模小且训练成本低，但它在基准测试中取得了高分，与Qwen、Gemma或Llama等同类模型相比，使用的计算资源和Token数量显著减少。训练过程不同寻常，跳过了训练后优化和RLHF。 AI
影响 这一发展展示了高效且低成本训练AI模型的潜力，可能使先进AI能力的获取更加普及化。
排序理由 该集群描述了一个新AI模型的发布，并提供了其训练成本和参数的详细信息，符合研究类别。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
🤖 Small AI Model Packs Big Punch with Unconventional Training Sapient Intelligence's HRM Text model, with only 1B parameters and a training cost of $1500, achieves high benchmark scores without post training or RLHF. This small, efficiently trained model, developed from scratch, …
📰 Ricercatori addestrano un modello AI da zero per soli 1.500 dollari Un team di Sapient ha addestrato HRM-Text, un modello da 1 miliardo di parametri, spendendo solo 1.500 dollari in 1.9 giorni su 16 GPU. Usa 100-900x meno token e 96-432x meno compute rispetto a modelli come Qwe…