AuroraAI Research 发布了 Aurora1.0-150M,一个拥有 1.5 亿参数的新型语言模型。该模型的性能与 GPT-2 Small 相当,基准测试得分包括 PIQA 上的 62.24% 和 Hellaswag 上的 32.20%。它使用 RTX Pro 6000 在 70 亿 token 上进行了训练,并且在 Hugging Face 上提供了推理脚本。 AI
影响 为资源有限的研究人员和开发人员提供了一个新的、更小的模型选项。
排序理由 研究小组发布了一个新的、小规模的语言模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →