一位开发者成功以低于250美元的价格训练了一个名为“mini Kimi-K3”的Kimi K3模型的迷你版本。这个新模型采用了Kimi K3的架构，包括Kimi Delta Attention和LatentMoE，拥有10.2亿个参数，并在约50亿个token上进行了训练。尽管规模较小且未经指令调优，mini Kimi-K3在HellaSwag基准测试中表现出色，得分33.4%，超过了GPT-2 124M模型的28%得分。 AI
影响 展示了复制先进模型架构的成本效益方法，可能降低AI研发的门槛。
排序理由 该集群描述了一个基于现有架构的新型、小规模AI模型的创建和评估，包括基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
