Ornith-1.5-35B-A3B 大型语言模型之所以出现性能问题，是因为它在分发时配备了一个未经训练的多令牌预测 (MTP) 头。这个对模型输出至关重要的头是随机初始化的，并且没有经过任何训练。正如用户报告以及在 HuggingFace 上进行的调查所示，这一疏忽是导致模型性能异常缓慢的直接原因。 AI
影响 Ornith 1.5 35B A3B 的这个问题凸显了对所有模型组件进行彻底测试和训练的重要性，特别是像 MTP 这样的头，以确保预期的性能。
排序理由 该集群描述了特定模型版本中的一个技术缺陷，该缺陷会影响其性能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
