研究人员调查了循环模型的压缩,这些模型重复应用相同的权重进行推理。与普遍的看法相反,累积的舍入误差并不是这些模型崩溃的唯一原因。相反,当循环稳定时,舍入误差会改变静止点,只有当这种变化超出容差时才会导致失败。这一见解可以预测模型的失败,并解释为什么有些模型能够恢复,因为具有 8 位权重的最终循环可以恢复答案。 AI
影响 为循环模型的行为和压缩提供了新的见解,有可能提高某些人工智能架构的效率。
排序理由 该集群包含一篇发表在 arXiv 上的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- A Tilted Bowl Is Not a Slippery Slope: Compressing Looped Models
- Hugging Face
- Looped models
- Maze-Hard
- Sudoku-Extreme
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →