一位开发者修改了一个小型20亿参数语言模型Qwen3.5-2B,以解决其容易陷入重复验证循环的问题,这种问题会消耗过多的token预算。第一次修改名为“Focused”,直接编辑了模型架构中的12个特定张量,没有进行任何梯度训练,减少了重新检查所花费的时间。第二次修改“Focused-Honest”使用Claude Haiku和Gemini Flash生成的合成数据对模型进行了进一步训练,教会它识别并报告无法解决的问题,而不是继续循环或提供错误答案。 AI
影响 解决了常见的LLM故障模式,有望提高小型模型开发者的效率和可靠性。
排序理由 这是由个人开发者对现有模型的修改,而非前沿实验室的发布。
- Apache Software License 2.0
- Claude (Haiku)
- Focused
- Focused-Honest
- Gemini Flash
- Hugging Face
- llama.cpp
- Qwen3.5 2B
- Qwen3.5-2B-heretic
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →