研究人员开发了一种方法,通过编辑一小部分权重来修复 Qwen3.5-0.8B 模型中的推理循环。此修改将 MATH-500 基准测试的准确率从 7.9% 提高到 48.1%。研究人员使用“雅可比透镜”来分析模型的内部状态,观察到编辑改变了模型在关键点从怀疑到验证的决策过程。修改后的模型可以在本地运行,即使在较低的量化级别下也能保持其改进的性能。 AI
影响 展示了一种以最小计算成本提高 LLM 推理能力的新颖方法。
排序理由 研究论文,详细介绍了修复模型推理循环的方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →