对 Qwen3.5-0.8B 模型进行权重编辑的复制尝试表明,MATH-500 和 GSM8K 分数的报告改进可能受到评估方法的影响。作者发现,在使用有限的 token 预算和严格的评分标准时,未编辑模型在 GSM8K 上的性能明显低于报告值。虽然权重编辑在 GSM8K 的完成度和正确性方面显示出一些改进,但在多次比较校正后,统计学上的显著性是边际的,这表明需要进一步验证。 AI
影响 强调了在 LLM 研究中进行严格评估和复制的重要性,表明报告的性能提升在不同条件下可能并不总是成立。
排序理由 对已发布的 LLM 权重编辑进行复制尝试,并分析基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
- GSM8K
- Holm
- Hugging Face Transformers
- Krishanu Das
- MATH-500
- Qwen3.5-0.8B
- Qwen/Qwen3.5-0.8B
- RTX 2000 Ada
- Takehito Hayakawa
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →