MIT的研究人员演示了一种名为“权重空间编程”(Weight-Space Programming)的新技术,其中一个大型语言模型GPT-6 Astra可以直接读取和编辑另一个模型Qwen3.5-0.8B的原始权重。这种不依赖于传统基于梯度的训练的方法,通过识别和纠正一个循环问题,显著提高了Qwen3.5-0.8B在MATH-500和GSM8K等基准测试上的性能。该技术在从头开始创建游戏AI代理方面也显示出潜力,其表现优于标准训练方法,尽管它在具有不同错误特征的模型上或需要检查注意力模式时效果较差。 AI
影响 这种新颖的权重编辑技术可能为模型微调和安全分析提供新的途径,有可能绕过传统的基于梯度的限制。
排序理由 该集群描述了一篇详细介绍LLM权重编辑新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Anthropic
- China
- DoorDash
- GPT-6 Astra
- Hacker News
- Jayden Teoh
- LLMJacking
- MATH-500
- MIT
- Omar Khattab
- Proximal Policy Optimization
- Qwen3.5-0.8B
- Rikiya Takehi
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →