Omar Khattab
PulseAugur coverage of Omar Khattab — every cluster mentioning Omar Khattab across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
微小的权重编辑显著提升了 Qwen3.5-0.8B 模型性能
研究人员开发了一种方法来修复 Qwen3.5-0.8B 模型的问题,特别是其容易陷入重复性思维循环的倾向。通过对 131,072 个权重进行微小编辑,占模型总权重的 0.016%,研究人员显著减少了生成的 token 数量,并提高了在 MATH-500 基准测试上的准确性。该技术解决的是容量问题而非知识差距,正如其对 Gemma 3 270M 模型影响有限所证明的那样。研究还强调了在服务器端正确配置采样参数以确保准确基准测试的重要性。
-
AI 直接编辑 LLM 权重,大幅提升 Qwen 分数
研究人员开发了一种名为“权重空间编程”的方法,无需传统训练即可编辑大型语言模型。使用此技术,一个名为 Astra 的 AI 成功修改了 Qwen3.5-0.8B,通过修复与重复输出相关的错误,将其 MATH-500 分数从 7.9% 提高到 48.1%。相比之下,在类似条件下,Gemma 3 270M 的分数仅从 6.8% 提高到 7.0%。这项进展允许通过直接操作权重来调试和优化模型,尽管它不会赋予新的知识或能力。
-
MIT使用GPT-6 Astra直接编辑AI模型权重,提升性能
麻省理工学院(MIT)的研究人员展示了一种新颖的AI模型维护方法,他们使用OpenAI的GPT-6 Astra直接编辑较小模型的内部权重。该方法通过解决重复推理循环而非添加新知识,成功提高了Qwen3.5-0.8B在MATH-500基准测试上的性能。虽然实验显示极少的参数改动带来了显著的分数提升,但研究指出,更简单的方法也能以更少的权重修改达到类似结果,并且这种直接编辑技术与传统微调相比的可扩展性和成本效益仍有待证明。
-
权重空间编程:直接在浏览器中编辑 LLM 权重
一种名为权重空间编程的新技术允许用户直接在网页浏览器中编辑语言模型的数值权重,绕过了传统的训练方法。这种方法由 webWeightSpace 项目演示,允许用户通过更改特定数字来修改模型行为,例如,通过编辑 Qwen3.5-0.8B 的一小部分权重,一个 AI 代理修复了其推理循环。该教程提供实践经验,让个人能够注入概念、融合模型,并仅使用笔记本电脑 GPU 和网页浏览器观察权重变化对模型性能的影响。
-
权重空间编程为模型微调提供新方法
研究人员推出了一种直接操作模型权重的新方法——权重空间编程(WSP)。该方法由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 详细介绍,并利用了一个名为 Wisp 的框架。WSP 旨在为大型语言模型的微调和编程提供更直接的方式。
-
MIT研究人员通过定向权重编辑改进Qwen大语言模型
来自MIT CSAIL的研究人员展示了一种新颖的方法,通过进行定向权重编辑而非完全重新训练来提高大语言模型的性能。他们的系统Astra修改了Qwen3.5-0.8B参数的一小部分,通过减少重复的思维循环,将其在MATH-500基准测试上的准确率从7.9%显著提高到48.1%。这种方法突显了通过局部干预来解决特定模型故障的潜力,尽管它不能取代传统的训练方法。
-
GPT-6 Astra 和 Qwen 3.8 27B 等大型语言模型现可解释和修改模型权重
一篇题为“Sparks of Weight-Space Programming”的新论文展示了 GPT-6 Astra 等先进的 AI 模型能够分析和修改其他机器学习模型的原始权重。这种被称为权重空间编程(Weight-Space Programming)的能力,使得模型能够理解网络的函数,甚至在没有传统训练循环的情况下编写新的、高性能的网络。Simon Willison 的博客文章证实,在本地运行的 Qwen 3.8 27B 也表现…
-
LLM 直接编辑神经网络权重,无需梯度训练
研究人员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 展示了一个 LLM GPT-6 Astra,它能够在不使用基于梯度的训练的情况下直接编辑另一个神经网络的权重。实验允许模型观察网络内部、运行 Python 代码或接收行为反馈。在一次实验中,Qwen3.5-0.8B 模型通过有针对性的权重修改,将其在 MATH-500 基准测试上的表现从 7.9% 提高到 48.1%,同时…
-
MIT研究人员演示无需梯度即可编辑原始模型权重的LLM
MIT的研究人员演示了一种名为“权重空间编程”(Weight-Space Programming)的新技术,其中一个大型语言模型GPT-6 Astra可以直接读取和编辑另一个模型Qwen3.5-0.8B的原始权重。这种不依赖于传统基于梯度的训练的方法,通过识别和纠正一个循环问题,显著提高了Qwen3.5-0.8B在MATH-500和GSM8K等基准测试上的性能。该技术在从头开始创建游戏AI代理方面也显示出潜力,其表现优于标准训练方法,…
-
GPT-6 Astra 编辑 Qwen3.5-0.8B 权重,通过循环修复提高数学得分 · 跟踪 8 个来源
研究人员展示了一种名为“权重空间编程”的新技术,其中一个 AI 模型 GPT-6 Astra 可以直接读取和修改另一个语言模型 Qwen3.5-0.8B 的权重。通过识别并减去两个 MLP 层中的特定“方向”,GPT-6 Astra 在 MATH-500 基准测试中的表现从 7.9% 显著提高到 48.1%,而无需任何传统训练。此修改仅影响了模型权重的 0.016%,主要解决了 Qwen3.5-0.8B 推理过程中的循环问题,而不是赋…
-
AI工具J-Space被揭穿;大小模型之争加剧
一个名为J-Space Cognition Suite的近期AI项目声称通过外部工具显著提升了DeepSeek V4 Flash和V4 Pro等小型AI模型的性能,但该项目已被揭穿。GitHub用户GoForceX的独立测试显示,J-Space实际上降低了性能并增加了token消耗,与其项目声称相悖。此事件重新点燃了关于小型模型结合工具是否能真正媲美顶级大型语言模型的争论,AI先驱Jason Wei对此提出质疑,认为真正的智能在于模型…