一种新方法允许直接编辑大型语言模型权重,而无需传统训练,该方法采用受MIT研究启发的决策模型。该技术已在Qwen 3.5 0.8B模型上得到验证,它将知识从基于能量的决策引擎中提炼出来,以教授新的技能,如适当的工具调用。该方法实现了与LoRA相当的性能,延迟极低,且没有明显的灾难性遗忘。 AI
影响 该方法可能简化LLM的适应和技能获取,有望降低微调的计算成本。
排序理由 该条目描述了一种直接编辑LLM权重的新型研究方法,并作为一个开源项目发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →