来自IQuest Research的研究人员与牛津大学、斯坦福大学等机构合作，推出了一种名为稀疏权重分解（SWD）的新型大语言模型解释方法。与以往需要训练新网络来理解现有网络的方法不同，SWD直接将密集权重矩阵分解为稀疏因子。这使得可以从预训练权重中提取“瓶颈单元”，这些单元可以以显著降低的数据成本进行独立分析和操作，通常低于传统方法的1%。在GPT-2、Qwen2.5和Qwen3.5-27B等模型上的实验表明，SWD能够以更少的参数和连接识别特定任务的电路，同时保持与原始模型行为的高度保真度。 AI
影响 该方法可以显著降低理解LLM内部机制的成本和复杂性，有望加速模型安全性和可解释性方面的研究。
排序理由 该集群描述了一篇提出大语言模型新解释方法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
