研究人员开发了一种新颖的节点级剪枝框架，用于在大型语言模型（LLMs）中发现因果电路。该方法可以更细粒度地识别关键子网络，精确到单个神经元，克服了现有边缘剪枝技术（侧重于注意力头或MLP块等较粗粒度单元）的局限性。该框架使用可学习的掩码和特定于粒度的稀疏性惩罚，在单次微调运行中实现全面的压缩，与先前的方法相比，发现的电路更小，内存占用显著降低。 AI
影响 这项研究提供了一种更有效、更细粒度的方法来理解LLM的内部工作机制，可能有助于提高可解释性和进行有针对性的模型改进。
排序理由 该集群包含一篇在arXiv上发表的学术论文，详细介绍了一种新的AI研究方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →