up_proj

Spectral perturbations reveal structured capabilities in Llama and Qwen models

研究人员开发了一种使用谱平滑和尖峰扰动来分析大型语言模型内部结构的方法。通过改变 Transformer 前馈投影的奇异值谱，他们观察到模型能力（如事实知识、语言理解和演绎推理）发生了变化。该技术应用于开源 Llama 和 Qwen 模型，揭示了这些扰动可以有选择地抑制或增强特定任务的性能，表明模型内部的能力组织结构化。