研究人员调查了神经网络权重和激活中线性结构 Nature，发现虽然存在局部低秩结构，但它们并非稳态。这项在 DistilGPT-2 和 Qwen-0.5B 等合成 Transformer 和 LLM 上进行的研究表明，有用的基在短时间训练期间会显著漂移。然而，初始恢复更新可以捕获大部分位移，表明是局部几何形状的演变，而非全局任务方向。 AI
影响 表明神经网络中的线性结构是动态和局部的，影响我们理解和操纵模型行为的方式。
排序理由 该集群包含一篇详细介绍神经网络结构研究结果的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.10929v1 Announce Type: cross Abstract: Task vectors, LoRA, activation steering, and random search around pretrained weights all suggest that learned behaviour can be controlled by linear directions. We ask which linear structures actually exist and on what scale. In a …
Task vectors, LoRA, activation steering, and random search around pretrained weights all suggest that learned behaviour can be controlled by linear directions. We ask which linear structures actually exist and on what scale. In a synthetic multitask transformer and LoRA adapters …