PulseAugur
中
实时 06:09:11
English(EN) Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

AI模型展现动态、局部线性结构，而非静态任务平面

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现，尽管神经网络权重和激活中存在线性结构，但它们并非静态或全局的。对transformer和LLM进行的实验表明，这些结构是局部的、低秩的，并且在短时间的训练中会显著漂移。该研究提出，这些不断演变的局部几何形状在参数和激活空间中部分持续存在，这表明对学习行为的线性控制比之前假设的更为动态。 AI

影响 揭示了AI行为的线性控制是动态和局部的，而非静态的，这影响了我们对模型能力的理解和操控。

排序理由 这是一篇详细介绍AI模型内部结构研究发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Sergey Nikolenko ·

    可恢复但非平稳：权重和激活中的局部线性结构

    Task vectors, LoRA, activation steering, and random search around pretrained weights all suggest that learned behaviour can be controlled by linear directions. We ask which linear structures actually exist and on what scale. In a synthetic multitask transformer and LoRA adapters …

相关实体

相关话题