Representation Guided Parameter Efficient Llm Unlearning
PulseAugur coverage of Representation Guided Parameter Efficient Llm Unlearning — every cluster mentioning Representation Guided Parameter Efficient Llm Unlearning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的张量框架分析Transformer MLP设计选择
研究人员引入了CP-MLPs，一个新颖的张量框架，用于分析Transformer前馈块内的设计选择。该框架区分了乘法单元中绑定和非绑定的参数共享，揭示了对于某些类型的交互，非绑定块提供了更高的宽度效率。对训练过的门控MLP进行的实验表明，在考虑匹配的输入投影预算时，非绑定块保持优势，尽管具体优势取决于目标结构。
-
MLP 跳跃连接无法被吸收进无残差模型
研究人员调查了一个单隐藏层 MLP 周围的跳跃连接是否可以被吸收进一个相同宽度的无残差 MLP。他们发现，对于 ReLU^2 和 ReGLU 等某些激活函数，由于次数参数的原因，吸收是不可能的。对于 SwiGLU 和 GeGLU 等门控激活函数，线性化参数也得出了相同的结论。虽然在特定的、非通用的权重条件下，吸收对于无门控的 ReLU 和 GELU 是可能的，但跳跃连接和无残差的 MLP 通常代表不同的函数类别。
-
Hugging Face 推出 REGLU 以实现高效 LLM 遗忘
研究人员开发了一种名为表示引导低秩遗忘（REGLU）的新方法，以解决在不损害整体性能的情况下从大型语言模型（LLM）中移除特定信息的挑战。由于在识别关键参数方面存在局限性，现有技术常常难以平衡遗忘不需要的数据和保留有用信息。REGLU 利用表示空间的几何特性和 LoRA 的新颖初始化来精确定位用于选择性遗忘的参数，同时正则化损失确保对模型保留知识的影响最小。在 TOFU 和 WMDP 等基准测试上的评估表明，REGLU 在遗忘质量和模…