实体
activation vectors
activation vectors
PulseAugur coverage of activation vectors — every cluster mentioning activation vectors across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SPARC方法提高了光子神经网络加速器的精度
研究人员开发了一种名为SPARC的新方法，以提高光子神经网络加速器的推理精度。该方法解决了这些系统中固有的低比特量化和模拟光子噪声造成的限制。SPARC通过识别相似激活向量的组，并以高精度数字计算代表性向量的点积，同时将剩余计算卸载到光子加速器来实现这一点。该技术保留了现有的光子计算管道，并在各种深度神经网络模型中展示了更高的精度。
-
新方法无需重新训练即可解决 LLM 后门攻击
研究人员开发了两种新方法，NEEDLE 和零空间投影技术，以对抗大型语言模型 (LLM) 中的后门攻击。NEEDLE 是一种无需训练的方法，通过估计激活向量的后门方向和拒绝子空间，然后应用权重正交化来识别和抑制后门触发器。零空间投影方法专门针对 LoRA 微调的 LLM，通过将更新投影到正交零空间上来净化它们，而无需重新训练。这两种方法都旨在显著降低攻击成功率，同时保留 LLM 的通用能力和学到的下游技能。