Low-Rank Adapters
PulseAugur coverage of Low-Rank Adapters — every cluster mentioning Low-Rank Adapters across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架实现实时、单次表情可控肖像动画
研究人员开发了一个名为代理化身结合低秩缓存（Proxy Avatar Meets Low-Rank Caching）的新框架，用于通过音频和表情驱动的实时、单次肖像动画。该方法利用基于高斯的表情代理化身生成富有表现力的动作，然后通过单次重定向模型将其适配到目标肖像。为了提高效率，该系统采用低秩缓存来重用外观特征，并使用低秩适配器来建模特征变化，从而实现更快的推理和实时动画。
-
K-Merge 提供高效的设备端 LLM 适配器合并
研究人员推出了一种名为 K-Merge 的新策略，用于高效合并设备端大型语言模型 (LLM) 的多个低秩适配器 (LoRA)。该方法解决了在保持现有任务性能的同时增量添加新 LoRA 的挑战，这对于存储空间有限的设备至关重要。实验表明，K-Merge 在实际场景中优于其他策略，并符合存储和计算限制。
-
TreeLoRA为大型模型提供高效的持续学习
研究人员推出TreeLoRA，一种用于大型预训练模型高效持续学习的新方法。该方法利用由分层梯度相似性树组织的层级低秩适配器（LoRA），在适应新任务的同时保留现有知识。为了管理计算需求，TreeLoRA采用基于老虎机（bandit）的技术进行任务相似性估计和稀疏梯度更新，使其适用于计算机视觉和自然语言处理等领域的大型模型。
-
LoREnc 框架在无需重新训练的情况下保护基础模型和适配器
研究人员推出了一种名为 LoREnc 的新颖框架，旨在保护基础模型及其相关的低秩适配器免受未经授权的访问和恢复攻击。这种无需训练的方法利用谱截断和补偿来隐藏模型权重的占主导地位的低秩分量。LoREnc 确保授权用户仍能获得精确的性能，而未经授权的用户则会得到结构崩溃的输出，从而以最小的计算开销展示了强大的保护能力。
-
LoREnc 框架通过谱截断保护基础模型
研究人员开发了 LoREnc，一个新颖的框架，旨在保护基础模型及其相关的低秩适配器免受未经授权的恢复和知识产权泄露。这种无需训练的方法采用谱截断和补偿技术来隐藏基础模型的权重，同时为授权用户保留性能。LoREnc 通过抑制模型权重的占优低秩分量并在适配器内补偿丢失的信息来实现这一点，从而产生最小的计算开销和强大的模型提取保护。