实体
Federico Danieli
Federico Danieli
PulseAugur coverage of Federico Danieli — every cluster mentioning Federico Danieli across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的蒸馏方法将 Transformer 知识转移到 Mamba 模型
研究人员开发了一种将知识从 Transformer 模型蒸馏到状态空间模型(SSM),如 Mamba 的新方法。这种两阶段方法首先将知识蒸馏到一个线性化的注意力适配器,然后到一个适配的 Mamba 模型。使用这种方法蒸馏出的 Mamba 模型成功保留了原始 Pythia-1B Transformer 的大部分性能,取得了可比的困惑度得分。
-
苹果发布DLR-Lock以保护大语言模型权重免遭未经授权的使用
苹果机器学习研究部门推出了一种名为DLR-Lock的新方法,用于保护预训练语言模型的权重免遭未经授权的修改。该技术通过用深度低秩残差网络(DLR-Net)替换每个多层感知器(MLP),增加了反向传播时的内存需求。DLR-Lock旨在使微调优化复杂化并增加反向传播开销,从而抵御自适应攻击者,同时保留模型的原始能力,这一点已通过在大语言模型上的实验得到验证。