实体
open-weight language models
open-weight language models
PulseAugur coverage of open-weight language models — every cluster mentioning open-weight language models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的字节前缀边际化方法改进语言模型蒸馏
研究人员开发了一种名为字节前缀边际化（BPM）的新方法，用于开放权重语言模型的在线策略蒸馏（OPD）。BPM通过在共享字节空间中重新表达教师模型在学生模型词汇表上的概率分布，解决了合并具有不同分词器的模型所面临的挑战。即使分词器不同，该方法也能确保概率质量的保留和准确映射。实验表明，当与Qwen3-32B、GLM-Z1-9B-0414和MiniMax-M2.7等模型一起使用时，BPM在数学和编程基准测试上的表现显著优于现有的跨分词器方法。
-
新的DLR-Lock方法保护开源权重语言模型
研究人员开发了一种名为DLR-Lock的新方法，以防止对开源权重语言模型的未经授权的修改。该技术用深度低秩残差网络替换标准的MLP，增加了反向传播期间的内存使用量，并使微调优化变得复杂。DLR-Lock旨在防御完全了解模型和防御策略的自适应攻击者，同时保留原始模型的能力，这一点已通过在LLM上的实验得到验证。