实体
DeepSeek-distilled Qwen
DeepSeek-distilled Qwen
PulseAugur coverage of DeepSeek-distilled Qwen — every cluster mentioning DeepSeek-distilled Qwen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法应对大语言模型长上下文效率挑战 · 跟踪 3 个来源
研究人员正在开发新方法来提高大语言模型长上下文推理的效率。一种名为 LISA 的方法将线性注意力与稀疏注意力机制相结合，将计算复杂度从 O(n^2) 降低到 O(nM)，在某些模型上实现了 50% 的推理速度提升。另一种方法 ELSAA 使用稀疏和低秩分支来近似注意力分数，从而能够在不具体化完整注意力矩阵的情况下进行更长上下文的训练。第三篇论文 Lil 探讨了稀疏注意力可能由于序列更长而导致复杂性增加的“少即是少”问题，并提出了一种提…
-
新的审计方法可检测开源AI模型中被移除的拒绝机制
研究人员开发了一种新颖的审计方法，用于检测开源AI模型检查点是否已被移除拒绝机制。这种双信号审计结合了参考锚定激活拒绝间隙和权重恢复能量度量。当应用于Qwen、DeepSeek-distilled Qwen、Llama和Gemma等模型注册表中273个检查点时，该审计能够以高精度区分公开的“已清除”检查点和良性微调。该方法识别出两种主要的失效模式：一种是逃避检测的欺骗性参考，另一种是检查点被训练到阈值之上但仍不安全的白盒攻击。