实体
DistilGPT-2
DistilGPT-2
PulseAugur coverage of DistilGPT-2 — every cluster mentioning DistilGPT-2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI模型权重显示局部线性结构演变
研究人员调查了神经网络权重和激活中线性结构 Nature，发现虽然存在局部低秩结构，但它们并非稳态。这项在 DistilGPT-2 和 Qwen-0.5B 等合成 Transformer 和 LLM 上进行的研究表明，有用的基在短时间训练期间会显著漂移。然而，初始恢复更新可以捕获大部分位移，表明是局部几何形状的演变，而非全局任务方向。
-
模型多样性可防御边缘设备上的小型语言模型攻击
研究人员开发了一种名为“模型多样性”的新型防御系统，用于检测边缘设备上小型语言模型训练过程中的对抗性攻击。该方法涉及同时训练多个语言模型，每个模型使用不同的边缘节点子集。通过监控这些模型之间的差异，系统可以识别并隔离试图污染训练数据的受损节点。评估表明，在分布式学习环境中，该方法比传统的单一模型防御更能有效地检测此类攻击。