实体
Ajay Jaiswal
Ajay Jaiswal
PulseAugur coverage of Ajay Jaiswal — every cluster mentioning Ajay Jaiswal across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
苹果研究人员发布IDEA Prune，用于高效的生成语言模型预训练
研究人员开发了一种名为IDEA Prune的新方法，用于预训练生成语言模型，重点关注在有限推理预算内的效率和可部署性。该集成管道结合了模型放大训练与迭代结构化剪枝和恢复，在单一学习率调度下优化了整个过程。实验表明，该方法在压缩模型时能减轻知识损失并提高性能，并提供了关于token效率的见解。
-
新方法增强在线策略蒸馏以进行AI模型训练 · 已追踪6个来源
研究人员正在开发新的在线策略蒸馏方法，这是一种通过让较小的AI模型学习较大、能力更强的模型的输出来训练这些较小模型的技术。Apple Machine Learning Research 引入了一个诊断框架，用于分析在线策略蒸馏在何处以及为何有效，发现该信号在学生模型不正确的输出时更有益。同时，Veto 和 RG-OPD 等新方法通过重新构建蒸馏目标或使用验证器反馈来过滤不可靠的教师信号，旨在稳定训练。此外，ReOPD 提供了一种离环境…