实体 MoE routers

MoE routers

PulseAugur coverage of MoE routers — every cluster mentioning MoE routers across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_115235 · Jun 26 · 14:18

新的监控器可在损失发散前检测到大语言模型训练不稳定性

研究人员开发了一种在大型语言模型（LLM）训练期间预先检测不稳定的新方法。该方法从关键模块派生内部监控器，在计算故障的早期计算特征出现之前识别它们，这些特征在显著影响损失或梯度范数之前就会出现。该技术在故障注入实验中取得了成功，在发散前数千步就触发了警报。