实体 Tejas Pradeep Shirodkar

Tejas Pradeep Shirodkar

PulseAugur coverage of Tejas Pradeep Shirodkar — every cluster mentioning Tejas Pradeep Shirodkar across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_99566 · Jun 17 · 18:28

新的诊断工具可识别 LayerNorm Transformer 中的“死方向”

研究人员已识别出一种代数方法来检测 LayerNorm Transformer 中的“死方向”，这些方向是 Fisher 信息度量消失的参数空间方向。这项发表在 arXiv 上的新诊断技术仅使用 LayerNorm 尺度参数即可查明这些死方向，无需进行计算密集型的前向传播或特征值分解。该方法已在 14 个预训练 Transformer 上成功测试，准确预测了 LayerNorm 模型中的死方向，并正确识别了 RMSNorm 模型中死方…

新的诊断工具可识别 LayerNorm Transformer 中的“死方向”