PulseAugur
中
实时 10:10:41
实体 QK-Guard

QK-Guard

PulseAugur coverage of QK-Guard — every cluster mentioning QK-Guard across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_180693 ·

    新的QK-Guard方法可防止AI模型中低精度注意力塌陷

    研究人员发现，Transformer模型（如GPT-2）中的低精度注意力机制存在一个关键漏洞，可能导致训练突然崩溃。他们发现，来自各种来源的错误会汇聚到一个共享的查询-键（QK）通道，引起频谱失控。提出的解决方案QK-Guard通过在共享位置实施无参数的QK归一化来干预，从而有效防止崩溃，且不影响训练稳定性。