PulseAugur
中
实时 10:05:56
实体 Attention-Residual Transformers

Attention-Residual Transformers

PulseAugur coverage of Attention-Residual Transformers — every cluster mentioning Attention-Residual Transformers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_275057 ·

    新研究质疑路由熵作为人工智能模型中可靠不确定性信号的有效性

    研究人员调查了注意力残差Transformer中的路由熵是否可以作为模型固有置信度之外的不确定性信号。他们对在CIFAR-10/100数据集上训练的Swin-Tiny和DeiT-Small模型进行了审计，发现与仅置信度预测器相比，路由迹线不能一致地预测正确性或提高校准。虽然一些证据表明相对于打乱的迹线有所提升，但这并未转化为比模型输出置信度更实用的优势。该研究建立了依赖于控制的增益和不完整的估计器恢复，表明虽然条件路由信息可能存在，但…