PulseAugur
实时 11:11:23
实体 Yaniv Livertovsky

Yaniv Livertovsky

PulseAugur coverage of Yaniv Livertovsky — every cluster mentioning Yaniv Livertovsky across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_98150 ·

    新的CAHP方法修剪Transformer注意力头以提高效率

    研究人员推出了一种新颖的后验框架——互补注意力头修剪(CAHP),旨在提高Transformer模型的效率。与现有方法通常依赖不稳定的基于梯度的排序或手动调整不同,CAHP将头选择视为一个全局图论问题。它使用基于图的聚类和信息论度量来识别一个多样化且拓扑结构合理的注意力头子集,自动确定每层的最佳头数。在SST-5和MNLI基准上的评估表明,CAHP的性能优于其他方法,尤其是在高压缩场景下,它通过保留关键的中间层头而不是仅保留靠近输出的…