PulseAugur
中
实时 15:33:42
实体 Meng Fanxu

Meng Fanxu

PulseAugur coverage of Meng Fanxu — every cluster mentioning Meng Fanxu across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_247852 ·

    新方法提升LLM稀疏注意力效率

    研究人员开发了两种新颖的方法来提高大型语言模型中稀疏注意力机制的效率。第一种,HISA(分层索引稀疏注意力),引入了一个两阶段的索引过程,首先过滤令牌块,然后在这些块内进行精炼选择,在无需重新训练的情况下实现显著的加速。第二种,SAS(简单注意力稀疏化),使用一个端到端与语言建模损失一起训练的连续门控机制来优化上下文排名,其性能优于现有的可训练稀疏注意力方法,尤其是在注意力预算紧张的情况下。