实体 Meng Fanxu

Meng Fanxu

PulseAugur coverage of Meng Fanxu — every cluster mentioning Meng Fanxu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_247852 · Sep 11 · 04:00

HISA通过分层索引提高了LLM稀疏注意力机制的效率

研究人员开发了HISA（Hierarchical Indexed Sparse Attention），一种新颖的即插即用索引器，旨在提高大型语言模型中稀疏注意力机制的效率。HISA通过引入一个两阶段的分层方法来解决现有方法中由平面token扫描引起的瓶颈：首先是粗粒度的块级过滤阶段，然后是token级精炼阶段。该方法在保持细粒度稀疏注意力质量的同时，显著提高了速度，在64K上下文长度下，在内核级基准测试中实现了高达3倍的速度提升。HI…