实体 HiLS Attention

HiLS Attention

PulseAugur coverage of HiLS Attention — every cluster mentioning HiLS Attention across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

时间线

2026-07-29 research_milestone Tencent's Hunyuan team published a paper detailing their HiLS Attention mechanism, which enables LLMs to handle significantly longer contexts. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_170927 · Jul 29 · 16:08

腾讯的 HiLS Attention 将 LLM 上下文扩展至 400 万 token

腾讯的 Hunyuan 团队在一篇新论文中详细介绍了一种名为 HiLS Attention 的新型稀疏注意力机制。该方法通过使用总结块内容的标志性 token，使块选择成为模型可学习的一部分。这种方法使模型能够在领域内长度上保持全注意力质量，同时将上下文扩展到训练长度的 64 倍以上，在 512K token 时实现 13-15 倍的加速。HiLS Attention 机制已在 Hugging Face 上提供，并开源了代码。