实体 Spectral-LSH

Spectral-LSH

PulseAugur coverage of Spectral-LSH — every cluster mentioning Spectral-LSH across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_158526 · Jul 23 · 04:00

新的 Spectral-LSH 方法可高效压缩 LLM 提示

研究人员开发了 Spectral-LSH，一种新颖的无需训练的方法，用于压缩语言模型的长提示，解决了预填充注意力中的二次方扩展问题。该技术使用 Krylov 子空间方法和随机特征来近似注意力核算子，然后采用 SimHash 将相似的 token 分组为宏 token。在 Mistral-7B-Instruct-v0.3 和 Qwen2.5 模型上的评估表明，Spectral-LSH 在更高级别的压缩比（8 倍和 16 倍）下能有效保持…