实体
qgs
qgs
PulseAugur coverage of qgs — every cluster mentioning qgs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
OpenAttention 方法在 1% 读取率下仍保持 99% 的准确率
研究人员推出了一种新颖的大型语言模型稀疏注意力方法 OpenAttention，该方法在显著降低计算成本的同时保持了高准确率。该技术利用“尾部代理”来表示键值缓存中未读取的部分，改进了之前丢弃这些信息或效率低下地对其进行采样的旧方法。在 RULER-32K HARD 基准测试上，使用 Llama-3.1-8B 时，OpenAttention 在仅 1% 的读取率下达到了密集注意力准确率的 99%，并且其自定义注意力内核在解码注意力阶段…
-
Quark 搜索通过新的查询条件生成搜索提高点击率
研究人员开发了查询条件生成搜索 (QGS)，这是一种使用生成序列模型改进搜索排名的新方法。QGS 通过将交互编码为（查询，物品）对来解决用户交互历史中的主题转移挑战，从而实现对下一个物品更清晰的条件预测。为了高效处理长交互历史，线性 HSTU 编码器用因果线性递归取代了标准注意力，将复杂度从二次降低到线性。此外，还引入了 HFG 注意力，将传统手工设计的搜索功能集成到生成框架中。QGS 已在中国的搜索引擎 Quark Search 中…