实体
LongHealth
LongHealth
PulseAugur coverage of LongHealth — every cluster mentioning LongHealth across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法将注意力偏置折叠到键中，实现高效 KV 缓存操作
研究人员开发了一种将注意力偏置折叠到键中的方法，使压缩的 KV 缓存能在标准内核上运行。该技术通过重新拟合值并将偏置添加到保留的键中，实现了具有 AM 大小和头维度的普通缓存。在与未修改的 vLLM 和 Hugging Face 进行测试时，折叠后的缓存与现有方法在不同基准测试的各种 Qwen3 和 Llama-3.1 模型上表现相当。
-
通过量化、内存、并行和调度探索 LLM 推理效率
研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率，在精度损失极小的情况下展示出显著的节能效果，尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块，以更有效地处理长上下文，提高准确性并减少内存使用。此外，研究正在调查并行策略，例如张量并行和流水线并行，以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后，正在为无服务器 LLM 推理开发新颖的调度框…