Srikanta Datta Tumkur
PulseAugur coverage of Srikanta Datta Tumkur — every cluster mentioning Srikanta Datta Tumkur across labs, papers, and developer communities, ranked by signal.
-
探索 KV 缓存放置策略以提高 LLM 内存效率
一篇新的研究论文探讨了跨不同内存层级（GPU HBM、CPU DRAM、SSD）的 KV 缓存的最佳放置策略，以管理稀缺的 GPU 内存。该研究使用离散事件模拟器进行，发现内存分层可以支持显著更多的并发会话并降低成本，尽管放置策略本身对吞吐量的影响很小。评估了不同的策略，如近期性、重用频率和 EWMA，其中重用频率在代理和文档问答工作负载方面表现最佳，而近期性在聊天方面表现更好。
-
LLM推理优化研究详解成本-质量-延迟权衡 · 跟踪2个来源
两篇新研究论文探讨了大型语言模型（LLM）推理优化技术的权衡，重点关注成本、质量和延迟。第一篇论文《推理工程帕累托图集》（The Inference Engineering Pareto Atlas）分析了不同GPU上Qwen2.5-7B-Instruct的各种配置，发现组合优化方法比单独使用更有效。该论文强调，FP8权重在准确性和延迟之间提供了良好的平衡，而朴素的FP8 KV缓存则是有害的。第二篇论文《一种用于衡量推理优化如何影响输…
-
研究发现：KV 压缩比更多 GPU 更便宜，适用于 LLM 服务
一篇新的研究论文比较了两种优化大型语言模型 (LLM) 服务的方法：张量并行和 KV 缓存压缩。该研究在 A100、A40 和 H100 硬件上模拟了性能，发现对于内存受限的 LLM 部署，KV 压缩比增加 GPU 数量更具成本效益。压缩提供了 1.20 倍至 2.00 倍的成本优势，而张量并行对于超出设备内存容量的模型以及降低延迟是必要的，尽管它会增加每 token 的延迟。