实体
NVMe SSDs
NVMe SSDs
PulseAugur coverage of NVMe SSDs — every cluster mentioning NVMe SSDs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究致力于 LLM KV 缓存优化以实现高效推理 · 已追踪 10 个来源
多篇研究论文探讨了优化大型语言模型 (LLM) 的键值 (KV) 缓存的新技术，以提高推理效率并降低内存开销。这些方法包括面向 AI 加速器的动态缓存编排、NVMe SSD 外部 KV 缓存的性能表征，以及使用互补多样性指标的几何感知驱逐策略。其他方法侧重于针对 KV 缓存连接对模型进行微调，适应提示特定约束的自适应压缩框架，以及在不同上下文和模型检查点之间重用 KV 缓存的方法。一些研究还探讨了用于量化 KV 缓存的注意力加权值投影…
-
用户探讨使用 NVMe SSD 通过 PCIe 5 托管大型模型
一位 r/LocalLLaMA 上的用户正在探索使用配备大量 PCIe 5 通道的服务器托管大型语言模型的潜力。该想法是利用 NVMe SSD 填充这些通道，创建一个高带宽存储解决方案，理论上可以提供与 VRAM 相媲美的速度来运行高达 1-2TB 的模型。用户质疑为什么这种方法在自托管海量模型方面不那么普遍。