Google 研究人员开发了一种名为 TurboQuant 的新技术，可显著减少大型语言模型所需的内存。通过采用数据旋转和标量量化的两步流程，TurboQuant 将 KV 缓存压缩至每值 3 位，比标准的 16 位减少了 6 倍，且准确率没有任何损失。这一进步对于自托管 LLM 至关重要，因为 KV 缓存是长上下文窗口的主要成本驱动因素，而 TurboQuant 有望降低基础设施支出并提高性能。 AI
影响 降低 LLM 内存占用，可能降低托管成本并为应用程序启用更长的上下文窗口。
排序理由 在会议上发表的关于 LLM 内存压缩新算法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
