研究人员开发了EncBank，一种通过将预训练LLM的较低层视为可重用的文档编码器来提高大型语言模型（LLM）查询效率的新颖方法。该方法将这些较低层的输出紧凑地存储起来供适配的上层读取器使用，减少了共享文档的冗余编码。EncBank使用一种自蒸馏的后缀适配器，可以在不同的存储精度下工作，而无需重新训练。在三个Qwen主干上的测试表明，在Qwen3-8B工作负载中，4位存储将基准聚合保持在与原生精度EncBank相差一个分数点之内，同时还将持久GPU存储减少了28.1%。 AI
影响 这种方法可以显著降低处理重复文档查询的LLM的计算成本并提高响应时间。
排序理由 该集群包含一篇详细介绍LLM查询效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
