Blast Radius 将新的内存管理技术使大型语言模型 token 使用量减少高达 26%

研究人员开发了一个名为 Blast Radius 的新系统，以解决与大型语言模型中的代理编码相关的日益增长的成本和 token 浪费问题。这个预测性内存管理层通过上下文和代码通道来估算提示的覆盖范围，利用 Necrophoresis 等技术进行可逆驱逐，并使用 Recurring Dead Matter (RDM) 来识别和归档重复的文本。在七个 OpenAI 模型上，Blast Radius 证明 token 消耗量减少了 17-26%，并在测试策略中实现了最低的溢出率，同时确保了字节精确的可逆性。 AI

影响 降低了大型语言模型的运营成本，并提高了代理编码任务的效率。

排序理由 详细介绍大型语言模型内存管理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• ALGOSOPHY AS A RESEARCH PROGRAM
• alphaXiv
• arXiv
• Blast Radius
• CatalyzeX Code Finder for Papers
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Litmaps
• Necrophoresis
• OpenAI
• Recurring Dead Matter
• ScienceCast
• scite Smart Citations

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →