PulseAugur
实时 18:22:47
English(EN) Cross-Lingual Token Arbitrage: Optimizing Code Agent Context Windows via Local LLM Preprocessing

新型中间件将AI编码代理的提示令牌减少高达47%

研究人员开发了一种新型中间件,通过在边缘进行预处理来优化AI编码代理的提示。该系统使用本地Llama 3.2模型将非英语文本翻译成英语,并将提示重写成更紧凑、面向任务的格式。该方法显著减少了高达47%的输入令牌使用量和18.8%的总令牌数,同时在多语言基准测试中保持或提高了编码准确性。 AI

影响 降低了AI编码代理的推理成本,可能加速多语言开发工具的采用。

排序理由 该集群包含一篇学术论文,详细介绍了一种优化AI模型提示的新方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新型中间件将AI编码代理的提示令牌减少高达47%

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Mehmet Utku Colak ·

    跨语言代币套利:通过本地 LLM 预处理优化代码代理上下文窗口

    arXiv:2606.03618v1 Announce Type: new Abstract: AI-assisted coding agents are bottlenecked by input-token cost. Two pathologies of raw human input drive much of this overhead: tokenization inefficiency for non-English text and structural entropy in conversational prompts. Existin…

  2. arXiv cs.AI TIER_1 English(EN) · Mehmet Utku Colak ·

    跨语言代币套利:通过本地 LLM 预处理优化代码代理上下文窗口

    AI-assisted coding agents are bottlenecked by input-token cost. Two pathologies of raw human input drive much of this overhead: tokenization inefficiency for non-English text and structural entropy in conversational prompts. Existing approaches act reactively by compressing alrea…