一篇新发表在arXiv上的研究论文《Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors》调查了提示词压缩技术在不同语言上的有效性。研究发现,虽然提示词压缩可以降低LLM的推理成本,但其在非英语语言上的性能会显著下降,从而扩大了代币溢价差距。仅在英语数据上训练的压缩器表现出这种跨语言性能差距,而一个多语言训练的压缩器X Provence,在其第二个版本使用翻译数据重新训练之前,并未表现出这种缺陷。研究表明,对于某些语言来说,先翻译后压缩的方法可能比原生压缩更具成本效益,并且在英语之外的安全压缩预算要小得多。 AI
影响 凸显了跨语言AI模型效率方面的显著局限性,并提出通过基于翻译的压缩为非英语内容节省潜在成本。
排序理由 学术论文,详细介绍了关于LLM提示词压缩的研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
- English
- Headroom
- Kompress-v2
- Lithuanian
- LLMLingua-2
- multilingual-BERT
- Standard Chinese
- XLM-RoBERTa
- X Provence
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →