一篇题为“Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors”的新论文揭示,旨在通过移除低信息量标记来降低LLM推理成本的提示压缩技术,在非英语语言上的表现明显不如英语。这种差异归因于这些压缩器以英语为中心的训练数据,导致在其他语言中上下文效用损失严重。研究表明,多语言训练或“先翻译后压缩”的方法可以缓解这些问题,从而在不同语言之间提供更公平的成本-性能平衡。 AI
影响 提示压缩技术可能需要多语言训练或替代策略,以确保跨语言的公平性能,从而影响LLM的成本效益。
排序理由 该集群包含一篇研究论文,详细介绍了有关提示压缩技术的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Headroom
- Kompress-v2
- LLMLingua-2
- Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors
- multilingual-BERT
- XLM-RoBERTa
- X Provence
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →