研究人员推出了一种新颖的有损文本压缩框架SemanticZip，该框架利用大型语言模型（LLMs）进行解压。这种方法侧重于恢复与任务相关的语义含义，而不是逐字节的精确重建。试点研究评估了六种表示方法，发现结构化散文的恢复能力最高，而SemanticZip ASCII表示实现了最显著的压缩和可接受的语义恢复。 AI
影响 引入了一种压缩LLM文本数据的新方法，可能降低存储和传输成本。
排序理由 该集群包含一篇介绍新框架和方法论的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.24541v1 Announce Type: cross Abstract: Text compression for large language model (LLM) systems is usually framed as token deletion, retrieval, summarization, or exact reconstruction. We study a more aggressive but explicitly lossy setting: compress text into compact co…
Text compression for large language model (LLM) systems is usually framed as token deletion, retrieval, summarization, or exact reconstruction. We study a more aggressive but explicitly lossy setting: compress text into compact codes that an LLM can expand into task-relevant mean…